IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Comisión Europea > EuropeAid > Evaluación > Metodología > Bases metodológicas > Cómo
Last updated: 10/08/2006
EuropeAid

Bases metodológicas
Proceso de evaluación (Cómo)

EuropeAid
 

Análisis

 


Metodología
• Guías de evaluación
• Bases metodológicas
• Herramientas de evaluación
• Ejemplos
• Glosario
• Sitemap

Métodos
• Qué
• Cuándo
• Por qué
• Quién
• Cómo

Cómo
• Perspectiva
  general

• Estrategia
• Preguntas
• Referencias
• Diseño
• Recolección de
  información

• Análisis
• Juicio
• Garantía de
  calidad

Análisis
• Perspectiva
  general

• Estrategia
  de análisis

• Exploración
• Confirmación
• Validez

 
 

Es necesario hacer un análisis para convertir los datos en constataciones, que a su vez serán objeto de un juicio para convertirse en conclusiones. El análisis se realiza estudiando cada pregunta por separado, en el marco de un diseño global que abarca todas las preguntas.


Datos, elementos de prueba y constataciones

Todas las informaciones cualitativas o cuantitativas recopiladas por el equipo de evaluación se denominan datos. Por ejemplo:

  • El documento X indica que el número de alumnos ha aumentado más rápidamente que el número de profesores en las zonas rurales pobres (dato).

Una información se clasifica como elemento de prueba desde el momento en que el equipo de evaluación la considera suficientemente fiable. Por ejemplo:

  • El documento X, que incluye datos del Ministerio de Educación -considerados fiables-, indica que el número de alumnos ha aumentado más rápidamente que el número de profesores en las zonas rurales pobres (elemento de prueba).

Una constatación establece un hecho derivado de elementos de prueba gracias a un análisis. Por ejemplo:

  • La calidad de la educación primaria ha disminuido en las zonas rurales pobres (constatación).

Algunas constataciones son específicas, en el sentido de que implican enunciados relativos a la causalidad. Por ejemplo:

  • La CE no ha contribuido de forma significativa a impedir la disminución de la calidad de la educación primaria en las zonas rurales pobres (constatación relativa a la causalidad).

Las constataciones no incluyen juicios de valor, que únicamente se incluyen en las conclusiones, como se indica a continuación:

  • La CE ha contribuido significativamente a mejorar la capacidad del sistema educativo para incorporar a alumnos procedentes de los grupos desfavorecidos, pero esto se ha hecho a expensas de la calidad (conclusión).

Top

Estrategia de análisis

Se pueden considerar cuatro estrategias:

  • Análisis del cambio, que compara los indicadores medidos y/o calificados en el tiempo y en relación con los niveles objetivo.
  • Meta-análisis, que extrapola los resultados de otras evaluaciones o estudios tras haber comprobado rigurosamente su validez y posibilidad de transferencia.
  • Análisis de atribución, que compara los cambios observados con un escenario "sin intervención", también denominado escenario contrafactual
  • Análisis de contribución, que confirma o invalida supuestos causales partiendo de una cadena o secuencia de razonamientos.

La primera estrategia es la más general y prácticamente puede aplicarse a todo tipo de preguntas, como por ejemplo:

  • ¿Hasta qué punto las prioridades de la CE siempre están relacionadas con los objetivos identificados?
  • ¿En qué medida la ayuda ha tenido en cuenta las potenciales interacciones y/o conflictos con otras políticas de la CE?
  • ¿En qué medida la CE ha incluido un aspecto transversal determinado en la puesta en práctica de sus intervenciones?

Las tres últimas estrategias son más recomendables para responder a preguntas causales, , tales como:

  • ¿En qué medida ha contribuido la CE a conseguir el efecto X?
  • ¿En qué medida ha contribuido la CE a conseguir el efecto X de forma sostenible?
  • ¿En qué medida ha contribuido la CE a conseguir el efecto X a un coste razonable?

La elección de la estrategia de análisis forma parte del diseño metodológico y depende de los problemas de factibilidad que la pregunta pueda plantear o no. Está explicitada en la tabla de diseño.

Una vez se ha elegido la estrategia y se han recopilado los datos, el análisis sigue en su totalidad o en parte las cuatro fases siguientes: tratamiento de los datos, exploración, explicación y confirmación.

Top

Tratamiento de los datos

La primera fase del análisis consiste en tratar la información con el objetivo de medir o valorar un indicador, o de responder a una subpregunta. Los datos se tratan mediante operaciones como el cruce, la comparación, el reagrupamiento, el listado, etc.

  • El cruce de datos consiste en la utilización de varias fuentes o tipos de datos con el objetivo de establecer un hecho. La norma recomienda el cruce sistemático de al menos dos fuentes, aunque es preferible la triangulación (tres fuentes). Para cruzar los datos debe recurrirse a fuentes independientes. Un documento que cite otro documento no es una fuente independiente. Dos personas entrevistadas no son fuentes independientes si tienen el mismo perfil.
  • La comparación se realiza mediante la construcción de tablas, gráficos, mapas y/o clasificaciones. Los datos pueden compararse según uno o varios aspectos, como el tiempo, los territorios, las categorías administrativas, las categorías socioeconómicas, los beneficiarios y los no beneficiarios, etc. La mayoría de las veces el equipo de evaluación mide el cambio comparando indicadores cuantitativos en un período de tiempo determinado. Las comparaciones también pueden ser cualitativas, como por ejemplo clasificar las necesidades de la población según la percepción que tengan las personas entrevistadas.
  • El reagrupamiento se realiza agregando los datos según unas tipologías predefinidas, como por ejemplo: ayuda de la CE por sector, por beneficiarios, por nivel de ingresos.
  • El listado se realiza identificando las diferentes dimensiones de un elemento, por ejemplo, las diferentes necesidades de un grupo objetivo que han destacado durante una reunión participativa, los diferentes resultados de un proyecto indicados por los actores sobre el terreno, los diferentes puntos fuertes y puntos débiles de la CE indicados durante las entrevistas en las misiones de los otros donantes…

En esta fase del análisis emergen las constataciones provisionales. El objetivo de las fases siguientes es profundizar y consolidar estas constataciones.

Top

Exploración

El objetivo del análisis exploratorio es mejorar la comprensión de todo o parte de lo que se ha evaluado, principalmente cuando los conocimientos son insuficientes y el peritaje es poco consistente, o cuando existen elementos de prueba sorprendentes que no concuerdan con las informaciones disponibles.

El análisis exploratorio profundiza más y de forma más sistemática en los datos recopilados para descubrir nuevas informaciones plausibles:

  • Nuevas categorías/tipologías.
  • Factores explicativos imprevistos.
  • Factores que puedan propiciar/obstaculizar la sostenibilidad.
  • Efectos fortuitos.
  • Nuevos supuestos causales.

La fase de exploración puede no ser necesaria para todas las preguntas. Cuando se efectúa este tipo de análisis, las técnicas de brainstorming resultan apropiadas. Se trata de desarrollar nuevas informaciones plausibles, pero no de establecerlas.

Top

Explicación

En esta fase, se trata se asegurarse de haber alcanzado una comprensión suficiente con respecto a:

  • Conceptos, categorías y tipologías definidos con precisión.
  • Explicaciones causales plausibles.
  • Identificación de los factores externos clave y de las informaciones alternativas.

Según el contexto y la pregunta, la explicación se construye sobre una o varias de las siguientes bases:

La explicación (también denominada modelo explicativo) debe resultar suficiente para que el análisis pueda ser completado.

Top

Confirmación

En esta última fase, se hace lo posible por confirmar las constataciones provisionales mediante una cadena de argumentos válida y creíble. Esta es la función del análisis confirmatorio.

Para confirmar una constatación, se realiza una autocrítica sistemática por todos los medios posibles, tales como: pruebas estadísticas, búsqueda de posibles sesgos en los datos y el análisis, examen de las contradicciones entre las fuentes y los análisis.

También se tienen en cuenta las críticas externas procedentes de los expertos o de los participantes.

Top