IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Comisión Europea > EuropeAid > Evaluación > Métodos > Cómo
Last updated: 10/07/2006
EuropeAid

Bases metodológicas
Proceso de evaluación (¿cómo?)

EuropeAid
 

Preguntas de evaluación

 


Metodología
• Guías de evaluación
• Bases metodológicas
• Herramientas de evaluación
• Ejemplos
• Glosario
• Sitemap

Métodos
• Qué
• Cuándo
• Por qué
• Quién
• Cómo

Cómo
• Perspectiva
  general

• Estrategia
• Preguntas
• Referencias
• Diseño
• Recolección de
  información

• Análisis
• Juicio
• Garantía de
  calidad

Preguntas
• Perspectiva general
• Selección
• Preparación
• Ejemplos

 
 

¿PARA QUÉ SIRVEN?

Para concentrar el trabajo de evaluación

Las preguntas sirven para concentrar el trabajo de evaluación en una limitada cantidad de puntos clave a fin de permitir una mejor reflexión sobre los criterios de juicio (también denominados evaluación razonada), una recolección de información más acotada, un análisis más profundo y un informe más útil.

Concentrar la evaluación en algunas preguntas clave es particularmente necesario cuando la intervención evaluada tiene múltiples dimensiones. En dicho caso, si se desearan tratar todas las dimensiones de la ayuda y todas las dimensiones de la evaluación, el trabajo sería extremadamente costoso o bien extremadamente superficial. Por lo tanto es necesario elegir.


Top

Para controlar las alternativas

Cuando la intervención evaluada tiene múltiples dimensiones, el informe final y su resumen se concentrarán forzosamente en un número limitado de cuestiones, a través de una sucesión de alternativas. Las preguntas de evaluación sirven para debatir y controlar dichas alternativas.

Ante la ausencia de preguntas, se corre el riesgo de elegir de manera implícita o sesgada, en función de los datos disponibles con mayor facilidad, de la influencia de las diferentes partes interesadas o de los prejuicios del equipo de evaluación.



Para favorecer la apropiación

Ya que hay que hacer una elección, es mejor hacerla en función de las expectativas de los destinatarios del informe. De este modo, se favorece una mejor apropiación y se aumenta la probabilidad de que el trabajo sea utilizado.


Top

¿DE DÓNDE VIENEN?

Preguntas deducidas directamente de la lógica de intervención

La lógica de intervención es el conjunto de supuestos hechos para explicar de qué manera la intervención alcanzará sus objetivos y producirá los efectos esperados. Los supuestos vinculan las actividades con los productos y los resultados, y luego con varios niveles sucesivos de impactos esperados hasta llegar al más global, por ejemplo: la reducción de la pobreza.

La lógica de la intervención se reconstruye sobre la base de los objetivos que figuran en los documentos oficiales que han establecido la intervención.

Cada vez que se enuncian los objetivos en términos políticos poco precisos, se los traduce en forma de efectos esperados de la manera más concreta posible. También se pueden tener en cuenta aquellos efectos esperados implícitamente.

Según el grado de heterogeneidad de la intervención, la cantidad de efectos esperados puede variar desde algunos hasta más de cien. La lógica de intervención presenta los efectos esperados bajo una de las siguientes formas:

  • Diagrama de efectos esperados (intervención de dimensiones múltiples con una docena de efectos esperados o más).
  • Diagrama global y sub-diagramas (intervención con más dimensiones).

Una vez que el equipo de evaluación ha identificado los efectos esperados y los supuestos de causalidad que los vinculan, se puede entonces plantear todo tipo de preguntas del tipo:

  • ¿En qué medida [la actividad A] ha contribuido a [generar el efecto X] ?
  • ¿En qué medida [las actividades A, B, C...] han contribuido a [generar el efecto X] ?
  • ¿En qué medida [las actividades A, B, C...] han contribuido a [generar los efectos X, Y, Z, ...] ?

Estas preguntas derivan directamente de la lógica de intervención en un formato estandarizado y pertenecen a la familia de la eficacia (obtención de uno o varios efectos esperados).


Top

Otras preguntas deducidas de la lógica de intervención (indirectamente)

Se puede declinar cada pregunta de formato estandarizado en múltiples preguntas diferentes
… precisando el campo por ejemplo:

  • ¿En qué medida la intervención [y más específicamente la que se puso en marcha a través del instrumento A o del procedimiento B] ha contribuido a generar el efecto X?
  • ¿En qué medida [la coordinación con los otros socios del desarrollo] ha contribuido a generar el efecto X?

… o precisando el efecto correspondiente, por ejemplo:

  • ¿En qué medida la intervención ha contribuido a generar el efecto X [para las categorías más pobres de la población]?
  • ¿En qué medida la intervención ha contribuido a generar el efecto X?

… o cambiando el criterio de evaluación, por ejemplo:

  • ¿En qué medida la intervención ha generado el efecto X [con una gran probabilidad de que los efectos perduren después del final de la ayuda]? (sostenibilidad).
  • ¿En qué medida la intervención ha contribuido a generar el efecto X [con un costo limitado comparado con…]?(eficiencia o costo-eficacia).
  • Cuando la intervención tiene por objetivo obtener el efecto X, ¿en qué medida ello [corresponde a las necesidades de la población en cuestión]? (pertinencia).
  • Cuando la intervención tiene por objetivo obtener el efecto X, ¿en qué medida ello [es compatible o contradictorio con los objetivos de otras políticas de la Comisión Europea] ? (coherencia / complementariedad).
  • Cuando la intervención tiene por objetivo obtener el efecto X, ¿en qué medida ello [aporta un valor agregado con respecto a una intervención similar pero conducida por los estados miembros]? (valor agregado comunitario).

Top

Otras preguntas

Las preguntas que siguen a continuación no requieren un examen previo de la lógica de intervención porque se refieren a efectos que no figuran.

Preguntas sobre los impactos inesperados, por ejemplo:

  • ¿En qué medida [la actividad A, el instrumento B, el procedimiento C] han generado efectos inesperados? y, si es así, ¿en beneficio o detrimento de quién?

Preguntas sobre aspectos transversales (cross-cutting issues) como el género, el ambiente, la buena gobernanza o los derechos humanos, por ejemplo:

  • ¿En qué medida la C.E. ha integrado [el aspecto transversal A] en el diseño y la puesta en marcha de sus intervenciones?

Top

Ejemplos

Este capítulo ofrece ejemplos de preguntas para las siguientes situaciones:


Top

SELECCIONAR LAS PREGUNTAS CLAVE

Existen límites técnicos que impiden tratar preguntas múltiples, o más precisamente, aportar respuestas de buena calidad si las preguntas son numerosas. Esta guía recomienda seleccionar un máximo de diez preguntas clave.

Se deben seleccionar las preguntas en función de la utilidad probable de las respuestas que aportará la evaluación, por ejemplo:

  • la respuesta le interesa a las personas que deben diseñar una nueva intervención para el próximo ciclo,
  • la respuesta probablemente permita aprender lecciones interesantes para otros sectores u otros países,
  • la respuesta servirá para alimentar un informe de la Comisión destinado a rendir cuentas,
  • no se conoce la respuesta de antemano,
  • la respuesta llegará a tiempo.

Además, se deben seleccionar las preguntas en función de su factibilidad (o evaluabilidad). Una pregunta merece ser abandonada si se acumulan demasiadas dificultades, por ejemplo:

  • Los términos esenciales de la pregunta no tienen estabilidad y no todos los comprenden de la misma manera.
  • Las relaciones de causa - efecto no son claras y los expertos no las conocen bien.
  • La información disponible es muy pobre.
  • El acceso al terreno y la recolección de la nueva información plantearán dificultades mayores.

Si se debe abandonar una pregunta aunque corresponda a un pedido político, entonces conviene argumentar con precisión las razones por las que es difícil o imposible tratar esta pregunta, lo que puede formar parte de la utilidad de la evaluación.

Top

REDACTAR UNA PREGUNTA

En el momento de redactar una pregunta, primero hay que comprobar que guarde relación con la evaluación y no con la auditoría o el seguimiento.

Conviene luego precisar:

  • El campo, es decir, lo que se juzga, por ejemplo: la intervención en su conjunto, una actividad, un instrumento, un procedimiento;
  • El o los efectos correspondientes;
  • La familia de criterios de evaluación a la que pertenece la pregunta: pertinencia, eficacia, eficiencia, sostenibilidad, impacto, valor agregado comunitario o coherencia / complementariedad.

En esta etapa, hay que garantizar que la pregunta esté redactada de manera clara y concisa.

El redactor de la pregunta puede añadir comentarios a título indicativo sobre todos o algunos de los siguientes puntos:

  • Precisiones sobre el campo de la pregunta.
  • Definición de los principales términos utilizados.
  • Precisiones sobre el tipo de criterio.
  • Sub-preguntas a tratar para responder a la pregunta.
  • Naturaleza de la utilización prevista
  • Estudios y evaluaciones existentes que no deben ser duplicados.

Top

¿QUIÉN ELIGE LAS PREGUNTAS?

El responsable de la evaluación define las principales áreas que la evaluación habrá de cubrir y precisa la cantidad máxima de preguntas. Estos elementos figuran en los términos de referencia provisorios.

Se consulta a los miembros del grupo de referencia antes de la finalización de los términos de referencia.

El equipo de evaluación externo analiza la lógica de intervención. De conformidad con los términos de referencia y de su análisis, propone una lista borrador de preguntas.

Las preguntas se presentan y debaten durante la reunión inicial del grupo de referencia. Sobre la base de los comentarios recibidos durante y después de la reunión, el equipo de evaluación finaliza las preguntas. Estas últimas serán validadas por los miembros del grupo.

Las preguntas validadas adquieren un estatuto contractual y se las anexa a los términos de referencia.


Top