IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Comisión Europea > EuropeAid > Evaluación > Metodología > Guías de evaluación > Proyecto/programa
Last updated: 05/09/2006
EuropeAid

Evaluaciones de proyecto/programa
Guía para el responsable

EuropeAid
 

Guía detallada

 


Metodología
• Guías de evaluación
• Bases metodológicas
• Herramientas de evaluación
• Ejemplos
• Glosario
• Sitemap

Esta guía
• Perspectiva
  general

• Responsable
• Equipo de
  evaluación

 
FASE DE PREPARACIÓN

Enfoque inicial

En la medida de lo necesario, el servicio encargado de la asignación aclara por escrito y de forma precisa qué debe evaluarse y quiénes son los principales usuarios previstos de la evaluación.

En el seno del servicio en cuestión se designa a un/una responsable/a de la evaluación, que trabaja bajo la responsabilidad de la jerarquía.

Recopilación preliminar de información

El responsable de la evaluación lee los documentos de base (ficha, marco lógico, revisión, informe de seguimiento, etc.) y mantiene conversaciones informales con los informantes clave.

Si no se dispone de marco lógico, el responsable del proyecto/programa deberá reconstruir la lógica del proyecto.

Top

Constitución del grupo de referencia

El responsable de la evaluación determina qué servicios y partes interesadas deben participar en la evaluación a través de un grupo de referencia.


Composición y función del grupo de referencia

El grupo de referencia incluye a la dirección del proyecto/programa y a los servicios pertinentes de la CE. Si la evaluación se realiza en el país socio, puede incluir también a socios de desarrollo, expertos, actores no estatales y otros participantes cualificados. Para garantizar el buen funcionamiento del grupo, cuya presidencia recae en el responsable de la evaluación, es recomendable restringir el número de miembros (de 10 a 12).
El grupo de referencia debate y comenta todos los documentos intermedios, normalmente en la fase de borrador: términos de referencia, propuesta del equipo de evaluación, preguntas de evaluación, plan de trabajo, debriefing de la fase de terreno e informe final. Por lo general, tiene una función consultiva, pero también se le puede solicitar la validación de las preguntas de evaluación.
El hecho de contar con un grupo de referencia supone ventajas sustanciales en términos de acceso a la información, exactitud de las interpretaciones e integración de las conclusiones.
En las reuniones del grupo existe la figura del moderador, para evitar pérdidas de tiempo y abordar los puntos de vista opuestos de forma constructiva. Por otra parte, es esencial que los documentos de trabajo y las actas circulen con rapidez.
Debe enviarse una nota a los servicios y a las partes interesadas invitados a participar explicándoles la función del grupo de referencia.

Top

Preparación de los términos de referencia

El responsable de la evaluación identifica los principales temas que deben analizarse. Si existe un buen marco lógico y aún es válido, puede pulir los temas que deben analizarse para convertirlos en preguntas de evaluación.


Preguntas de evaluación

Antes o después a lo largo del proceso de evaluación, se selecciona una serie de preguntas concretas (no más de 10) con la finalidad de satisfacer las necesidades de los usuarios de la evaluación y de garantizar su viabilidad. En este sitio web se presentan algunas preguntas tipo .
Gracias a estas preguntas, que permiten centrar la evaluación en aspectos clave, el equipo de evaluación puede recopilar los datos adecuados, profundizar en su análisis, realizar valoraciones de forma totalmente transparente y elaborar un informe final útil.
Las preguntas deben redactarse de forma sencilla y concisa y, en la medida de lo posible, no deben referirse a áreas sobre las que existen o están en curso otros estudios.
La lista de preguntas se configura de modo que la síntesis de todas las respuestas permita al equipo de evaluación formular una valoración global del proyecto/programa. Con dicho objetivo, abarcan los distintos niveles del marco lógico y los siete criterios de evaluación de forma equilibrada.

A continuación, se define el perfil del equipo de evaluación externo que debe contratarse en cuanto a competencias profesionales, conocimiento del sector y capacidad de trabajo sobre el terreno.
Se establece un límite para el presupuesto global de la evaluación y se garantiza la disponibilidad de recursos.
Se establece también el calendario, si es preciso conforme a los requisitos institucionales, o, en cualquier caso, se fija el plazo de entrega del informe teniendo en cuenta las necesidades de los usuarios previstos.
El responsable de la evaluación redacta una primera versión de los términos de referencia (TdR), a ser posible según el modelo adjunto a la presente guía.
Luego, consulta a los miembros del grupo de referencia sobre la versión provisional, finaliza el documento y procede a la contratación del equipo de evaluación externo mediante el procedimiento de licitación aplicable.

Orientaciones específicas en caso de evaluación participativa
Modelo de términos de referencia  Translation in progress, for this particular document please refer to the English version.
Lista de preguntas de evaluación  Translation in progress, for this particular document please refer to the English version.

Top

Lanzamiento

El responsable de la evaluación recibe la o las propuestas técnicas y financieras preparadas por los candidatos y comprueba que contemplen los puntos siguientes:

  • Comprensión de los términos de referencia.
  • Diseño metodológico indicativo.
  • Presupuesto detallado.
  • Calendario previsto.
  • Responsabilidades de los miembros del equipo, currículos y declaraciones firmadas de ausencia de conflicto de intereses.

El responsable de la evaluación participa en el análisis de la(s) propuesta(s) y consulta a los miembros del grupo de referencia, en especial para detectar y evitar posibles conflictos de intereses y riesgos en cuanto a la independencia del equipo.


Externalidad e independencia

Los miembros del equipo de evaluación externo son independientes de las organizaciones que han participado en el diseño y la ejecución del proyecto/programa evaluado.
La independencia implica libertad respecto de influencias políticas y presiones por parte de cualquier organización, pleno acceso a la información y absoluta autonomía a la hora de realizar investigaciones y redactar conclusiones.
Con la externalidad y la independencia se pretende conseguir credibilidad ante el público externo, un aspecto especialmente relevante si la evaluación se realiza para rendir cuentas, para aprender lecciones extrapolables a otros ámbitos o para reasignar recursos presupuestarios. Este tipo de evaluaciones se denominan "sumativas" por oposición a las "formativas", que se realizan en beneficio de aquellos que gestionan el proyecto/programa con el objeto de mejorar su trabajo y que requieren su máxima participación. La externalidad y la independencia pueden tener menos importancia en caso de evaluación formativa.

El responsable de la evaluación valora la calidad de la(s) propuesta(s) y comprueba que los recursos humanos y financieros sean los adecuados para las dificultades específicas identificadas al preparar los términos de referencia.

Lista de control para valorar la calidad de una propuesta

Capacidad:
  • Conocimientos y experiencia en materia de evaluación.
  • Capacidad demostrada para aplicar un enfoque participativo (si es oportuno).
  • Conocimientos y capacidades técnicos y sectoriales.
  • Capacidad de respuesta ante las problemáticas transversales esenciales (por ejemplo igualdad de género o medio ambiente).
  • Experiencia en materia de cooperación al desarrollo y, en particular, cooperación de la CE.
  • Experiencia en la región socio, en el país socio y/o en países similares.
  • Conocimientos lingüísticos adecuados.
Comprensión:
  • Comprensión de los TdR.
  • Comprensión del contexto.
Gestión:
  • Las personas propuestas disponen del tiempo necesario para completar adecuadamente las tareas planificadas en el calendario.
  • Responsabilidades compartidas y una capacidad de liderazgo adecuada para dirigir el equipo de forma eficaz y para mantener unas relaciones fructíferas con los socios y las partes interesadas.
  • Compromiso para reforzar las capacidades de evaluación en los países socios.

El responsable de la evaluación contrata al equipo de evaluación externo en el marco del procedimiento de licitación aplicable. La contratación queda formalizada en un documento contractual, cuya fecha marca el inicio de la labor del equipo de evaluación.

Top

FASE INICIAL

La fase inicial comienza en el momento en que se contrata al equipo de evaluación, y su duración se limita a unas semanas.

Reunión inicial

En el plazo de unas semanas a partir del inicio de los trabajos, y tras una revisión de los documentos de base complementada con entrevistas, el equipo de evaluación define su enfoque general.

Dicho enfoque se presenta en el marco de una reunión con el responsable de la evaluación y los miembros del grupo de referencia. Los temas que deben tratarse incluyen:

  • El marco lógico.
  • Las preguntas de evaluación, ya sean las derivadas de los TdR o las propuestas por el equipo de evaluación.
  • El diseño metodológico indicativo.
  • El acceso a los informantes y documentos y las dificultades previsibles.

La presentación se complementa con una serie de diapositivas y una lista comentada de preguntas de evaluación. Si se considera oportuno, la reunión se completará mediante una consulta por correo electrónico.

Orientaciones específicas en caso de:

Informe inicial

El responsable de la evaluación recibe un informe inicial en el que se concretan las preguntas de evaluación y se describen las principales líneas del diseño metodológico, con los indicadores que se emplearán, la estrategia de análisis y un plan de trabajo detallado para la siguiente fase.

La aprobación formal del informe consiste en una carta oficial que autoriza la continuación de los trabajos.

Si la lista de las preguntas de evaluación ya está definida en esta fase, pasa a formar parte de los TdR.

Top

FINALIZACIÓN DE LA PRIMERA FASE (DOCUMENTACIÓN)

El responsable de la evaluación facilita el acceso a cualquier documento pertinente e informante clave en el seno de la CE y del gobierno o los gobiernos asociados.

Posteriormente, se encarga de la recepción del informe de la primera fase (documentación), que recoge los pasos ya realizados e incorpora los elementos siguientes:

  • Evolución del análisis de la documentación y posibles limitaciones.
  • Definición de cualquier término confuso en caso necesario.
  • Respuestas parciales a las preguntas de evaluación a partir de los documentos analizados.
  • Aspectos pendientes de analizar y supuestos que deben probarse durante la fase de terreno.
  • Diseño metodológico final, incluidas las herramientas de evaluación listas para ser aplicadas.
  • Plan de trabajo para la fase de terreno.

El responsable de la evaluación somete el informe provisional a la consideración de los miembros del grupo de referencia y, si lo cree oportuno, organiza y preside una reunión para presentarlo y debatirlo. A continuación, el equipo de evaluación redacta una versión final del informe teniendo en cuenta los posibles comentarios.

El responsable de la evaluación aprueba el informe y autoriza el lanzamiento de la fase de terreno.

Aprobación de los informes

Los miembros del grupo de referencia comentan la versión provisional del informe. El responsable de la evaluación recopila todos los comentarios y los traslada al equipo de evaluación, que prepara una nueva versión del informe teniendo en cuenta los comentarios de dos posibles formas:

  • Las peticiones de mejora de la calidad metodológica se satisfarán a menos que exista una imposibilidad demostrable, en cuyo caso el equipo de evaluación deberá aportar una justificación válida.
  • Los comentarios sobre el contenido esencial del informe podrán igualmente aceptarse o rechazarse. En caso de rechazarlos, en el informe se reflejarán equitativamente los puntos de vista opuestos.

Finalmente, el responsable comprueba que todos los comentarios hayan sido considerados adecuadamente y aprueba el informe.


Top

FASE DE TERRENO

Preparación

El responsable de la evaluación confirma que:

  • las autoridades del país o los países socios han sido informadas de los futuros trabajos sobre el terreno a través del canal adecuado,
  • la dirección del proyecto/programa ha recibido una lista indicativa de las personas que serán entrevistadas, las fechas de las visitas, el itinerario y los nombres de los miembros del equipo,
  • las cuestiones logísticas se han acordado con antelación.

El plan de trabajo será suficientemente flexible para adaptarse a las circunstancias sobre el terreno.

Orientaciones específicas en caso de:

Seguimiento

El responsable de la evaluación facilita las entrevistas y los estudios a través de los medios adecuados, como por ejemplo cartas de mandato o contactos informales con el gobierno en cuestión.
El responsable, además, estará preparado para actuar con rapidez, a petición del equipo de evaluación, si surge algún problema sobre el terreno que no pueda resolverse con la ayuda del responsable de evaluación.

Orientaciones específicas en caso de programa multipaís

Debriefing

Se celebran una o varias reuniones de debriefing para valorar la fiabilidad y la exhaustividad de la recopilación de información y para comentar las constataciones significativas. Como mínimo una de estas reuniones se organiza con el grupo de referencia.

El equipo de evaluación presenta una serie de diapositivas relativas a la exhaustividad y a la fiabilidad de los datos recopilados, al campo abordado y a sus primeros análisis y constataciones. Estas reuniones ofrecen la oportunidad de reforzar la base de elementos de prueba de la evaluación. No se presenta ningún informe previo ni se proporcionan actas posteriormente.

Orientaciones específicas en caso de:

Top

FASE DE SÍNTESIS

Control de calidad

El responsable de la evaluación recibe la primera versión del informe final, documento que debería tener igual formato, contenido y calidad que la versión definitiva.

El responsable de la evaluación examina la calidad del informe basándose en una ficha de valoración de ocho criterios. Otra persona realiza un segundo control de calidad.

Criterios de valoración cualitativa

Los ocho criterios siguientes están basados en las normas internacionales de evaluación y son compatibles con dichas normas: 1. Satisfacción de las necesidades

  • ¿Describe exactamente el informe lo que se evalúa e incluye la lógica de intervención y su evolución? ¿Abarca de forma clara el período necesario, los grupos y las zonas sociogeográficas objetivo? ¿Responde a todas las expectativas de los TdR?

2. Justificación del método

  • ¿Se describe el método de evaluación de forma suficientemente detallada? ¿Está adaptado al proyecto/programa? ¿Los indicadores están bien definidos y son los apropiados? ¿Se especifican en el informe las limitaciones, los riesgos y los posibles sesgos asociados al método de evaluación?

3. Fiabilidad de los datos

  • ¿Se explica con claridad el enfoque de recopilación de datos y es coherente con el diseño global de la evaluación? ¿Están claramente identificadas y cruzadas en el informe las fuentes de información? ¿Las herramientas de recopilación de datos (muestras, focus groups, etc.) se aplican de conformidad con los estándares de calidad? ¿Se han explicado y analizado las limitaciones y los sesgos relativos a la recopilación de datos?

4. Solidez del análisis

  • ¿Se basa el análisis en los datos recopilados y se centra en los supuestos causales más relevantes? ¿Se ha tomado debidamente en consideración el contexto? ¿Se han utilizado las aportaciones de las partes interesadas de forma equilibrada? ¿Se han identificado, debatido y presentado en el informe las limitaciones?

5. Credibilidad de las constataciones

  • ¿Se basan las constataciones en los datos y los análisis? ¿Se justifican y confirman las interpretaciones y extrapolaciones mediante argumentos sólidos? ¿Se analiza la posibilidad de generalizar las constataciones?

6. Validez de las conclusiones

  • ¿Son coherentes las conclusiones, se relacionan de forma lógica con los resultados y están exentas de consideraciones personales o partidistas? ¿Plasman los cinco criterios del Comité de Ayuda al Desarrollo (CAD)?

7. Utilidad de las recomendaciones

  • ¿Las recomendaciones son coherentes con las conclusiones? ¿Son operativas, realistas y suficientemente explícitas para poder ponerlas en práctica? ¿Aparecen detalladas y clasificadas por orden de prioridad, y formuladas para las distintas partes interesadas?

8. Claridad del informe

  • ¿Se incluye un resumen apropiado y conciso? ¿Está bien estructurado el informe? ¿Se adapta a los distintos públicos y no es más técnico de lo necesario? ¿Se incluye una lista de acrónimos?

La valoración cualitativa debe reforzar la credibilidad de la evaluación sin menoscabar su independencia. Por lo tanto, se centra en la manera en que se fundamentan y explican las conclusiones, y no en el contenido de dichas conclusiones. La valoración cualitativa no deben realizarla personas implicadas en el proyecto/programa evaluado.

El responsable de la evaluación y el responsable del equipo de evaluación comentan la valoración cualitativa. Si es preciso, se solicitarán mejoras.

Reunión de debate

El responsable de la evaluación somete el informe provisional a la consideración del grupo de referencia y, si lo cree oportuno, organiza y preside una reunión para presentarlo y debatirlo, prestando especial atención a la utilidad de las conclusiones y a la viabilidad de las recomendaciones.

En este estadio, el responsable de la evaluación también puede organizar un seminario de debate para tratar de las conclusiones y recomendaciones en un escenario más amplio. Puede contarse con la presencia del personal de la delegación, autoridades nacionales, otros socios de desarrollo, actores no estatales, la dirección del proyecto y/o expertos.

Informe final

El equipo de evaluación redacta una nueva versión del informe teniendo en cuenta los posibles comentarios. El responsable de la evaluación recibe una versión electrónica de las diapositivas presentadas por el equipo de evaluación.

El responsable comprueba que se hayan tomado adecuadamente en consideración los comentarios recibidos y que el informe, con el conjunto de sus anexos, esté listo para su distribución.

A continuación, realiza una valoración cualitativa final según los criterios de la ficha de valoración, escribe comentarios cualitativos para cada uno de los criterios y decide la valoración global.

Finalmente, envía la versión final del informe y de la valoración cualitativa a los miembros del grupo de referencia y les agradece su contribución.

Top

DIFUSIÓN Y SEGUIMIENTO

Informar a la jerarquía

El responsable de la evaluación envía el informe a la jerarquía junto con un breve resumen específico (de 1 o 2 páginas como máximo), en el que señala las conclusiones, lecciones y recomendaciones más relevantes, así como una nota de acompañamiento en la que indica cuándo y cómo se procederá a la difusión.

Difusión del informe

Al cabo de unos quince días, si la jerarquía lo solicita, el responsable publica el informe, el resumen y la ficha de valoración cualitativa al menos en un sitio web públicamente accesible. Se crean enlaces en otros sitios web relevantes.

El responsable de la evaluación envía el informe completo a los servicios pertinentes de la Comisión y al resto de usuarios de la evaluación.

Usuarios de la evaluación

Los decisores y los diseñadores del programa/proyecto utilizan la evaluación para reformularlo o renovarlo, para confirmar o modificar las orientaciones estratégicas o para reasignar los recursos (financieros, humanos y otros). Valoran las recomendaciones claras, sencillas y operativas basadas en elementos de prueba creíbles.
Los responsables y operadores utilizan los resultados de la evaluación para ajustar la gestión, la coordinación y/o sus interacciones con los beneficiarios y los grupos objetivo. Esperan información detallada y están capacitados para interpretar mensajes técnicos complejos.
Las instituciones que han financiado el proyecto/programa esperan una rendición de cuentas, es decir, una valoración global concluyente del proyecto/programa.
Las autoridades que realizan proyectos/programas relacionados o similares pueden utilizar la evaluación para extrapolar las lecciones aprendidas, al igual que las redes de expertos del sector en cuestión.
Por último, son también usuarios potenciales de la evaluación los actores de la sociedad civil, especialmente aquellos que representan los intereses de los grupos objetivo.

El responsable de la evaluación garantiza la actualización de la base de datos de informes de evaluación en la sede de la CE (Unidad de Evaluación).

Presentaciones

El responsable de la evaluación puede organizar una o varias presentaciones dirigidas a públicos como: redes de expertos del país o región, medios de comunicación, organismos de coordinación entre donantes y gobiernos y actores no estatales.

Puede solicitar al equipo de evaluación que participe en la presentación y, finalmente, también puede escribir un artículo para facilitar la difusión de las principales conclusiones y recomendaciones.

Seguimiento

En cuanto se empieza a difundir el informe de evaluación, el responsable elabora una lista de las recomendaciones con sus respectivos destinatarios.

Invita a todos los destinatarios a hacer comentarios por escrito sobre las recomendaciones. Un año después de la evaluación, se repite una operación similar. Después, el responsable de la evaluación reúne todos los comentarios recibidos y tiene la opción de simplemente archivarlos o, preferiblemente, publicarlos en el mismo sitio web que el informe.

Con esta etapa termina la evaluación.

Top