IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Comisión Europea > EuropeAid > Evaluación > Metodología > Guías de evaluación > Proyecto/programa
Last updated: 05/09/2006
EuropeAid

Evaluaciones de proyecto/programa
Guía para el equipo de evaluación

EuropeAid
 

Guía detallada

 


Metodología
• Guías de evaluación
• Bases metodológicas
• Herramientas de evaluación
• Ejemplos
• Glosario
• Sitemap

Esta guía
• Perspectiva
  general

• Responsable
• Equipo de
  evaluación

 
  FASE DE PREPARACIÓN

Para contratar al equipo de evaluación externo se sigue el procedimiento aplicable de contratación pública. Los candidatos preparan propuestas que deben responder a los términos de referencia (TdR) elaborados por ell servicio encargado de la asignación.

Hipótesis de base

A partir de los TdR y de su propio criterio como experto, el autor de la propuesta establece sus hipótesis de base:

  • Ámbitos en los cuales se precisa una competencia específica.
  • Posibilidad de movilizar a consultores con un perfil adecuado en el país o los países implicados.
  • Número y tipo de preguntas y posibles dificultades relacionadas.
  • Existencia de información sobre la puesta en práctica de la ayuda. Calidad y accesibilidad de dicha información.
  • Existencia de evaluaciones anteriores que puedan resultar útiles.

Tareas, competencias y presupuesto

Las hipótesis se formulan durante el diseño del método de evaluación, que define la estrategia de análisis y las herramientas aplicables. Las tareas se reparten de forma provisional entre:

  • Consultores del país o países socios y consultores internacionales.
  • Consultores de nivel sénior, intermedio y júnior.
  • Especialistas del sector o los sectores de intervención y especialistas en métodos de evaluación.

Se elige a los principales miembros del equipo de evaluación y se comprueba la ausencia de conflictos de intereses.

Se establecen el presupuesto y el calendario teniendo en cuenta las limitaciones fijadas en los términos de referencia.

Selección de los consultores locales

Los consultores locales pueden participar en la totalidad o en parte de las tareas de evaluación.

Ventajas:
  • Posibilidad de contar con una perspectiva local para la recopilación y análisis de los datos.
  • Dominio del idioma o idiomas locales.
  • Mayor facilidad para emplear enfoques participativos en los que intervengan los beneficiarios y los grupos objetivo.
  • Mayor flexibilidad del plan de trabajo y reducción de los costes de desplazamiento.
  • Contribución para reforzar las capacidades de evaluación en el país socio.
Riesgos:
  • Conflictos de intereses.
  • Dificultad para mantener la independencia respecto del gobierno en determinados países.

Propuesta(s)

El contenido de la propuesta o las propuestas técnicas y financieras es el siguiente:

  • Comprensión de los temas o las cuestiones evaluadas.
  • Principales opciones metodológicas.
  • Principales miembros del equipo de evaluación, indicando su especialización en los distintos campos y su función.
  • Calendario.
  • Presupuesto detallado.
  • Currículos de los miembros del equipo en formato estándar y declaraciones de ausencia de conflicto de intereses.
  • Currículo de un experto externo al equipo de evaluación que se encargará del control de calidad.
Top

  FASE INICIAL

La fase inicial comienza en el momento en que se contrata al equipo de evaluación y su duración se limita a unas semanas.

Recopilación de los documentos de base

Uno de los miembros del equipo se encarga de recopilar una serie de documentos de base, como por ejemplo:

  • Los documentos de programación (por ejemplo, la ficha de proyecto) y sus enmiendas en caso de haberlas.
  • La evaluación ex ante.
  • Los documentos de la CE que proporcionan el marco político en el que se sitúa el proyecto/programa (política de desarrollo y relaciones exteriores de la CE, política exterior de la UE, documento de estrategia país).
  • El documento de estrategia del gobierno (DELP, o PRSP por sus siglas en inglés).

Lógica del proyecto/programa

El equipo de evaluación estudia el marco lógico elaborado al inicio del ciclo del proyecto/programa. Si no existe tal documento, el responsable del programa debe reconstruirlo en retrospectiva. En caso necesario, el equipo de evaluación identifica los puntos que precisan ser aclarados y/o actualizados. Cualquier aclaración o actualización se indicará de forma transparente.

El análisis lógico del proyecto/programa abarca:

  • El contexto en el que se ha iniciado el proyecto/programa, sus oportunidades y limitaciones.
  • Las necesidades que deben satisfacerse, los problemas que hay que resolver y las dificultades que habrá que superar.
  • Las justificaciones oportunas para confirmar que esos problemas, necesidades o dificultades no podrían abordarse mejor en otro marco.
  • Los objetivos.
  • El tipo de contribuciones y actividades.

La jerarquía de objetivos y su traducción en diferentes niveles de efectos esperados son de especial importancia:

  • Objetivos operativos en términos de resultados a corto plazo para los beneficiarios directos y/o efectos directos (productos o servicios tangibles).
  • Objetivos específicos (finalidad del proyecto) expresados en términos de beneficios sostenibles para los grupos objetivo.
  • Objetivos generales expresados en términos de efectos ampliados.

Una vez realizado el análisis a partir de los documentos oficiales, el equipo de evaluación comienza a interactuar con los informantes clave de la dirección del proyecto/programa y con los servicios de la CE. Se recopilan los comentarios sobre la lógica del proyecto/programa.

Delimitación del campo

El campo de la evaluación abarca todos los recursos movilizados y las actividades ejecutadas en el marco del proyecto/programa (campo central).

Además, el equipo de evaluación delimita un perímetro más amplio (campo ampliado) que engloba las principales acciones relacionadas, es decir:

  • El resto de políticas, programas o proyectos de la CE y las políticas de la UE.
  • La estrategia del país socio (DELP), su política sectorial o programa.
  • Las intervenciones de otros donantes.

Una acción queda incluida en este perímetro en la medida en que concierne a los mismos grupos que el proyecto/programa evaluado.

Documentos de gestión

El equipo de evaluación consulta todos los documentos/datos de base en materia de gestión y seguimiento para conocer el proyecto/programa en profundidad, es decir:

  • Identificación completa.
  • Recursos programados, contratados y utilizados.
  • Evolución de los efectos directos.
  • Datos personales de los principales informantes.
  • Valoraciones realizadas en el marco del "seguimiento orientado a los resultados" (ROM).
  • Disponibilidad de los informes de progreso y de evaluación.

Preguntas de evaluación

El equipo de evaluación establece la lista de preguntas de evaluación basándose en los siguientes elementos:

  • Los temas que hay que analizar, según se indique en los TdR.
  • El marco lógico.
  • Los siete criterios de evaluación, de modo que queden adecuadamente reflejados.

Criterios de evaluación

Los siguientes criterios de evaluación corresponden a los estándares tradicionales para la evaluación de la ayuda al desarrollo formalizados por el CAD de la OCDE (los cinco primeros) y a los requisitos propios específicos de la CE (los dos últimos).

Criterios de evaluación

Pertinencia
  • Medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes.
Eficacia
  • Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa.
Eficiencia
  • Medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en resultados.
Sostenibilidad
  • Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo.
Impactos
  • Efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.
Coherencia
  • Este criterio puede tener varias dimensiones:
    1) Coherencia interna del programa de desarrollo de la Comisión.
    2) Coherencia / complementariedad con las políticas del país asociado y con las intervenciones de otros donantes.
    3) Coherencia / complementariedad con las otras políticas comunitarias
Valor agregado comunitario
  • ¿En qué medida se suman las ventajas aportadas por la acción de desarrollo a las que habrían resultado exclusivamente de la intervención de los Estados miembros en el país asociado?

Para cada pregunta se elabora un comentario explicativo en relación con los puntos siguientes

  • Origen de la pregunta y utilidad potencial de la respuesta.
  • Aclaración de los términos empleados.
  • Diseño metodológico indicativo (actualizado), dificultades previsibles y viabilidad.

En este sitio se propone una lista de preguntas tipo asociadas a los distintos criterios de evaluación.

Lista de preguntas de evaluación 

Reunión inicial

El responsable del equipo de evaluación presenta sus trabajos al grupo de referencia. La presentación se complementa con una serie de diapositivas y una lista comentada de preguntas de evaluación.

Orientaciones específicas:

Informe inicial

El equipo de evaluación prepara el informe inicial, que refleja y formaliza cada una de las etapas ya ejecutadas e incluye una lista de preguntas actualizada de acuerdo con los comentarios recibidos.

A continuación, cada pregunta se amplía con:

  • los indicadores que hay que utilizar para responderla y las fuentes de información correspondientes,
  • la estrategia de análisis,
  • subpreguntas.

Indicadores

El marco lógico engloba los "indicadores objetivamente verificables (IOV)" y las "fuentes de información" que serán de utilidad para estructurar la labor de los evaluadores. En la medida en que se sigan adecuadamente los IOV, con base de datos incluida, se convertirán en una parte fundamental de la base factual de la evaluación.
Los indicadores también pueden obtenerse en el marco de la valoración del desempeño si el proyecto/programa está vinculado a un marco de este tipo.
Asimismo, pueden desarrollarse en el marco de la evaluación como una parte de la encuesta de cuestionario, un análisis de la base de datos de gestión o un análisis de series estadísticas.
Los indicadores pueden ser cualitativos o cuantitativos.

Estrategia de análisis

Para responder a las preguntas de evaluación deben analizarse tanto los indicadores como los otros tipos de datos.

Pueden considerarse cuatro estrategias de análisis:

  • Análisis del cambio, que compara los indicadores a lo largo del tiempo y/o con los objetivos.
  • Meta-análisis, que extrapola las constataciones de otros estudios y evaluaciones tras haber comprobado exhaustivamente su validez y su aplicabilidad.
  • Análisis de atribución, que compara los cambios observados con un escenario "sin intervención", también denominado escenario contrafactual.
  • Análisis de contribución, que confirma o invalida los supuestos causales a partir de una cadena de razonamientos.

La primera estrategia es la menos restringida y, en principio, permite responder a todos los tipos de preguntas. Las tres últimas son más adecuadas para responder a preguntas sobre las relaciones causa-efecto.

En esta fase del proceso, los indicadores, las fuentes de información y las subpreguntas son provisionales. No obstante, el informe inicial incluye un plan de trabajo detallado para la etapa siguiente. Para a la fase siguiente se precisa la validación formal del informe.


Top

  FINALIZACIÓN DE LA PRIMERA FASE (DOCUMENTACIÓN)

Esta etapa puede prolongarse más o menos en función de la calidad de los documentos que deben analizarse.

Análisis de la documentación

El equipo de evaluación reúne y analiza todos los documentos disponibles (datos secundarios) directamente relacionados con las preguntas de evaluación:

  • Documentos de gestión, análisis y auditorías.
  • Estudios, trabajos de investigación o evaluaciones aplicadas a proyectos/programas similares en contextos similares.
  • Estadísticas.
  • Cualquier documento pertinente y fiable disponible en Internet.

No se trata en ningún caso de analizar todo el material disponible. Al contrario, se trata de que el equipo de evaluación busque únicamente los documentos que permitan responder a las preguntas de evaluación.

Entrevistas con los responsables

Los miembros del equipo de evaluación se entrevistan con las personas que participan o han participado en el diseño, la gestión y la supervisión del proyecto/programa. Las entrevistas se centran en la gestión del proyecto/programa, los servicios de la CE y los socios clave en el país o los países en cuestión.

En este estadio, el equipo de evaluación sintetiza sus constataciones en una serie de primeras respuestas parciales a las preguntas de evaluación. Se especifican claramente las limitaciones, así como los problemas que quedan por tratar y las hipótesis que habrá que comprobar en la fase de terreno.

Diseño metodológico

Se acaba de concretar el diseño metodológico previsto en el informe inicial y el equipo de evaluación pule su enfoque para cada una de las preguntas en una tabla de diseño.

Tablas de diseño por pregunta

En la primera fila de la tabla consta el texto de la pregunta, con un comentario que indica por qué se ha planteado dicha pregunta y, si es necesario, una aclaración de los términos empleados.

En las filas siguientes se desglosa la cadena de razonamientos mediante la cual el equipo de evaluación tiene previsto responder a la pregunta. Dicha cadena se describe mediante una serie de subpreguntas a las que deberá responder el equipo de evaluación, por ejemplo con la finalidad de:

  • señalar los cambios relacionados con los indicadores seleccionados,
  • valorar las relaciones causa-efecto,
  • contribuir a la formulación de juicios de valor.

Las subpreguntas se asocian a fuentes de información y a herramientas de evaluación.

Por lo general, se realizan varias versiones de las tablas de diseño:

  • Una versión preliminar en anexo al informe inicial.
  • Las sucesivas versiones provisionales elaboradas a lo largo de la fase de documentación, a medida que se va optimizando el diseño metodológico.
  • La versión final en anexo al informe de documentación.

Desarrollo de las herramientas

Se desarrollan las herramientas que se utilizarán durante la fase de terreno. Se establece una clasificación, desde las herramientas más sencillas y habituales como los extractos de bases de datos, los análisis de documentación y las entrevistas o visitas sobre el terreno, hasta las más técnicas como los focus groups, la modelización o los análisis de costes/beneficios. En este sitio web se presentan una serie de herramientas que se utilizan con frecuencia.

La caja de herramientas de la evaluación

Al diseñar el plan de trabajo, el equipo de evaluación puede consultar en estas guías la sección dedicada a la caja de herramientas de la evaluación. Incluye explicaciones concretas, recomendaciones y ejemplos sobre el modo de seleccionar y utilizar las herramientas de evaluación. También ofrece una ficha de valoración cualitativa específica para cada herramienta.

No obstante, hay que señalar que todas estas indicaciones se han preparado para evaluaciones de nivel superior (país, región, global) y es probable que haya que adaptarlas para emplearlas en el marco de evaluaciones de proyecto/programa.

El método de evaluación se basa en una adecuada combinación de herramientas, con la finalidad de:

  • cruzar las fuentes de información,
  • procurar que las herramientas se complementen entre sí,
  • solucionar las limitaciones de tiempo y costes.

Cada herramienta se desarrolla a través de una etapa de preparación para abarcar la totalidad o parte de los puntos siguientes:

  • La lista de las subpreguntas que deben responderse con una herramienta.
  • Las especificaciones técnicas de utilización de las herramientas.
  • Los riesgos previsibles que pueden dificultar o menoscabar la utilización de la herramienta y la forma de abordar estos problemas.
  • La forma en que va a utilizarse en el seno del equipo de evaluación y en el informe final.
  • Las personas responsables de la aplicación de cada herramienta.
  • Los criterios de calidad y el proceso de control de calidad.
  • El calendario.
  • Los recursos asignados.

De las preguntas de evaluación a las entrevistas

Las preguntas y subpreguntas de evaluación no deben copiarse y pegarse directamente en las guías de entrevistas ni en los cuestionarios.

Las respuestas a las preguntas de evaluación debe darlas el equipo de evaluación y no las partes interesadas.

El equipo de evaluación puede construir su respuesta a partir de las afirmaciones de las partes interesadas, pero únicamente basándose en cruces de datos y en un análisis minucioso.

Informe de la primera fase (documentación)

El equipo redacta una versión provisional del informe de la primera fase (documentación), que refleja y formaliza todas las etapas ya realizadas. Consta, como mínimo, de tres capítulos:

  • Un capítulo pregunta a pregunta que incluye la información reunida y sus limitaciones -si hay-, una primera respuesta parcial, los problemas que quedan por abordar, las hipótesis que hay que probar y la versión final de las tablas de diseño.
  • Un enfoque indicativo de la valoración general del proyecto/programa.
  • La lista de las herramientas que hay que aplicar durante la fase de terreno con las etapas de preparación ya finalizadas.

En caso necesario, el equipo de evaluación presenta el trabajo realizado en el marco de una reunión con el grupo de referencia, presentación que se complementa con una serie de diapositivas.


Top

  FASE DE TERRENO

Por lo general, cuando el trabajo se lleva a cabo a través de una misión de expertos internacionales, la duración de esta fase es de algunas semanas. El plazo puede prolongarse si intervienen consultores locales, con las consiguientes ventajas en términos de exhaustividad de la investigación y con una menor presión sobre las partes interesadas.

Preparación

El coordinador del equipo de evaluación elabora el plan de trabajo precisando las tareas que deben ejecutarse, los responsables, el empleo del tiempo, la manera de informar sobre todo ello y las exigencias respecto de la calidad.

El plan de trabajo debe ser suficientemente flexible para poder adaptarlo a las dificultades de última hora que puedan surgir sobre el terreno.

El equipo de evaluación entrega a las partes interesadas clave una lista que incluye a las personas a las que hay que entrevistar, las encuestas, el itinerario y los nombres de los responsables del equipo de evaluación.

Entrevistas y encuestas a personas externas

Una cuestión metodológica importante es saber en qué medida se han alcanzado los objetivos en términos de beneficios para los grupos objetivo y de impacto ampliado. La consecución de los objetivos debe juzgarse desde el punto de vista de la percepción que tienen los beneficiarios de los beneficios recibidos, y no desde la perspectiva de los responsables en términos de productos y resultados. Por lo tanto, las entrevistas y encuestas deben centrarse en las personas externas (beneficiarios y otros grupos concernidos), así como en las personas implicadas (responsables, socios, operadores de terreno). El plan de trabajo debe establecer claramente la proporción de personas implicadas y externas consultadas en el marco de las entrevistas y encuestas.

Para entrevistar a las personas externas es posible que haya que superar barreras lingüísticas y/o culturales.

Orientaciones específicas:

Reunión inicial

En la medida en que se considere oportuno, el equipo de evaluación propone una reunión informativa en el país/la zona durante los primeros días de trabajo sobre el terreno. Se tratarán los puntos siguientes:

  • Presentación del plan de trabajo y debate.
  • Acceso a los datos e informantes clave.
  • Tratamiento y resolución de los posibles problemas.

Recopilación y análisis de los datos

El equipo de evaluación pone en práctica su plan de recopilación de datos sobre el terreno. Las dificultades que puedan surgir se comentan de inmediato en el seno del equipo y, en caso necesario, se comentan las soluciones con el responsable de la evaluación.

Comportamiento ético durante la recopilación de datos

El equipo de evaluación no sólo tiene una responsabilidad frente al servicio encargado de la asignación, sino también frente a los grupos e individuos implicados en o concernidos por la evaluación, de modo que deben tenerse en cuenta los problemas siguientes:

  • Las entrevistas deben garantizar un cierto grado de informalidad y el respeto por las creencias, las costumbres y las tradiciones de las personas encuestadas.
  • Las entrevistas deben respetar el derecho de las personas a dar información de forma confidencial y deben garantizar que no podrán rastrearse las fuentes de información.
  • Los miembros locales del equipo de evaluación serán libres de asumir o no la responsabilidad del informe. En caso negativo, su función concreta se describirá con claridad en dicho informe.
  • El equipo de evaluación debe minimizar sus demandas en cuanto a duración de la entrevista.
  • Si bien los miembros del equipo de evaluación deben respetar otras culturas, también deben integrar los valores europeos, en particular respecto a las minorías y a grupos específicos como las mujeres. En este sentido, se toma como referencia la Declaración Universal de los Derechos Humanos de las Naciones Unidas (1948).
  • Los miembros del equipo de evaluación tienen la responsabilidad de poner de manifiesto los problemas y las constataciones directamente relacionados con los términos de referencia.
  • Las evaluaciones revelan a veces elementos de prueba relativos a malas prácticas. Los posibles problemas deberán comentarse con el responsable de la evaluación, por ejemplo sobre qué informar, cómo y a quién.

Todos los miembros del equipo de evaluación deben tener claro que la evaluación no es ni un sondeo de opinión ni una oportunidad para expresar ideas preconcebidas. El trabajo de terreno está destinado a recopilar elementos de prueba lo más sólidos posible, es decir:

  • Una observación directa de los hechos con grabaciones de audio, fotografías, etc. (elemento más sólido).
  • Afirmaciones de los informantes implicados personalmente.
  • Proxies, es decir, observaciones de hechos que permiten inferir otros hechos.
  • Informaciones aportadas indirectamente por informantes no implicados personalmente (elemento menos sólido).

Evitar y corregir sesgos

Los miembros del equipo de evaluación deben ser conscientes en todo momento de los sesgos potenciales, como por ejemplo:

  • El sesgo de confirmación, es decir, la tendencia a buscar elementos de prueba que confirmen los efectos esperados en lugar de elementos de prueba que los refuten.
  • El sesgo derivado de la empatía, es decir, la tendencia a crear una atmósfera agradable (empática) con la finalidad de conseguir un gran número de respuestas y de completar las entrevistas con rapidez, lo cual provoca que los entrevistados formulen afirmaciones demasiado optimistas sobre el proyecto/programa.
  • La autocensura, es decir, la tendencia de los entrevistados a no explicarse libremente y a no distinguir entre sus puntos de vista y los de sus instituciones o superiores, simplemente porque lo perciben como un riesgo.
  • La estrategia de los entrevistados, es decir, las afirmaciones deliberadamente exageradas con la finalidad de acercar las conclusiones de la evaluación hacia sus posiciones.
  • Las preguntas que inducen las respuestas, es decir, respuestas influidas por la forma en que se plantean las preguntas o por las reacciones del entrevistador ante las respuestas.

El equipo de evaluación refuerza la fiabilidad de los datos si:

  • plantea preguntas abiertas, con lo cual se evita el sesgo de confirmación;
  • mezcla preguntas positivas y negativas, con lo cual se evitan el sesgo derivado de la empatía y las preguntas que inducen las respuestas;
  • se concentra en todo momento en los hechos, lo cual permite cruzar los datos posteriormente y evitar el sesgo derivado de la estrategia del entrevistado;
  • garantiza el anonimato (y mantiene la promesa), con lo cual se evita la autocensura del entrevistado.

Control de calidad

El responsable del equipo de evaluación comprueba la calidad de los datos y los análisis a partir de los criterios de calidad previstos para cada herramienta y de principios generales como los siguientes:

  • Presentación detallada del método que realmente se ha puesto en práctica.
  • Conformidad con el plan de trabajo y/o justificación de las adaptaciones.
  • Respeto de la reglas de confidencialidad.
  • Autovaloración de la fiabilidad de los datos y de los sesgos.

Debriefing

El equipo de evaluación propone una reunión de debriefing al finalizar la fase de terreno y revisa los datos y los análisis para cruzar las fuentes de información, para valorar la solidez de la base factual y para identificar las constataciones más significativas.

Se organiza otra reunión de debriefing con el grupo de referencia para comentar la fiabilidad y el alcance de la recopilación de información y las constataciones más significativas.

El equipo de evaluación presenta una serie de diapositivas que reflejan el alcance y la fiabilidad de los datos recopilados, así como los primeros análisis y las primeras constataciones. Esta reunión ofrece la oportunidad de reforzar los elementos de prueba de la evaluación. No se presenta ningún informe previo ni se proporcionan actas posteriormente.

Orientaciones específicas:

Top

  FASE DE SÍNTESIS

Constataciones

El equipo de evaluación formaliza sus constataciones, que se derivan exclusivamente de hechos, datos, interpretaciones y análisis. Las constataciones pueden incluir afirmaciones causales (por ejemplo, "por la forma en que se han llevado a cabo, las colaboraciones han generado efectos sostenibles"). A diferencia de las conclusiones, las constataciones no incluyen juicios de valor.

A continuación, el equipo de evaluación lleva a cabo una revisión metódica de las constataciones con el objetivo de confirmarlas. En este estadio, la actitud es de autocrítica sistemática. Por ejemplo:

  • Si se utilizan análisis estadísticos, ¿superan las pruebas de validez?
  • Si las constataciones se extraen de estudios de caso, ¿las contradicen otros estudios de caso?
  • Si las constataciones provienen de una encuesta, ¿podrían estar influidas por un sesgo?
  • Si las constataciones provienen de una fuente de información, ¿aparecen contradicciones tras cruzar los datos con otras fuentes?
  • ¿Pueden explicarse las constataciones por factores externos ajenos al proyecto/programa evaluado?
  • ¿Se contradicen las constataciones con las lecciones aprendidas en otras experiencias? En caso afirmativo, ¿hay alguna explicación plausible?

Conclusiones

El equipo responde a las preguntas de evaluación mediante una serie de conclusiones que se derivan de los hechos y las constataciones. Además, pueden extraerse algunas conclusiones relacionadas con otros problemas que hayan surgido durante el proceso de evaluación.

Las conclusiones implican juicios de valor, llamados también valoraciones razonadas (por ejemplo, "las colaboraciones se han gestionado de un modo que ha permitido reforzar la sostenibilidad en comparación con enfoques anteriores"). Las conclusiones deben justificarse de forma clara y deben explicitar los puntos siguientes:

  • ¿Qué aspecto se valora del proyecto/programa?
  • ¿Qué criterio de evaluación se utiliza?
  • ¿Cómo se aplica realmente ese criterio de evaluación en este caso preciso?

El equipo de evaluación debe hacer el esfuerzo de formular un número limitado de conclusiones para garantizar su calidad. De este modo, se pueden aclarar o suprimir juicios de valor que no sean lo bastante transparentes o que no estén fundamentados en hechos.

El equipo de evaluación debe utilizar los criterios de evaluación de forma equilibrada y prestar una atención especial a la eficiencia y la sostenibilidad, dos criterios que tienden a pasarse por alto en muchas ocasiones.

El equipo de evaluación sintetiza sus conclusiones en una valoración global del proyecto/programa y redacta un resumen de las conclusiones, indicadas por orden de prioridad y relacionadas con las constataciones y los elementos de prueba. Esta valoración debe incluir las limitaciones metodológicas y, en caso de que existan, las posibles opiniones divergentes.

El responsable del equipo de evaluación comprueba que no existan sesgos sistemáticos en las conclusiones debido a opiniones positivas o negativas y se asegura de que las críticas puedan dar lugar a recomendaciones constructivas.

Recomendaciones y lecciones

El equipo de evaluación debe distinguir claramente entre las conclusiones que no conllevan una acción particular (por ejemplo, "las colaboraciones han sido gestionadas de un modo que ha permitido reforzar la sostenibilidad en comparación con enfoques anteriores") y las afirmaciones derivadas de las conclusiones que están orientadas a la acción, es decir:

  • Las lecciones aprendidas (por ejemplo "el éxito obtenido con las colaboraciones puede ser útil en otros países con contextos similares").
  • Las recomendaciones (por ejemplo "el éxito obtenido con las colaboraciones debería reforzarse en el siguiente ciclo de programación").

Las recomendaciones pueden presentarse como opciones, con sus pros y sus contras.

En la medida de lo posible, al presentar las recomendaciones es preciso:

  • demostrar su utilidad, su viabilidad y las condiciones necesarias para que tengan éxito,
  • detallar el marco temporal y los públicos,
  • clasificarlas y detallarlas por orden de prioridad.

El equipo de evaluación identificará de manera clara aquellos aspectos en los que ya se están aplicando los cambios deseados con la finalidad de evitar malas interpretaciones u ofensas innecesarias.

Informe provisional

El equipo de evaluación prepara la primera versión del informe, con igual extensión, formato y contenido que la versión final. Según el público objetivo, el informe se redacta:

  • con o sin terminología técnica,
  • con una presentación resumida o detallada del proyecto/programa y de su contexto.

En general, consta de 2-5 páginas de resumen, 40-60 páginas que constituyen el cuerpo del informe y los anexos.

Estructura del informe

Resumen

  • El resumen es un documento conciso e independiente que presenta el proyecto/programa evaluado, la finalidad de la evaluación, las principales fuentes de información y opciones metodológicas y las conclusiones, lecciones y recomendaciones clave.

Índices, tablas y acrónimos

Introducción

  • Descripción del proyecto/programa y de la evaluación. Se ofrecen al lector las explicaciones metodológicas necesarias para que pueda valorar la credibilidad de las conclusiones e identificar las limitaciones y los posibles puntos débiles de la evaluación.

Preguntas

  • Capítulo en el que se presentan las preguntas de evaluación junto con los elementos de prueba, la cadena de razonamientos y los juicios relacionados. Se da una respuesta breve y precisa a cada pregunta.

Valoración global

  • Capítulo en el que se sintetizan todas las respuestas a las preguntas de evaluación a modo de valoración global del proyecto/programa. Este capítulo articula todas las constataciones, conclusiones y lecciones de forma que quede reflejada su importancia y se facilite su lectura. El equipo de evaluación no debe limitarse únicamente a enumerar las preguntas de evaluación, el marco lógico o los criterios de evaluación.

Conclusiones, lecciones y recomendaciones

  • Las conclusiones y lecciones, al igual que las recomendaciones, se recogen en una lista, se clasifican y se detallan por orden de prioridad en pocas páginas.

Anexos

El responsable del equipo de evaluación comprueba que el informe satisfaga los criterios de calidad. Luego, lo somete a la consideración de la persona encargada del control de calidad antes de enviárselo al responsable de la evaluación.

Certificado de calidad

El responsable del equipo de evaluación adjunta un certificado de calidad al informe final provisional en el que se indica en qué medida:

  • se ha dado respuesta a las preguntas de evaluación,
  • se precisan las limitaciones en cuanto a fiabilidad y validez,
  • se aplican de forma explícita y transparente los criterios de evaluación a las conclusiones,
  • se ha utilizado la presente guía,
  • se han aplicado las herramientas y los análisis conforme a los estándares,
  • se han seguido los estándares en cuanto a registro lingüístico, estructura, ilustraciones, etc.

El responsable del equipo de evaluación y el responsable de la evaluación comentan la calidad del informe. Proponen mejoras si se les ha solicitado.

Orientaciones específicas en caso de programa multipaís

Debate sobre el informe provisional

El equipo de evaluación presenta el informe en el marco de una reunión del grupo de referencia. La presentación se complementa con una serie de diapositivas que muestran:

  • Las respuestas a las preguntas y las limitaciones metodológicas.
  • La valoración global, las conclusiones y las lecciones aprendidas.
  • Las recomendaciones.

Se recogen los comentarios con la finalidad de:

  • corroborar la base factual de las constataciones y las conclusiones,
  • comprobar la transparencia y la imparcialidad,
  • comprobar la utilidad y viabilidad de las recomendaciones.

Seminario de debate

En este estadio, el responsable de la evaluación puede decidir organizar un seminario para reunir a un amplio grupo de partes interesadas y comentar el contenido y la utilidad de las conclusiones en presencia del equipo de evaluación. Puede contarse con la presencia del personal de la delegación, las autoridades nacionales, la sociedad civil, la dirección del proyecto, otros donantes y/o expertos.

Los participantes reciben una versión actualizada del informe provisional.

Finalización del informe

El equipo de evaluación finaliza el informe teniendo en cuenta todos los comentarios recibidos. Se prepara también la versión final de los anexos en uno de los formatos siguientes:
- Anexos impresos al final del informe.
- Anexos en CD-ROM.

Anexos

Términos de referencia.
Lista de las actividades específicas valoradas.
Marco lógico y comentarios.
Método de evaluación detallado, que incluye:

  • las opciones seleccionadas, las dificultades y las limitaciones,
  • información detallada sobre las herramientas y los análisis,
  • la lista de las entrevistas,
  • la lista de los documentos utilizados.

Cualquier otro texto o tabla con hechos utilizados en la evaluación.

El informe se imprime según las instrucciones indicadas en los términos de referencia.

El responsable del equipo de evaluación recibe una valoración final de la calidad realizada por el responsable. En caso necesario, escribe una nota explicando los motivos por los cuales no se han reflejado determinadas solicitudes de mejora de la calidad, y esta respuesta se adjunta a la valoración de la calidad y al informe.


Top