| |
|
Qual é a finalidade?
Estabelecer o método que permitirá à equipa de avaliação externa responder às perguntas e chegar a uma apreciação global. Além das perguntas seleccionadas, dos critérios de apreciação e dos indicadores e metas, o método de avaliação inclui:
- Uma estratégia de recolha e análise de dados
- As áreas de investigação seleccionadas
- Uma série de instrumentos especificamente desenvolvidos
- Um plano de trabalho.
|
|
Quando se faz?
A equipa de avaliação começa por conceber um método provisório, a partir do momento em que redige a sua proposta, de modo a poder preparar estimativas de custo. Neste momento, um pressuposto chave consiste em estimar em que medida é que a avaliação confiará em dados secundários ou envolverá trabalho específico de recolha de dados no terreno.
As linhas principais do método são então estabelecidas durante a fase inicial, de acordo com as perguntas de avaliação, os critérios de apreciação, os indicadores, os instrumentos de recolha de dados e a estratégia de análise.
O método é depurado e finalizado antes da fase de trabalho de campo e descrito na sua totalidade no relatório da primeira fase (documental).
O relatório final inclui uma curta e precisa apresentação do método de avaliação e, caso existam, as suas limitações. O método é descrito detalhadamente em anexo, incluindo a formulação inicial, os problemas surgidos, as soluções encontradas, o método realmente aplicado, e suas limitações.
O método de avaliação é desenhado através de um processo iterativo em três níveis:
- Uma abordagem pergunta por pergunta, que permite que a equipa de avaliação prepare as tabelas de formulação com o objectivo de responder adequadamente a cada pergunta.
- Uma abordagem global que seja transversal a todas as perguntas, e que permita à equipa de avaliação optimizar o método de avaliação como um todo, respeitando os limites de tempo e restrição de recursos.
- Uma série de instrumentos desenvolvidos especificamente.
|
|
Tabelas de formulação por pergunta
Elabora-se uma tabela de formulação para cada pergunta, com as seguintes linhas:
- Texto da pergunta
- Razões pelas quais a pergunta foi feita
- Âmbito da pergunta
- Critério(s) de apreciação
- Indicadores
- Metas
- Subperguntas, que descrevem a cadeia de argumentos através da qual a equipa de avaliação pensa responder à pergunta, por exemplo:
- Como mudaram os indicadores durante o período avaliado?
- Em que medida é possível considerar esta mudança um êxito?
- Em que medida é que as actividades da CE contribuíram para explicar as mudanças observadas? Através de que mecanismos? Existem elementos que demonstrem que estes mecanismos têm funcionado como era esperado?
- Em que medida é que as provas apoiam explicações alternativas? Existe alguma prova de que a mudança observada é devida a outros parceiros de desenvolvimento, a outras políticas da CE, ao Governo ou a outros factores externos?
- Estratégia de análise, que descreve os tipos de dados a recolher e processar para responder a uma pergunta. Por exemplo:
- Análise da mudança, que mede e/ou qualifica os indicadores e os compara num período de tempo e em relação às metas.
- Meta-análise, que extrapola os resultados de outras avaliações ou estudos, após a comprovação rigorosa da sua validade e a possibilidade de transferência.
- Análise de atribuição, que compara as mudanças observadas com um cenário "sem intervenção" também chamado cenário em ausência de intervenção
- Análise de contribuição, que confirma, ou não, pressupostos de causa-efeito com base numa cadeia de argumentos.
- As áreas de investigação, onde os dados devem ser recolhidos, por exemplo:
- Os países a visitar no caso de uma avaliação temática.
- Os projectos a analisar em profundidade para responder a uma pergunta sobre um sector.
- Os locais (distritos, aldeias) onde serão inquiridas amostras de beneficiários.
- As principais fontes de informação a utilizar para responder à pergunta, e os instrumentos associados.
|
|
Formulação global
A equipa de avaliação prepara uma lista com todos os instrumentos de avaliação sugeridos nas tabelas de formulação, e confirma que cada instrumento projectado é adequado para cumprir a função exigida, em concordância com a estratégia de análise seleccionada, e se adapta às restrições identificadas.
Cada instrumento é também considerado do ponto de vista da sua capacidade para ajudar a responder a várias perguntas de forma transversal, e em combinação com outros instrumentos.
Durante o processo de progressiva optimização da concepção metodológica, a equipa de avaliação examina todas as tabelas de formulação de maneira transversal, para elaborar a sua síntese final, ou seja, uma apreciação global que deriva das respostas a todas as perguntas de avaliação. Outros instrumentos adicionais podem ser desenvolvidos especificamente com esta finalidade.
No processo de formulação do seu método, a equipa de avaliação tenta distribuir os recursos de maneira apropriada entre perguntas e subperguntas. Algumas perguntas merecem ser tratadas com instrumentos caros, enquanto para outras é suficiente uma simples análise documental e algumas entrevistas com funcionários da CE e do Governo.
Em seguida, a equipa de avaliação explica e justifica as suas principais decisões técnicas, com opções alternativas, vantagens e desvantagens, e riscos associados.
|
|
Desenvolvimento dos instrumentos
Este sítio web apresenta doze instrumentos de uso frequente, com exemplos de utilização no contexto da avaliação da ajuda ao desenvolvimento.
Cada instrumento implica uma etapa preparatória, como a redacção de um guião de entrevista, a elaboração e o teste de um questionário, etc. O desenvolvimento dos instrumentos passa por vários ou todos os passos seguintes:
- Listagem das perguntas e subperguntas que o instrumento deve ajudar a responder
- Especificações técnicas para a aplicação do instrumento
- Riscos previsíveis que podem comprometer ou debilitar a aplicação do instrumento, e maneira de lidar com eles
- Modalidade de relatório dentro da equipa de avaliação
- Modalidade de relatório no relatório final
- Responsabilidades na aplicação do instrumento
- Critérios de qualidade e processo de controlo de qualidade
- Calendário
- Recursos distribuídos.
O plano de trabalho para recolha e análise dos dados abrange todos os instrumentos de avaliação. Estes são progressivamente aperfeiçoados para facilitar a coordenação dentro da equipa de avaliação, com o gestor da avaliação e com os principais detentores de interesse. No entanto, devem ser suficientemente flexíveis para responder a dificuldades de última hora que possam surgir no terreno.
|
|