IMPORTANT LEGAL NOTICE - The information on this site is subject todisclaimercopyright notice
Evaluation
  EUROPA > Comissão Européia > EuropeAid > Avaliação > Métodos > Como
Last updated: 08/02/2006
EuropeAid

Bases metodológicas
Processo de avaliação (como?)

EuropeAid
 

Perguntas de avaliação

 


Metodologia
• Directrizes para avaliação
• Bases metodológicas
• Ferramentas de avaliação
• Exemplos
• Glossário
• Mapa do site

Métodos
• O que
• Quando
• Por quê
• Quem
• Como

Como
• Visão geral
• Estratégia
• Questões
• Referências
• Desenho
• Recolha de dados
• Análise
• Apreciação
• Garantia de qualidade

Questões
• Visão geral
• Seleção
• Preparação
• Exemplos

 
 

QUAL É A FINALIDADE?

Focar o trabalho de avaliação

As perguntas de avaliação servem para focar o trabalho de avaliação numa quantidade limitada de pontos-chave para permitir uma melhor reflexão sobre os critérios de apreciação (também chamada avaliação fundamentada), uma recolha de dados mais definida, uma análise mais aprofundada e um relatório mais útil.

Focar uma avaliação nalgumas perguntas-chave é particularmente útil quando a intervenção avaliada é multidimensional. Neste caso, se quisesse tratar de todas as dimensões da ajuda através de todos os critérios de avaliação, o trabalho seria extremamente caro ou demasiado superficial. Por isso, é preciso fazer escolhas.


Top

Controlar as escolhas

Quando a intervenção avaliada é multidimensional, o relatório final e o resumo estarão concentrados num número reduzido de pontos através de uma série de escolhas. As perguntas de avaliação servem para debater e controlar estas escolhas.

Na ausência de perguntas, pode acontecer que as escolhas sejam feitas de maneira implícita com riscos de enviesamento. As escolhas podem ser feitas com base na informação mais facilmente disponível, por influência dos diferentes detentores de interesse ou pelos preconceitos da equipa de avaliação.



Para favorecer a apropriação

Se é necessário fazer escolhas, é preferível fazê-las tendo em conta as expectativas dos destinatários do relatório. Isto favorece uma melhor apropriação e aumenta a probabilidade de utilização do trabalho.


Top

DE ONDE SURGEM AS PERGUNTAS?

Perguntas deduzidas directamente da lógica

A lógica de intervenção é um conjunto de pressupostos para explicar a maneira como a intervenção alcançará os seus objectivos e produzirá os efeitos esperados. Os pressupostos vinculam as actividades aos produtos e aos resultados e depois a vários níveis sucessivos de impactos esperados, até aos mais globais, como a redução da pobreza.

A lógica de intervenção é reconstruída com base nos objectivos que aparecem nos documentos oficiais que estabelecem a intervenção. Sempre que os objectivos sejam declarados em termos políticos de um modo pouco preciso, devem ser traduzidos em efeitos esperados da maneira mais concreta possível. Também podem ser considerados os efeitos esperados implicitamente.

Dependendo do grau de heterogeneidade da intervenção, a quantidade de efeitos esperados pode variar de apenas alguns a mais de cem. A lógica de intervenção apresenta os efeitos esperados de uma das seguintes maneiras:

  • Diagrama de efeitos esperados (intervenção multidimensional com doze ou mais efeitos esperados)
  • Diagrama global e sub-diagramas (intervenção altamente multidimensional)

Uma vez que a equipa de avaliação identifica os efeitos esperados e os pressupostos de causa-efeito entre eles, é possível fazer todos os tipos de perguntas como:

  • Em que medida [a actividade A] contribuiu para [gerar o efeito X]?
  • Em que medida [as actividades A, B, C, etc.] contribuíram para [gerar o efeito X]?
  • Em que medida [as actividades A, B, C, etc.] contribuíram para [gerar os efeitos X, Y, Z, etc.]?

Estas perguntas derivam directamente da lógica de intervenção num formato-padrão e pertencem à família da eficácia (alcançar um ou mais efeitos esperados).


Top

Outras perguntas deduzidas da lógica de intervenção (indirectamente)

Cada pergunta-padrão pode ser reformulada de várias maneiras:
... especificando o âmbito, por exemplo:

  • Em que medida a intervenção contribuiu [e mais especificamente a aplicada através do instrumento A ou do procedimento B] para gerar o efeito X?
  • Em que medida a intervenção [a coordenação com outros parceiros de desenvolvimento] contribuiu para gerar o efeito X?

... ou especificando o efeito correspondente, por exemplo:

  • Em que medida a intervenção contribuiu para gerar o efeito X [para os grupos mais pobres da população]]?

... ou mudando o critério de avaliação, por exemplo:

  • Em que medida a intervenção contribuiu para gerar o efeito X [com grandes possibilidades de o efeito persistir após o fim da ajuda]? (sustentabilidade)
  • Em que medida a intervenção contribuiu para gerar o efeito X [com um custo limitado comparado com...]?
  • Quando a intervenção tem como meta o efeito X, em que medida o consegue alcançar [corresponde às necessidades da população em questão]? (relevância)
  • Quando a intervenção tem como meta o efeito X, em que medida o consegue alcançar [é compatível ou contrária aos objectivos de outras políticas da CE]? (coerência/complementaridade).
  • Quando a intervenção tem como meta o efeito X, em que medida o consegue alcançar [agrega valor em comparação com uma intervenção semelhante posta em prática por Estados-membros]? (valor acrescentado para a comunidade).

Top

Outras perguntas

As seguintes perguntas não requerem uma prévia verificação da lógica de intervenção porque dizem respeito a efeitos que não figuram nela.

Perguntas sobre os impactos não esperados, por exemplo:

  • Em que medida a intervenção [a actividade A, o instrumento B, o procedimento C] gerou efeitos não esperados? Se assim for, quem beneficiou e quem não beneficiou?

Perguntas sobre temas transversais como o género, o ambiente, a boa governação, ou os direitos humanos, por exemplo:

  • Em que medida a CE tem integrado [o tema transversal A] na formulação e implementação das intervenções?

Top

Exemplos

Este sítio propõe exemplos de perguntas para as seguintes situações:


Top

SELECCIONAR AS PERGUNTAS-CHAVE

Devido a limitações técnicas, não é possível fazer múltiplas perguntas ou, mais precisamente, dar respostas sólidas a um grande número de perguntas. Este guia recomenda seleccionar um máximo de dez perguntas-chave.

As perguntas devem ser seleccionadas em função da utilidade provável das respostas, como por exemplo:

  • A resposta interessa às pessoas que formularão uma nova intervenção para o próximo ciclo.
  • A resposta permitirá provavelmente aprender lições aplicáveis a outros sectores ou países.
  • A resposta será útil para um relatório da Comissão destinado à prestação de contas.
  • A resposta não é conhecida previamente.
  • A resposta será obtida mais tarde.

As perguntas devem ainda ser seleccionadas em função da sua viabilidade (ou capacidade para serem avaliadas). A pergunta é pouco viável quando envolve muitos problemas, por exemplo:

  • Os termos essenciais da pergunta não estão devidamente fixados e não são compreendidos da mesma maneira por todos.
  • As relações de causa-efeito não são claras e os peritos não estão familiarizados com elas.
  • A informação disponível é muito pobre.
  • O acesso ao terreno e à recolha de novos dados trará problemas significativos.

Se a viabilidade é pouca e a pergunta corresponde a uma exigência política, devem-se expor detalhadamente as razões pelas quais é difícil responder à pergunta. Isto é parte da utilidade da avaliação.

Top

FORMULAR UMA PERGUNTA

Ao formular uma pergunta, é necessário assegurar-se de que diz respeito à avaliação e não à auditoria ou acompanhamento.

Depois, especificar:

  • O âmbito, ou seja, o que é apreciado, por exemplo a totalidade da intervenção, ou uma actividade, um instrumento ou procedimento.
  • O efeito ou efeitos correspondentes.
  • A família de critérios de avaliação a que pertence a pergunta: relevância, eficácia, eficiência, sustentabilidade, impacto, valor acrescentado para a comunidade ou coerência/complementaridade.

Nesta etapa é necessário garantir que a pergunta seja formulada de maneira clara e concisa.

Para fins informativos, pode-se acrescentar todos ou parte dos seguintes pontos:

  • Detalhes sobre o âmbito da pergunta.
  • Definições dos principais termos utilizados
  • Detalhes sobre o tipo de critério
  • Subperguntas a considerar nas respostas às perguntas
  • Natureza da utilização pretendida
  • Estudos e avaliações a não duplicar

Top

QUEM SELECCIONA AS PERGUNTAS?

O gestor da avaliação define as principais áreas que a avaliação terá de cobrir e estabelece a quantidade máxima de perguntas. Estas especificações são incluídas nos TdR. Consultam-se os membros do grupo de referência antes de finalizar os TdR.

A equipa de avaliação externa analisa a lógica de intervenção. Com base nos TdR e na sua análise, propõe uma primeira versão da lista de perguntas.

As perguntas são apresentadas e discutidas durante a reunião inicial do grupo de referência. Com base nos comentários feitos durante e depois da reunião, a equipa de avaliação termina as perguntas.

Estas são então validadas pelos membros do grupo e pelo gestor da avaliação.

As perguntas validadas são consideradas contratuais e são anexas aos TdR.


Top