Qu'est ce que l'évaluation d'une politique?

... l'évaluation n'est peut-être pas suffisamment intégrée dans la conception des politiques. Là encore, les pressions systémiques sapent souvent les bonnes intentions. Au début du processus politique, les fonctionnaires sont soumis à des pressions pour obtenir des résultats ; l'évaluation peut être considérée comme un problème à régler un autre jour.

Étape 1. Définir l'objectif et la faisabilité de l'évaluation

1. Objectif : Quel est l'objectif de l'évaluation ? Qui utilisera les résultats ? Comment les résultats seront-ils utilisés ? Quel type d'évaluation est le plus approprié pour répondre aux questions d'évaluation ? Quels sont les critères d'évaluation les plus pertinents pour répondre aux questions d'évaluation ?

Les exemples de questions d'évaluation suivants sont tirés de Davidson (2009), qui souligne l'importance de travailler avec les parties prenantes pour s'assurer que ce qu'il est important de savoir et de comprendre est mis en évidence dès le début :

1. Quelle était la qualité du contenu/de la conception du programme et dans quelle mesure a-t-il été mis en œuvre ?
2. Quelle a été la valeur des résultats pour les participants ? Pour l'organisation, la communauté, l'économie ?
3. Quels ont été les obstacles et les catalyseurs qui ont fait la différence entre une mise en œuvre et des résultats réussis ou décevants ?
4. Qu'a-t-on appris d'autre (comment ou pourquoi les effets ont été causés/prévenus, ce qui a bien fonctionné/ mal fonctionné, les leçons à tirer pour la prochaine fois) ?
5. Le programme valait-il la peine d'être mis en œuvre ? La valeur des résultats a-t-elle été supérieure à la valeur des ressources utilisées pour les obtenir ?
6. Dans quelle mesure le programme a-t-il représenté la meilleure utilisation possible des ressources disponibles pour obtenir des résultats de la plus grande valeur possible pour les participants et la communauté ?
7. Dans quelle mesure le programme, ou certains aspects de son contenu, de sa conception ou de sa mise en œuvre, sont-ils susceptibles d'être utiles dans d'autres contextes ? Dans quelle mesure est-il exportable ?
8. Quel est le degré de durabilité du programme ? Peut-il survivre/croître à l'avenir avec des ressources supplémentaires limitées ?

Remarque : Ne posez des questions d'évaluation que si vous êtes prêt à prendre des mesures en fonction des réponses. N'utilisez que les critères qui se rapportent aux questions auxquelles vous souhaitez obtenir une réponse.

2. Faisabilité : Les fonds sont-ils suffisants ? Les coûts et la faisabilité sont-ils à la hauteur des avantages probables de l'évaluation ?

Étape 2. Préparer les termes de référence (TdR) de l'évaluation

Veiller à ce que les éléments suivants soient inclus et clarifiés dans le cahier des charges :

• Contexte de l'évaluation : Décrit brièvement l'environnement politique, économique et social, le projet, ses objectifs et les résultats escomptés.
• Objectif de l'évaluation : explique l'objectif principal de l'évaluation, identifie le public visé par l'évaluation et la manière dont l'évaluation sera utilisée.
• L'étendue de l'évaluation : Spécifie la période, la couverture géographique et d'autres éléments pertinents.
• Critères d'évaluation (pertinence, efficacité, impact, efficience et/ou durabilité) et questions : Liste des critères sélectionnés et des questions qui s'y rapportent.
• Section sur la méthodologie : Décrit le type de collecte de données et les méthodes d'analyse proposées.
• Section sur les produits livrables : Spécifie les résultats tels que les rapports initiaux, les conclusions initiales, le projet de rapport et le rapport final.
• Calendrier : Spécifie les tâches et les étapes par date et par responsable.
• Spécifications sur les rôles : Spécifie les rôles des parties prenantes impliquées, y compris le rôle de gestion des comités de pilotage et l'approche participative adoptée pour impliquer les parties prenantes.
• Le budget : Prend en compte les évaluateurs internes ou externes et les coûts de la collecte de données (tels que les visites sur le terrain ou les coûts d'analyse des données).
• Thèmes transversaux : Liste des thèmes pertinents.

Pour choisir le type d'évaluation, il faut tenir compte des éléments suivants

1. Le calendrier, l'objectif, la portée et la nature de l'évaluation.

Calendrier de l'évaluation :

• Avant sa mise en œuvre, afin d'évaluer la validité de sa conception.
• Aux premiers stades de la mise en œuvre, pour fournir aux responsables un retour d'information instantané sur une opération en cours (cette approche est surtout utilisée dans les situations d'urgence).
• Pendant la mise en œuvre, dans le but d'améliorer les performances.
• À la fin de la mise en œuvre, au profit des parties prenantes qui ne sont pas nécessairement directement impliquées dans la gestion de la mise en œuvre (telles que les groupes parlementaires, la société civile).
• Après les activités, évaluer les résultats et les changements à court et à long terme qui en découlent.

Objectif de l'évaluation :

• Les évaluations formatives sont réalisées au cours de la mise en œuvre afin d'ajuster l'intervention. Elles s'adressent principalement aux gestionnaires de programmes et aux acteurs directs.
• Les évaluations sommatives sont menées à la fin de la mise en œuvre afin de fournir des informations sur son efficacité. Elles identifient les meilleures pratiques et sont souvent intéressantes pour les donateurs, la société civile et d'autres parties prenantes jouant un rôle de supervision.

Étendue de l'évaluation :

• L'évaluation des processus : Elle se concentre sur les activités et les résultats, afin d'évaluer les systèmes et les pratiques utilisés pour la mise en œuvre.
• L'évaluation des résultats : Elle se concentre sur les réalisations et les résultats, afin d'évaluer dans quelle mesure un projet a réussi à produire un changement.
• Évaluation de l'impact : Elle se concentre sur l'impact, afin de déterminer l'ensemble des effets à long terme du projet.

Évaluateurs :

• Évaluations internes : Menées au sein du gouvernement/des administrations/des institutions par des acteurs qui n'ont pas participé à la conceptualisation ou à la mise en œuvre de l'intervention.
• Évaluations externes : Commandées à des entités externes, telles que des sociétés nationales d'évaluation, des organisations internationales, des organisations de la société civile et des institutions nationales des droits de l'homme (INDH). Bénéficier d'une plus grande impartialité.
• Évaluations conjointes : Élaborées conjointement par des représentants du gouvernement et des évaluateurs externes.

b) Le choix d'un mode d'évaluation interne ou externe (Conley-Tyler, 2005) :

- Coût ;

- Disponibilité ;

- Connaissance du programme et des opérations ;

- Connaissance du contexte ;

- Capacité à collecter des informations ;

- Flexibilité ;

- Compétences et expertise spécialisées ;

- Objectivité et objectivité perçue ;

- Responsabilité de l'utilisation des fonds publics ;

- Volonté d'être constructif et d'apporter de nouvelles perspectives ;

- Utilisation de l'évaluation (par exemple, les évaluateurs internes peuvent être mieux placés pour faire accepter les résultats et promouvoir leur utilisation à long terme) ;

- Diffusion des résultats ;

- Questions éthiques ;

- Investissement organisationnel.

Le Canada : Afin d'éclairer l'élaboration des politiques et la conception des programmes, Immigration, Réfugiés et Citoyenneté Canada (IRCC, anciennement Citoyenneté et Immigration Canada, CIC), dispose d'une politique et d'une fonction d'évaluation interne. IRCC joue un rôle stratégique en fournissant des résultats, des conclusions et des recommandations objectifs, opportuns et fondés sur des données probantes concernant la pertinence et les performances des programmes, des politiques et des initiatives. La division de l'évaluation de l'IRCC mène des évaluations de manière indépendante et les met à la disposition des ministres, des organismes centraux et des administrateurs généraux afin de soutenir l'amélioration des politiques et des programmes, la gestion des dépenses, la prise de décision au sein du cabinet et l'établissement de rapports publics.

Source : Politique d'évaluation du CIC.

L'OCDE : La Direction de la coopération au développement de l'Organisation de coopération et de développement économiques (OCDE), par l'intermédiaire de son réseau du Comité d'aide au développement (CAD) sur l'évaluation du développement  , évalue les programmes de développement dans le monde entier. Le réseau est composé d'États membres et d'organisations multilatérales qui ont établi un ensemble de critères d'évaluation et de principes d'utilisation.

Source : Réseau du CAD sur l'évaluation du développement : Réseau du CAD sur l'évaluation du développement.

Exemple 1 : Nouvelle-Zélande - le projet pilote de visa d'étudiant de type pathway

Immigration New Zealand, en consultation avec le secteur de l'éducation internationale, a mis au point le visa Pathway pour les étudiants internationaux qui souhaitent suivre plus d'un cours ou programme d'études, dans un ou plusieurs établissements, en Nouvelle-Zélande. Les objectifs du visa Pathway sont les suivants : offrir des gains d'efficacité à Immigration New Zealand et au secteur de l'enseignement international ; offrir aux prestataires d'enseignement un avantage supplémentaire lorsqu'ils font la promotion de la Nouvelle-Zélande en tant que destination d'études ; augmenter la rétention des étudiants internationaux de grande qualité.

Le visa Pathway a été expérimenté du 7 décembre 2015 au 30 novembre 2018 et une évaluation intermédiaire a été réalisée en août 2017. Le ministère des affaires, de l'innovation et de l'emploi dispose de sa propre capacité d'évaluation interne. L'évaluation s'est appuyée sur les résultats d'enquêtes menées auprès d'étudiants internationaux et de conseillers en immigration, sur des entretiens avec des prestataires de services éducatifs, des agents d'immigration et des groupes de défense, ainsi que sur l'analyse des données administratives relatives aux visas. Le rapport présente la méthodologie d'évaluation et ses objectifs.

Objectifs et questions d'évaluation

L'objectif de l'évaluation était de déterminer le niveau d'intérêt pour le nouveau visa, son fonctionnement et la mesure dans laquelle les objectifs ont été atteints. Les questions clés de l'évaluation étaient les suivantes

1. Quel a été le taux d'utilisation du visa par les étudiants et les prestataires éligibles, et quels sont les obstacles à cette utilisation ?

2. Quelles sont les caractéristiques et les parcours des étudiants qui utilisent le visa et de ceux qui ne l'utilisent pas mais qui peuvent le faire ?

3. Dans quelle mesure la politique fonctionne-t-elle du point de vue du processus, y compris la mise en place de dispositifs de soins pastoraux, et qu'est-ce qui pourrait être amélioré ?

4. Dans quelle mesure les objectifs de la politique sont-ils atteints ?

5. Quels sont les résultats immédiats/intermédiaires du visa, y compris les éventuelles conséquences imprévues ?

Méthode d'évaluation

Cette évaluation a utilisé une approche mixte, comprenant l'analyse de données administratives, des enquêtes en ligne et des entretiens avec des agents d'immigration, des prestataires d'éducation et des groupes de défense (représentant des prestataires de différents secteurs de l'éducation). Dans la mesure du possible, les méthodes ont été choisies pour permettre la triangulation des données afin d'atteindre les objectifs de l'évaluation.

Source : Gouvernement néo-zélandais - Ministère des affaires, de l'innovation et de l'emploi (MBIE) Hīkina Whakatutuki, 2018.

Exemple 2 : Évaluation du projet pilote de migration circulaire "Blue Birds" aux Pays-Bas

Il s'agit d'un exemple similaire de mise en œuvre et d'évaluation d'un projet pilote, cette fois aux Pays-Bas, afin de mieux comprendre le potentiel de la politique. Dans cet exemple, les résultats ont été médiocres, c'est pourquoi l'évaluation s'est concentrée à la fois sur ce qui n'a pas fonctionné et sur les circonstances nécessaires à la réussite d'un tel projet pilote. Le texte suivant est extrait de l'introduction du rapport :

Objectifs et questions d'évaluation

L'objectif de l'évaluation était de comprendre le processus du projet pilote de migration circulaire "Blue Birds" et les défis qui se sont posés, ainsi que les leçons à tirer pour d'éventuels projets ou programmes de migration circulaire ou temporaire de main-d'œuvre. La principale question à laquelle l'étude a tenté de répondre était la suivante : Pourquoi la Fondation HIT n'a-t-elle pas pu atteindre son objectif de 160 migrants travaillant dans des postes vacants réguliers aux Pays-Bas dans des secteurs en pénurie après un an ?

Pour répondre à cette question principale, l'étude a posé les questions suivantes et y a répondu :

1. Dans quelle mesure le cadre d'affectation (choix des pays, limitations concernant la durée du séjour, le niveau d'éducation, exclusion des travailleurs migrants hautement et faiblement qualifiés, exclusion des travailleurs du secteur de la santé, concentration sur les zones de pénurie d'emploi) a-t-il influencé le fait que les objectifs fixés n'ont pas été atteints ?

2. Dans quelle mesure des facteurs externes tels que la crise économique et les changements de parlement en 2010 ont-ils influencé le processus de mise en œuvre du projet pilote de migration circulaire ?

3. Dans quelle mesure la qualité du processus de mise en œuvre a-t-elle directement conduit à la non-réalisation des objectifs ?

4. Quels enseignements peut-on tirer du projet pilote ?

5. Dans quelles conditions un nouveau projet pilote de migration circulaire aurait-il une chance de réussir ?

Méthode d'évaluation

Pour réaliser son évaluation, l'équipe d'évaluation a procédé à un examen approfondi de la littérature, des documents gouvernementaux et de la documentation de projet, ainsi qu'à des entretiens avec 50 parties prenantes clés au cours d'une période de deux mois. Des entretiens avec des représentants d'autres pays (tels que la GIZ en Allemagne) ont été menés lorsque cela était nécessaire pour comprendre les principaux enseignements tirés de leurs projets de migration circulaire/temporaire. Un mélange de personnes issues de différentes parties du projet a été interrogé afin de garantir la triangulation et de comprendre les besoins et les perspectives de toutes les parties. Des entretiens ont été menés avec plusieurs membres de la Fondation HIT qui a mis en œuvre le projet. Des entretiens ont également été menés avec des membres du comité de pilotage gouvernemental, comprenant des représentants de chacun des ministères concernés, et des membres du comité consultatif du projet pilote. Des entretiens ont également été menés avec des recruteurs, des entreprises et des migrants impliqués dans le projet.

Source : Siegel et Van der Vorst, 2012 [texte modifié pour plus de clarté].

1. Gérer une évaluation

Superviser l'élaboration d'un plan de travail sur la base d'un cahier des charges :

• Superviser le plan de travail tout en maintenant la communication avec les principales parties prenantes ;
• Déterminer comment les résultats seront communiqués, car la direction et les parties prenantes du projet doivent examiner le rapport d'évaluation avant qu'il ne soit finalisé.

Assurer une évaluation de qualité : S'assurer que les normes institutionnelles, les procédures et les normes techniques sont respectées.

2. L'utilisation et le suivi d'une évaluation :

Utiliser l'évaluation : Élaborer une matrice permettant aux cadres supérieurs et aux parties prenantes d'examiner les résultats et d'indiquer s'ils acceptent les recommandations, s'ils ne les acceptent pas ou s'ils les acceptent partiellement ; décrire les mesures de suivi à prendre, avec des échéances concrètes et l'attribution des responsabilités.

• Assurer le suivi ou la surveillance de la mise en œuvre des recommandations : Définir une approche de communication pour diffuser les résultats et les recommandations parmi les parties prenantes, en gardant à l'esprit les perspectives potentiellement concurrentes et le meilleur moment pour agir sur les recommandations

• Better Evaluation, Guide du gestionnaire pour l'évaluation, 2016. Ce guide vise à soutenir la prise de décision tout au long du processus d'évaluation, depuis la planification de son objectif et de sa portée jusqu'au soutien à l'utilisation de ses résultats, y compris la gestion des évaluations menées par des évaluateurs externes et/ou internes et pour différents types d'interventions (par exemple, les projets, les programmes, les politiques et les groupes de projets).
• Bamberger, M., et al, Shoestring evaluation : Designing impact evaluations under budget, time and data constraints, 2004. Ce guide présente des idées pour mener une évaluation avec un budget, un temps limité et des données potentiellement limitées, tout en assurant certaines garanties quant à la validité.
• Steinberg, M., A. Jacobson et K. Powadiuk, Guide de l'évaluation de l'influence des politiques : Ressources sélectionnées et études de cas, 2015.
• Dufvenmark, F., Approche de la programmation fondée sur les droits, 2015. Bien qu'élaborées pour les activités de l'OIM, les sections sur le suivi et l'évaluation, axées sur la pratique, s'appliquent également à la mise en œuvre des politiques par les États.