LIGNES DIRECTRICES RELATIVES A L'EVALUATION DES PROJETS DU FONDS DE L’OIM POUR LE DEVELOPPEMENT 2020

TELECHARGER PDF

 

EVALUATION DES PROJETS DU FONDS DE L’OIM POUR LE DEVELOPPEMENT

Contexte

  1. Depuis 2017, le Fonds de l’OIM pour le développement (« le Fonds ») exige que tous les projets prévoient la réalisation d’une évaluation, de préférence entre 6 et 12 mois suivant l’achèvement du projet. Cette évaluation vise spécifiquement à apprécier la pertinence de la conception du projet, la cohérence des interventions au regard d’autres interventions, l’efficacité et les résultats du projet, l’efficience de sa gestion et de sa mise en œuvre, ainsi que son impact et sa viabilité. 
  1. Les évaluations promeuvent la transparence et la responsabilité, ce qui aide le Fonds à prendre des décisions quant à son utilisation comme financement de démarrage et quant à la gestion des projets, et à préciser l’interprétation et la classification des critères de financement ainsi que les stratégies régionales de versement. 

 

Planification et administration de l’évaluation

  1. Lors de l’élaboration du projet, le concepteur de projet doit inclure dans la partie opérationnelle du budget le coût de son évaluation, qui représentera au moins cinq pour cent (5 %) du montant total du budget. Le budget alloué est strictement réservé à l’évaluation du projet et ne pourra pas être utilisé avant l’achèvement du projet ou la réalisation de l’évaluation.  
  1. Les fonctionnaires des bureaux régionaux chargés du suivi et de l’évaluation peuvent apporter leur concours à l’évaluation, auquel cas seules les dépenses afférentes aux billets d’avion et à l’indemnité journalière de subsistance devront être budgétisées. Cependant, leur participation doit être coordonnée avec eux dès la phase d’élaboration du projet, afin qu’ils puissent inscrire ces tâches dans leurs plans d’évaluation. Sinon, le bureau extérieur devra faire appel à d’autres membres du personnel de l’OIM ou à des consultants externes. L’Unité d’évaluation du Bureau de l’Inspecteur général (OIG), de même que les fonctionnaires des bureaux régionaux chargés du suivi et de l’évaluation peuvent aider à trouver des solutions en interne ou à engager un évaluateur externe. Selon l’option retenue, les coûts estimatifs de l’évaluation doivent représenter au maximum cinq pour cent (5 %) du montant total du budget. 
  1. Durant la phase finale de la mise en œuvre du projet, et surtout si l’administrateur de projet n’est plus disponible après l’achèvement de ce dernier pour superviser une évaluation a posteriori, il incombe au bureau de l’OIM chargé de la gestion du projet d’en coordonner l’évaluation avec le Fonds de l’OIM pour le développement. 
  1. Pour ce qui est des évaluations a posteriori, le budget correspondant sera transféré vers le code d’évaluation du Fonds, étant donné que le code de projet principal sera clôturé lorsque l’Appui comptable régional (RAS) aura approuvé le rapport financier final. 
  1. Dès que la période d’évaluation est confirmée, le bureau extérieur de l’OIM reçoit un code WBS issu du code d’évaluation du Fonds. Seules les dépenses engagées pour l’évaluation a posteriori du projet doivent être imputées au code WBS correspondant, qui sera clos une fois l’évaluation achevée. 
  1. Le Fonds de l’OIM pour le développement demandera de confirmer que l’évaluation est en cours. 
  1. Le Fonds conservera tout solde restant du budget de l’évaluation, qui sera reporté pour de futures évaluations de projets thématiques et régionales du Fonds de l’OIM pour le développement.

 

Réalisation de l’évaluation

  1. Un cadre de référence doit être élaboré par le bureau extérieur compétent et communiqué au préalable pour examen au Fonds et aux fonctionnaires du bureau régional chargés du suivi et de l’évaluation, ainsi qu’à toute autre partie prenante, en particulier d’autres bureaux extérieurs associés à la mise en œuvre du projet. Le cadre de référence comprendra : une brève description du contexte dans lequel s’inscrit le projet ; l’objectif précis de l’évaluation, avec indication des raisons pour lesquelles elle est entreprise et ce vers quoi elle tend ; la portée de l’évaluation ou un plan de conduite de l’évaluation ; les points auxquels il faudra s’intéresser, avec indication des critères d’évaluation qui seront utilisés et les questions correspondantes ; les produits recherchés, ce qui peut englober, outre le rapport proprement dit, des stratégies ou des recommandations particulières concernant des domaines spécifiques ; la méthode utilisée ; le responsable de l’évaluation ; et, enfin, les modalités de mise en œuvre, y compris un calendrier réaliste et les arrangements pratiques. L’analyse et les questions relatives aux sexospécificités doivent également figurer dans le cadre de référence et être dûment prises en considération dans l’évaluation. Un exemple de cadre de référence est donné à l’annexe 1, et la liste de contrôle de la qualité du GNUE en la matière peut être consultée sur la page Internet de l’OIM consacrée à l’évaluation (https://www.iom.int/technical-references). 
  1. Pour savoir comment préparer l’évaluation, prière de consulter les lignes directrices de l’OIM relatives à l’évaluation (IOM Evaluation Guidelines) de janvier 2006, ainsi que le module 6 « Évaluation » du Manuel des projets de l’OIM (2e édition). 
  1. Les critères d’évaluation du CAD de l’OCDE ci après doivent figurer dans le cadre de référence : 

a. Pertinence du projet – Mesure dans laquelle les objectifs et les résultats recherchés du projet demeurent valides et utiles comme prévu initialement, ou tels qu’ils ont été modifiés par la suite (peut comprendre une analyse de la validité de la conception) ; 

b. Efficacité du projet – Mesure dans laquelle les objectifs/résultats recherchés d’un projet ou d’un programme sont atteints, compte tenu de leur importance relative. Il est tout aussi important de déterminer si des changements se seraient produits même si le projet ou programme n’avait pas été mis en œuvre. L’efficacité est également utilisée comme système de mesure globale (ou comme jugement) du mérite et de la valeur d’une activité. Le rapport coût-efficacité permet de déterminer si les objectifs ont été atteints à un coût minimal (ou au moindre coût), ou si les résultats ou les avantages justifient les dépenses engagées. 

c. Efficience de la gestion et de la mise en œuvre du projet – Analyse de la mesure dans laquelle les ressources en général (fonds, compétences techniques, temps, etc.) ou les moyens sont utilisés pour mener des activités et convertis en produits. Il arrive que cette définition englobe également une analyse d’autres utilisations possibles des ressources.

d. Cohérence des interventions au regard d’autres interventions – Mesure dans laquelle d’autres interventions (en particulier des politiques) appuient ou compromettent l’intervention, et vice versa. Cette cohérence est tant interne qu’externe : la cohérence interne concerne les synergies et les corrélations entre l’intervention et d’autres interventions menées par le même organisme/gouvernement, ainsi que la conformité de l’intervention avec les normes et règles internationales pertinentes auxquelles cet organisme/gouvernement adhère. La cohérence externe concerne la conformité de l’intervention avec celles menées par d’autres acteurs dans le même contexte. Il s’agit ici de la complémentarité, de l’harmonisation et de la coordination avec d’autres, ainsi que de la mesure dans laquelle l’intervention offre une valeur ajoutée et évite les doublons. 

e. Impact – Mesure dans laquelle les activités du projet/programme ont contribué à un changement de situation, qu’il soit intentionnel ou non, direct ou indirect, positif ou négatif, et ce sur quoi le projet/programme était censé déboucher. Ce critère est extrêmement controversé, notamment en raison des contraintes méthodologiques qu’implique sa mesure. Il est important de commencer par bien définir ce qui est entendu par « impact » ou quel impact est examiné dans le cadre de l’évaluation, avant de se demander comment l’observer, le mesurer et le décrire. Étant donné l’extrême difficulté de mesurer l’impact de façon rigoureuse, il conviendra parfois de faire appel au bon sens sur la base des éléments qualitatifs et quantitatifs disponibles, et de recourir à l’observation, afin de procéder à une analyse globale de l’impact. 

f. Viabilité du projet à ce jour – Pérennité des résultats du projet ou poursuite de ses avantages après la cessation de l’aide extérieure. La notion de « capital d’amorçage » comme critère du Fonds doit être examinée ici.

  1. Des exemples de questions relatives aux critères d’évaluation sont donnés à l’annexe 3 des lignes directrices de l’OIM relatives à l’évaluation de janvier 2006. 
  1. Une matrice d’évaluation doit être impérativement établie dans le cadre du processus d’évaluation. Cette matrice permet de guider l’évaluation en indiquant : a) les critères à évaluer ; b) les questions et sous-questions auxquelles il faudra répondre pour évaluer chaque critère ; c) les indicateurs à utiliser ; d) les sources de données ; et e) les outils de collecte des données. 
  1. Dans un souci d’harmonisation, le Fonds de l’OIM pour le développement demande que soit utilisé le modèle de rapport d’évaluation final (ci-joint) reproduit à l’annexe 6.8 du Manuel des projets de l’OIM (deuxième édition). 
  1. Un projet de rapport d’évaluation, de mémoire d’évaluation et de réponse de la direction à l’évaluation doit être soumis au Fonds de l’OIM pour le développement dans les deux mois qui suivent la date de début de l’évaluation. La version finale de ces trois documents doit être présentée au Fonds et à l’Unité d’évaluation d’OIG dans les deux mois qui suivent l’achèvement du projet de rapport. 
  1. Le rapport d’évaluation sera ensuite communiqué au(x) bureau(x) extérieur(s) pertinent(s) de l’OIM compétent(s) et aux gouvernements intéressés, et affiché sur la page Web et le registre des évaluations d’OIG.

 


ANNEXE 6.8 : MODELE DE RAPPORT D’EVALUATION FINAL

Le rapport final est généralement la dernière prestation de l’évaluateur, et la plus importante. Il doit décrire en détail l’évaluation, la façon dont elle a été menée, ainsi que les principales constatations et recommandations. De nombreux évaluateurs disposent de leur propre modèle de rapport final, et il n’est pas nécessaire de leur imposer le présent modèle. Néanmoins, il est important de veiller à ce que leur modèle suive la même présentation logique et qu’il comprenne, au minimum, les informations suivantes.

Lorsque le rapport est volumineux, il est utile d’y ajouter une table des matières.

1.    Résumé

Le résumé est une vue d’ensemble succincte du contenu du rapport d’évaluation. Il doit présenter brièvement le projet évalué, la méthodologie d’évaluation, les principales constatations issues de l’évaluation, ainsi que les recommandations formulées par l’évaluateur.

2.    Liste des acronymes

Il s’agit de la liste des acronymes utilisés dans le rapport.

3.    Introduction

Cette rubrique présente brièvement la mission d’évaluation. Elle contient généralement les informations suivantes : l’intitulé du projet soumis à évaluation ; le nom de l’institution qui demande l’évaluation ; et la portée de l’évaluation. Une vue d’ensemble des sections et annexes du rapport peut également être donnée ici.

4.    Contexte et finalité de l’évaluation

4.1.    Contexte
Cette rubrique décrit le contexte de l’évaluation. Généralement, elle comprend une présentation générale de l’OIM, quelques paragraphes sur le projet à évaluer, et une description générale du contexte politique, environnemental, social, économique et/ou juridique dans lequel le projet est mis en œuvre.

4.2.    Finalité de l’évaluation
Dans cette rubrique, l’évaluateur présente la finalité de l’évaluation, c’est-à-dire pourquoi l’évaluation est menée et pourquoi elle est effectuée à ce moment précis. Le public visé et l’utilisation prévue de l’évaluation doivent aussi être indiqués. Habituellement, les informations reproduites ici reprennent celles du mandat, peut-être sous une forme plus développée.

4.3.    Portée de l’évaluation
Cette rubrique décrit ce que l’évaluation a ou n’a pas couvert, y compris la période considérée, les phases du projet examinées et la zone géographique couverte. Les éventuelles exclusions doivent être clairement indiquées.

4.4.    Critères d’évaluation
Cette rubrique doit indiquer les critères qui ont été pris en considération pendant l’évaluation.

5.    Cadre et méthodologie de l’évaluation

5.1.    Sources et collecte des données
Cette rubrique décrit les méthodes qui ont été utilisées pour recueillir les données, ainsi que les sources des données recueillies.

5.2.    Analyse des données
Cette rubrique décrit les modalités d’analyse des données recueillies.

5.3.    Echantillonnage
Si un échantillonnage a été effectué au cours de l’évaluation, les méthodes utilisées et la population visée, la base d’échantillonnage et la taille de l’échantillon seront précisées ici.

5.4.    Limites et stratégies d’atténuation proposées
Sous cette rubrique, l’évaluateur présente les éventuelles limites rencontrées lors de la conception ou de la mise en œuvre de l’évaluation, ainsi que les éventuelles stratégies méthodologiques ou opérationnelles adoptées pour les atténuer ou les surmonter.

6.    Constatations

Sous cette rubrique, l’évaluateur présente les constatations issues de l’évaluation. Généralement, celles-ci sont regroupées en fonction des critères d’évaluation appliqués. Les constatations doivent être étayées par des données factuelles devant, elles aussi, être présentées ici. Dans un souci de clarté, il est important de respecter le déroulement logique de l’exercice d’évaluation : les éléments factuels sont recueillis et considérés comme des constatations factuelles qui sont ensuite analysées à l’aide de critères, en répondant aux questions connexes. Cette analyse permet de dégager des conclusions et des recommandations.

7.    Conclusions et recommandations

7.1.    Conclusions
Sous cette rubrique, l’évaluateur présente les conclusions issues de l’évaluation.
Celles ci doivent être fondées sur les données factuelles présentées dans l’évaluation.

Si l’évaluation est complexe, les conclusions et les recommandations peuvent être ajoutées à la fin de chaque sous section de la rubrique 6 « Constatations ». Dans ce cas, la rubrique 7 sera un résumé des conclusions et des recommandations formulées précédemment.

7.2.    Recommandations
L’évaluateur présente ici les éventuelles recommandations issues de l’évaluation.

8.    Annexes

On trouvera ci-après les annexes généralement jointes aux rapports d’évaluation.

8.1.    Mandat d’évaluation
8.2.    Matrice d’évaluation
8.3.    Liste des documents examinés
8.4.    Liste des personnes interrogées ou consultées
8.5.    Instruments de collecte des données

 

TELECHARGER PDF