Certification - FAQ

  1. Dernière mise à jour le
  1. La certification est-elle obligatoire ? Quelles sont les conséquences si une demande de certification n’est pas introduite ?
  2. Quelles sont les conséquences si nous ne sommes pas certifiés ?
  3. Est-ce que la certification reviendra comme élément lors d’un prochain screening ?
  4. Quels experts seront sélectionnés pour la certification ?
  5. Les résultats de la certification seront-ils publics ?
  6. Quel est la portée d’un exercice de certification ?
  7. Quels documents doivent être joints à la demande de certification ?
  8. Quelle est la durée de validité d’un certificat ECB ?
  9. Est-il possible de préciser le processus (moments précis, rôles) ? Comment peut-on suivre cela au mieux en interne ?
  10. Les organisations contribuent-elles au financement de la certification ? Combien de temps allons-nous y consacrer ?
  11. Qu’est-ce qui est considéré comme une évaluation ?
  12. Qu’est-ce qu’une « évaluation externe » ?
  13. Un échantillon des évaluations des trois dernières années est demandé. De quelles années s’agit-il exactement ?
  14. Que se passe-t-il si l’organisation ne dispose pas d’évaluations externes ?
  15. Quid des évaluations dans le cadre de programmes communs ? Comment se rapportent-elles à la certification ?
  16. Comment le nombre d’évaluations est-il compté ? Quels sont les critères ?
  17. Quel soutien pouvons-nous attendre des fédérations lors de l’autoévaluation et la mise en place du plan d’amélioration ?

 

La certification est-elle obligatoire ? Quelles sont les conséquences si une demande de certification n’est pas introduite ?

En 2014, la tâche de certification était ajoutée au mandat du Service de l’Evaluation spéciale (SES) suite à une modification de l’arrêté royal qui régit ce mandat et par la nouvelle loi sur la Coopération belge au Développement.

La certification est un processus qui diffère du screening dans le sens où il ne tente pas seulement d’examiner la capacité, les pratiques et les produits d’évaluation en profondeur. Il permet aussi d’initier un processus d’amélioration. La méthode propose en effet l’espace nécessaire à un apprentissage mutuel au sein de chaque organisation. En outre, le SES souhaite organiser des événements visant à stimuler les pratiques entre les différents acteurs qui participent au processus de certification (Enabel, BIO, OSC et AI).

Contrairement au screening, l’obtention d’un certificat ECB n’est pas une condition à l’obtention de subsides de la DGD. En ce sens, il n’y a donc pas de « sanction » envers un acteur qui n’introduirait pas de de demande de certification ou qui n’obtiendrait pas de certificat suite à sa demande.

La certification a désormais une place importante au sein de la politique visante d’orienter la coopération belge vers plus de résultats. La certification peut également entrainer une meilleure complémentarité et interaction entre les évaluations des différents acteurs et celles menées par le Service de l’Evaluation spéciale.

 

Quelles sont les conséquences si nous ne sommes pas certifiés ?

Pour le moment il n’y a pas de sanction ou d’autres conséquences en cas de non-certification. Le SES ne peut toutefois pas garantir que cela ne changera pas.
 

Est-ce que la certification reviendra comme élément lors d’un prochain screening ?

C’est la DGD qui est responsable du screening et de l’octroi des subsides aux acteurs de la coopération non-gouvernementale, et qui en détermine les conditions. Le SES agit indépendamment et ne fait pas partie de la DGD.
 

Quels experts seront sélectionnés pour la certification ?

Le marché public pour la certification était géré par un contrat-cadre auquel quatre bureaux participaient : COTA, FocusUp, South Research et Syspons. Ces bureaux pouvaient introduire une offre pour chaque mission de certification spécifique d’un nombre d’acteurs. Dans cette offre ils proposaient leurs experts, qui soit faisaient partie de leur staff, soit étaient des experts indépendants qui collaboraient avec eux pour cette mission. Un nouveau contrat-cadre est envisagé pour la période 2022-2026.
 

Les résultats de la certification seront-ils publics ?

Les résultats de la certification seront publics dans le sens où l’on saura quels acteurs auront obtenu un certificat ECB et en quelle année. La DGD pourra consulter le plan d’amélioration et le rapport de l’assesseur ainsi que l’avis que celui-ci donnera au SES de certifier l’acteur en question. Le suivi et l’exécution du plan d’amélioration doivent faire partie des sujets de discussion lors du dialogue institutionnel entre la DGD et l’organisation non-gouvernementale. Concernant Enabel et BIO, le suivi de la certification est discuté au sein du Conseil d’Administration.

Le SES rapportera les progrès de la certification à un comité d’accompagnement ainsi que dans le rapport annuel de l’Evaluatrice spéciale au Parlement. Un cycle d’amélioration collectif est également prévu. A la fin du cycle, un échange d’apprentissage sera organisé, pendant lequel les organisations pourront partager entre elles les bonnes pratiques qui découleront de la certification.

En dehors de l’information partagée dans le cadre des rapports et échanges mentionnés ci-dessus, aucun autre détail des exercices de certification ne sera rendu public par le SES.Le SES rapportera les progrès de la certification à un comité d’accompagnement ainsi que dans le rapport annuel de l’Evaluatrice spéciale au Parlement. Un cycle d’amélioration collectif est également prévu. Chaque année un échange d’apprentissage sera organisé, pendant lequel les organisations pourront partager entre elles les bonnes pratiques qui découleront de la certification.

En dehors de l’information partagée dans le cadre des rapports et échanges mentionnés ci-dessus, aucun autre détail des exercices de certification ne sera rendu public par le SES.
 

Quel est le scope d’un exercice de certification ?

La certification apprécie le système de suivi-évaluation des organisations sur base de leur capacité, leurs processus (depuis la conception d’une évaluation à l’utilisation de ses résultats) et leurs rapports d’évaluation externe.

Deux choses sont à préciser : (i) le système de suivi sera inclus dans l’instrument seulement dans sa capacité à fournir les données nécessaires aux évaluations planifiées ; (ii) il s’agit des processus et des rapports d’évaluation externe et plus particulièrement, des évaluations des programmes DGD. Les organisations sont toutefois libres d’utiliser l’instrument à des fins d’analyses des interventions financées par d’autres bailleurs.

 

Quels documents doivent être joints à la demande de certification ?

La demande doit comprendre les documents suivants :

  • Une lettre formelle signée par une personne avec pouvoir de décision au niveau du management.
  • Un aperçu des évaluations des trois dernières années + argumentation du choix de l’échantillon (à rendre selon le modèle en annexe D du manuel d’autoévaluation).
  • Les rapports d’évaluation retenus avec leurs termes de référence respectifs.
  • L’organigramme de l’organisation.
  • Le rapport d’autoévaluation :
    • le profil de l’organisation et l’appréciation des critères selon le score LEADS (voir le modèle en annexe C).
    • l’appréciation narrative (voir également annexe C).
    • l’organisation doit s’assurer de remplir au moins 4 des 6 sous-critères du chapitre 3 de l’autoévaluation (la capacité de l’organisation pour organiser l’évaluation) et obtenir un score minimum de « D » pour ces sous-critères, toujours selon le système LEADS.
  • Le plan d’amélioration.

L’organisation peut joindre des annexes pertinentes pour l’assesseur lors de la préparation de sa visite de certification, tant au niveau de l’autoévaluation qu’au plan d’amélioration.
 

Quelle est la durée de validité d’un certificat ECB ?

Pour les organisations qui sont déjà certifiées, le certificat obtenu reste valable au cours du cycle 2022-2026. Le suivi continue à se faire au sein des dialogues institutionnels.
 

Est-il possible de préciser le processus (moments précis, rôles) ? Comment peut-on suivre cela au mieux en interne ?

Pour une description globale du processus nous référons au chapitre sur la certification dans le Rapport annuel de l'Evaluatrice spéciale au Parlement et aux différents documents sur la certification publiés sur le site web du SES.

Le suivi interne est la responsabilité de l’organisation elle-même, mais il semble évident qu’au moins une personne soit désignée comme point focal au sein de l’organisation afin de suivre le processus du début à la fin.
 

Les organisations contribuent-elles au financement de la certification ? Combien de temps allons-nous y consacrer ?

Les coûts liés à l’exécution de l’exercice de certification par un assesseur externe sont pris en charge par le SES.

Pour avoir une idée du temps à dédier à la certification, le SES se base sur le rapport d’étude de l’étude pilote effectuée en 2017. Il est ressorti de la phase test qu’une organisation consacre environ 15-20 journées de travail au processus complet (y compris l’analyse des rapports d’évaluation pour la composition de l’échantillon) lorsque l’autoévaluation est effectuée par trois personnes. En fonction de l’organisation et de son choix quant à l’organisation du processus collectif, cette durée peut évidemment augmenter, ce qui sera certainement le cas pour les plus grandes organisations qui utiliseront cet exercice le plus largement possible et pour lesquelles plusieurs rapports et processus d’évaluation devront être analysés.

En même temps, une préparation solide de la visite de l’assesseur rendra celle-ci plus rentable et augmentera le potentiel d’apprentissage de l’exercice.
 

Qu’est-ce qui est considéré comme une évaluation ?

Afin de décrire ce qu’est une évaluation, nous référons à la définition du CAD-OCDE :

Une évaluation est une appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en œuvre et de ses résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la durabilité.

Une évaluation devrait fournir des informations crédibles et utiles permettant d’intégrer les leçons de l’expérience dans le processus de décision des bénéficiaires et des bailleurs de fonds. Le terme « évaluation » désigne également un processus aussi systématique et objectif que possible par lequel on détermine la valeur et la portée d’une action de développement projetée, en cours ou achevée.

Dans certains cas, l’évaluation suppose la définition de normes appropriées, l’appréciation des performances par rapport à celles-ci, et en juger les résultats attendus et obtenus. Elle permet de dégager des leçons pertinentes.

Selon cette définition, ne sont donc considérées comme des évaluations : des enquêtes de satisfaction, des études de faisabilité, perception surveys, … à savoir des études ne comportant pas d’analyse plus large qui couvrirait la conception, l’exécution et les résultats d’un programme, projet ou d’une politique.
 

Qu’est-ce qu’une « évaluation externe » ?

Une évaluation externe est une évaluation indépendante, effectuée par un évaluateur externe. Pour les définitions d’« évaluation externe » et d’ « évaluateur externe » nous faisons référence au document explicatif sur l’évaluation dans l’AR du 11 septembre 2016.

Evaluation indépendante (art. 44, §1):

Une évaluation indépendante implique que l’évaluateur puisse travailler librement sans qu’il ne soit sous l’influence de personnes impliquées dans le planning et/ou l’exécution des interventions ou actions qui font l’objet de l’évaluation menée. L’évaluateur lui-même n’a pas non plus d’intérêt dans cette (ces) intervention(s) et n’a donc pas été impliqué dans sa (leur) formulation, par exemple.

Evaluateur externe (art. 44, §2)

Un évaluateur dit « externe » est externe à l’organisation et n’a aucun lien organisationnel avec l’acteur dont il évalue les interventions ou actions. Cet évaluateur n’a pas non plus d’intérêt dans les interventions et n’a donc pas été impliqué dans la formulation, le planning ou l’exécution des interventions ou des actions qui font l’objet de l’évaluation. Pour l’affectation de l’évaluateur externe, on fait un appel au marché.

Peut également être considérée comme une « évaluation externe », une évaluation qui a été partiellement organisée et exécutée en interne par l’organisation tout en étant chapeautée par un évaluateur externe qui se porte garant de  l’indépendance de l’évaluation et en porte la responsabilité.

Il est toutefois préférable d’opter pour une évaluation indépendante entièrement mise en œuvre par un ou plusieurs évaluateur(s) externe(s), désigné(s) par appel d’offres.

 

Un échantillon des évaluations des trois dernières années est demandé. De quelles années s’agit-il exactement ?

Il s’agit des évaluations des trois années précédant l’exercice. Si l’exercice de certification était mené en 2020, il s’agissait des années 2017, 2018 et 2019. Des évaluations plus récentes peuvent éventuellement être prises en considération pour les demandes de certification à partir de 2022, à condition que le processus d’évaluation soit complètement clôturé et que le rapport d’évaluation soit disponible. Un rapport peut être pris en considération si on est en mesure d’apprécier   l’utilisation du rapport d’évaluation.
 

Que se passe-t-il si l’organisation ne dispose pas d’évaluations externes ?

Dans ce cas, l’organisation devra attendre d‘introduire une demande de certification jusqu’à ce qu’elle ait suffisamment d’évaluations externes.
 

Quid des évaluations dans le cadre de programmes communs ? Comment se rapportent-elles à la certification ?

La certification se passe par organisation. Afin d’optimaliser le processus d’apprentissage pour l’organisation, il est recommandé de proposer des évaluations qui donnent une compréhension de la manière de travailler de l’organisation et en sont représentatives. Dans tous les cas, les volets « capacité » et « processus » sont analysés strictement par organisation.
 

Comment le nombre d’évaluations est-il compté ? Quels sont les critères ?

Les critères importants sont la conception de l’évaluation, les termes de références et l’objectif final de l’utilisation de l’évaluation.

Un exemple : une organisation a élaboré des termes de référence pour trois évaluations pays. Pour chaque pays/programme (objectif), il y a un rapport d’évaluation distinct. En outre, il y a également un rapport de synthèse se basant sur les rapports pays.

Ces rapports peuvent-ils tous être considérés séparément comme des rapports d’évaluation ? Dans ce cas, il nous semble pertinent d’intégrer le rapport de synthèse comme rapport d’évaluation dans l’échantillon, puisqu’il y a un seul document de termes de référence et que l’exécutant de toutes les évaluations était le même. De plus, les différents rapports pays ont été synthétisés dans ce rapport global.
 

Quel soutien pouvons-nous attendre des fédérations lors de l’autoévaluation et la mise en place du plan d’amélioration ?

Pour les questions ayant trait à un coaching potentiel ou un soutien, veuillez prendre directement contact avec les fédérations.

Le SES tient à souligner que, si le coaching par les fédérations augmente les chances d’obtention du certificat, il n’en constitue pas une garantie suffisante.