Certification - FAQ

 

  1. La certification est-elle obligatoire ? Quelles sont les conséquences si une demande de certification n’est pas introduite ?
  2. Quelles sont les conséquences si nous ne sommes pas certifiés ?
  3. Est-ce que la certification reviendra comme élément lors d’un prochain screening ?
  4. Quels experts seront sélectionnés pour la certification ?
  5. Les résultats de la certification seront-ils publics ?
  6. Quand faut-il introduire une demande de certification ?
  7. Quel est le scope d’un exercice de certification ?
  8. Quels documents doivent être joints à la demande de certification ?
  9. Quelle est la durée de validité d’un certificat ECB ?
  10. Est-il possible de préciser le processus (moments précis, rôles) ? Comment peut-on suivre cela au mieux en interne ?
  11. Les organisations contribuent-elles au financement de la certification ? Combien de temps allons-nous y consacrer ?
  12. Qu’est-ce qui est considéré comme une évaluation ?
  13. Qu’est-ce qu’une « évaluation externe » ?
  14. Un échantillon des évaluations des trois dernières années est demandé. De quelles années s’agit-il exactement ?
  15. Que se passe-t-il si l’organisation ne dispose pas d’évaluations externes ?
  16. Quid des évaluations dans le cadre de programmes communs ? Comment se rapportent-elles à la certification ?
  17. Comment le nombre d’évaluations est-il compté ? Quels sont les critères ?
  18. Quel soutien pouvons-nous attendre des fédérations lors de l’autoévaluation et la mise en place du plan d’amélioration ?

 

La certification est-elle obligatoire ? Quelles sont les conséquences si une demande de certification n’est pas introduite ?

En 2014, la tâche de certification était ajoutée au mandat du Service de l’Evaluation spéciale (SES), par une modification de l’arrêté royal qui régit ce mandat et par la nouvelle loi sur la coopération belge au développement.

La certification est un processus qui diffère du screening dans le sens où il ne tente pas seulement d’examiner en profondeur la capacité, les pratiques et les produits d’évaluation, mais veut aussi démarrer un processus d’amélioration en la matière. Au sein de ce cycle d’amélioration il y a l’espace nécessaire à l’apprentissage mutuel et l’échange sur les bonnes pratiques entre  les différents acteurs qui participent au processus de certification (Enabel, BIO, OSC et AI).

Contrairement au screening, l’obtention d’un certificat ECB n’est pas une condition à l’obtention de subsides de la DGD. En ce sens, il n’y a donc pas de « sanction » envers un acteur qui n’introduirait pas de de demande de certification ou qui n’obtiendrait pas de certificat suite à sa demande.

De plus, le SES n’a pas l’intention d’en faire un exercice bureaucratique mais plutôt d’entamer, avec les acteurs, le chemin vers une amélioration, en dialogue avec la DGD et le Ministre. Ces derniers suivent de près le processus. La certification a désormais une place importante au sein de la politique qui tente d’orienter la coopération belge vers plus de résultats. La certification peut également entrainer une meilleure complémentarité et interaction entre les évaluations des différents acteurs et celles menées par le Service de l’Evaluation spéciale.
 

Quelles sont les conséquences si nous ne sommes pas certifiés ?

Pour le moment il n’y a pas de sanction ou d’autres conséquences en cas de non-certification. Le SES ne peut toutefois pas garantir que cela ne changera pas.
 

Est-ce que la certification reviendra comme élément lors d’un prochain screening ?

Le SES peut difficilement répondre à cette question. C’est la DGD qui est responsable du screening et de l’octroi des subsides aux acteurs de la coopération non-gouvernementale, et qui en détermine les conditions. Le SES agit indépendamment et ne fait pas partie de la DGD.
 

Quels experts seront sélectionnés pour la certification ?

Le marché public pour la certification est géré par un contrat-cadre auquel quatre bureaux participent : COTA, FocusUp, South Research et Syspons. Ces bureaux peuvent introduire une offre pour chaque mission de certification spécifique d’un nombre d’acteurs. Dans cette offre ils proposent leurs experts, qui soit font partie de leur staff, soit sont des experts indépendants qui collaboreront avec eux pour cette mission.  n ne connaît donc pas encore avec certitude les experts qui effectueront ces missions de certification spécifiques.
 

Les résultats de la certification seront-ils publics ?

Les résultats de la certification seront publics dans le sens où l’on saura quels acteurs auront obtenu un certificat ECB et en quelle année. La DGD pourra consulter le plan d’amélioration et le rapport de l’assesseur ainsi que l’avis que celui-ci donnera au SES de oui ou non certifier l’acteur en question. Le suivi et l’exécution du plan d’amélioration doivent faire partie des sujets de discussion lors du dialogue institutionnel entre la DGD et l’organisation de coopération non-gouvernementale. Chez Enabel et BIO la suite de la certification est discuté lors du Conseil d’Administration.

Le SES rapportera les progrès de la certification à un comité d’accompagnement ainsi que dans le rapport annuel de l’Evaluatrice spéciale au Parlement. Un cycle d’amélioration collectif est également prévu. Chaque année un échange d’apprentissage sera organisé, pendant lequel les organisations pourront partager entre elles les bonnes pratiques qui découleront de la certification.

En dehors de l’information partagée dans le cadre des rapports et échanges mentionnés ci-dessus, aucun autre détail des exercices de certification ne sera rendu public par le SES.
 

Quand faut-il introduire une demande de certification ?

Afin de pouvoir gérer les nombreuses demandes de certification, le SES a choisi de travailler avec un système de demandes de certification groupées. Le nombre de membres d’un tel groupe et le moment où aura effectivement lieu la certification, seront déterminés à l’avance. Cela rendra la gestion des demandes de certification plus prévisible et simple, tout en laissant à chaque organisation la liberté de s’inscrire dans le créneau de son choix. Lorsque toutes les places sont remplies et que le groupe est donc complet, les inscriptions sont clôturées. Par groupe il y aura maximum 10 organisations.

L’inscription à un groupe déterminé implique que l’organisation ait introduit sa demande de certification au moment où les inscriptions sont clôturées, avec tous les documents nécessaires à la certification en tant que telle (lettre formelle, organigramme, autoévaluation, plan d’amélioration, échantillon d’évaluations y compris les termes de références et rapports d’évaluation, et les éventuelles annexes). La demande de certification proprement dite peut être envoyée par mail à l’adresse suivante : ECB@diplobel.fed.be. Le SES confirmera la réception et conformité de la demande. Attention : il s’agit de la demande officielle de certification et non de l’inscription à l’un des créneaux, qui elle doit passer par le site web.

Avec la répartition en créneaux nous espérons aussi rendre le timing des lancements de marchés publics et les possibles périodes de travail « plus intenses » pour les assesseurs quelque peu prévisibles. De cette manière, ces derniers peuvent examiner ce qui est faisable pour eux et l’on limite le nombre d’appels d’offres auxquels ils peuvent réagir (même si ce nombre n’est toujours pas vraiment bas). Nous espérons également que ce planning contribuera à rendre le processus de marché public plus fluide, puisque là aussi il faudra tenir compte des procédures et éventuels conflits d’intérêt.

Les inscriptions aux différents créneaux ne se passent donc pas via mail (qui est réservé aux demandes formelles de certification) mais via notre site web. Ils seront ouverts à partir de la fin août. Nous ne communiquons sciemment pas de date exacte afin d’éviter un « rush ». Nous ne voulons pas créer une situation qui ressemblerait aux inscriptions à l’école ou pour un camp estival.

De l’enquête menée au printemps, il est d’ailleurs ressorti que de nombreuses organisations estiment correspondre aux critères minimum de certification. Mais il y avait aussi beaucoup d’organisations qui postposeraient leur demande de certification. Nous aimerions demander aux organisations qui ont de grandes chances de réussir leur certification, d’accélérer leur demande afin de laisser le temps à celles qui auront besoin de plus de temps pour répondre aux critères minimum de certification. A ce moment, 79 OSC et AI doivent encore parcourir le processus de certification.

Voici le timing des différents créneaux :

Créneau 1: 10 places

  • Date limite pour les demandes de certification : 12 septembre 2018
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 5-25 novembre 2018

Créneau 2: 10 places

  • Date limite pour les demandes de certification : 10 octobre 2018
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 3-23 décembre 2018

Créneau 3: 10 places

  • Date limite pour les demandes de certification : 7 novembre 2018
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 7-27 janvier 2019

Créneau 4: 10 places

  • Date limite pour les demandes de certification : 5 décembre 2018
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 4-24 février 2019

Créneau 5: 10 places

  • Date limite pour les demandes de certification : 14 janvier 2019
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 11-31 mars 2019

Créneau 6: 10 places

  • Date limite pour les demandes de certification : 6 février 2019
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 23 avril - 12 mai 2019

Créneau 7: 15 places

  • Date limite pour demandes de certification : 13 mars 2019
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 27 mai – 16 juin 2019

Créneau 8: 15 places

  • Date limite pour les demandes de certification : 17 avril 2019
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 1-21 juillet 2019

Créneau supplémentaire

  • Date limite pour les demandes de certification : 29 mars 2019
  • Période pour la visite de l’assesseur (à décider entre l’assesseur et l’organisation): 17 juin – 5 juillet 2019

Cliquez ici pour le module d’inscription aux créneaux.

 

Quel est le scope d’un exercice de certification ?

La certification fait une estimation du système de suivi-évaluation des organisations sur base de leur capacité, leurs processus (depuis la conception d’une évaluation à l’utilisation de ses résultats) et leurs rapports d’évaluation externe.

Il nous faut ici préciser deux choses : (i) le système de suivi sera inclus dans l’instrument seulement dans sa capacité à fournir les données nécessaires aux évaluations planifiées ; (ii) il s’agit des processus et des rapports d’évaluation externe et plus particulièrement, les évaluations des programmes DGD. Les organisations sont toutefois libres d’utiliser l’instrument à des fins d’analyses des interventions financées par d’autres bailleurs.
 

Quels documents doivent être joints à la demande de certification ?

La demande doit comprendre les documents suivants :

  • Une lettre formelle signée par une personne avec pouvoir de décision au niveau du management.
  • Un aperçu des évaluations des trois dernières années (éventuellement les quatre dernières années si 2014 est inclus, avec une justification) + argumentation du choix de l’échantillon (à rendre selon le modèle en annexe D du manuel d’autoévaluation).
  • Les rapports d’évaluation choisis avec leurs termes de référence respectifs.
  • L’organigramme de l’organisation.
  • Le rapport d’autoévaluation :
    • Le profil de l’organisation et l’appréciation des critères selon LEADS (voir le modèle en annexe C).
    • L’appréciation narrative (voir également annexe C).
    • L’organisation doit s’assurer de remplir au moins quatre des six sous-critères du chapitre 3 de l’autoévaluation (la capacité qu’a l’organisation à organiser l’évaluation) et donc d’obtenir un score minimum de « D » pour ces sous-critères, toujours selon le système LEADS.
  • Le plan d’amélioration.

L’organisation peut joindre des annexes pertinentes pour l’assesseur lors de sa préparation de sa visite de certification tant à l’autoévaluation qu’au plan d’amélioration.
 

Quelle est la durée de validité d’un certificat ECB ?

Un certificat ECB sera valable jusque fin 2021. Après cette date, le certificat peut être renouvelé, chaque fois pour une durée de 5 ans.
 

Est-il possible de préciser le processus (moments précis, rôles) ? Comment peut-on suivre cela au mieux en interne ?

Pour une description globale du processus nous référons au chapitre sur la certification dans le  Rapport annuel de l'Evaluatrice spéciale au Parlement (PDF, 3.28 Mo) et aux différents documents sur la certification publiés sur le site web du SES.

Le suivi interne est la responsabilité de l’organisation elle-même, mais il semble évident qu’au moins une personne soit désignée comme point focal au sein de l’organisation afin de suivre le processus du début à la fin.
 

Les organisations contribuent-elles au financement de la certification ? Combien de temps allons-nous y consacrer ?

Les coûts liés à l’exécution de l’exercice de certification par un assesseur externe sont pris en charge par le SES.

Pour avoir une idée du temps à dédier à la certification, nous nous basons sur le rapport d’étude de l’étude pilote effectuée en 2017. Il est ressorti de la phase test qu’une organisation consacre environ 15-20 hommes/jour au processus complet (y compris l’analyse des rapports d’évaluation pour la composition de l’échantillon) lorsque l’autoévaluation est effectuée par trois personnes. En fonction de l’organisation et de son choix quant à l’organisation du processus collectif, cette durée peut évidemment augmenter, ce qui sera certainement le cas pour les plus grandes organisations qui utiliseront cet exercice le plus largement possible et pour lesquelles plusieurs rapports et processus d’évaluation devront être analysés.

En même temps, une préparation solide de la visite de l’assesseur rendra celle-ci plus intéressante et augmentera le potentiel d’apprentissage de l’exercice.
 

Qu’est-ce qui est considéré comme une évaluation ?

Afin de décrire ce qu’est une évaluation, nous référons à la définition du CAD-OCDE :

Appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en oeuvre et de ses résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la durabilité. Une évaluation devrait fournir des informations crédibles et utiles permettant d’intégrer les leçons de l’expérience dans le processus de décision des bénéficiaires et des bailleurs de fonds. Le terme « évaluation » désigne également un processus aussi systématique et objectif que possible par lequel on détermine la valeur et la portée d’une action de développement projetée, en cours ou achevée.

Remarque : dans certains cas l’évaluation suppose la définition de normes appropriées, l’appréciation des performances par rapport à celles-ci, et en juger les résultats attendus et obtenus. Elle permet de dégager des leçons pertinentes.

 Ne sont donc pas des évaluations selon cette définition : des enquêtes de satisfaction, des études de faisabilité, perception surveys, … où il n’y a pas d’analyse plus large qui couvrirait la conception, l’exécution et les résultats d’un programme, projet ou d’une politique.
 

Qu’est-ce qu’une « évaluation externe » ?

Une évaluation externe est une évaluation indépendante, effectuée par un évaluateur externe. Pour les définitions d’ « évaluation externe » et d’ « évaluateur externe » nous faisons référence au document explicatif sur l’évaluation dans l’AR du 11 septembre 2016.

Evaluation indépendante (art. 44, §1):

Une évaluation indépendante implique que l’évaluateur puisse travailler librement sans qu’il ne soit sous l’influence de personnes impliqués dans le planning et/ou l’exécution des interventions ou actions qui font l’objet de l’évaluation menée.  L’évaluateur lui-même n’a pas non plus d’intérêt dans cette (ces) intervention(s) et n’a donc pas été impliqué dans sa (leur) formulation, par exemple.

Evaluateur externe (art. 44, §2)

Un évaluateur externe est externe à l’organisation et n’a aucun lien organisationnel avec l’acteur dont il évalue les interventions ou actions. Cet évaluateur n’a pas non plus d’intérêt dans les interventions et n’a donc pas été impliqué dans la formulation, le planning ou l’exécution des interventions ou des actions qui font l’objet de l’évaluation. Pour l’affectation de l’évaluateur externe, on fait un appel au marché.

Ce qui peut également être considéré comme une « évaluation externe » est une évaluation qui a été partiellement organisée et exécutée en interne par l’organisation mais où l’exercice d’évaluation était chapeauté par un évaluateur externe qui se porte garant pour l’indépendance de l’évaluation et porte l’entière responsabilité de l’évaluation.

Il est toutefois préférable d’opter pour une évaluation indépendante entièrement mise en œuvre par un ou plusieurs évaluateur(s) externe(s), désigné(s) par appel d’offres.
 

Un échantillon des évaluations des trois dernières années est demandé. De quelles années s’agit-il exactement ?

Il s’agit des évaluations des années 2015-2016-2017. Les évaluations de 2018 peuvent éventuellement être prises en considération pour les demandes de certification à partir de 2019, à condition que le processus d’évaluation soit complètement clôturé et que le rapport d’évaluation soit disponible. Il devrait être possible de dire quelque chose à propos de l’utilisation du rapport d’évaluation.

Pour les acteurs de la coopération non-gouvernementale (OSC et AI) les rapports d’évaluation à mi-parcours du précédent programme peuvent donc certainement faire partie de l’échantillon.

Les évaluations de 2014 peuvent éventuellement faire partie de l’échantillon à condition qu’il n’y a pas deux rapports d’évaluations plus récents. Il peut s’agir dans ce cas de maximum un rapport d’évaluation et l’évaluation doit encore être représentative du fonctionnement et des pratiques actuels de l’organisation.
 

Que se passe-t-il si l’organisation ne dispose pas d’évaluations externes ?

Dans ce cas l’organisation devra attendre d‘introduire une demande de certification jusqu’à ce qu’elle ait suffisamment d’évaluations externes.
 

Quid des évaluations dans le cadre de programmes communs ? Comment se rapportent-elles à la certification ?

La certification se passe par organisation. Afin d’optimaliser le processus d’apprentissage pour l’organisation, il est recommandé de proposer des évaluations qui donnent des compréhensions de la manière de travailler de l’organisation et en sont représentatives. Donc s’il y a des évaluations que l’organisation a fait effectuer seule, celles-ci ont notre préférence par rapport à celles effectuées en commun. Dans tous les cas, les volets « capacité » et « processus » sont analysés strictement par organisation.
 

Comment le nombre d’évaluations est-il compté ? Quels sont les critères ?

Les critères importants pour nous sont le dessein de l’évaluation, les termes de références et l’objectif final de l’utilisation de l’évaluation.

Un exemple : une organisation a 1 document de termes de référence pour trois évaluations pays. Pour chaque pays/programme (objectif) il y a un rapport d’évaluation distinct. En plus de cela, il y a également un rapport de synthèse qui se base sur les rapports pays. Ces rapports peuvent-ils tous être considérés séparément comme des rapports d’évaluation ?

Dans ce cas il nous semble pertinent d’intégrer le rapport de synthèse comme rapport d’évaluation dans l’échantillon,puisqu’il y a un seul document de termes de référence et que l’exécutant de toutes les évaluations était le même. De plus, les différents rapports pays ont été synthétisés dans ce rapport global.
 

Quel soutien pouvons-nous attendre des fédérations lors de l’autoévaluation et la mise en place du plan d’amélioration ?

Pour les questions ayant trait à un coaching potentiel ou un soutien par les fédérations, vous feriez mieux de prendre directement contact avec elles. Les différentes personnes de contact sont :

Le SES tient à souligner que, si le coaching par les fédérations peut être utile, il n’offre aucune garantie pour l’obtention d’un certificat ECB.