Certificering - FAQ

 

  1. Is de certificering verplicht? Welke zijn de gevolgen als we geen aanvraag tot certificering indienen?
  2. Welke zijn de gevolgen indien we niet gecertificeerd worden?
  3. Zal de certificering terugkeren als onderdeel van een volgende screening?
  4. Welke experten zullen geselecteerd worden voor de certificering?
  5. Worden de resultaten van de certificering publiek gemaakt?
  6. Wanneer een certificeringsaanvraag indienen?
  7. Wat is de scope van een certificeringsoefening?
  8. Welke documenten moeten er bij een certificeringsaanvraag bijgevoegd worden?
  9. Wat is de geldigheidsduur van een ECB-certificaat?
  10. Is het mogelijk om het proces duidelijker te omschrijven (precieze momenten, rollen)? Hoe wordt dit intern best opgevolgd?
  11. Dragen de organisaties bij tot de financiering van de certificering? Hoe veel tijd zullen we hieraan besteden?
  12. Wat wordt er beschouwd als een evaluatie?
  13. Wat is een “externe evaluatie”?
  14. Er wordt een staal gevraagd van de evaluaties van de afgelopen drie jaar. Over welke jaren gaat het precies?
  15. Wat indien de organisatie geen of onvoldoende externe evaluaties kan voorleggen?
  16. Wat met de evaluaties die er zijn in het kader van gemeenschappelijke programma’s? Hoe verhouden zij zich tot de certificering?
  17. Hoe wordt het aantal evaluaties geteld? Welke zijn de criteria?
  18. Welke ondersteuning kunnen we krijgen van de federaties bij de zelfevaluatie en het opstellen van het verbeterplan?

 

Is de certificering verplicht? Welke zijn de gevolgen als we geen aanvraag tot certificering indienen?

In 2014 werd de certificering als extra taak toegevoegd aan het mandaat van de Dienst Bijzondere Evaluatie, via een wijziging van het KB dat dit mandaat regelt, en de nieuwe wet betreffende de Belgische ontwikkelingssamenwerking.

De certificering is een proces dat verschilt van dat van de screening, in die zin dat ze niet alleen in de diepte de capaciteit, praktijken en producten inzake evaluatie onderzoekt, maar ook omdat ze tracht een verbeterproces in die materie op te starten. Binnen die cyclus van verbetering is er ruimte voor wederzijds leren en het uitwisselen van goede praktijken tussen de verschillende actoren die deelnemen aan het certificeringsproces (Enabel, BIO, CMO’s en IA’s).

In tegenstelling tot de screening, is het behalen van een ECB-certificaat geen voorwaarde voor het verkrijgen van een subsidie van de DGD. In die zin is er dus geen “sanctie” voor een actor die geen aanvraag tot certificering indient of na aanvraag niet gecertificeerd wordt.

Het is overigens niet de bedoeling van de DBE om hier een bureaucratische oefening van te maken, maar eerder om samen met de actoren de weg naar verbetering aan te vangen, in dialoog met de DGD en de Minister. Die laatsten volgen het proces van nabij op. De certificering neemt immers een belangrijke plaats in binnen het beleid dat tracht de Belgische ontwikkelingssamenwerking meer te richten op resultaten. Daarnaast kan de certificering eveneens zorgen voor een betere complementariteit en interactie tussen de evaluaties van de verschillende actoren en de evaluaties die uitgevoerd worden door de Dienst Bijzondere Evaluatie.
 

Welke zijn de gevolgen indien we niet gecertificeerd worden?

Op dit moment is er geen sanctie of ander gevolg voorzien in geval van niet-certificering. De DBE kan echter niet garanderen dat hier geen verandering in komt.
 

Zal de certificering terugkeren als onderdeel van een volgende screening?

Dit is een vraag waar de DBE moeilijk op kan antwoorden. Het is namelijk de DGD die verantwoordelijk is voor de screening en subsidiëring van de actoren van de niet-gouvernementele samenwerking en de voorwaarden daartoe bepaalt. De DBE handelt onafhankelijk en maakt geen deel uit van de DGD.
 

Welke experten zullen geselecteerd worden voor de certificering?

De overheidsopdracht voor de certificering is geregeld via een raamcontract, waaraan vier bureaus deelnemen: COTA, FocusUp, South Research en Syspons. Deze bureaus kunnen een offerte indienen voor een specifieke certificeringsopdracht van een aantal actoren. In die offerte stellen zij dan hun experten voor, die vast bij hen in dienst kunnen zijn of  freelancers waar zij voor deze opdracht mee samen werken. Wie de experten zijn die de specifieke certificeringsopdrachten zullen uitvoeren, is op dit moment dus nog niet met zekerheid geweten.
 

Worden de resultaten van de certificering publiek gemaakt?

De resultaten van de certificering worden publiek gemaakt in die zin dat geweten zal zijn welke de actoren zijn die een ECB-certificaat behaald hebben en in welk jaar. De DGD krijgt inzage in het verbeterplan en het verslag van de assessor, evenals diens advies aan de DBE over het al dan niet certificeren van de actor in kwestie. De opvolging van de uitvoering van het verbeterplan maakt immers deel uit van de onderwerpen die besproken kunnen worden op de institutionele dialoog tussen DGD en de niet-gouvernementele organisatie. Bij Enabel en BIO wordt de verdere opvolging van de certificering besproken op de Raad van Bestuur.

De DBE zal over de voortgang van de certificering ook rapporteren aan een begeleidingscomité en in het jaarverslag van de Bijzondere Evaluator aan het Parlement. Daarnaast is er ook een collectieve verbetercyclus voorzien. Jaarlijks zal er een leeruitwisseling plaatsvinden, waarbij organisaties goede praktijken die uit de certificering naar boven kwamen met elkaar kunnen delen.

Buiten de informatie die gedeeld wordt in het kader van de hierboven vermelde rapportage en uitwisseling, worden er echter geen verdere details van specifieke certificeringsoefeningen publiek gemaakt door de DBE.
 

Wanneer een certificeringsaanvraag indienen?

Om de vele certificeringsaanvragen beter te kunnen beheren, heeft de DBE ervoor gekozen om te werken met een systeem van gegroepeerde certificeringsaanvragen. Het aantal leden van zo’n groep en het moment waarop de eigenlijke certificering plaats zal vinden, liggen op voorhand vast. Op die manier wordt het beheer van de certificeringsaanvragen voorspelbaarder en eenvoudiger, maar heeft elke organisatie wel nog de vrijheid om zich in te schrijven voor een “slot” naar keuze. Wanneer alle plaatsen benomen zijn en de groep dus volledig is, worden de inschrijvingen afgesloten. Per groep kunnen er maximum 10 organisaties deelnemen.

De inschrijving voor een bepaalde groep houdt in dat de organisatie op het moment van de afsluiting van de inschrijvingen haar aanvraag ingediend heeft, met daarbij alle documenten die nodig zijn voor de eigenlijke certificering (formele brief, organigram, zelfevaluatie, verbeterplan, evaluatiestaal inclusief referentietermen en evaluatierapporten, eventuele bijlagen). De eigenlijke aanvraag tot certificering kan per mail gebeuren op het volgende mailadres: ECB@diplobel.fed.be. De DBE bevestigt de ontvangst en conformiteit van de aanvraag. Opgelet: het gaat hier om de formele aanvraag tot certificering, dus niet om de inschrijving voor een slot, die moet via de website gebeuren.

Met de indeling in slots hopen we ook een zekere mate van voorspelbaarheid te geven aan de timing van opdrachtlanceringen en de mogelijke “intensievere” werkperiodes voor de assessoren. Op die manier kunnen zij reeds bekijken wat er voor hen mogelijk is en wordt het aantal oproepen tot offertes waarop zij kunnen reageren binnen de perken gehouden (hoewel dat aantal nog steeds niet echt laag ligt). Ook hopen we met deze planning het proces van de overheidsopdracht vlotter te laten verlopen, aangezien er daar bijvoorbeeld ook rekening gehouden moet worden met procedures en mogelijke belangenconflicten.

De inschrijvingen voor de slots gebeuren dus niet via de mail (daar kan je enkel met je formele certificeringsaanvraag terecht), maar via onze website. Ze worden geopend vanaf eind augustus. We communiceren hier bewust geen exacte datum over, om een “rush” te vermijden. We zouden niet graag een situatie creëren die lijkt op de inschrijvingen voor een school of een zomerkamp.

Uit de enquête die we uitvoerden in het voorjaar bleek overigens dat een heel aantal organisaties vond dat ze beantwoordden aan de minimumcriteria voor certificering. Er waren echter ook heel wat organisaties die hun certificeringsaanvraag toch nog uitstelden. We zouden aan organisaties die een grote kans hebben op het slagen van de certificering echter willen vragen om hun aanvraag te versnellen en op die manier tijd te laten voor andere organisaties die meer tijd nodig zullen hebben om te beantwoorden aan de minimumcriteria. Op dit moment moeten immers nog 79 CMO’s en IA’s het certificeringsproces doorlopen.

Hieronder de timing van de verschillende slots:

Slot 1: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 12 september 2018
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 5-25 november 2018

Slot 2: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 10 oktober 2018
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 3-23 december 2018

Slot 3: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 7 november 2018
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 7-27 januari 2019

Slot 4: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 5 december 2018
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 4-24 februari 2019

Slot 5: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 14 januari 2019
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 11-31 maart 2019

Slot 6: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 6 februari 2019
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 23 april - 12 mei 2019

Slot 7: 15 plaatsen

  • Laatste datum voor aanvragen tot certificering: 13 maart 2019
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 27 mei - 16 juni 2019

Slot 8: 15 plaatsen

  • Laatste datum voor aanvragen tot certificering: 17 april 2019
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 1-21 juli 2019

Extra slot: 10 plaatsen

  • Laatste datum voor aanvragen tot certificering: 29 maart 2019
  • Periode waarin de assessor op bezoek kan komen (concreet moment af te spreken tussen assessor en organisatie): 17 juni - 5 juli

Klik hier voor de inschrijvingsmodule voor de slots.

 

Wat is de scope van een certificeringsoefening?

De certificering maakt een inschatting van het M&E-systeem van organisaties, op basis van hun capaciteit, de processen (van ontwerp van een evaluatie tot gebruik van de resultaten ervan) en rapporten van externe evaluatie.

Daar moeten echter twee preciseringen bij gemaakt worden: (i) het systeem voor monitoring wordt niet volledig meegenomen, enkel de capaciteit van de organisatie om de gegevens te voorzien die nodig zijn voor de geplande evaluaties maakt deel uit van het instrument; (ii) het gaat om de processen en rapporten van externe evaluatie en meer bepaald de evaluaties van DGD-programma’s. Organisaties kunnen het instrument echter ook aanwenden om evaluaties van interventies gefinancierd door andere donoren te analyseren.
 

Welke documenten moeten er bij een certificeringsaanvraag bijgevoegd worden?

De aanvraag omvat de volgende documenten:

  • Een formele brief ondertekend door iemand met beslissingsbevoegdheid op managementniveau.
  • Een overzicht van de evaluaties van de laatste drie jaar (eventueel de laatste vier jaar indien 2014 mee opgenomen wordt, met bijhorende verantwoording) + argumentatie van de keuze van het staal (indienen volgens het sjabloon van bijlage D van de handleiding voor zelfevaluatie).
  • De gekozen evaluatierapporten met de bijbehorende referentietermen.
  • Het organigram van de organisatie.
  • Het rapport van de zelfevaluatie:
    • Het profiel van de organisatie en de beoordeling van de criteria volgens LEADS (conform sjabloon van bijlage C).
    • De narratieve beoordeling (eveneens conform bijlage C).
    • De organisatie dient zich voor de aanvraag ervan te verzekeren dat zij voldoet aan minstens 4 van de 6 subcriteria van hoofdstuk 3 van de zelfevaluatie (de capaciteit van de organisatie om de evaluatie te organiseren) en er dus een minimumscore ‘D’ aan toekende volgens het LEADS-systeem.
  • Het verbeterplan.

Bij zowel de zelfevaluatie als het verbeterplan kan de organisatie bijlagen voegen die relevant zijn voor de assessor bij de voorbereiding van het certificeringsbezoek.
 

Wat is de geldigheidsduur van een ECB-certificaat?

Een ECB-certificaat is geldig tot eind 2021. Daarna zal het certificaat hernieuwd kunnen worden, telkens voor een periode van 5 jaar.
 

Is het mogelijk om het proces duidelijker te omschrijven (precieze momenten, rollen)? Hoe wordt dit intern best opgevolgd?

Voor een globale omschrijving van het proces verwijzen we naar het hoofdstuk over de certificering in  het Jaarverslag van de DBE aan het Parlement (PDF, 3.27 MB), en naar de verschillende documenten over de certificering die gepubliceerd staan op de website van de DBE.

De interne opvolging is een zaak van de organisatie zelf, maar het lijkt voor de hand liggend dat er best minstens een persoon fungeert als “focal point” of aanspreekpunt binnen de organisatie om het proces van begin tot einde op te volgen.
 

Dragen de organisaties bij tot de financiering van de certificering? Hoeveel tijd zullen we hieraan besteden?

De kosten verbonden aan de uitvoering van een certificeringsoefening door een externe assessor, worden gedragen door de DBE.

Voor een indicatie van de tijd die een organisatie intern zal besteden aan de certificeringsoefening baseren we ons op het studierapport van de pilootstudie uitgevoerd in 2017. Uit de testfase valt af te leiden dat een organisatie ongeveer 15-20 mandagen besteedt aan het totale proces (inclusief de analyse van de evaluatierapporten voor de samenstelling van het staal) indien de zelfevaluatie gebeurt door drie personen. Afhankelijk van de organisatie en haar keuze voor de opzet van het collectief proces loopt die tijd op, zeker voor grotere organisaties waarin de oefening zo breed mogelijk benut wordt en meerdere evaluatierapporten en -processen horen te worden geanalyseerd.

Tegelijkertijd is het echter ook zo dat een gedegen voorbereiding het bezoek van de assessor eens zo interessant kan maken, en het leerpotentieel van de oefening vergroot.
 

Wat wordt er beschouwd als een evaluatie?

Om te omschrijven wat een evaluatie is, verwijzen we naar de definitie ervan door de OESO-DAC:

Een evaluatie is de systematische en objectieve beoordeling van een al dan niet beëindigd project, programma of beleid, en het ontwerp, de uitvoering en de resultaten ervan. Het doel is het bepalen van de relevantie, de realisatie van de doelstellingen, de ontwikkelingsefficiëntie, de doeltreffendheid, de impact en de duurzaamheid. Een evaluatie moet geloofwaardige en nuttige informatie leveren om de 'lessons learned' te integreren in het besluitvormingsproces van zowel de ontvangers als de donoren. Evaluatie verwijst ook naar het proces van het bepalen van de waarde of betekenis van een activiteit, beleid of programma. Een beoordeling, zo systematisch en objectief mogelijk, van een geplande, lopende of beëindigde ontwikkelingsinterventie.

Opmerking: evaluatie betekent in sommige gevallen het bepalen van gepaste normen, het onderzoeken van de prestatie in het kader van die normen, het beoordelen van eigenlijke en verwachte resultaten en de identificatie van relevante lessen.

Zijn geen evaluaties volgens deze definitie: tevredenheidsenquêtes, haalbaarheidsstudies, perception surveys, … waar geen bredere analyse achter zit die gaat over het ontwerp, de uitvoering en de resultaten van een programma, project of beleid.
 

Wat is een “externe evaluatie”?

Een externe evaluatie is een onafhankelijke evaluatie die uitgevoerd wordt door een externe evaluator. Voor de definities van “onafhankelijke evaluatie” en “externe evaluator” verwijzen we naar het verklarende document over evaluatie in het KB van 11 september 2016:

Onafhankelijke evaluatie (art. 44, §1):

Een onafhankelijke evaluatie houdt in dat de evaluator kan werken zonder dat die onder invloed staat van de personen betrokken bij de planning of uitvoering van de interventies of acties die het voorwerp uitmaken van de evaluatie. Deze evaluator is iemand die zelf ook geen belangen heeft bij de interventie(s) en dus niet betrokken geweest is in de formulering bvb.

Externe evaluator (art. 44, §2)

Een externe evaluator staat buiten de organisatie en heeft geen organisatorische band met de actor waarvan hij of zij interventies of acties evalueert. Deze evaluator is iemand die zelf ook geen belangen heeft bij de interventie(s) en dus niet betrokken geweest is in de formulering, planning of uitvoering van de interventies of acties die het voorwerp uitmaken van de evaluatie. Voor het aanstellen van een externe evaluator wordt er een beroep gedaan op de markt.

Wat ook beschouwd kan worden als een “externe evaluatie” is een evaluatie waarbij de organisatie de evaluatie deels intern georganiseerd en uitgevoerd heeft, maar waarbij de evaluatie-oefening onder de leiding stond van een externe evaluator die garant staat voor de onafhankelijkheid van de evaluatie en de volledige verantwoordelijkheid voor de evaluatie op zich neemt.

De voorkeur gaat echter uit naar een onafhankelijke evaluatie die integraal uitgevoerd werd door een of meerdere externe evaluatoren, die aangesteld zijn na een beroep op de markt.
 

Er wordt een staal gevraagd van de evaluaties van de afgelopen drie jaar. Over welke jaren gaat het precies?

Het gaat inderdaad om evaluaties uit de jaren 2015-2016-2017. Evaluaties uit 2018 kunnen eventueel mee in aanmerking genomen worden voor certificeringsaanvragen vanaf 2019, op voorwaarde dat het volledige evaluatieproces afgerond is en het evaluatierapport beschikbaar is. Het is immers de bedoeling dat er iets gezegd kan worden over het gebruik van het evaluatierapport.

Bij actoren van de niet-gouvernementele samenwerking (CMO’s en IA’s) kunnen de mid-term evaluaties uit 2015 van het vorige programma dus zeker in aanmerking komen voor het staal.

Eventueel kunnen evaluaties van 2014 in aanmerking genomen worden, maar dan enkel indien er geen 2 meer recente evaluatierapporten zijn. Het mag slechts gaan om maximum 1 evaluatierapport en de evaluatie moet nog representatief zijn voor de huidige werking en praktijken van de organisatie.
 

Wat indien de organisatie geen of onvoldoende externe evaluaties kan voorleggen?

Dan zal de organisatie moeten wachten met het indienen van een aanvraag tot certificering tot er voldoende externe evaluaties beschikbaar zijn.
 

Wat met de evaluaties die er zijn in het kader van gemeenschappelijke programma’s? Hoe verhouden zij zich tot de certificering?

De certificering gebeurt per organisatie. Om het leerproces voor de organisatie te optimaliseren, is het aangewezen om evaluaties voor te leggen die inzicht geven in de manier van werken van de eigen organisatie en hier representatief voor zijn. Indien er dus evaluaties zijn die de organisatie alleen heeft laten uitvoeren, genieten die de voorkeur boven evaluaties die gemeenschappelijk uitgevoerd zijn. In elk geval worden de luiken “capaciteit” en “processen” louter individueel per organisatie behandeld.
 

Hoe wordt het aantal evaluaties geteld? Welke zijn de criteria?

Belangrijke criteria lijken ons het opzet van de evaluatie, de referentietermen en het uiteindelijke doel waartoe de evaluatie moet dienen.

Een voorbeeld: een organisatie heeft 1 document van referentietermen voor drie landenevaluaties. Voor elk land / programma (doelstelling) is er een afzonderlijk evaluatierapport. Daarnaast is er ook een overkoepelend rapport, op basis van de landenrapporten. Kunnen die rapporten allemaal apart in aanmerking komen als evaluatierapport?

In dit geval lijkt het ons aangewezen het syntheseverslag op te nemen als extern evaluatierapport in het staal. Er is immers 1 document van referentietermen en ook de uitvoerder van alle evaluaties was dezelfde. Daarenboven voedden de verschillende landenrapporten dit ene overkoepelende rapport.
 

Welke ondersteuning kunnen we krijgen van de federaties bij de zelfevaluatie en het opstellen van het verbeterplan?

Voor vragen in verband met mogelijke coaching of ondersteuning door de federaties, neemt u best rechtstreeks met uw federatie contact op. De verschillende aanspreekpunten zijn:

De DBE wijst er op dat, hoewel ze nuttig kan zijn, de coaching door de federaties geen garantie biedt op het behalen van een ECB-certificaat.