Certificering - FAQ

1. Is de certificering verplicht? Welke zijn de gevolgen als we geen aanvraag tot certificering indienen?
2. Welke zijn de gevolgen indien we niet gecertificeerd worden?
3. Zal de certificering terugkeren als onderdeel van een volgende screening?
4. Welke experten zullen geselecteerd worden voor de certificering?
5. Worden de resultaten van de certificering publiek gemaakt?
6. Wat is de reikwijdte van een certificeringsoefening?
7. Welke documenten moeten er bij een certificeringsaanvraag bijgevoegd worden?
8. Wat is de geldigheidsduur van een ECB-certificaat?
9. ​Is het mogelijk om het proces duidelijker te omschrijven (precieze momenten, rollen)? Hoe wordt dit intern best opgevolgd?
10. Dragen de organisaties bij tot de financiering van de certificering? Hoe veel tijd zullen we hieraan besteden?
11. Wat wordt er beschouwd als een evaluatie?
12. Wat is een “externe evaluatie”?
13. Er wordt een staal gevraagd van de evaluaties van de afgelopen drie jaar. Over welke jaren gaat het precies?
14. Wat als de organisatie geen of onvoldoende externe evaluaties kan voorleggen?
15. Wat met de evaluaties die er zijn in het kader van gemeenschappelijke programma’s? Hoe verhouden zij zich tot de certificering?
16. Hoe wordt het aantal evaluaties geteld? Welke zijn de criteria?
17. Welke ondersteuning kunnen we krijgen van de federaties bij de zelfevaluatie en het opstellen van het verbeterplan?

 

Is de certificering verplicht? Welke zijn de gevolgen als we geen aanvraag tot certificering indienen?

In 2014 werd de certificering toegevoegd aan het mandaat van de Dienst Bijzondere Evaluatie (DBE), volgend op een wijziging van het KB dat dit mandaat regelt, en de nieuwe wet betreffende de Belgische Ontwikkelingssamenwerking.

De certificering is een proces dat verschilt van de screening in die zin dat niet alleen getracht wordt de capaciteit, praktijken en de producten over evaluatie grondig te onderzoeken. Het brengt ook een proces van verbetering op gang. De methode biedt ruimte voor wederzijds leren binnen elke organisatie. Bovendien wil DBE-evenementen organiseren om de praktijken tussen de verschillende actoren die bij het certificeringsproces betrokken zijn (Enabel, BIO, CSO en IA) te stimuleren.

In tegenstelling tot screening, is het behalen van een ECB-certificaat geen voorwaarde voor het verkrijgen van een subsidie van DGD. In die zin is er dus geen ‘sanctie’ voor een actor die geen aanvraag tot certificering indient of na aanvraag niet gecertificeerd wordt.

Certificatie heeft een belangrijke plaats in het beleid om de Belgische samenwerking meer resultaatgericht te maken. Certificering kan ook leiden tot een betere complementariteit en interactie tussen de evaluaties van de verschillende actoren en die van de Dienst Bijzondere Evaluatie. 

Welke zijn de gevolgen indien we niet gecertificeerd worden?

Op dit ogenblik is er geen sanctie of ander gevolg voorzien in geval van niet-certificering. DBE kan echter niet garanderen dat hier geen verandering in komt.
 

Zal de certificering terugkeren als onderdeel van een volgende screening?

DGD is verantwoordelijk voor de screening en subsidiëring van de actoren van de niet-gouvernementele samenwerking en bepaalt daartoe de voorwaarden. DBE handelt onafhankelijk en maakt geen deel uit van DGD.
 

Welke experten zullen geselecteerd worden voor de certificering?

De overheidsopdracht voor de certificering voor de periode 2017-2021 was geregeld via een raamcontract, waaraan vier bureaus deelnamen: COTA, FocusUp, South Research en Syspons. Deze bureaus konden een offerte indienen voor een specifieke certificeringsopdracht van een aantal actoren. In die offerte stelden zij dan hun experten voor, die vast bij hen in dienst konden zijn of freelancers waar zij voor deze opdracht mee samen werkten. Voor de periode 2022-2026 wordt een nieuw raamcontract voorzien. 

Worden de resultaten van de certificering publiek gemaakt?

De resultaten van de certificering worden publiek gemaakt in die zin dat gekend zal zijn welke de actoren zijn die een ECB-certificaat behaald hebben en in welk jaar. DGD krijgt inzage in het verbeterplan en het verslag van de assessor, evenals diens advies aan DBE over het certificeren van de actor in kwestie. De opvolging van de uitvoering van het verbeterplan maakt immers deel uit van de onderwerpen die besproken kunnen worden op de institutionele dialoog tussen DGD en de niet-gouvernementele organisatie. Wat Enabel en BIO betreft, wordt de verdere opvolging van de certificering besproken op de Raad van Bestuur.

DBE zal over de voortgang van certificering ook rapporteren aan een begeleidingscomité en in het jaarverslag van de Bijzondere Evaluator aan het Parlement. Daarnaast is er ook een collectieve verbetercyclus voorzien. Op het einde van de cyclus zal er een leeruitwisseling plaatsvinden, waarbij organisaties goede praktijken die uit de certificering naar boven kwamen met elkaar kunnen delen.

Buiten de informatie die gedeeld wordt in het kader van de hierboven vermelde rapportage en uitwisseling, worden er geen verdere details van specifieke certificeringsoefeningen publiek gemaakt door DBE.

 

Wat is de reikwijdte van een certificeringsoefening?

De certificering beoordeelt het monitoring- en evaluatiesysteem van organisaties, op basis van hun capaciteit, de processen (van ontwerp van een evaluatie tot gebruik van de resultaten ervan) en rapporten van externe evaluatie.

Twee zaken moeten verduidelijkt worden: (i) het systeem voor monitoring wordt niet volledig meegenomen; immers, enkel de capaciteit van de organisatie om de gegevens te voorzien die nodig zijn voor de geplande evaluaties maakt deel uit van het instrument; (ii) het gaat om de processen en rapporten van externe evaluatie en meer bepaald evaluaties van de DGD-programma’s. Organisaties kunnen het instrument echter ook aanwenden om evaluaties van interventies gefinancierd door andere donoren te analyseren.
 

Welke documenten moeten er bij een certificeringsaanvraag bijgevoegd worden?

De aanvraag omvat de volgende documenten:

• Een formele brief ondertekend door iemand met beslissingsbevoegdheid op managementniveau.
• Een overzicht van de evaluaties van de laatste drie jaar+ argumentatie van de keuze van het staal (indienen volgens het sjabloon van bijlage D van de handleiding voor zelfevaluatie).
• De geselecteerde evaluatierapporten met de bijbehorende referentietermen.
• Het organigram van de organisatie.
• Het rapport van de zelfevaluatie:
  • het profiel van de organisatie en de beoordeling van de criteria volgens de LEADS -score (conform sjabloon van bijlage C).
  • de narratieve beoordeling (eveneens conform bijlage C).
  • de organisatie dient zich voor de aanvraag ervan te verzekeren dat zij voldoet aan minstens 4 van de 6 subcriteria van hoofdstuk 3 van de zelfevaluatie (de capaciteit van de organisatie om de evaluatie te organiseren) en er dus een minimumscore ‘D’ aan toekende volgens het LEADS-systeem.
• Het verbeterplan.

Zowel bij de zelfevaluatie als het verbeterplan kan de organisatie bijlagen voegen die relevant zijn voor de assessor bij de voorbereiding van het certificeringsbezoek.
 

Wat is de geldigheidsduur van een ECB-certificaat?

Voor organisaties die al gecertificeerd zijn, blijft het behaalde certificaat geldig gedurende de cyclus 2022-2026. De opvolging zal plaatsvinden in het kader van de institutionele dialogen.
 

Is het mogelijk om het proces duidelijker te omschrijven (precieze momenten, rollen)? Hoe wordt dit intern best opgevolgd?

Voor een globale omschrijving van het proces verwijzen we naar het hoofdstuk over de certificering in het Jaarverslag van de DBE aan het Parlement, en naar de verschillende documenten over de certificering die gepubliceerd staan op de website van de DBE.

De interne opvolging is een zaak van de organisatie zelf, maar het lijkt voor de hand liggend dat er best minstens één persoon fungeert als “focal point” of aanspreekpunt binnen de organisatie om het proces van begin tot einde op te volgen.
 

Dragen de organisaties bij tot de financiering van de certificering? Hoeveel tijd zullen we hieraan besteden?

De kosten verbonden aan de uitvoering van een certificeringsoefening door een externe assessor, worden gedragen door DBE.

Voor een indicatie van de tijd die een organisatie intern zal besteden aan de certificeringsoefening baseert DBE zich op het studierapport van de pilootstudie uitgevoerd in 2017. Uit de testfase valt af te leiden dat een organisatie ongeveer 15-20 werkdagen besteedt aan het totale proces (inclusief de analyse van de evaluatierapporten voor de samenstelling van het staal) indien de zelfevaluatie gebeurt door drie personen. Afhankelijk van de organisatie en haar keuze voor de opzet van het collectief proces loopt die tijd op, zeker voor grotere organisaties waarin de oefening zo breed mogelijk benut wordt en meerdere evaluatierapporten en -processen dienen te worden geanalyseerd.

Tegelijkertijd zal een degelijke voorbereiding van het bezoek van de assessor de kosteneffectiviteit verhogen en het leerpotentieel van de oefening vergroten

 

Wat wordt er beschouwd als een evaluatie?

Om te omschrijven wat een evaluatie is, verwijzen we naar de definitie van de OESO-DAC:

Een evaluatie is de systematische en objectieve beoordeling van een al dan niet beëindigd project, programma of beleid, en het ontwerp, de uitvoering en de resultaten ervan. Het doel is het bepalen van de relevantie, de realisatie van de doelstellingen, de ontwikkelingsefficiëntie, de doeltreffendheid, de impact en de duurzaamheid.

Een evaluatie moet geloofwaardige en nuttige informatie leveren om de 'lessons learned' te integreren in het besluitvormingsproces van zowel de ontvangers als de donoren. Evaluatie verwijst ook naar het proces van het bepalen van de waarde of betekenis van een activiteit, beleid of programma. Een beoordeling, zo systematisch en objectief mogelijk, van een geplande, lopende of beëindigde ontwikkelingsinterventie.

Opmerking: evaluatie betekent in sommige gevallen het bepalen van gepaste normen, het onderzoeken van de prestatie in het kader van die normen, het beoordelen van eigenlijke en verwachte resultaten en de identificatie van relevante lessen.

Volgens deze definitie worden volgende onderzoeken niet als evaluaties beschouwd: tevredenheidsonderzoeken, haalbaarheidsstudies, perception surveys, enz., d.w.z. studies die geen bredere analyse omvatten van de opzet, de uitvoering en de resultaten van een programma, project of beleid.
 

Wat is een “externe evaluatie”?

Een externe evaluatie is een onafhankelijke evaluatie die uitgevoerd wordt door een externe evaluator. Voor de definities van “onafhankelijke evaluatie” en “externe evaluator” verwijzen we naar het verklarende document over evaluatie in het KB van 11 september 2016:

Onafhankelijke evaluatie (art. 44, §1):

Een onafhankelijke evaluatie houdt in dat de evaluator kan werken zonder dat die onder invloed staat van de personen betrokken bij de planning of uitvoering van de interventies of acties die het voorwerp uitmaken van de evaluatie. Deze evaluator is iemand die zelf ook geen belangen heeft bij de interventie(s) en dus niet betrokken geweest is in de formulering bvb.

Externe evaluator (art. 44, §2)

Een externe evaluator staat buiten de organisatie en heeft geen organisatorische band met de actor waarvan hij of zij interventies of acties evalueert. Deze evaluator is iemand die zelf ook geen belangen heeft bij de interventie(s) en dus niet betrokken geweest is in de formulering, planning of uitvoering van de interventies of acties die het voorwerp uitmaken van de evaluatie. Voor het aanstellen van een externe evaluator wordt er een beroep gedaan op de markt.

Wat ook beschouwd kan worden als een ‘externe evaluatie’ is een evaluatie waarbij de organisatie de evaluatie deels intern georganiseerd en uitgevoerd heeft, maar waarbij de evaluatie-oefening onder de leiding stond van een externe evaluator die garant staat voor de onafhankelijkheid van de evaluatie en de volledige verantwoordelijkheid voor de evaluatie op zich neemt.

De voorkeur gaat echter uit naar een onafhankelijke evaluatie die volledig uitgevoerd wordt door een of meerdere externe evaluatoren, die aangesteld zijn via een aanbesteding. 

 

Er wordt een staal gevraagd van de evaluaties van de afgelopen drie jaar. Over welke jaren gaat het precies?

Het gaat om evaluaties van de drie jaar voorafgaand aan de uitoefening. Indien de certificering in 2020 zou plaatsvinden, zouden dit de jaren 2017, 2018 en 2019 zijn. Recentere evaluaties kunnen in aanmerking worden genomen voor certificeringsaanvragen vanaf 2022, op voorwaarde dat het evaluatieproces volledig is afgerond en het evaluatieverslag beschikbaar is. Een verslag kan worden overwogen indien het nut van het evaluatieverslag kan worden beoordeeld.

 

Wat indien de organisatie geen of onvoldoende externe evaluaties kan voorleggen?

Dan zal de organisatie moeten wachten met het indienen van een aanvraag tot certificering tot er voldoende externe evaluaties beschikbaar zijn.
 

Wat met de evaluaties die er zijn in het kader van gemeenschappelijke programma’s? Hoe verhouden zij zich tot de certificering?

De certificering gebeurt per organisatie. Om het leerproces voor de organisatie te optimaliseren, verdient het aanbeveling beoordelingen voor te stellen die inzicht verschaffen in en representatief zijn voor de manier waarop de organisatie werkt. In alle gevallen worden de capaciteits- en procescomponenten strikt per organisatie geanalyseerd.

 

Hoe wordt het aantal evaluaties geteld? Welke zijn de criteria?

Belangrijke criteria zijn het opzet van de evaluatie, de referentietermen en het uiteindelijke doel waartoe de evaluatie moet dienen.

Een voorbeeld: een organisatie heeft één document van referentietermen voor drie landenevaluaties. Voor elk land / programma (doelstelling) is er een afzonderlijk evaluatierapport. Daarnaast is er ook een overkoepelend rapport, op basis van de landenrapporten.

Kunnen die rapporten allemaal apart in aanmerking komen als evaluatierapport?

In dit geval lijkt het ons aangewezen het syntheseverslag op te nemen als extern evaluatierapport in het staal. Er is immers één document van referentietermen en ook de uitvoerder van alle evaluaties was dezelfde. Daarenboven voedden de verschillende landenrapporten dit ene overkoepelende rapport.

 

Welke ondersteuning kunnen we krijgen van de federaties bij de zelfevaluatie en het opstellen van het verbeterplan?

Voor vragen in verband met mogelijke coaching of ondersteuning door de federaties, neemt u best rechtstreeks met uw federatie contact op.

DBE wenst te benadrukken dat, hoewel begeleiding door de federaties de kansen op het behalen van het certificaat vergroot, het geen voldoende garantie is.