Effectiviteit van Beleid / Beleidsevaluatie

Inhoudsopgave

Het is niet eenvoudig om de doeltreffendheid van beleid aan te tonen. Hoe laat je bijvoorbeeld zien dat een verhoogde werkgelegenheid het resultaat is van subsidie (lees: beleid) van de overheid? Of is de aantrekkende werkgelegenheid het gevolg van een hoge economische groei? De koppeling tussen beleid en resultaten moet in dit geval worden gelegd door evaluatieonderzoek. Beleidsevaluatie is een systematisch onderzoek naar de doelmatigheid en doeltreffendheid van het gevoerde beleid.
 

1   Beleidscyclus

2   Wat wil je precies gaan evalueren?

3   Voorbeeld: Meer Blauw op straat'

4   Effectiviteit van Beleid

5   Doelmatigheid van de Uitvoering

6   Heeft Evaluatie zin?

7   Opzet Evaluatieonderzoek

8   Toetsingscriteria Evalautieonderzoek

 

Ad 1   Beleidscyclus

Beleidsevaluatie is onderdeel van het beleidsproces. Om de effectiviteit van beleid te kunnen bepalen is het nodig om vast te stellen hoe beleidsevaluatie zich verhoudt tot de andere stappen in het beleidsproces. In een beleidsproces worden vijf fasen onderscheiden:
 
  1. de beleidsvoorbereiding: het formuleren van het beleidsprobleem, het verzamelen en analyseren van informatie over beleidsalternatieven, het opstellen van adviezen over het te voeren beleid;
  2. de beleidsbepaling: het nemen van beslissingen over het te voeren beleid en de daarbij in te zetten instrumenten;
  3. de beleidsuitvoering: het feitelijk toepassen van de gekozen middelen en instrumenten, resulterend in beleidsprestaties (in goed Nederlands: output) en beoogde effecten en neveneffecten (outcome);
  4. de beleidsevaluatie: het beoordelen van de beleidsinhoud, het uitvoeringsproces, de geleverde prestaties en de – daarmee bereikte – effecten van het beleid;
  5. de terugkoppeling: het bijsturen van het beleid op basis van informatie over de inhoud, het proces, de prestaties en de effecten van het beleid (de zogenaamde beleidsevaluatie). 
 
Evaluatieonderzoek richt zich op de doelmatigheid en doeltreffendheid van het gevoerde beleid. In de paragrafen hieronder wordt duidelijk hoe doelmatigheid en doeltreffendheid met elkaar samenhangen. En wordt duidelijk hoe een evaluatieonderzoek uitgevoerd moet worden.
 

Ad 2   Wat wil je precies gaan evalueren? 

Bij een evaluatieonderzoek staat dus de vraag centraal of het beleid doeltreffend is en/of het beleid doelmatig is uitgevoerd. Omdat begrippen als doeltreffendheid, zuinigheid, effectiviteit en kostenefficiency vaak door elkaar heen worden gebruikt worden deze begrippen hieronder toegelicht. Want als je een beleidsevaluatie uitvoert is het noodzakelijk om aan te geven wat je exact wil evalueren. Wil je weten of het oorspronkelijke doel is bereikt? Of dat het beleid dat is uitgevoerd heeft bijgedragen aan de realisatie van het doel? Of dat dit doel op een veel doelmatiger (goedkopere) manier gerealiseerd kan worden. Mogelijke doelen van een evaluatie zijn:
 
  1. Doelmatigheid (efficiency) van de uitvoering van het beleid? is de uitvoering van het beleid efficiënt verlopen? Zijn de uitvoeringsprocessen doelmatig georganiseerd? Of in beleidsterminologie: hoe kan de verhouding tussen de kosten en de kwaliteit van de – in het kader van beleidsontwikkeling, -aansturing en -uitvoering – door de overheid geleverde prestaties, producten en diensten worden beoordeeld?
  2. Doelbereiking; in welke mate zijn de doelstellingen van het beleid bereikt? Is het doel bereikt? Voorbeeld van een doel is bijvoorbeeld het terugdringen van de werkloosheid tot 5% van de beroepsbevolking. Is dit doel bereikt of niet?
  3. Effectiviteit van Beleid; in welke mate is het realiseren van de doelstellingen toe te schrijven aan het gevoerde beleid en de daarbij ingezette instrumenten? Is de daling van de werkloosheid het gevolg van het beleid van versoepeling van het arbeidsrecht of is de daling van de werkloosheid het gevolg van de positieve macro-economische ontwikkelingen?
  4. Kosteneffectiviteit van Beleid?; hadden de bereikte doelen met ander beleid(instrumenten) goedkoper gerealiseerd kunnen worden? oftewel; hoe kan de verhouding tussen gemaakte kosten en de gerealiseerde beoogde effecten worden beoordeeld? Was het mogelijk de verlaging van de werkloosheid te realiseren door het verlagen van de uitkeringen? Dit zou goedkoper zijn geweest met wellicht hetzelfde effect.  
  5. Neveneffecten; hebben de verwachte neveneffecten van het beleid zich ook voorgedaan. En in welke mate? Of hebben zich andere neveneffecten voorgedaan die niet voorzien waren. En wat voor effect hebben die dan weer gehad op de oorspronkelijke doelstelling?
 
In het dagelijks spraakgebruik van politici en beleidsambtenaren vallen al deze doelen onder het container begrip ‘Effectiviteit van Beleid’. Maar als je een beleidsevaluatie uitvoert is het noodzakelijk om aan te geven welke (combinatie van) doelen je in het onderzoek stelt. Want een onderzoek naar kosteneffectiviteit vergt een totaal andere onderzoeksopzet dan die van doelbereiking.
 

Ad 3   VOORBEELD   'MEER BLAUW OP STRAAT'

Nieuw Beleid
De nieuwe regering heeft zichzelf als doel gesteld (outcome) het gevoel van onveiligheid bij de burgers (uitgedrukt in percentage) te verkleinen van 53% naar 40%. De regering kiest ervoor om dit specifieke doel te bereiken door binnen vier jaar 12% extra politiecapaciteit op straat beschikbaar te stellen. De nationale politie geeft invulling aan de opdracht van de minister van Veiligheid en Justitie door een grote wervingscampagne te starten voor nieuwe politieagenten. Na vier jaar zal blijken of de maatregel van de regering effectief is geweest. En het veiligheidsgevoel bij de burgers ook daadwerkelijk groter is geworden.
 
Doelbereiking
Na 4 jaar wordt door de regering vastgesteld of het beoogde doel, het verklein van het onveiligheidsgevoel van 53% naar 40%, al dan niet is gerealiseerd. In dit geval spreekt men van doelbereiking. Is het doel (gedeeltelijk) bereikt of niet?    
 
Effectiviteit van Beleid
Bij doelbereiking stel je vast of het beoogde doel is bereikt. Bij effectiviteit van beleid probeer je vast te stellen in hoeverre de getroffen maatregel (meer blauw op straat) bij heeft gedragen aan het bereiken van dat doel. Is de verbetering van het veiligheidsgevoel een gevolg van het beleid of van andere factoren? Effectiviteit van Beleid richt zich dus op de relatie tussen 'output' en 'outcome'. Omdat in een bestuurlijke context de relatie tussen beleidsinstrument en doel zelden 1 op 1 is.........
 
Doelmatigheid van Beleid
De regering kiest ervoor om binnen vier jaar 10% extra politiecapaciteit op straat beschikbaar te stellen. De vraag bij doelmatigheid is hoe de nationale politie 10% 'meer blauw op straat' met zo min mogelijke inzet van middelen voor elkaar kan krijgen. Dit kan natuurlijk door extra agenten aan te nemen. Maar dat is een vrij dure oplossing. Wellicht kun je er ook voor kiezen om stadswachten een blauw uniform aan te doen. Of nog goedkoper; je verlaagt de administratieve lasten van de huidige agenten zodat zij meer de straat op kunnen. Dan hoef je wellicht geen of minder nieuw personeel aan te trekken. Doelmatigheid gaat dus over het 'HOE'. Doelmatigheid gaat over het interne proces (Input-proces-output) om te komen tot 'meer blauw op straat'. 
 
Kosteneffectiviteit van Beleid
Hier staat de vraag centraal of de bereikte doelen met ander beleid(instrumenten) goedkoper gerealiseerd had kunnen worden? De regering heeft ervoor gekozen het veiligheidsgevoel te vergroten door 'meer blauw op straat' te brengen. Er zijn wellicht ook andere goedkopere instrumenten denkbaar om het veiligheidsgevoel te vergoten. Denk daarbij aan het verhogen van de gevangenisstraffen of het nemen van meer preventie maatregelen.  Omdat geen sprake is van een 1 op 1 relatie tussen het beoogde effect en deze maatregelen leert de ervaring dat politieke kleur van de regering bepalend is voor welke maatregel wordt gekozen. Hoeveel objectief onderzoek er ook wordt uitgevoerd.  
 

Ad 4   Effectiviteit van Beleid

In de praktijk blijkt dat beleidsevaluatie meestal gaat over 'effectiviteit van het beleid'. In welke mate is het realiseren van de doelstellingen toe te schrijven aan het gevoerde beleid en de daarbij ingezette instrumenten? Enkele aandachtspunten daarbij zijn:
 
  • Effecten; effecten zijn de gevolgen van beleid die merkbaar zijn in de maatschappij. Echter een verandering in de maatschappij hoeft niet alleen een gevolg te zijn van beleid. Veranderingen kunnen ook het gevolg zijn van bijvoorbeeld demografische, sociale , technologische of economische ontwikkelingen. 
  • Neveneffecten; beleid vertoont naast de beoogde gevolgen vaak ook neveneffecten. Zo kan 'meer blauw op straat' om het veiligheidsgevoel te vergroten leiden tot minder verkeersongelukken omdat mensen minder snel met een borrel achter het stuur gaan zitten (positief neveneffect). Of tot langere files omdat er 5.000 meer auto's de weg op gaan (negatief neveneffect). Bij een beleidsevaluatie onderzoek je ook of neveneffecten zich (in die mate) hebben voorgedaan zoals gedacht bij het opstellen van het beleid. Of dat er zich andere neveneffecten hebben voorgedaan die je vooraf niet had voorzien. 
  • Geen 1 op 1 relatie; er bestaat meestal geen 1 op 1 relatie tussen het uitgevoerde beleid en een verandering in de maatschappij. Het is daarom lastig om het succes van het gevoerde beleid te bepalen. Is de daling van de werkloosheid het gevolg van het beleid van versoepeling van het arbeidsrecht of is de daling van de werkloosheid het gevolg van macro-economische ontwikkelingen? Bij beleidsevaluatie moeten deze zogenaamde 'externe factoren' zoveel mogelijk geëlimineerd worden.   
  • Meetbaarheid van beleid; effecten zijn in de meeste gevallen niet direct te te meten. In die gevallen wordt bij een evaluatieonderzoek een benadering gemaakt van de bereikte effecten door middel van 'indicatoren'. We onderscheiden daarbij:
      • Effectindicator; een effectindicator legt een relatie tussen het uitgevoerde beleid en het beoogde effect in de maatschappij. Voor het beleid voor verkeersveiligheid is een effect indicator de vermindering van het aantal verkeersdoden. En het aantal 'technostarters' kan worden beschouwd als een effect-indicator voor innovatief ondernemerschap. 
      • Prestatie-indicator; soms is het niet mogelijk om het beoogd doel van beleid in een effect-indicator uit te drukken. In dat geval wordt meestal gebruik gemaakt prestatie-indicatoren. Waarbij een relatie tussen de prestatie-indicator en het beoogd doel van het beleid wordt verondersteld. Denk hierbij aan het beleid van 'meer blauw op straat'. Het veiligheidsgevoel van de burger wordt gerelateerd aan het aantal agenten dat op straat zichtbaar is.
    De vraag is natuurlijk of indicatoren daadwerkelijk iets zeggen over het maatschappelijk effect. Is de prestatie-indicator 'aantal agenten op straat' wel een goede indicator om de relatie tussen beleid en het veiligheidsgevoel van de burger weer te geven?
 
De vraag of prestatiegegevens daadwerkelijk iets zeggen over het beoogde maatschappelijk effect is mede afhankelijk van de formulering van het doel van het beleid. Als bijvoorbeeld van het afvalbeleid de doelstelling is; 'het voorkomen van het ontstaan van afval' dan zegt het prestatiegegeven 'afname van de hoeveelheid van afval' nog niet zoveel over het voorkomen van afval. Dus is 'afname van hoeveelheid van afval' in dit geval geen goede effect-indicator. Als de doelstelling van het beleid luidt: het verminderen van de hoeveelheid afval' dan zet deze indicator juist alles over het bereiekn van het doel. En is 'afname van de hoeveeelheid afval' een goede effect-indicator.  
 

Ad 5   Doelmatigheid van de Uitvoering

Hoewel beleidsevaluatie meestal gaat over effectiviteit van beleid zie je dat er steeds meer onderzoek wordt gedaan naar het doelmatigheid van de overheidsorganisaties. Het gaat dan om de vraag of de organisatie hun bedrijfsvoering logisch en goedkoop organiseren. 
 
  • Kengetallen; kengetallen zijn een verhoudingsgetal tussen de middelen die worden ingezet en de prestaties (output) die wordt gerealiseerd. Bijvoorbeeld de kosten per verleende subsidie of 
  • Benchmarking   
 

Ad 6   Heeft Evaluatie zin?

Beleidsevaluatie is een must! Of het nu een politicus of een CEO van een onderneming betreft. Enerzijds omdat er verantwoording moet worden afgelegd over het gevoerde beleid. Maar belangrijker nog, beleidsevaluatie geeft inzicht in de mate waarin het gevoerde beleid aan de doelstellingen heeft bijgedragen en wat de oorzaken zijn waardoor de doelstellingen wel of niet zijn gerealiseerd. Een lerende organisatie evalueert haar eigen prestaties. Evaluatieonderzoek is echter alleen zinvol als:
 
  • Duidelijke probleemstelling; indien een vraagstelling van één van de belanghebbenden wordt verwaarloosd of de probleemstelling laat ruimte voor meerdere uitleg dan zal de beleidsevaluatie minder effectief zijn.
  • Timing; een goede timing van evaluatieonderzoek is van groot belang. De uitkomsten van een onderzoek moeten in de tijd passen bij die momenten, zoals begrotingsvoorbereidingen of strategische sessie, waarin de uitkomsten daadwerkelijk als input woren gebruikt. Bij een strategische herorientatie wordt geen gebruik gemaakt van een evalauatieonderzoek van 2 jaar geleden.  
  • Evaluatieonderzoek en managementinformatie over prestaties en effecten die op gezette tijden beschikbaar komt, moeten elkaar goed aanvullen. Het streven is om te komen tot een optimale inzet van bestaande, op reguliere basis beschikbare prestatiegegevens en periodiek uit te voeren evaluatieonderzoek. Als vuistregel geldt dat evaluatieonderzoek zich in eerste aanleg richt op die informatiebehoeften, waarin niet door monitorsystemen wordt voorzien.
  • Draagvlak; Gedurende het gehele evaluatieonderzoek moet tussen de verschillende partijen een open communicatie bestaan en dient er betrokkenheid te zijn. Politici en beleidsvoerders moeten open staan voor onderzoek en onderzoekers voor de problemen van de politiek en het beleid;
  • Onafhankelijkheid; Een onafhankelijke voorbereiding en/of uitvoering van evaluatieonderzoek of het op andere wijze waarborgen van de onafhankelijkheid waarmee de merites van beleid worden beoordeeld, zijn van groot belang voor de (gepercipieerde) betrouwbaarheid van evaluatieonderzoek. Als methoden om de onafhankelijkheid van beleidsevaluatie te vergroten valt te denken aan het werken met onafhankelijke begeleidingscommissies of onafhankelijke comités van toezicht.
  • Beperkte capaciteit; een goed beleidsevaluatie kost tijd en geld. Dit moet wel beschikbaar worden gesteld. Het heeft geen zin om beleid te evalueren als je dit niet grondig doet. Omdat je dan verkeerde conclusies kan trekken met alle gevolgen van dien.
 
Beleidsmakers en politici hechten veel waarde aan beleidsevaluatie. Zeggen ze.... In de praktijk wordt beleid echter nauwelijks geëvalueerd. Evaluatie is niet 'sexy'. Het is interessanter om bij de begroting nieuw toekomstig beleid uit te zetten dan bij de verantwoording vast te stellen of het 'oude' beleid wel heeft gewerkt. Het is daardoor goed mogelijk dat beleid wordt uitgevoerd waarvan we eigenlijk niet weten of het beleid wel werkt en of het niet goedkoper uitgevoerd kon worden. 
 

Ad 7   Opzet Evaluatieonderzoek

 

Ad 8   Toetsingscriteria Evaluatieonderzoek

Deel House of Control via Social Media