Inhoudsopgave

Het is niet eenvoudig om de effectiviteit van beleid aan te tonen. Hoe toon je aan dat een stijging van de werkgelegenheid het resultaat is van overheidsbeleid? Of is de aantrekkende werkgelegenheid het gevolg van een hoge economische groei? De koppeling tussen beleid en resultaten moet in dit geval worden gelegd door evaluatieonderzoek. Beleidsevaluatie is een systematisch onderzoek naar de doelmatigheid en doeltreffendheid van het gevoerde beleid.

Ad 1   Beleidscyclus

Beleidsevaluatie maakt onderdeel uit van het beleidsproces. Om de effectiviteit van beleid te kunnen bepalen is het nodig om vast te stellen hoe beleidsevaluatie zich verhoudt tot de andere stappen in het beleidsproces. In een beleidsproces worden vijf fasen onderscheiden:

1. de beleidsvoorbereiding: in deze fase gaat het om het formuleren van het beleidsprobleem, het verzamelen en analyseren van informatie over beleidsalternatieven en het opstellen van adviezen over het te voeren beleid;
2. de beleidsbepaling: het nemen van beslissingen over het te voeren beleid en de daarbij in te zetten instrumenten;
3. de beleidsuitvoering: het feitelijk toepassen van de gekozen middelen en instrumenten, resulterend in beleidsprestaties (in goed Nederlands: output) en beoogde effecten en neveneffecten (outcome);
4. de beleidsevaluatie: het beoordelen van de beleidsinhoud, het uitvoeringsproces, de geleverde prestaties en de – daarmee bereikte – effecten van het beleid;
5. de terugkoppeling: het bijsturen van het beleid op basis van informatie over de inhoud, het proces, de prestaties én de effecten van het beleid (de zogenaamde beleidsevaluatie). 

Evaluatieonderzoek richt zich op de doelmatigheid (efficiency) en effectiviteit (doeltreffendheid) van het gevoerde beleid. Op deze pagina wordt duidelijk hoe doelmatigheid en doeltreffendheid met elkaar samenhangen. En wordt duidelijk hoe een evaluatieonderzoek uitgevoerd moet worden.

Ad 2   Wat wil je precies gaan evalueren? 

Bij een evaluatieonderzoek staat dus de vraag centraal of het beleid doeltreffend is en/of het beleid doelmatig is uitgevoerd. Omdat begrippen als doeltreffendheid, zuinigheid, effectiviteit en kostenefficiency vaak door elkaar heen worden gebruikt worden deze begrippen hieronder toegelicht. Want als je een beleidsevaluatie uitvoert is het noodzakelijk om aan te geven wat je precies wil evalueren. Wil je weten of het oorspronkelijke doel is bereikt? Of dat het beleid dat is uitgevoerd heeft bijgedragen aan de realisatie van het doel? Of dat dit doel op een veel doelmatiger (goedkopere) manier gerealiseerd kan worden. Mogelijke doelen van een evaluatie zijn:

1. Doelmatigheid (efficiency) van de uitvoering van het beleid? is de uitvoering van het beleid efficiënt verlopen? Zijn de uitvoeringsprocessen doelmatig georganiseerd? Of in beleidsterminologie: hoe kan de verhouding tussen de kosten en de kwaliteit van de aansturing en de uitvoering van de door de overheid geleverde prestaties, producten en diensten worden beoordeeld?

2. Doelbereiking; Is het doel bereikt? in welke mate zijn de doelstellingen van het beleid bereikt? Voorbeeld van een doel is bijvoorbeeld het terugdringen van de werkloosheid tot 5% van de beroepsbevolking. Is dit doel bereikt of niet?

3. Effectiviteit van Beleid; in welke mate is het realiseren van de doelstellingen toe te schrijven aan het gevoerde beleid en de daarbij ingezette (beleids)instrumenten? Is de daling van de werkloosheid het gevolg van het beleid van versoepeling van het arbeidsrecht of is de daling van de werkloosheid het gevolg van de positieve macro-economische ontwikkelingen?

4. Kosteneffectiviteit van Beleid; hadden de bereikte doelen met ander beleid(instrumenten) goedkoper gerealiseerd kunnen worden? oftewel; hoe kan de verhouding tussen gemaakte kosten en de gerealiseerde beoogde effecten worden beoordeeld? Was het mogelijk de verlaging van de werkloosheid te realiseren door het verlagen van de uitkeringen? Dit zou goedkoper zijn geweest met mogelijk hetzelfde effect.

5. Neveneffecten; hebben de verwachte neveneffecten van het beleid zich ook voorgedaan. En in welke mate? Of hebben zich andere neveneffecten voorgedaan die niet voorzien waren. En wat voor effect hebben die dan weer gehad op de oorspronkelijke doelstelling?

In het dagelijks spraakgebruik van politici en beleidsambtenaren vallen al deze doelen onder het container begrip ‘Effectiviteit van Beleid’. Maar als je een beleidsevaluatie uitvoert is het noodzakelijk om aan te geven welke (combinatie van) doelen je in het onderzoek stelt. Want een onderzoek naar kosteneffectiviteit vergt een totaal andere onderzoeksopzet dan die van doelbereiking.

Ad 2a   Effectiviteit van Beleid

In de praktijk blijkt dat beleidsevaluatie meestal gaat over 'effectiviteit van het beleid'. In welke mate is het realiseren van de doelstellingen toe te schrijven aan het gevoerde beleid en de daarbij ingezette instrumenten? Enkele aandachtspunten daarbij zijn:

• Effecten; effecten zijn de gevolgen van beleid die merkbaar zijn in de maatschappij. Echter een verandering in de maatschappij hoeft niet alleen een gevolg te zijn van beleid. Veranderingen kunnen ook het gevolg zijn van bijvoorbeeld demografische, sociale , technologische of economische ontwikkelingen.

• Neveneffecten; beleid vertoont naast de beoogde gevolgen vaak ook neveneffecten. Zo kan 'meer blauw op straat' om het veiligheidsgevoel te vergroten leiden tot minder verkeersongelukken omdat mensen minder snel met een borrel achter het stuur gaan zitten (positief neveneffect). Of tot langere files omdat er 5.000 meer auto's de weg op gaan (negatief neveneffect). Bij een beleidsevaluatie onderzoek je ook of neveneffecten zich (in die mate) hebben voorgedaan zoals gedacht bij het opstellen van het beleid. Of dat er zich andere neveneffecten hebben voorgedaan die je vooraf niet had voorzien. 

• Geen 1 op 1 relatie; er bestaat meestal geen 1 op 1 relatie tussen het uitgevoerde beleid en een verandering in de maatschappij. Het is daarom lastig om het succes van het gevoerde beleid te bepalen. Is de daling van de werkloosheid het gevolg van het beleid van versoepeling van het arbeidsrecht of is de daling van de werkloosheid het gevolg van macro-economische ontwikkelingen? Bij beleidsevaluatie moeten deze zogenaamde 'externe factoren' zoveel mogelijk geëlimineerd worden.   

• Meetbaarheid van beleid; effecten zijn in de meeste gevallen niet direct te te meten. In die gevallen wordt bij een evaluatieonderzoek een benadering gemaakt van de bereikte effecten door middel van 'indicatoren'. We onderscheiden daarbij:

• Effect-indicator; een effectindicator legt een relatie tussen het uitgevoerde beleid en het beoogde effect in de maatschappij. Voor het beleid voor verkeersveiligheid is een effect indicator de vermindering van het aantal verkeersdoden. En het aantal 'technostarters' kan worden beschouwd als een effect-indicator voor innovatief ondernemerschap. 
• Prestatie-indicator; soms is het niet mogelijk om het beoogd doel van beleid in een effect-indicator uit te drukken. In dat geval wordt meestal gebruik gemaakt prestatie-indicatoren. Waarbij een relatie tussen de prestatie-indicator en het beoogd doel van het beleid wordt verondersteld. Denk hierbij aan het beleid van 'meer blauw op straat'. Het veiligheidsgevoel van de burger wordt gerelateerd aan het aantal agenten dat op straat zichtbaar is.

De vraag is natuurlijk of indicatoren daadwerkelijk iets zeggen over het maatschappelijk effect. Is de prestatie-indicator 'aantal agenten op straat' wel een goede indicator om de relatie tussen beleid en het veiligheidsgevoel van de burger weer te geven?

De vraag of prestatiegegevens daadwerkelijk iets zeggen over het beoogde maatschappelijk effect is mede afhankelijk van de formulering van het doel van het beleid. Als bijvoorbeeld van het afvalbeleid de doelstelling is; 'het voorkomen van het ontstaan van afval' dan zegt het prestatiegegeven 'afname van de hoeveelheid van afval' nog niet zoveel over het voorkomen van afval. Dus is 'afname van hoeveelheid van afval' in dit geval geen goede effect-indicator. Als de doelstelling van het beleid luidt: het verminderen van de hoeveelheid afval' dan zegt deze indicator juist alles over het bereiken van het doel. En is 'afname van de hoeveelheid afval' wel een goede effect-indicator.  

Ad 2b   Doelmatigheid van de Uitvoering

Hoewel beleidsevaluatie meestal gaat over 'effectiviteit van het beleid' zie je dat er steeds meer onderzoek wordt gedaan naar de doelmatigheid van overheidsorganisaties. Het gaat dan om de vraag of de organisatie hun bedrijfsvoering logisch en goedkoop organiseren. Bij onderzoek naar de doelmatigheid doe je dus onderzoek naar de efficiency van de interne organisatie. 

• Prestaties; zijn de resultaten van de gebruikte middelen (personeel, geld, materiaal) en de uitgevoerde bedrijfsprocessen die een organisatie tot stand brengt om de beleidsdoelstellingen te realiseren. Prestaties komen in allerlei vormen voor: het aanleggen van een speeltuin, het verstrekken van subsidies, het uitgeven van paspoorten of het verhogen van dijken.

• Doelmatigheid van de Uitvoering; bij onderzoek naar de doelmatigheid van de uitvoering wordt een oordeel geveld over de ingezette middelen (input) en werkprocessen (proces) in relatie tot de prestaties (output) van de uitvoeringsorganisatie. Hadden de prestaties efficiënter, en dus goedkoper,  geproduceerd kunnen worden? In een onderzoek naar de doelmatigheid van de bedrijfsvoering worden de effecten die je wilt bereiken met de prestaties buiten beschouwing gelaten.

• Doelmatigheid is een relatief begrip; als we het over doelmatigheid van de uitvoering hebben dan bedoelen we dat in vergelijking met vergelijkbare organisaties of in vergelijking met andere jaren. Je kunt dus nooit zeggen of een uitvoeringsorganisatie doelmatig is of juist niet. Je kunt alleen zeggen dat je (on)doelmatiger bent ten opzichte van een andere periode of in vergelijking met een andere organisatie.

• Kengetallen; kengetallen zijn een verhoudingsgetal tussen de middelen die worden ingezet en de prestaties (output) die wordt gerealiseerd. Bijvoorbeeld het aantal ingezette uren per verleende subsidie of de kosten van per kubieke meter dijkverhoging. Maar nogmaals, dit kengetal zegt alleen wat als dit kengetal wordt afgezet tegen een hetzelfde kengetal in een andere periode of van een vergelijkbare organisatie.

• Benchmarking; prestaties vergelijken met andere vergelijkbare organisaties wordt benchmarking genoemd. Onder adviesbureaus is benchmarking een specifieke tak van sport. Zo worden grote benchmarks uitgevoerd onder gemeenten. Gemeenten hebben dezelfde specifieke taken. Door de kostenstructuur van gemeenten met elkaar te vergelijken kun je bepalen of je het als gemeente doelmatiger of ondoelmatiger bent dat de gemiddelde gemeente. Met als doel om te bepalen waar er mogelijkheden zijn om kostenbesparingen te realiseren. Zodat er meer geld overblijft om meer beleid uit te voeren.

Er wordt steeds meer onderzoek gedaan naar de doelmatigheid van uitvoeringsorganisaties. Een goed voorbeeld zijn de continue stroom van onderzoeken naar de mislukte ICT-projecten bij overheidsorganisaties zoals de Nationale Politie, de Belastingdienst en het UWV. Dit zijn goede voorbeelden dat door onvoldoende interne beheersing van de bedrijfsvoering sprake is van ondoelmatigheid of zelfs van verspilling van overheidsgeld. In deze voorbeelden gaat de slechte beheersing van de interne organisatie zelfs ten koste van de effectiviteit van beleid. Als systemen onderling niet goed gekoppeld zijn blijven criminelen bijvoorbeeld langer onzichtbaar. Of krijgen burgers uitkeringen waar ze geen recht op hebben. 

Ad 3   VOORBEELD   'MEER BLAUW OP STRAAT'

Ad 4   Heeft Evaluatie zin?

Beleidsevaluatie is een must! Of het nu een politicus of een CEO van een onderneming betreft. Enerzijds omdat er verantwoording moet worden afgelegd over het gevoerde beleid. Maar belangrijker nog, beleidsevaluatie geeft inzicht in de mate waarin het gevoerde beleid aan de doelstellingen heeft bijgedragen en wat de oorzaken zijn waardoor de doelstellingen wel of niet zijn gerealiseerd. Een lerende organisatie evalueert haar eigen prestaties. Evaluatieonderzoek is echter alleen zinvol als:

Beleidsmakers en politici hechten veel waarde aan beleidsevaluatie. Zeggen ze.... In de praktijk wordt beleid nauwelijks geëvalueerd. Evaluatie is niet 'sexy'. Het is interessanter om bij de begroting nieuw toekomstig beleid uit te zetten dan bij de verantwoording vast te stellen of het 'oude' beleid wel heeft gewerkt. Het is daardoor goed mogelijk dat beleid wordt uitgevoerd waarvan we eigenlijk niet weten of het beleid wel werkt en of het niet goedkoper uitgevoerd kan worden.

Ad 5   Opzet Evaluatieonderzoek

Maar hoe voer je een beleidsevaluatie nu uit? Hierover zijn boeken vol geschreven. Een goed uitvoeren van een beleidsevaluatie is een vak apart. Hieronder vindt je de vijf belangrijkste stappen die in elk onderzoek terug komen. 

1   Formuleren van de Vraagstelling

2   Kwantitatief of Kwalitatief onderzoek?

3   Keuze onderzoeksopzet

4   Gegevensverzameling en -verwerking

5   Conclusie & Aanbevelingen

Stap 1 Formuleren van de Vraagstelling

Het komen tot een heldere, volledige en juiste formulering van de vraagstelling is een belangrijke succesfactor voor een goed evaluatieonderzoek. De eerste stap betreft daarom het uitwerken van de informatiebehoefte van de adviseurs en besluitvormers tot een duidelijke doelstelling en een onderzoekbare probleemstelling met concrete onderzoeksvragen.

• Wat is het onderwerp van onderzoek?; bij de vraagstelling wordt duidelijk of er sprake is van onderzoek naar de effectiviteit van het beleid, doelmatigheid van de uitvoering of naar de kosteneffectiviteit van het beleid. Het moge duidelijk zijn dat de keuze voor het onderwerp grote invloed heeft op de opzet en uitvoering van het onderzoek. In deze paragraaf wordt de opzet van een evaluatieonderzoek naar 'Effectiviteit van Beleid' uitgewerkt omdat dit soort (beleids)onderzoeken het meest voorkomen.  

• Beleidstheorie; om de effectiviteit van beleid te onderzoeken moet inzicht worden gekregen in 'het geheel van veronderstellingen dat aan het beleid ten grondslag ligt'. In begrotingen en beleidsnota's van overheden wordt steeds vaker de relatie tussen de doelen van het beleid en de beleidsinstrumenten die daarvoor woren ingezet expliciet gemaakt. Doordat in de begrotingen en beleidsnota's antwoord wordt gegeven op vragen als:

• Wat willen we bereiken (beleidsdoelstelling)? 
• Welke instrumenten worden er ingezet? 
• Wat gaat dat kosten?

Door antwoord te geven op bovenstaande vragen geeft de beleidstheorie inzicht in de (veronderstelde) relatie tussen de instrumenten die worden ingezet (prestaties) en de beoogde effecten.

• Analyse-schema; helaas is de relatie tussen de ingezette instrumenten en de beoogde effecten niet altijd goed in beleidsnota's vastgelegd. Vaak wordt dan (met terugwerkende kracht) met behulp van een analyse-schema de relatie tussen doelen, sub-doelen en instrumenten in kaart gebracht. 

• Deelvragen; een probleem- of vraagstelling is vaak nogal abstract geformuleerd. Daarom wordt de vraagstelling veelal geconcretiseerd in deelvragen. Om zo meer richting te geven aan het onderzoek. Denk aan vragen als:

• Is het doel bereikt?
• In welk mate hangt de doelbereiking samen met de ingezette instrumenten?
• Welke van de instrumenten heeft het meest bijgedragen aan de realisatie van het doel?
• Welke instrumenten hebben niet of nauwelijks bijgedragen aan de realisatie van het doel?
• Welke externe factoren hebben grote invloed op de realisatie van de doelen?
• Welke van die externe factoren hebben het meest invloed?  
• Welke neveneffecten hebben zich voorgedaan en in welke mate?
• Zijn er neveneffecten die we niet voorspelt hebben?

• Afstemming; tenslotte is een goede afstemming over de vraagstelling met betrokken partijen een belangrijke succesfactor. Diegene die een beleidsevaluatie opstelt en uitvoert is vaak een andere dan diegene die hiertoe opdracht geven. Voor het succes van een beleidsevaluatie is brede draagvlak voor de vraagstelling van het onderzoek van groot belang.  

Stap 2   Kwantitatief of Kwalitatief Onderzoek?

In de tweede stap van de onderzoeksopzet bepaal je wat voor soort onderzoek je wil uitvoeren. In kwantitatief onderzoek wordt gebruik gemaakt van de verschillende statistische technieken die voorhanden zijn. Het komt echter regelmatig voor dat het niet mogelijk is met kwantitatieve gegevens te werken, bijvoorbeeld wanneer men onvoldoende inzicht heeft in de variabelen die voor het onderzoek van belang zijn of wanneer men niet over de juiste gegevens beschikt. In dergelijke gevallen wordt kwalitatief onderzoek verricht.

Kwalitatief en kwantitatief onderzoek sluiten elkaar echter niet uit; eerder zijn ze complementair. Zo kan met kwantitatief onderzoek het effect van beleid in kaart worden gebracht, terwijl vervolgens met een kwalitatief onderzoek wordt onderzocht waarom een bepaald effect (niet) optreedt. Met kwantitatief onderzoek wordt nagegaan in hoeverre relaties statistisch generaliseerbaar zijn: in hoeverre geldt wat men heeft gevonden ook voor andere dan de onderzochte gevallen? Met kwalitatief onderzoek kan inzicht verkregen worden in de validiteit van relaties: wat zijn de oorzakelijke relaties tussen de verschillende variabelen en hoe beïnvloeden ze elkaar?

VOORBEELD ANALYSE-SCHEMA 

Stap 3   Keuze Onderzoeksopzet

De derde stap van het onderzoek, nadat de vraagstelling en de deelvragen zijn opgesteld, is het bepalen van de onderzoeksopzet. De onderzoeksopzet geeft aan welke onderzoek gegevens moeten worden verzameld en hoe die moeten worden geanalyseerd om antwoord te krijgen op de vraagstelling in het onderzoek. Er bestaan een aantal typen onderzoeksopzetten waarmee de effectiviteit van het beleid kan worden vastgesteld. Mede afhankelijk van de beschikbaarheid van gegevens kan uit een van deze typen onderzoeksopzetten een keuze worden gemaakt:

1. Onderzoeksopzet met alléén Nameting; als er geen gegevens beschikbaar zijn van de situatie voordat het beleid is ingevoerd is een empirische vergelijking tussen de nieuwe en oude situatie niet mogelijk. Bij nameting als onderzoeksopzet ligt de nadruk op het logisch redeneren. Harde conclusies over doelmatigheid of effectiviteit zijn echter niet mogelijk. Een onderzoek gebaseerd op nameting levert niets meer op dan een plausibele indruk van de effecten van ingezette instrumenten. Vaak is deze zogenaamde 'beredeneerde plausibiliteit' het hoogst haalbare. Waarbij je probeert om alternatieve verklaringen zoveel mogelijk uit te sluiten. Zodat de waarschijnlijkheid van het effect van het beleidsinstrument hoger wordt.   

2. Onderzoeksopzet met Nul- én Nameting; bij deze vorm van onderzoek wordt uitgegaan van verschillen tussen de situatie voorafgaande aan de inzet van beleidsinstrumenten en de situatie na die inzet. Het verschil dat je ziet is de feitelijke verandering, en is veelal het uitgangspunt van nadere analyse. De analyse richt zich vervolgens op het zo goed mogelijk 'isoleren' van de effecten van beleid. Immers het verschil kan ook door andere factoren zijn veroorzaakt. Ook bij een onderzoeksopzet met nul- en nameting probeer je alternatieve verklaringen zoveel mogelijk uit te sluiten. 

3. Onderzoeksopzet Met én Zonder meting; in een onderzoeksopzet met- en zonder-meting wordt de situatie die op een bepaald terrein is ontstaan als gevolg van de inzet van het beleidsinstrument vergeleken met de situatie die in een ‘controlegroep’ is ontstaan (dat wil zeggen: een vergelijkbare groep, populatie of domein waar geen beleidsinstrument is ingezet). In tegenstelling tot de eerder beschreven onderzoeksmethoden wordt er in deze benadering expliciet naar gestreefd om de bijdrage van het beleidsinstrument te isoleren. Veel medische experimenten kennen deze opzet.

Voorzichtigheid is echter ook hier geboden: conclusies over de doeltreffendheid of effectiviteit van het beleidsinstrument – of het geneesmiddel – kunnen alleen getrokken worden als beide groepen identiek zijn. En in de praktijk is het best lastig om twee identieke controlegroepen te vinden die onder alle omstandigheden hetzelfde reageren. 

4. Onderzoeksopzet met een Combinatie van een Voor-Na en een Met-Zonder meting; de enige onderzoeksopzet waarmee de doeltreffendheid van een bepaalde maatregel vrijwel zeker kan worden vastgesteld, is die waarbij zowel een voor- als nameting wordt gedaan als waarbij gewerkt wordt met een experimentele en een controlegroep. De praktijk laat echter zien dat deze gegevens vaak niet beschikbaar zijn. Deze onderzoeksopzet kom je dan ook niet vaak tegen. 

Doel van een onderzoeksopzet is het zoveel mogelijk afbakenen van de invloed van het gevoerde beleid van de andere factoren die van invloed zijn op de beleidsdoelstelling. Het gaat immers om de causale relatie tussen oorzaak (beleid) en gevolg (effect) vast te stellen. Onderzoeksopzet met een Combinatie van een Voor-Na en een Met-Zonder meting heeft dan ook sterk de voorkeur om een beleidsevaluatie mee uit te voeren. In de praktijk zijn het echter de beschikbare gegevens die bepalen voor welke onderzoeksopzet wordt gekozen.

Stap 4   Gegevensverzameling & -Verwerking

De vierde stap betreft het hoofdonderzoek: het verzamelen en verwerken van onderzoek gegevens. Het doel is het kiezen van een geschikte onderzoeksmethode en wijze waarop gegevens worden verwerkt en geanalyseerd. De meest bekende onderzoeksmethoden zijn:

• Documentenanalyse; een methode om relevante informatie te verzamelen is het analyseren van documenten. Gedacht kan worden aan beleidsstukken, begrotingsstukken, rapportages, overzichten, vergaderverslagen, statistieken en dergelijke. Bij de inventarisatie en selectie van documenten is het van belang na te gaan of men alle relevante documenten heeft. Documentenanalyse is zowel een kwantitatieve als een kwalitatieve gegevensverzamelingstechniek. Het kan immers gaan om het analyseren van statistische gegevens, maar ook van kwalitatieve beweegredenen/argumenten.

• Interview; het interview (m.n. het diepte-interview) is een kwalitatieve gegevensverzamelingstechniek. Zij past het beste bij een kwalitatieve onderzoeksopzet maar wordt ook vaak gebruikt als aanvulling op kwantitatief onderzoek. Er zijn verschillende interview-vormen:

• Open Interview; bij het open interview (diepte-interview) zijn de vragen niet van te voren vastgesteld. Dit geeft de mogelijkheid om diep in te gaan op verscheidene onderwerpen. Deze vorm van interviewen kan goed gebruikt worden wanneer het van belang is inzicht te verkrijgen in ervaringen en meningen van personen (deskundigen).
• Semi-gestructureerde Interview; deze vorm van interview houdt in dat een deel van de vragen vooraf is vastgesteld. Voordeel is dat een zekere mate van vergelijkbaarheid van de gegevens uit de interviews aanwezig is. Voorts blijft voldoende ruimte voor de geïnterviewde over om eigen ervaringen en meningen te vertellen.
• Gestructureerde Interview; het gestructureerde interview bestaat uit vooraf opgestelde vragen. Hierdoor worden gegevens op eenzelfde manier verkregen hetgeen de objectiviteit ten goede komt. De verkregen gegevens zijn ook in hoge mate vergelijkbaar. Nadeel is dat weinig ruimte wordt gelaten voor de ervaringen van de geïnterviewde.

• Enquête; de enquête kan meer beschouwd worden als een kwantitatieve gegevensverzamelingstechniek en past daarom vaak beter bij een kwantitatieve onderzoeksopzet (zoals de ‘voor-na’-meting en de ‘met-zonder’-meting). We onderscheiden de schriftelijke en de mondelinge enquêtes;

• Schriftelijke (elektronische) enquêtes; een vragenlijst bestaat meestal grotendeels uit gesloten vragen. Door middel van een aantal open vragen kunnen kwantitatieve uitkomsten kwalitatief onderbouwd worden. In schriftelijke enquêtes kunnen complexere vragen worden gesteld dan bij telefonische enquêtes. Een nadeel van schriftelijke enquêtes is dat niet goed valt te controleren wie en hoe serieus het enquêteformulier wordt ingevuld. 
• Telefonische enquêtes; de mondelinge enquête vindt veelal telefonisch plaats. De vragen kunnen zowel open als gesloten zijn. Het voordeel van de telefonische enquête is dat in korte tijd zeer veel informatie kan worden verzameld. Bovendien zal de invloed van anderen op de beantwoording van vragen meestal gering zijn. verder is de respons meestal hoger dan bij een schriftelijke enquête. Een nadeel is dat telefonische enquêtes in het algemeen niet te lang mogen duren.

Evenals het houden van interviews is het maken van vragenlijsten een vak aaprt.  Gezond verstand is hierbij cruciaal. Van groot belang is dat een vragenlijst wordt uitgetest en dat interviewers en enquêteurs worden getraind.

• Data-analyse; bij deze methode van onderzoek worden statistische analyses gedaan op grote hoeveelheden gegevens. Door het koppelen van bijvoorbeeld de basisadministraties (zoals bijvoorbeeld de Basisregistratie personen, de Basisregistratie Inkomen en de Basisregistratie Kadaster) kunnen ontwikkelingen rondom het inkomen per huishoudsamenstelling in kaart worden gebracht. Deze ontwikkelingen worden vervolgens geplaatst in het uitgevoerde overheidsbeleid. Op basis waarvan je dan conclusies kunt trekken. Bijvoorbeeld; is de overheid erin gelaagd om het doel om alleenstaande gepensioneerden financieel er niet op achter uit te laten gaan te realiseren?

• Participerende Observatie; bij deze onderzoeksvorm probeert de onderzoeker zich het ‘lidmaatschap’ te verwerven van de groep of institutie die hij wil onderzoeken, d.w.z. deelgenoot probeert te worden van hun cultuur, dan wel daar zo sterk mee in contact te komen dat hij zich een ‘insiders view’ kan verwerven. Participerende observatie wordt gebruikt als gegevens alleen maar zijn te verkrijgen door middel van waarneming van gedrag. Een probleem dat bij participerende observatie kan optreden, is dat de onderzochte groep een ander gedrag kan vertonen door de aanwezigheid van de onderzoeker. Ook kan de onderzoeker selectief waarnemen of interpreteren, bijvoorbeeld omdat hij zich te zeer identificeert met zijn onderzoeksobject.

• Case-study; de case-study is eveneens een kwalitatieve gegevensverzamelingstechniek en past het beste bij een kwalitatieve onderzoeksopzet (zoals de nameting). Een case-study is een empirisch onderzoek waarbij een probleem/verschijnsel in zijn complexe en concrete context wordt bestudeerd waarbij de grenzen tussen het verschijnsel en zijn context niet altijd duidelijk zijn en waarbij verschillende gegevensbronnen worden gebruikt.

Afhankelijk van de aard van het evaluatieonderzoek en de gegevensbronnen wordt een keuze gemaakt uit één van de onderzoeksmethoden. Nadat de gegevens zijn verzameld moeten de gegevens verwerkt worden. Bij het verwerken van gegevens draait het om het beantwoorden van de onderzoeksvragen: kunnen op basis van de gegevens conclusies worden getrokken over de doelmatigheid en doeltreffendheid van beleid? Punten die bij de verwerking van gegevens centraal staan zijn:

• Ordenen van gegevens; de eerste stap bij de verwerking van gegevens is de ordening ervan. De gegevens worden vaak per variabele in een tabel weergeven.
• Op zoek naar causale verbanden; hoe sterk is het gevonden causale verband tussen bijvoorbeeld de groep die aan beleid ‘onderhevig’ is geweest en de controle-groep?
• Uitsluiten van concurrerende factoren; hoe kan in een analyse de invloed van het beleidsinstrument gescheiden worden van de rivaliserende verklarende factoren?
• Presentatie van gegevens; hoe kunnen gegevens over de onderzochte gevallen op zodanige wijze gepresenteerd worden, dat duidelijk is welke algemene uitspraken mogelijk zijn?  

Stap 5   Conclusies & Aanbevelingen

Nadat de gegevens zijn verzameld en analyse van de gegevens heeft plaatsgevonden, is het mogelijk om conclusies te trekken en aanbevelingen te doen. De vijfde stap betreft de rapportage van de uitkomsten van het evaluatieonderzoek én de aanbevelingen die daaruit voortkomen. Het gaat er uiteindelijk om dat de gegenereerde informatie wordt benut en zo de kwaliteit van de besluitvormings- en verantwoordingsprocessen helpt verbeteren. Het doel van de deze stap is ervoor te zorgen dat politieke en bestuurlijke besluitvormers deze informatie ook daadwerkelijk gaan gebruiken. Aspecten die hierbij van belang zijn:

• informatieve waarde: ‘bieden de uitkomsten iets nieuws?’
• Herkenbaarheid: passen de uitkomsten in het beeld dat de beleidsvoerder en anderen van het beleidsveld hebben?
• Toepasbaarheid: zijn de uitkomsten (aanbevelingen) praktisch van aard?
• Mate van bedreiging: in hoeverre kunnen de uitkomsten beleidsvoerders, politici of andere betrokkenen (zoals uitvoeringsinstanties) in een lastig parket brengen?

Om de kwaliteit en daarmee het gebruik van de uitkomsten van het onderzoek te verhogen, is het zaak dat een evaluatierapport aan bepaalde eisen voldoet. Veel van die eisen hangen samen met de hierboven beschreven inhoudelijke eisen, zoals een valide opzet en interne consistentie van het onderzoek. Maar een evaluatierapport wordt uiteindelijk geschreven voor een lezerspubliek: opdrachtgever, belanghebbenden, de gemeenteraad, de II-kamer etc.. Voor al deze potentiële lezers moet het rapport makkelijk leesbaar zijn. Standaard eisen aan een (onderzoeks)rapportage zijn:

• Het rapport bevat een adequate, beknopte management samenvatting;
• Het rapport bevat illustratieve grafieken, modellen en afbeeldingen die de tekst toegankelijk maken;
• Het rapport is niet te technisch geschreven (bevat zo min mogelijk jargon);
• Het rapport is niet te dik (het werken met bijlagen kan behulpzaam zijn);
• Het rapport verschijnt op tijd.