Impactevaluatie: leren uit wat verandert

Positieve en negatieve veranderingen

In sociaal werk staat verandering centraal. Organisaties en projecten willen graag weten of ze die verandering ook realiseerden. Niet alleen om zich te verantwoorden ten aanzien van een opdrachtgever, maar ook om eruit te leren.

‘Impact van wat, op wat?’

Toch beperken organisaties zich in rapporten en verslagen vaak tot het opsommen van prestaties of resultaten op de korte termijn, zoals het aantal bereikte en geholpen mensen. De vraag naar de ‘impact’ gaat veel verder en dieper.

Onderzoekers Pieter Cools en Peter Raeymaeckers zijn thuis op het brede terrein van evaluatie. Volgens hen gaat impactevaluatie over “de positieve en negatieve veranderingen die worden gerealiseerd door een interventie of een verzameling interventies”.

Een begripsafbakening lost vanzelfsprekend niet alle vragen op. Over welke interventies en veranderingen hebben we het? En vooral: wat is het verband tussen beide?

Oneindig veel variaties

Deze vragen duiken op bij alle vormen van evaluatie, dus ook bij impactevaluatie.

Wat is de impact van een grote verkaveling op het sociaal leven en de mobiliteit in een wijk? Welke impact heeft sociale tewerkstelling op het dagelijks leven van mensen? Wat is de impact van overlastprojecten? En welke uiteindelijke impact heeft een alfabetiseringsproject: helpt het kunnen lezen en schrijven om beter te participeren aan de samenleving?

Impact van wat, op wat? Daarop kan je oneindig veel variaties maken. Het is cruciaal om die vertrekposities duidelijk te omschrijven.

Pionieren

Verschillende organisaties pionieren met impactevaluatie.

De koepel van de sociale economie, HERWIN, roept haar leden op om hun meerwaarde scherper te krijgen, onder andere door de impact op de doelgroepmedewerkers meer zichtbaar te maken. In opdracht van de stad Antwerpen loopt er een onderzoek naar de impact van innoverende woonprojecten. Jeugdhulporganisatie Oranjehuis in Kortrijk onderzoekt de impact van een gerichte begeleidingspraktijk op de tewerkstelling en de huisvesting van jongvolwassenen.Die praktijk is bovendien gefinancierd met een social impact bond.

‘Verschillende organisaties pionieren met impactmeting.’

Verschillende steunpunten en onderzoeksinstellingen ontwikkelen instrumenten en methodieken om impactevaluatie te ondersteunen. Socius, het steunpunt voor sociaal-cultureel werk, onderzoekt manieren om de impact van sociaal-culturele activiteiten in beeld te brengen. De Sociale Innovatiefabriek ontwikkelt een heuse Impact-wizard op een online-platform.

Hogeschool UCLL maakte voor de sociale economie een handig werkboekje, ook bruikbaar voor andere initiatieven. Ook de Karel de Grotehogeschool gelooft dat we de impact van sociaal werk beter in beeld moeten brengen en ontwikkelde een tool die onder andere gebruikt wordt door de armoede-organisatie Armen Tekort. Het Kenniscentrum Welzijn Wonen Zorg (WWZ) toonde hoe een impactevaluatie klein kan starten en gaandeweg meer mensen en actoren kan betrekken. Zoek je een gids over impactgericht denken en handelen?  Die vind je bij de Koning Boudewijnstichting.

En in aanloop van de nieuwe sociaalwerkconferentie in 2022 loopt een grondig traject over ‘impactgedreven handelen en impactevaluatie’, dat wordt gedragen door Universiteit Antwerpen, KU Leuven, Karel de Grote Hogeschool en SAM, steunpunt Mens en Samenleving.

Verantwoorden en leren

Riet Steel is stafmedewerker van SAM, steunpunt Mens en Samenleving en begeleidde impacttrajecten in het opbouwwerk. Zij is goed geplaatst om te beoordelen waarom een organisatie kiest voor een impactevaluatie. “Intrinsieke redenen zijn het verhogen van vakmanschap en een leermotivatie. Doen we de goede dingen en doen we dingen goed, gezien onze doelstellingen en missie? Wat leren we uit de resultaten, zodat we in de juiste richting kunnen bijsturen? En welke leerpunten kunnen we meenemen in nieuwe projecten?”

“Extrinsieke redenen leggen dan weer de nadruk op verantwoording. De druk neemt toe om impact te tonen aan de overheid of aan andere financierders. Meestal wordt dat uitgedrukt in meetbare outcome-indicatoren of resultaatgerichte financiering.”

‘Een goede impactevaluatie vraagt ruimte voor reflectie, draagvlak en volgehouden inspanningen.’

“Vaak spelen zowel intrinsieke als extrinsieke motieven. Dan is het cruciaal om de verschillen in motivatie te verduidelijken om samen weloverwogen keuzes te maken. Alleen ingaan op de vragen naar verantwoording heeft weing zin. Impactevaluatie werpt de meeste vruchten af wanneer er een sterke intrinsieke motivatie is.”

“Een goede impactevaluatie vraagt ruimte voor reflectie, draagvlak en volgehouden inspanningen. Vanuit een leercultuur in het team, in de organisatie en met partners. Dat is een evenwichtsoefening. Het vergt van sociale professionals een langdurige inspanning die bovenop het ‘gewone’ werk lijkt te komen. Er is zeker een risico op overload, wanneer er te veel tijd gaat naar monitoren en evalueren.”

Weinig weerstand

Koen Hermans (LUCAS, KU Leuven) is in het kader van Sterk Sociaal Werk co-promotor van het programma over ‘impactevaluatie en impactgedreven handelen in het sociaal werk’. Hij hoopt de spanning tussen ‘intern leren’ en ‘extern verantwoorden’ te overbruggen.

“Het klopt dat we in een context leven met prestatiedruk vanuit de overheid, zoals meer doen met dezelfde middelen. De druk om impact aan te tonen valt in het sociaal werk nog best mee. Ik zie ook dat het sociaal werk minder weerstand heeft tegen impactonderzoek dan tegen het evidence-based denken dat enkele jaren geleden opgang maakte. Het impactdenken wordt nogal snel omarmd, het wordt bijna een hype.”

Langere termijn

“Veel organisaties werken met gemeenschapsmiddelen. Verantwoorden hoe die besteed worden, is altijd een compromis geweest tussen overheid en organisaties. In verslagen en rapporten vraagt de overheid dan: wat heb je gedaan, wat waren je activiteiten en hoeveel mensen heb je bereikt? Meestal gebeurt dat jaarlijks, op een heel korte termijn.”

‘De vraag is: Wat heb je teweeggebracht?’

“Logisch dus dat organisaties in impactevaluatie een kans zien. Want wil je als overheid echt iets weten over impact, dan is de vraag: Wat heb je teweeggebracht? Dan gaat het niet over uitkomsten op korte termijn, wel over veranderingen op langere termijn.”

“Impactevaluatie gaat in essentie over verandering. Welke veranderingen beogen we en welke veranderingen gebeuren? En die kunnen gewenst of ongewenst zijn.”

Een andere mindset

Kiezen voor impactmeting is geen kwestie van toeters en bellen toevoegen aan bestaande evaluatiemodellen. Koen Hermans: “Impactgedreven handelen en denken houdt een andere mindset in. Enkele jaren geleden vroeg de toenmalige Vlaams minister van sport Philippe Muyters dat het voetbalproject voor kwetsbare mensen Belgian Homeless Cup, nu Younited Belgium, haar impact in beeld zou brengen.”

“Dit project klopte aan bij de Sociale Innovatiefabriek en kreeg een stevige huistaak: ontwikkel eerst een veranderingstheorie. Welke veranderingen beoog je en welke factoren dragen daartoe bij? Werkten de voetballende daklozen ook mee aan die veranderingstheorie? Verandert de kwetsbare situatie van deze mensen? Hoe komt het dat sommigen afhaken?”

“Zo ben je vertrokken voor een intens leerproces. Terwijl de minister vooral harde cijfers wilde over de resultaten van zijn projectfinanciering.”

Brede dynamiek

Wanneer een organisatie zich verantwoordt en resultaten presenteert, gebeurt dit meestal vanuit een attributielogica: welke resultaten kunnen toegeschreven worden aan de werking van de organisatie? Dat wordt dan netjes voorgesteld in een jaarrapport of projectverslag.

Maar om de reële impact in beeld te brengen is niet alleen een langere tijd nodig. Men kiest ook best voor een contributielogica.

‘Hebben we als sociaal werk iets bijgedragen tot verandering?’

Koen Hermans: “Die contributielogica gaat ervan uit dat een verandering complex is en altijd gebeurt door een samenspel van verschillende processen. Je kan een verandering dan moeilijk enkel toeschrijven aan jouw initiatief. De vraag is welke bijdrage jij geleverd hebt binnen een bredere veranderingsdynamiek. Soms kan je die eigen bijdrage goed afbakenen. Soms niet.”

“Een mooi voorbeeld is preventieve woonbegeleiding. De impact op het voorkomen van thuisloosheid is zeer duidelijk. Maar die impact is mee te danken aan vele andere factoren, zoals het lokaal woonbeleid of de aanwezigheid van een lokaal aanspreekpunt.’

Complexiteit

Ook Riet Steel schuift die complexiteit naar voor: “Impact slaat op een verzameling van langetermijneffecten, zowel bedoelde als onbedoelde, positieve als negatieve, directe en indirecte. Dan ga je per definitie uit van complexiteit.”

‘Impact is het langetermijneffect waartoe een praktijk bijdraagt.’

“Sommige praktijken roeien tegen de stroom in en leggen een parcours af met collectieve processen en beleidsbeïnvloeding. Het is onmogelijk om dan éénduidige oorzaak-gevolg relaties bloot te leggen. Voor praktijken die maatschappelijke verandering beogen, is de contributiebenadering dan ook relevant. Ze houdt rekening met andere dynamieken die de beoogde verandering mee beïnvloeden.”

De contributiebenadering gaat dus veel breder dan de een-op-een relatie tussen de overheid en een gesubsidieerde organisatie. Wat die organisatie teweeg kan brengen is mee bepaald door de beleidscontext en de samenwerking met anderen.

Niet alleen voor innovatie

Kunnen alle projecten en iniatieven zich wagen aan zo’n impactevaluatie?

Riet Steel: “Vooral innovatieve projecten voelen zich goed thuis in deze evaluatievorm. Zij besteden veel aandacht aan voorbereidend onderzoek, goede planning of het uitbouwen van een stevige argumentatie om investeringen te zoeken of partnerschappen uit te bouwen.”

“Toch kunnen ook prakijken die al langer lopen, de vruchten plukken van impactevaluatie. De ambitie is dan om die bestaande praktijk te verbeteren op basis van bijkomende inzichten.”

Lees ook

Sociale interventies evalueren: moeilijk gaat ook

Koen Hermans: “Het kan bijvoorbeeld leerzaam zijn om de impact te onderzoeken van alle hulp- en dienstverlening aan gedetineerden. Dat is een hele ketting die uiteindelijk moet uitmonden in een al dan niet geslaagde re-integratie. Je kan veronderstellen dat die een grotere kans maakt, wanneer gedetineerden van het aanbod in de gevangenis gebruik maken.”

“Daarbij zijn veel organisaties en hulpverleners betrokken, waardoor je je niet kan beperken tot wat het justitieel welzijnswerk doet. Die kunnen hoogstens hun bijdrage aan het groter geheel schetsen. Bovendien begint het verhaal van re-integratie pas echt wanneer de detentie voorbij is, waardoor weer andere factoren in beeld komen. Het is ook belangrijk om nauwkeurig te omschrijven wat we juist onder ‘re-integratie’ verstaan. Want doorgaans zijn doelstellingen op lange termijn nogal vaag.”

Solidair mobiel wonen

Werken rond impact zit in de lift. Maar hoe ziet dat er meer concreet uit? Er bestaat geen uniforme manier om impactevaluatie te doen. Hoe de impact evalueren, van wat, op wat, kan verschillend ingevuld worden.

We zoemen in op een lokaal initiatief dat zo’n impactevaluatie uitvoert.

Solidair Mobiel Wonen is een woonproject voor en door een groep van acht thuisloze mannen in Brussel. Op een braakliggend terrein worden samen met de toekomstige bewoners acht mobiele woonunits opgebouwd rond een collectieve ruimte.

Opbouwwerker Tineke Van Heesvelde legt uit waarom ze voor impactevaluatie kiezen: “Participatie is een kernopdract van het opbouwwerk. We gaan er altijd van uit dat partcipatie mensen sterker maakt en dat ze er beter uitkomen. Maar is dat zo? In dit project zagen we kans om dat grondig na te gaan. Met de impactevaluatie kunnen we onze eigen werking kritisch bekijken. Zelfevaluatie is de eerste bedoeling.”

‘Zelfevaluatie is onze eerste bedoeling.’

Verrassend: het onderzoek gebeurt vanuit de faculteit Architectuur (KU Leuven). Ook bijzonder is dat het onderzoek ingebakken is in het hele projectopzet. De onderzoekers horen van meet af aan bij de projectploeg.

Onderzoeker Aurelie De Smet: “We gaan na in welke mate het project de sociale veerkracht van mensen versterkt. Als architect-planner ben ik ook benieuwd naar de ruimtelijke veerkracht of de effecten op de buurt. Om dat te weten te komen, zetten we verschillende methodieken in.”

“We kijken niet alleen naar hoe iemand zich voelt, maar ook naar hoe iemand de ruimte gebruikt. We bekijken wat zo’n project teweegbrengt bij de toekomstige bewoners en de betrokken sociale professionals. Wat leren ze door samen te werken?”

Vanaf het begin

De impactvraag werd niet eenzijdig van buitenaf opgelegd. Integendeel: er werd veel aandacht besteed aan het opstellen van een vraag die gedeeld wordt door alle betrokkenen. Impact tonen aan de buitenwereld en aan het beleid hoort daar zeker ook bij, maar is niet het uitgangspunt.

‘Het eigen leerproces staat centraal.’

Aurelie De Smet: “We hebben veel energie gestoken in het vinden van een onderzoeksvraag. Als architect ben ik geïnteresseerd in de impact van innovatieve woonvormen op bewoners en de buurt. Maar hoe combineer je dat met de belangen van de bewoners en het opbouwwerk? Alle vragen op één hoop leggen was geen optie. Dus moesten we onze vragen samenleggen en integreren in een scherpe kernvraag, met alle neuzen in dezelfde richting.”

Tineke Van Heesvelde: “Onze keuze om participatief te evalueren, zorgt voor de nodige bijsturingen onderweg. Een rode draad is de verhouding tussen collectieve en individuele ruimtes. We hadden ingeschat dat de thuisloze mannen veel belang zouden hechten aan het individueel wonen. Verder in het proces zagen we dat ze door samen te denken, dat individueel wonen veel duidelijker konden invullen: als een eigen plekje waar ik me kan terugtrekken. Die beweging heeft een heel grote invloed gehad op het verloop van het project.”

Aurelie De Smet: “Als architect ben je gewoon om met een klant om te gaan. In dit project zijn de klanten mede-ontwerpers. Erkennen dat die thuislozen en de sociale professionals best ook ontwerpers kunnen zijn, was voor mij een fantastische ervaring.”

Wat hebben we geleerd?

Het is duidelijk dat impactevaluatie verschilt van de klassieke manieren van evaluatie en verantwoording. Dat vraagt een mindswitch, wil je niet dat impactevaluatie oude wijn in nieuwe zakken wordt.

Impactmeting verlegt de grens van kortetermijnresultaten en prestaties. Denk daarom goed na welke veranderingen je wil onderzoeken en wie je daarbij zal betrekken. Vergeet vooral niet de mensen waar het allemaal om draait.

Lees ook

‘Zorg en welzijn moet impact beter in kaart brengen’

Zorg dat het een echt leertraject wordt, ook wanneer er druk is vanuit de financierder. Neem er voldoende tijd voor en misbruik impactmeting niet als een trendy alternatief voor klassieke verantwoording.

Breng de partners waarmee je samenwerkt en de beleidscontext mee in beeld. Vertrek dus van de ‘contributiebenadering’: je draagt bij tot verandering, maar dat doe je niet alleen.

En realiseer je dat dit zo’n evaluatie ook impact zal hebben op de eigen werking. Als je daar niet voor openstaat, moet je er niet aan beginnen.