Sociale interventies evalueren: moeilijk gaat ook

Complexe vragen, complexe antwoorden

Steeds vaker vragen subsidiërende overheden aan sociaalwerkpraktijken om hun meerwaarde te bewijzen. Gemeenschapsmiddelen moeten optimaal ingezet worden en subsidies moeten gaan naar de meest ‘succesvolle’ initiatieven.

‘Welke bijdrage levert een opbouwwerker aan het oplossen van armoede?’

Toch is het zichtbaar maken van resultaten voor sociale professionals en hun organisaties niet evident. Sociaalwerkpraktijken bevinden zich op een complex terrein. Welke bijdrage levert bijvoorbeeld een opbouwwerker aan het oplossen van armoede, een gezonde bevolking of een samenleving die veiliger is? Dragen individuele sociale professionals en hun sociaalwerkorganisaties de verantwoordelijkheid om zo’n grote uitkomsten al dan niet te realiseren?

Gemiste kans

Om opdrachtgevers tevreden te stellen, wordt te vaak gegrepen naar makkelijke oplossingen. Organisaties of de overheid toveren met het afvinken van vakjes en met ingewikkelde tabellen. Iedereen is tevreden als er op het einde van de rit voldoende vakjes ingevuld zijn of het vooropgestelde cijfer gehaald werd.

Dat is een gemiste kans. Evaluatie van praktijken kan uitmonden in bijsturing en groei.Raeymaeckers, P. and Cools, P. (2020), Negotiating performance: The strategic responses of ‘associations where people in poverty raise their voice’, In: Leroux K. and Wright, N. (2020) Revisiting performance in the hollow state, Edward Elgar.Dat vraagt een meer genuanceerde kijk op de evaluatie van praktijken en een intelligente verantwoording van sociale interventies.

Niet alleen meten en tellen

Discussies over de resultaten van sociaalwerkpraktijken worden vertroebeld door allerlei termen die niet of uiteenlopend ingevuld worden.

Neem het sleutelbegrip ‘meten’. ‘Meten’ wordt meestal geassocieerd met een strikt cijfermatige aanpak. Soms wordt ‘meten’ ook breder gebruikt als ‘zichtbaar maken’ of ‘capteren’. Dit onderscheid is belangrijk.

Het aantal mensen dat je bereikt of de gemiddelde tijd die nodig is voor een begeleidingsgesprek kan je becijferen. Maar als je vertrouwen wil opbouwen, de eigenwaarde van mensen wil herstellen of bijdragen tot zelfredzaamheid, dan wordt het veel moeilijker om op een zinvolle manier te werken met cijfers en gemiddelden. Niet alle inspanningen en uitkomsten laten zich becijferen.

Naast meten en tellen, moet je andere registers opentrekken. Hier horen begrippen als ‘capteren’ en ‘zichtbaar maken’ thuis. Ze sluiten aan bij een bredere, meer kwalitatieve onderzoeksbenadering. Reserveer het woord ‘meten’ voor een cijfermatige aanpak. De meerwaarde van praktijken maak je niet alleen zichtbaar door te tellen, maar ook door te vertellen.

Begrippen verhelderen

Er is ook spraakverwarring als het over de resultaten van sociaalwerkpraktijken gaat. Worden ten onrechte vaak op eenzelfde hoopje gegooid: impact, outputs, uitkomsten, outcomes.

‘De meerwaarde van praktijken maak je niet alleen zichtbaar door te tellen, maar ook door te vertellen.’

‘Impact’ gebruiken we als een verzamelterm voor de positieve en negatieve veranderingen die worden gerealiseerd door een interventie of een verzameling interventies.

Concrete prestaties en effecten op korte termijn noemen we ‘outputs’. Bijvoorbeeld een doorverwijzing, het verdelen van voedselpakketten of het publiceren van een rapport.

‘Uitkomsten’ of ‘outcomes’ gaan over duurzame resultaten op lange termijn. ‘Individuele uitkomsten’ hebben betrekking op het leven van individuen, bijvoorbeeld: verbeterde levenskwaliteit, het behaalde opleidingsniveau of een hoger inkomen. Maatschappelijke uitkomsten hebben betrekking op een bepaalde groep, regio of samenleving. Denk bijvoorbeeld aan een duurzame daling in armoedecijfers of een stijging in de ontwikkelingsindicatoren van een regio.

Sociale praktijk is geen laboratorium

Maar ook al zou je alle begrippen uitklaren, dan nog blijft het beoordelen van resultaten in de sociale sector tricky. Anders dan in commerciële of industriële settings is er geen duidelijke maatstaf voor succes. Geld is eerder een middel dan een doel en organisaties met diverse activiteiten en doelstellingen kan je niet zomaar vergelijken.

Uitkomsten van sociale interventies komen meestal tot stand door een samenspel van meerdere factoren waar organisaties geen volledige controle over hebben. Oorzaak-gevolgrelaties zijn hier zelden lineair. Het is onvoorspelbaar of interventie A tot uitkomst X zal leiden. In veel gevallen is het zo dat A samen met B en C bijdragen tot X onder voorwaarde D en E, tenzij F. De vraag is dan niet wat werkt, maar wat werkt voor wie in welke omstandigheden.Pawson, R. (2013), The science of evaluation, London, Sage.

Stel: een cliënt krijgt materiële hulp van het OCMW. Hij wordt ook intensief begeleid door sociale professionals van andere diensten. De uiteindelijke uitkomst is een resultaat van verschillende factoren waaronder de inzet van diverse sociaal werkers. Succes of falen is het resultaat van al deze factoren en niet van één enkele sociaal werker of interventie.

‘Staalhard bewijsmateriaal is schaars.’

Het is duidelijk: evaluatie van sociale interventies is complexe materie. Staalhard bewijsmateriaal is schaars. De sociale praktijk is geen laboratorium waar je factoren feilloos controleert.Cools, P. en Verschraegen, G. (2018), Sociale innovatie en sociologische verbeelding: over de rol van kennis en onderzoek, in Vandermoere, F. e.a. (eds.) Wetenschappers in Actie: een publiek sociologische benadering, Leuven, Acco, p.115-135.Er is steeds veel onzekerheid over oorzaak-gevolgrelaties en beperkte controle over de omstandigheden waarin men werkt.

Geen one size fits all

Wil je het effect van sociaalwerkpraktijken afwegen en zichtbaar maken, dan moet dat op een intelligente manier gebeuren met oog voor de context waarbinnen deze praktijken zich ontplooien. We hebben dus een model nodig dat oog heeft voor die complexiteit. De Amerikaans-Indische professor Alnoor Ebrahim werkte zo’n model uit.Ebrahim, A. (2019), Measuring social change: Performance and Accountability in a complex world, Stanford, Stanford University Press.Hij doorprikt de mythe van het perfecte meetinstrument dat in alle praktijken ingezet kan worden. De complexiteit van het sociale domein staat haaks op zo’n one size fits all. 

Hij beperkt zich niet tot die kritiek, maar werkt ook een alternatief uit op basis waarvan onderzoekers, sociale professionals en overheden aan de slag kunnen. Zijn model onderscheidt verschillende types van interventies. Elke type vraagt een eigen manier om resultaten van praktijken zichtbaar te maken.

Sociale interventies met strakke focus

Een eerste type zijn niche interventies. Het effect van deze interventies op de korte termijn (de outputs) is helder en voorspelbaar. Dat ligt anders voor de uitkomsten op langere termijn: outcomes zijn bij deze interventies veel minder voorspelbaar.

‘Een MUG-dienst kan het verschil maken tussen leven en dood.’

Neem de introductie van MUG-diensten. Die ambulances proberen snel ter plaatse te zijn met aan boord een spoedarts. Op korte termijn kan deze interventie het verschil maken tussen leven en dood. Maar buiten het vervoer, eerste zorg en het inwinnen van informatie, heeft de organisatie weinig invloed of controle over de toekomstige gezondheid van de patiënt, laat staan de sterftecijfers in een regio.

Zo ook bij crisishulpverlening. In vaak moeilijke omstandigheden doet men interventies waarvan men met enige zekerheid kan weten dat die op korte termijn het beoogde effect zal hebben, bijvoorbeeld bescherming tegen ontbering of het herstellen van rust in een zeer stressvolle situaties. Maar hoe de situatie van de cliënt vervolgens evolueert, ligt grotendeels buiten de controle van de crisishulpverleners.

Hier kan je impact meten

Van niche interventies kan je dus moeilijk verwachten dat ze uitkomsten op langere termijn zichtbaar maken en verantwoorden.

Dit wil niet zeggen dat ze geen impact moeten capteren. Integendeel: je kan de outputs van deze interventies transparant in beeld brengen. Realiseren we met deze interventie een snellere responstijd? Bereiken we nieuwe doelgroepen? Zijn de zorgontvangers tevreden? Het is perfect mogelijk om deze impactmetingen te standaardiseren of uit te voeren volgens een vast verloop. 

Geïntegreerde interventies

Ook bij het tweede type, geïntegreerde interventies, ben je behoorlijk zeker over de relatie tussen oorzaak en gevolg. Je kan vooraf inschatten of de interventie resultaat zal hebben. Bovendien is er bij deze interventies meer controle over de uitkomsten op langere termijn.

‘Eén interventie is niet voldoende om tot een job te komen.’

Deze geïntegreerde interventies worden vaak georganiseerd op basis van het ketenprincipe. Door de seriële schakeling van interventies tracht men een hogere mate van controle te bereiken over een proces waarin verschillende factoren een rol spelen.

Denk bijvoorbeeld aan activeringstrajecten voor mensen met een grote afstand tot de arbeidsmarkt. We weten dat een opeenvolging van begeleiding, trainingen en opleidingen een verschil kan maken. Eén van deze interventies op zich is vaak niet voldoende om tot een job te komen.

Aandacht voor coördineren

Hier kunnen gestandaardiseerde, kwantificeerbare indicatoren de effecten van deze interventies in beeld brengen. Zo kan je meten of iemand al dan niet aan de slag is op de reguliere arbeidsmarkt.

Uiteraard vertelt dit nooit het volledige verhaal. Als je ook wil capteren of mensen duurzaam aan het werk zijn, of door hun job over betere toekomstperspectieven beschikken, heb je bijkomende, veelal kwalitatieve, informatie nodig. Het zoeken naar informatie vanuit zowel kwalitatief als kwantitatief onderzoek is dus aan te raden.

Deze uitkomsten op individueel niveau komen hier voort uit gecoördineerde inspanningen. Iemand is aan de slag dankzij een succesvolle samenwerking tussen competente opleiders, bevlogen, stagementoren en aandachtige trajectbegeleiders. We moeten deze individuele uitkomst dus capteren met aandacht voor de coördinatie van de verschillende bijdragen van de verschillende actoren.

Wat bij een troebele relatie tussen oorzaak en gevolg?

Anders dan bij de niche of geïntegreerde interventies, zijn er ook interventies waar de relatie tussen wat je doet en het verhoopte uitkomst troebel en onvoorspelbaar is: ontplooiende interventies en ecosysteem interventies. Zij vragen nog een andere manier van registreren en evalueren.

Bij deze interventies is het belangrijk dat je niet alleen focust op uitkomsten. Je moet ook aandacht hebben voor welke inspanningen relevant zijn of welke context ondersteunend is. Wat kan bijdragen tot de gewenste uitkomsten, bij wie, waarom en in welke omstandigheden?

Effect is onzeker

Bij ontplooiende interventies is grote onzekerheid over oorzakelijke verbanden en een beperkte controle over uitkomsten (outcomes).

‘Dezelfde aanpak werkt bij de ene cliënt beter dan bij de andere.’

Organisaties gericht op beleidsbeïnvloeding zijn een goed voorbeeld. Het is vaak moeilijk om op voorhand te weten welke pogingen tot beleidsbeïnvloeding zullen werken. Bovendien hebben deze organisaties weinig controle over de effectieve uitkomsten van hun werk. Zelfs als je er bijvoorbeeld in slaagt om een wetsvoorstel over arbeidsomstandigheden te laten goedkeuren, kan je als organisaties niet garanderen dat dit effectief zal leiden tot minder uitbuiting en ongevallen.

Een ander voorbeeld zijn diensten die generalistisch begeleidingen aanbieden voor kwetsbare doelgroepen zoals de wijkteams. Deze sociale professionals werken op maat van diverse noden op vele probleemdomeinen. Dezelfde aanpak zal beter werken bij de ene cliënt dan bij de andere. De situaties zijn zo complex dat het onmogelijk is om te voorspellen hoe de generalist heeft bijgedragen tot een bepaald resultaat.

Het is dus moeilijk om vooraf te bepalen wat de beste strategie of traject zal zijn. Voor de ene cliënt zal een succesvolle uitkomst het verkrijgen van een leefloon zijn. Voor de andere cliënt zal zelfstandig de route uitstippelen en de bus nemen van punt A naar punt B al een belangrijke realisatie zijn.

Invloed uitoefenen

Eerder dan te spreken over resultaten in termen van output of uitkomsten, kan je de impact van dit type van interventies het best vatten in termen van ‘invloed’.

Invloed uitoefenen doe je door je goed te positioneren en flexibel in te spelen op opportuniteiten. De cruciale maatstaf van performantie is hier: bijsturen door voortdurend te reflecteren over je positie, belangrijke hefbomen en nieuwe mogelijkheden. Net daarom is het belangrijk om voor dit type van interventies een veranderingstheorie in kaart te brengen. Op welke manier dragen deze interventies bij tot een verandering? Een voorbeeld is het recent evaluatieonderzoek naar de Stek waarbij we de werkzame principes van de complexe praktijk van de opbouwwerker in kaart hebben gebracht.

‘Ook tussentijdse uitkomsten moet je in beeld brengen.’

Ook tussentijdse uitkomsten moet je in beeld brengen. Als een grote groep bewoners deelneemt aan een buurtoverleg, dan moet je dat moment bewust capteren. Het kan een belangrijke stap zijn in het proces van lokale beleidsbeïnvloeding over inrichting van een plein. Door deze stappen in kaart te brengen kan de organisatie argumenteren dat ze bijdraagt tot uitkomsten op langere termijn.

Complexiteit alom

Een laatste type interventies: ecosysteem interventies. Hier proberen organisaties verschillende interventies beter op elkaar af te stemmen om op een nieuwe manier tot betere uitkomsten te komen in een complexe context.

Denk bijvoorbeeld aan innovatieve pogingen om netwerkhulp- en dienstverlening te organiseren op basis van verschillende actoren die thuisloosheid bestrijden, zoals Miriam’s Kitchen in de Verenigde Staten of Housing First in Finland. Een ander voorbeeld dichter bij huis is het geïntegreerd breed onthaal. Hier probeert men in een netwerk van diensten onderbescherming aan te pakken en rechten te realiseren.

Structurele hertekening

Hoe capteer je de impact van deze interventies?

Om een probleem aan te pakken, hertekenen ecosysteem interventies de verhoudingen tussen verschillende actoren fundamenteel. Het orkestreren van een vernieuwende, structurele aanpak vertrekt best vanuit een gedeeld waardenkader en een diepgaande analyse van de context waarin je streeft naar verandering.

‘Het einddoel moet duidelijk gedefinieerd zijn.’

In deze setting is het moeilijk om successen toe te wijzen aan individuele leden in het systeem. Voor de betrokken organisaties is het belangrijk om zichtbaar te maken hoe ze door samenwerking interventies afstemmen op elkaar. Hierbij kan je een veranderingstheorie ontwikkelen waarin je rekening houdt met de onderlinge afhankelijkheid van de betrokken actoren die samen streven naar een gedeeld einddoel. Dat einddoel is duidelijk gedefinieerd in termen van observeerbare individuele of maatschappelijke uitkomsten.

Tot slot is het, nog meer dan bij een geïntegreerde strategie, noodzakelijk om te investeren in de evaluatie van de samenwerking, die je en cours de route moet kunnen bijsturen. Dat gebeurde bijvoorbeeld in het evaluatieonderzoek van het geïntegreerd breed onthaal. Dat werd uitgevoerd met aandacht voor het in kaart brengen van werkzame principes. Deze principes stuurden de verdere uitrol van dit initiatief.

Ook overheid moet flexibel zijn

Conclusie: je kan de effecten en meerwaarde van sociaalwerkpraktijken zichtbaar maken. Dat is ook zinvol. Cruciaal is te begrijpen dat elk type interventie een eigen strategie vergt om de resultaten en werkzame principes van interventies te capteren.

Al die theoretische en methodische inzichten moeten in de praktijk gerealiseerd worden. Alle betrokkenen moeten bereid zijn om te handelen volgens die complexiteit. Vertrekpunt is de wederzijds ondersteunende relatie tussen de subsidiegever en sociale organisaties. Ze hebben een gedeeld doel en een gedeelde verantwoordelijkheid voor succes. Dit wil zeggen dat op basis van de evaluatie ook overheden bereid moeten zijn om hun verwachtingen en doelstellingen bij te stellen.

‘Overheden moeten bereid zijn om hun verwachtingen bij te stellen.’

Overheden moeten hun waarden en doelen expliciet maken. Ze moeten inzetten op evaluatieonderzoek en verantwoording om leerprocessen te realiseren, in functie van de gedeelde doelstellingen.

Assertieve sociale professionals

Maar ook sociale professionals moeten zelf met heldere en onderbouwde voorstellen komen. Ze moeten de unieke band met cliënten in beeld brengen. Hier liggen volgens Ebrahim kansen om “cliënten een stem en invloed te geven over beslissingen van de organisaties die bestaan om hen van dienst te zijn.”Ebrahim, A. (2019), Measuring social change: Performance and Accountability in a complex world, Stanford, Stanford University Press, p.242 (eigen vertaling).

Zonder feedback van mensen die diensten ontvangen, is goede dienstverlening niet mogelijk. Dit gaat verder dan tevredenheidsenquêtes. Het is belangrijk om zowel cliënten en deelnemers als sociale professionals te betrekken in de zoektocht naar gepaste strategieën en indicatoren om de meerwaarde van sociaalwerkpraktijken zichtbaar te maken.

‘Sociale professionals moeten zelf met heldere voorstellen komen.’

Wat vinden zij belangrijk? Welke mechanismen verklaren volgens hen dat iets werkt voor bepaalde mensen in bepaalde omstandigheden? Wat vinden zij de belangrijkste effecten? Hoe willen sociale professionals geëvalueerd worden? Welke informatie helpt hen om te leren? Welke manieren van registeren sluiten het best aan bij hun dagelijkse praktijk? Welke indicatoren zouden volgens de diverse actoren kunnen gebruikt worden?

Intelligente verantwoording

Vanuit dit soort vragen, een brede kijk op verantwoording en een gezonde scepsis tegenover de mythe van het perfecte meetinstrument, proberen we om de verschillende verwachtingen op elkaar af te stemmen.Hermans, K. (2009), Evidence-based practice in het maatschappelijk werk-een pragmatische benadering, Journal of Social Intervention: Theory and Practice, 14(3), 5-16; Devlieghere, J., en Roose, R. (2017), De mythe van rationalisering: over creativiteit en ambiguïteit in het sociaal werk, Antwerpen, Maklu.

Deze inzichten kunnen organisaties inspireren om hun expertise te claimen en proactief in te zetten op intelligente verantwoording, met kwaliteitskaders en evaluatievormen die aansluiten bij hun missie en de context waarin ze werken.