‘Zorg en welzijn moet impact beter in kaart brengen’

Blind varen

Vorig jaar nam Patrick Vander Weyden het roer over van SOM, de federatie van sociale ondernemingen in onder meer de thuiszorg, gehandicaptensector, jeugdhulp, kinderopvang en het algemeen welzijnswerk.

Een van de zaken die hem na een jaar opvalt, is hoe weinig we echt weten over de impact van al het werk dat geleverd wordt in zorg en welzijn. Impactmeting is namelijk de specialiteit van Vander Weyden. Hij heeft een academische achtergrond en runde het bedrijf FocusUp dat evaluatie- en impactmetingen doet van ontwikkelingssamenwerking.

Vander Weyden: “Ik zie het positiever. Ik ben ervan overtuigd dat cliënten beter af zijn dankzij hulpverlening. De motivatie van veel medewerkers wordt ook gevoed door de goede voorbeelden die ze zien van mensen die erop vooruitgaan en die tevreden zijn. Maar het klopt wel dat we daar bijna geen gegevens over hebben.”

‘In ontwikkelingssamenwerking is men al twintig jaar bezig met het meten van het effect van wat ze doen.’

“Ik vind het vreemd dat we daar nog niet verder in staan. Het is dan ook mijn pleidooi om onze impact meer in kaart te brengen. Dat initiatief moet vanuit zorg en welzijn zelf komen. Maar we kunnen wel veel leren van de expertise die hierover bestaat binnen ontwikkelingssamenwerking.”

“In ontwikkelingssamenwerking is men al twintig jaar bezig met het meten van het effect van wat ze doen. De overheid heeft dat opgelegd. Een deel van de werkingsmiddelen moet voorbehouden worden voor monitoring en evaluatie. Organisaties moeten nagaan of ze de vooropgestelde resultaten bereiken.”

“In het begin was er veel weerstand, maar vandaag is het standaard. De overheid is erin geslaagd om via proeftuinen, oefeningen en ondersteunende projecten draagvlak te creëren.”

“Nee. En dat is belangrijk. Er kunnen immers goede redenen zijn waarom vooropgestelde resultaten niet behaald werden. Maar organisaties moeten dit wel uitleggen. En zeker bij ngo’s is het niet zo dat de overheid bepaalt wat de doelen zijn. Organisaties maken een plan, de overheid keurt dit vervolgens goed en subsidieert, en op het einde van het programma volgt een evaluatie.”

‘Er kunnen goede redenen zijn waarom resultaten niet behaald werden.’

“Het doel van de evaluatie is om te leren. Wat liep goed? Wat niet? Wat kunnen we verbeteren? Hoe kunnen we effectiever zijn? Kunnen we efficiënter zijn?”

“Vaak verzamelen organisaties zelf gegevens, maar de eigenlijke evaluatie gebeurt door een onafhankelijke partij. Een organisatie die bijvoorbeeld betere schoolresultaten beoogt in een school in Cambodja, kan die resultaten gemakkelijk zelf monitoren. Op het einde schakelen ze een extern bureau in dat aan de slag gaat met die data en eventueel nog wat extra informatie verzamelt.”

“Soms gaan organisaties verder en laten ze een echte impactmeting doen. Daarbij wordt nagegaan in welke mate de organisatie bijgedragen heeft aan het resultaat. Zijn de schoolresultaten verbeterd door de activiteiten van de organisatie? Of speelden externe factoren een rol?”

“Neem de hulpverlening voor daklozen. Als je vaststelt dat x-aantal daklozen na verloop van tijd een huis vinden, kan je zeggen: ‘Mooi resultaat. Dat hebben we goed gedaan.’ Maar komt dat door jouw interventie? Dat nagaan vergt een serieuze analyse.”

“Zo’n zuivere impactmeting is uitzonderlijk, want het is inderdaad complex en bijgevolg ook duur. Soms kost dat onderzoek meer dan het project zelf. Doe het dus maar af en toe, en overweeg goed hoe je dat financiert. Het is zeker niet de bedoeling zijn om dat permanent bij alle projecten te doen.”

‘Soms kost het onderzoek meer dan het project zelf.’

“Wat wel kan, en wat veel goedkoper is, is monitoren en evalueren. Hou bij met hoeveel daklozen je werkt, welke begeleidingen je doet en kijk na verloop van tijd wie nog dakloos is. Vanuit wetenschappelijk oogpunt is het een zwakker model dan zuivere impactmeting, maar vaak is het wel voldoende om te tonen dat je enige impact hebt gehad.”

“Ik ben zelf zo’n consultant geweest. Af en toe heb je dat nodig. Maar ik ben er niet van overtuigd dat het per definitie moet. Zoals ik al zei: het is duur en er zijn andere manieren om je impact in beeld te brengen.”

“De overheid kan bijvoorbeeld zeggen dat je evaluatie door een externe actor moet gebeuren, maar daarom hoeft die niet al het voorbereidende werk te doen. Zoals een revisor die de boekhouding nakijkt, kan een consultant evengoed een soort validatie doen. Dan is de kostprijs ook beperkt.”

“Storytelling kan zeker aantonen hoe een interventie gewerkt heeft. Cijfers zeggen daar vaak te weinig over. Waarom vond iemand een woning? Waarom voelt iemand zich minder eenzaam? Dat kan je moeilijk beantwoorden met een getal.”

“Anderzijds moet je het verhaal wel binnen een breder perspectief plaatsen. Als je tien mensen bereikte en je vertelt één mooi succesverhaal terwijl het bij de negen andere in de soep draaide, dan ruk je dat verhaal uit de context. Je hebt cijfers dus ook nodig. Een goede evaluatie bewaakt het evenwicht tussen kwalitatieve en kwantitatieve gegevens.”

“Het idee bestaat dat als je iets met goede bedoelingen doet, het per definitie goed is. Ik durf dat te betwijfelen. Je moet toch kunnen aantonen dat wat je doet goed is voor je gebruiker? We moeten echt die switch maken en de cliënt centraal zetten.”

“We moeten sociale ondernemingen wendbaar maken, zodat ze kunnen inspelen op de noden van zorggebruikers. Die noden zijn verschillend voor elke doelgroep, maar het moet wel centraal staan en gemeten worden. Is de cliënt minder eenzaam? Heeft de gebruiker een dak boven zijn hoofd? Is er meer welbevinden?”

‘Het idee bestaat dat als je iets met goede bedoelingen doet, het per definitie goed is. Ik durf dat te betwijfelen.’

“Als je dat als organisatie bereikt, kan je daar mee uitpakken. Sociale ondernemingen doen niet aan commerce, ze willen winst bereiken voor de cliënt, hun missie waarmaken. Toon dan ook aan dat je cliënt tevreden is over de werking. En indien je merkt van niet, stuur dan bij. Voor de cliënt.”

“Die middelen zijn een heikel punt. Iedereen zit al op zijn tandvlees. Deze Vlaamse regering voerde dit jaar nog een lineaire besparing van 6 procent door. Door de coronacrisis lopen de kosten nog meer op. Je kan dus niet verwachten dat organisaties morgen een deel van hun werkingsmiddelen vrijmaken om te experimenteren met monitoring en evaluatie.”

‘Vandaag moeten sommigen van alles rapporteren waar je niets uit leert.’

“Vandaag moeten sommige van onze leden van alles rapporteren waar je niets uit leert. Dat is alleen maar ballast. Hoeveel wasmachines draaien ze voor cliënten? Hoeveel tassen soep schenken ze? Of hoe vaak zien ze hun cliënt?”

“Zo’n onnozele registratie zegt alleen maar iets over je input, niet of wat je deed iets veranderde in het leven van de gebruiker. We moeten een deel van die rapportering verschuiven naar monitoring en evaluatie. Dan win je een stuk.”

“Wij ondersteunen de impactprojecten van Verso. Maar er is meer nodig en daarvoor kijk ik naar de Vlaamse overheid. Die moet een innovatiefonds voor sociale ondernemingen opzetten. Daarbinnen kan het proeftuinen opzetten voor monitoring en evaluatie, waar organisaties vrijwillig in kunnen meestappen.”

Lees ook

Sociale interventies evalueren: moeilijk gaat ook

“In ontwikkelingssamenwerking heb ik gezien dat het een lang leerproces is. Je moet zoeken naar goede meetmethoden en instrumenten. Die vind je niet in één vingerknip. Uit de proeftuinen kan je leren.”

“De overheid mag zeker niet sanctioneren. Het zou ook niet werken, want dan gaan organisaties alleen nog maar dingen doen waar ze goed mee kunnen scoren. Dan gaan ze minder willen werken met zogenaamde ‘moeilijkere’ doelgroepen.”

“Het enige doel van evaluatie is leren en zo je organisatie beter maken. Ik ben ervan overtuigd dat als je dat doet het in de toekomst misschien mogelijk is om meer te doen met dezelfde middelen, maar de overheid kan dat niet opleggen.”

‘We gaan nooit alle maatschappelijke problemen oplossen met alleen subsidies. We moeten ook vooruitgang boeken in hoe we werken.’

“Pas op, dit is geen pleidooi om de middelen te verminderen. Integendeel, er is meer geld nodig. Maar we gaan nooit alle maatschappelijke problemen oplossen met alleen subsidies. We moeten ook vooruitgang boeken in hoe we werken. En een lerende organisatie worden, draagt daaraan bij.”

“Zeker. En soms wantrouwt de overheid ook sociale professionals. Waarom moeten sommige van onze leden anders doorgeven hoeveel tassen soep ze schenken? De overheid zal dus draagvlak moeten zoeken en creëren.”

‘Waarom moeten sommigen doorgeven hoeveel tassen soep ze schenken?’

“De overheid heeft zelf niet de expertise in huis om voor alle werkingen de doelen en de manier van meten te bepalen. Organisaties moeten dat zelf bepalen. Het hangt namelijk af van hun missie, visie en context. Net zoals in ontwikkelingssamenwerking, kan de overheid daar een kwaliteitscheck op doen.”

“SOM is partner om hier in mee te stappen, op voorwaarde dat het geen middel is om te sanctioneren of besparen. Is het de bedoeling om te leren en experimenteren, dan zetten wij daar als werkgeverskoepel graag mee onze schouders onder.”