Blind varen
Vorig jaar nam Patrick Vander Weyden het roer over van SOM, de federatie van sociale ondernemingen in onder meer de thuiszorg, gehandicaptensector, jeugdhulp, kinderopvang en het algemeen welzijnswerk.
Een van de zaken die hem na een jaar opvalt, is hoe weinig we echt weten over de impact van al het werk dat geleverd wordt in zorg en welzijn. Impactmeting is namelijk de specialiteit van Vander Weyden. Hij heeft een academische achtergrond en runde het bedrijf FocusUp dat evaluatie- en impactmetingen doet van ontwikkelingssamenwerking.
Lorin Parys (N-VA) zei vorig jaar op Sociaal.Net dat we nog te veel blind varen. “We weten niet of wat we doen ook echt werkt.” Ben je het met hem eens?
Vander Weyden: “Ik zie het positiever. Ik ben ervan overtuigd dat cliënten beter af zijn dankzij hulpverlening. De motivatie van veel medewerkers wordt ook gevoed door de goede voorbeelden die ze zien van mensen die erop vooruitgaan en die tevreden zijn. Maar het klopt wel dat we daar bijna geen gegevens over hebben.”
‘In ontwikkelingssamenwerking is men al twintig jaar bezig met het meten van het effect van wat ze doen.’
“Ik vind het vreemd dat we daar nog niet verder in staan. Het is dan ook mijn pleidooi om onze impact meer in kaart te brengen. Dat initiatief moet vanuit zorg en welzijn zelf komen. Maar we kunnen wel veel leren van de expertise die hierover bestaat binnen ontwikkelingssamenwerking.”
Zij staan hier al verder in?
“In ontwikkelingssamenwerking is men al twintig jaar bezig met het meten van het effect van wat ze doen. De overheid heeft dat opgelegd. Een deel van de werkingsmiddelen moet voorbehouden worden voor monitoring en evaluatie. Organisaties moeten nagaan of ze de vooropgestelde resultaten bereiken.”
“In het begin was er veel weerstand, maar vandaag is het standaard. De overheid is erin geslaagd om via proeftuinen, oefeningen en ondersteunende projecten draagvlak te creëren.”
Straft de overheid organisaties die hun resultaten niet behalen?
“Nee. En dat is belangrijk. Er kunnen immers goede redenen zijn waarom vooropgestelde resultaten niet behaald werden. Maar organisaties moeten dit wel uitleggen. En zeker bij ngo’s is het niet zo dat de overheid bepaalt wat de doelen zijn. Organisaties maken een plan, de overheid keurt dit vervolgens goed en subsidieert, en op het einde van het programma volgt een evaluatie.”
‘Er kunnen goede redenen zijn waarom resultaten niet behaald werden.’
“Het doel van de evaluatie is om te leren. Wat liep goed? Wat niet? Wat kunnen we verbeteren? Hoe kunnen we effectiever zijn? Kunnen we efficiënter zijn?”
Wie voert zo’n evaluatie uit?
“Vaak verzamelen organisaties zelf gegevens, maar de eigenlijke evaluatie gebeurt door een onafhankelijke partij. Een organisatie die bijvoorbeeld betere schoolresultaten beoogt in een school in Cambodja, kan die resultaten gemakkelijk zelf monitoren. Op het einde schakelen ze een extern bureau in dat aan de slag gaat met die data en eventueel nog wat extra informatie verzamelt.”
“Soms gaan organisaties verder en laten ze een echte impactmeting doen. Daarbij wordt nagegaan in welke mate de organisatie bijgedragen heeft aan het resultaat. Zijn de schoolresultaten verbeterd door de activiteiten van de organisatie? Of speelden externe factoren een rol?”
“Neem de hulpverlening voor daklozen. Als je vaststelt dat x-aantal daklozen na verloop van tijd een huis vinden, kan je zeggen: ‘Mooi resultaat. Dat hebben we goed gedaan.’ Maar komt dat door jouw interventie? Dat nagaan vergt een serieuze analyse.”
Dat klinkt complex.
“Zo’n zuivere impactmeting is uitzonderlijk, want het is inderdaad complex en bijgevolg ook duur. Soms kost dat onderzoek meer dan het project zelf. Doe het dus maar af en toe, en overweeg goed hoe je dat financiert. Het is zeker niet de bedoeling zijn om dat permanent bij alle projecten te doen.”
‘Soms kost het onderzoek meer dan het project zelf.’
“Wat wel kan, en wat veel goedkoper is, is monitoren en evalueren. Hou bij met hoeveel daklozen je werkt, welke begeleidingen je doet en kijk na verloop van tijd wie nog dakloos is. Vanuit wetenschappelijk oogpunt is het een zwakker model dan zuivere impactmeting, maar vaak is het wel voldoende om te tonen dat je enige impact hebt gehad.”
In ontwikkelingssamenwerking gebeurt de impactevaluatie vaak door consultancybedrijven. Zie je dat ook zo in zorg en welzijn?
“Ik ben zelf zo’n consultant geweest. Af en toe heb je dat nodig. Maar ik ben er niet van overtuigd dat het per definitie moet. Zoals ik al zei: het is duur en er zijn andere manieren om je impact in beeld te brengen.”
“De overheid kan bijvoorbeeld zeggen dat je evaluatie door een externe actor moet gebeuren, maar daarom hoeft die niet al het voorbereidende werk te doen. Zoals een revisor die de boekhouding nakijkt, kan een consultant evengoed een soort validatie doen. Dan is de kostprijs ook beperkt.”
Veel organisaties proberen de laatste jaren via storytelling de impact van hun werking in beeld te brengen. Is dat een valabel alternatief voor cijfers?
“Storytelling kan zeker aantonen hoe een interventie gewerkt heeft. Cijfers zeggen daar vaak te weinig over. Waarom vond iemand een woning? Waarom voelt iemand zich minder eenzaam? Dat kan je moeilijk beantwoorden met een getal.”
“Anderzijds moet je het verhaal wel binnen een breder perspectief plaatsen. Als je tien mensen bereikte en je vertelt één mooi succesverhaal terwijl het bij de negen andere in de soep draaide, dan ruk je dat verhaal uit de context. Je hebt cijfers dus ook nodig. Een goede evaluatie bewaakt het evenwicht tussen kwalitatieve en kwantitatieve gegevens.”
De relatie die de hulpverlener heeft met de cliënt is bepalend voor het succes van het hulpverleningstraject en dat is moeilijk te meten, klinkt het vaak.
“Het idee bestaat dat als je iets met goede bedoelingen doet, het per definitie goed is. Ik durf dat te betwijfelen. Je moet toch kunnen aantonen dat wat je doet goed is voor je gebruiker? We moeten echt die switch maken en de cliënt centraal zetten.”
“We moeten sociale ondernemingen wendbaar maken, zodat ze kunnen inspelen op de noden van zorggebruikers. Die noden zijn verschillend voor elke doelgroep, maar het moet wel centraal staan en gemeten worden. Is de cliënt minder eenzaam? Heeft de gebruiker een dak boven zijn hoofd? Is er meer welbevinden?”
‘Het idee bestaat dat als je iets met goede bedoelingen doet, het per definitie goed is. Ik durf dat te betwijfelen.’
“Als je dat als organisatie bereikt, kan je daar mee uitpakken. Sociale ondernemingen doen niet aan commerce, ze willen winst bereiken voor de cliënt, hun missie waarmaken. Toon dan ook aan dat je cliënt tevreden is over de werking. En indien je merkt van niet, stuur dan bij. Voor de cliënt.”
Er is nu al een tekort aan middelen. Waar gaan organisaties het geld halen om te meten?
“Die middelen zijn een heikel punt. Iedereen zit al op zijn tandvlees. Deze Vlaamse regering voerde dit jaar nog een lineaire besparing van 6 procent door. Door de coronacrisis lopen de kosten nog meer op. Je kan dus niet verwachten dat organisaties morgen een deel van hun werkingsmiddelen vrijmaken om te experimenteren met monitoring en evaluatie.”
‘Vandaag moeten sommigen van alles rapporteren waar je niets uit leert.’
“Vandaag moeten sommige van onze leden van alles rapporteren waar je niets uit leert. Dat is alleen maar ballast. Hoeveel wasmachines draaien ze voor cliënten? Hoeveel tassen soep schenken ze? Of hoe vaak zien ze hun cliënt?”
“Zo’n onnozele registratie zegt alleen maar iets over je input, niet of wat je deed iets veranderde in het leven van de gebruiker. We moeten een deel van die rapportering verschuiven naar monitoring en evaluatie. Dan win je een stuk.”
Kunnen jullie vanuit SOM hierin iets betekenen?
“Wij ondersteunen de impactprojecten van Verso. Maar er is meer nodig en daarvoor kijk ik naar de Vlaamse overheid. Die moet een innovatiefonds voor sociale ondernemingen opzetten. Daarbinnen kan het proeftuinen opzetten voor monitoring en evaluatie, waar organisaties vrijwillig in kunnen meestappen.”
“In ontwikkelingssamenwerking heb ik gezien dat het een lang leerproces is. Je moet zoeken naar goede meetmethoden en instrumenten. Die vind je niet in één vingerknip. Uit de proeftuinen kan je leren.”
Organisaties hebben argwaan dat de overheid hen zal straffen door subsidies weg te nemen.
“De overheid mag zeker niet sanctioneren. Het zou ook niet werken, want dan gaan organisaties alleen nog maar dingen doen waar ze goed mee kunnen scoren. Dan gaan ze minder willen werken met zogenaamde ‘moeilijkere’ doelgroepen.”
“Het enige doel van evaluatie is leren en zo je organisatie beter maken. Ik ben ervan overtuigd dat als je dat doet het in de toekomst misschien mogelijk is om meer te doen met dezelfde middelen, maar de overheid kan dat niet opleggen.”
‘We gaan nooit alle maatschappelijke problemen oplossen met alleen subsidies. We moeten ook vooruitgang boeken in hoe we werken.’
“Pas op, dit is geen pleidooi om de middelen te verminderen. Integendeel, er is meer geld nodig. Maar we gaan nooit alle maatschappelijke problemen oplossen met alleen subsidies. We moeten ook vooruitgang boeken in hoe we werken. En een lerende organisatie worden, draagt daaraan bij.”
Begrijp je het wantrouwen tegenover de overheid op dit vlak?
“Zeker. En soms wantrouwt de overheid ook sociale professionals. Waarom moeten sommige van onze leden anders doorgeven hoeveel tassen soep ze schenken? De overheid zal dus draagvlak moeten zoeken en creëren.”
‘Waarom moeten sommigen doorgeven hoeveel tassen soep ze schenken?’
“De overheid heeft zelf niet de expertise in huis om voor alle werkingen de doelen en de manier van meten te bepalen. Organisaties moeten dat zelf bepalen. Het hangt namelijk af van hun missie, visie en context. Net zoals in ontwikkelingssamenwerking, kan de overheid daar een kwaliteitscheck op doen.”
“SOM is partner om hier in mee te stappen, op voorwaarde dat het geen middel is om te sanctioneren of besparen. Is het de bedoeling om te leren en experimenteren, dan zetten wij daar als werkgeverskoepel graag mee onze schouders onder.”
Reacties [4]
Op zich ben ik het er mee eens dat het belangrijk is om te weten wat je impact is. Ik heb twee bedenkingen: een eerste is of dat perse op organisatieniveau moet? Kunnen we niet beter de ‘metingen’ doen en de cijfers aggregeren op een hoger niveau? Ik mis dat denken in dit artikel. Ik vrees dat we anders weer een decennium organiseren waarbij iedere organisatie opnieuw naar de eigen navel gaat kijken en er geen ruimte meer is om structureel te werken op maatschappelijk niveau…
Een mooi artikel dat organisaties en overheid zou moeten aanzetten om impact te gaan meten. Dat zal wel een omslag vragen in het denken over kwaliteitsmanagement. Goede praktijken uit andere sectoren kunnen inderdaad als voorbeeld meegenomen worden. Misschien ook eens kijken naar het nieuwe decreet op de erkenning en subsidiëring van het het sociaal-cultureel volwassenenwerk. Ook hier zou men wel wat inspiratie kunnen opdoen.
Jarenlang is er reeds een kwaliteitsdenken in de sector. De focus is vooral op output gericht en minder of niet op impact. Audits leggen het accent op procedures en minder op processen. Vb bij de huidige audits ihkv Corona is eerder de vraag of er ontsmettingsmiddel is dan wel hoe je er in slaagt om het welbevinden van cliënt en zijn/haar context op peil te houden? Als de praktijk reeds bestaat? Wat kan ons er van weerhouden om dit in andere sectoren toe te passen. Niet alleen heeft de maatschappij als financierder daar recht op ook de cliënt.
Heel sterk artikel waar we ons in kunnen vinden. Zelf verwacht ik echter meer van organisaties zelf. Een sterk kwaliteitsmanagementsysteem, een inherente opdracht van elke maatschappelijk ondernemer, betekent dat je als organisatie mee laat aansturen door resultaten (wat binnen de zorgsectoren onterecht vaak laag dunkend geassocieerd wordt met ‘cijfers’ en ‘managerialisme’). Het klopt dat je dit niet van vandaag op morgen op poten kan zetten. Idem eigenlijk met de rol die toegeschreven wordt aan de Overheid. Dit brengt ons eerder in een patstelling, immobiel kijken naar ‘de ander’. Kijken naar eigen mogelijkheden, al dan niet binnen netwerken, geeft perspectief. Vandaar mijn pleidooi voor een toenemend verantwoordelijkheidsbesef bij sociale ondernemingen. Een goede denkoefening, mee geïnspireerd door (aanbevelingen) ‘Goed Bestuur’ lijkt een zinvolle, essentiële, eerste stap.
Zeker lezen
‘Sociaal werk zal meer politiek worden’
Impact van migratie op mentaal welzijn: ‘Kinderen dragen littekens van hun ouders’
Jongeren over gezond leven: ‘Ook wat ongezond is, kan gelukkig maken’
Functionele cookies Always active
Voorkeuren
Statistische cookies
Socialemediacookies