The proof of the pudding …
De relatie tussen resultaten van wetenschappelijk onderzoek en de herkenning ervan door de ondervraagde proefpersonen, is altijd een ingewikkelde. Voor wetenschappelijk onderzoek heb je heel veel individuen nodig die allerlei vragen beantwoorden en die antwoorden worden dan op één grote hoop gegooid waarover vervolgens een samenvatting wordt beschreven in termen van centrale waarden, zoals gemiddelden, variatie in antwoorden en eventuele samenhangen.
Ik herken me er niet in
Met het samenvatten van antwoorden verlies je altijd een deel van de variatie en dat is vaak een bron van teleurstelling voor de individuele lezers van de publicaties: hoe herken ik mij hierin? Of, de resultaten zijn zo voor de hand liggend dat ik me afvraag wat ik hier nu aan heb? Of, nog ingewikkelder: ik herken mij er helemaal niet in: zijn de vragen wel goed gesteld of gaan ze wel over het verschijnsel waarover ik denk mijn antwoorden te hebben gegeven? Is er bij het opstellen van de vragen of de onderzoeksmethode wel rekening gehouden met het perspectief van de doelgroep waartoe ik behoor?
Ik herken die vragen, ik loop er ook geregeld tegenaan, maar ik zie wel hoe we elkaar vanuit beide perspectieven kunnen vinden.
Richten op de geadresseerde lezer: inclusief formuleren
Met de NVA heb ik wel eens een verschil van opvatting over hoe zij hun doelgroep, mensen met autisme, aanschrijven. Soms gaat het daarbij over of zij hun doelgroep ‘fijne feestdagen’ moeten wensen of beter gewoon ‘fijne kerstdagen’ (of ‘decemberdagen’) omdat deze dagen door lang niet iedereen als feest worden ervaren (of niet gevierd worden). Met de leden van je doelgroep voor ogen, lijkt het mij voor een belangenvereniging essentieel dat ze zich richten op iedereen, dat ze daarbij termen kiezen waarbinnen iedereen zich gezien voelt.
Iets vergelijkbaars geldt voor een stukje uit een concept-tekst voor de website: zij schrijven bijvoorbeeld “Sommigen hielden zich staande (…) door ondersteuning van familie. (…) overlijden van een partner of naaste.” Ik stelde voor: Sommigen hielden zich staande (…) door ondersteuning van naasten. (…) overlijden van een dierbare.”
Mijn argument daarbij was (is) dat in mijn beschrijving iedereen wordt meegenomen, óók de mensen zonder familie en/of partner. Het weerwoord van de NVA was dat dit is opgevangen door het woord ‘sommigen’. Ik vind dat niet voldoende inclusief. Zonder verlies aan informatie kun je het ook zo formuleren dat ‘iedereen’ er in meegenomen wordt.
Nauwkeurigheid in formulering
Een ander voorbeeld is mijn stokpaardje: je camoufleert je autisme niet. Zowel NAR als NVA en vele anderen drukken zich zo uit. Het autisme (of, zo je wilt, autistische kenmerken) worden gecamoufleerd doordat je ernaar streeft om gezien, gewaardeerd, als erbij horend etc. te worden. Vaak gebeurt dat onbewust. Het verstoppen van autisme is hier niet aan de orde, het klinkt misschien flauw maar – hoewel je het in spreektaal misschien makkelijker maakt door het zo te verwoorden – vind ik dat je in geschreven teksten, zeker via formele kanalen zoals een onderzoeksrapport, website of verenigingsblad of wat dan ook, zorgvuldig moet formuleren. Dat het onderliggend autisme zo verborgen kan blijven, is een gevolg van gedrag, niet het doel (… ja, het kan wel het doel zijn als je weet dat je autisme hebt en bijvoorbeeld gehinderd wordt door (zelf-)stigma).
Je dekt je kwetsbaarheden toe, misschien door compensatie met je sterke kanten: zo ben ik altijd zeer kritisch en analytisch bezig, daarin ligt mijn kracht (en een deel van mijn zingeving). Wat ik daarmee toedek zijn mijn onzekerheden over wie ik ben en mag zijn en of ik wel mee tel. Daar ben ik niet trots op. En voor een deel is mijn camouflagepak juist mijn autisme, het zit in elkaar verweven en ik kan voor een deel niet anders omdat ik vaak niet weet wie & wat ik voel (zie mijn blog ‘hunkeren naar verbinding‘ over o.a. alexithymie); ik noem dat deel auticamouflage.
Co-creatie
Iets vergelijkbaars geldt voor de landing van het onderzoek van het NAR waarin over de samenhang tussen camouflage en stress wordt geschreven. Daarop kwamen, vooral via LinkedIn, heel veel reacties. Ik heb er ook op gereageerd, maar dan via mijn vorige blog ‘Een kritisch narratiefje‘. Het NAR heeft op de reacties op LinkedIn gereageerd door een uitgebreide reactie op de vragen die op ze afkwamen met hun antwoorden daarop. Ook deze reactie leverde weer veel reacties op.
Naar aanleiding van mijn vorige blog heb ik persoonlijk contact gehad met het NAR en daaruit kwam naar voren dat er haast sprake moet zijn van een onnodige kloof tussen het recept van de wetenschap en de smaak van de voorgeschotelde kennis en begrip. Persoonlijk ben ik ervan overtuigd dat er sprake is van twee culturen die wanhopig proberen elkaar te vinden en de verbinding te zoeken, maar het bruggetje is nog niet ontworpen. Vanuit de doelgroep – hier dus de autismegemeenschap – wordt ‘echte co-creatie’ gemist en vanuit het NAR wordt juist aangegeven dat bewust alle onderzoeken worden opgezet in co-creatie en met veel collega’s met ervaringskennis. Ze hebben een onderzoekspanel waar de voorgenomen onderzoeksontwerpen, de methoden en de resultaten worden voorgelegd. Wat kunnen ze dan nog meer doen?
Betrouwbaarheid van onderzoek
Onderzoek begint met het eenduidig formuleren van vragen. Daarbinnen moeten de gebruikte begrippen, zeker de ‘constructen’ die je wilt onderzoeken, scherp, meetbaar en eenduidig worden geformuleerd (de zgn ‘operationalisatie’). Daarnaast moeten ze niet kwetsbaar zijn voor ’toevallige’ beïnvloeding door omstandigheden. Dat gaat allemaal over de betrouwbaarheid.
Een ander punt is de vertegenwoordiging van de onderzoeksgroep; als je een uitspraak wilt doen over hoe mensen met autisme op iets reageren is het van groot belang dat je zeker weet dat de mensen die aan dat onderzoek hebben meegedaan een juiste afspiegeling vormen van de groep waarover je je uitspraak wilt doen. Bij het onderzoek naar de SAM (stress-applicatie) zijn zeker mensen met autisme tijdens het onderzoek afgehaakt omdat ze door het gebruik van de applicatie extra gestrest werden of deze om andere redenen niet plezierig in het gebruik vonden. Met dergelijke uitvallers moet rekening gehouden worden en er moet zeker aandacht aan worden besteed in de discussie over de winst- en verliesrekening van het onderzoek (de ‘discussie’ na afloop).
Een laatste, onmisbaar kenmerk van goede onderzoeksvragen, is de validiteit: meet je wat je denkt te meten? Daarbij is de inbreng van ervaringsdeskundigen onmisbaar. Gaat deze meting wel over mijn camouflage, over mijn stressniveau, enz.? Om het nog ingewikkelder te maken: is camouflage wel meetbaar? Verstaan we er allemaal hetzelfde verschijnsel onder? Op LinkedIn kwam ik bijvoorbeeld een reactie tegen van iemand die volgens de individuele terugkoppeling van het NAR in 2023 ‘mega’ camoufleert’ (citaat) en nu met zichzelf in conflict kwam doordat zij juist door haar camoufleren heel goed functioneerde in bepaalde omgevingen. Is wat zij bijdraagt dan op drijfzand gebaseerd? Ik herken dat dilemma: wat ben ik waard als ik mezelf niet eens ben? Ben ik dan wel geloofwaardig? Naar mijn idee camoufleer/maskeer ik ook vrijwel continu, ook volgens de terugkoppeling van het NAR, maar op de bijpassende vragenlijst (CAT) scoor ik juist laag.
Ik doe – net als de persoon uit mijn voorbeeld – mijn best voor de beeldvorming van autisme, en daarmee indirect voor de belangenbehartiging. Naar mijn overtuiging is dat – jezelf vanuit ervaringskennis als aanjagend ‘instrument’ inzetten – juist wat de bijdrage van een ervaringsdeskundige zo waardevol maakt, maar dat terzijde.
Het construct ‘camouflage’ kan voor iedereen iets anders betekenen. Het kan bovendien verschillende doelen dienen (je kunt er je kracht aan ontlenen of juist je zwakte verbergen, en alles er tussenin). Evenals ‘autisme’ kun je het als fenomeen niet meten; je kunt het niet laten zien noch er maat & getal aan verbinden: het is vooral een beleving met veel dimensies.
Wat hebben we aan onderzoek?
Een veel gehoord kritiekpunt na verschijnen va het onderzoeksrapport is dat het niks nieuws oplevert: wat er uitkomt wisten we allang. En daarmee raken we een verschil van perspectief. En dit is gelijk het bruggetje naar de verbinding tussen onderzoek en herkenbaarheid voor de onderzochte populatie. Onderzoek is niet bedoeld om herkenbaarheid of zo je wilt ‘de werkelijkheid’ voor alle individuen te beschrijven.
Net zoals je bij de dokter komt die vertelt dat je 75% overlevingskans hebt na een zware operatie. Die uitspraak geldt voor de onderzochte patiëntengroep van liefst enkele 1000-tallen die een goede afspiegeling vormen van de groep waartoe jij als individu behoort. Maar of jij persoonlijk tot de 25% sneue klanten behoort, dat weet je niet. Moet je dat de onderzoekers (of de dokter in dit voorbeeld) verwijten? Nee. Het is een ander doel en andere toepassing van de resultaten.
Onderzoeksprojecten zijn in de eerste plaats bestemd voor uitwisseling (toetsing, uitbreiding) van kennis met collega-wetenschappers. Dat neemt niet weg dat – zeker in de sociale wetenschappen – de groep waarover het onderzoek gaat, zich wel in de bevindingen wil kunnen herkennen. Juist in de wereld van autisme (dit is slechts één voorbeeld) is het van belang dat onderzoekers, beleidsmakers, begeleiders/behandelaren, belangenbehartigers én de doelgroep elkaar vinden in de ‘landing’ van de kennis en de praktische toepassing daarvan. Juist omdat deze uiteindelijk ten goede moeten komen voor de ‘gebruikers’. Als daar geen herkenning wordt ervaren, dan blijven onderzoeken als het ware ‘over je heen vliegen’.
De bevindingen worden verder gebruikt voor toepassing in de behandelpraktijk, voor belangenbehartiging (bv het afschaffen van de extra rijbewijskeuring voor mensen met autisme) en voor politieke doeleinden (aandacht voor uitvallers in het onderwijs). En dit is nog niet alles.
De brug
Waar ik een brug zie tussen onderzoeksrapportage en je herkend voelen door de doelgroep, is een continue dialoog waarbij de groepen elkaar vinden vanaf de opzet van het onderzoek tot en met de interpretatie van de onderzoeksbevindingen. Ik weet niet precies wat de ‘klankbordgroep’ van het NAR allemaal doet en wanneer en hoe zij worden betrokken in de onderzoeksplannen.
Maar uit mijn ervaring als onderzoeker weet ik, bijvoorbeeld, dat het van belang is om aan het begin van je onderzoek een meetinstrument in tenminste twee fasen op validiteit en betrouwbaarheid te testen voordat het voor een project wordt gebruikt. Die ontwikkel- en testfase is op zich al een onderzoek. Daarmee kun je naar twee kanten nagaan door eerst met het instrument te inventariseren wie over zichzelf zegt dat zij ja/nee zich met camoufleren overeind houdt en vervolgens andersom, of het instrument tussen twee groepen met andere deelnemers (die gevormd zijn naar ja/nee kenmerk) de verschillen adequaat detecteert. Bij dat laatste kan met kwalitatief onderzoek (diepte-interviews, observaties e.d.) worden ingezet.
Interpretatie van de resultaten kan worden besproken in een groep met ervaringsdeskundigen, behandelaren én onderzoekers (die bij het NAR deels ook ervaringsdeskundigen zijn, dat is juist zo mooi!).
Er kan ook al een begin gemaakt worden door in uitingen van bijvoorbeeld de NVA meer te schrijven in termen van ‘het kleinste gemene veelvoud’ (zie de voorbeelden die ik eerder noemde). Door met je schrijfstijl aandacht te houden voor inclusieve formuleringen zodat iedereen zich gekend voelt door wat er geschreven wordt. Voor wetenschappelijke onderbouwing van uitzonderingen e.d. kan altijd verwezen worden naar publicaties op dat terrein.
Tenslotte lijkt het mij een goed plan om de mogelijkheden tot ‘verbinding’ verder te verkennen in een webinar waarin zowel onderzoekers als criticasters worden uitgenodigd met het doel om elkaar te vinden in een gezamenlijk geaccepteerde brugconstructie.
The proof of the pudding, oftewel: smaakt het onderzoek naar meer?
