Simpel is beter, vooral bij methodologie

De scholen zijn weer begonnen, en dat geldt sinds ruim een maand ook voor universiteit en hogeschool. Dikke kans dat de studenten worden opgezadeld met een vak Onderzoeksmethodologie. Is dat wel een goede voorbereiding op hun afstudeeronderzoek?

Laten we beginnen met een raadsel. Pingping wil op zijn reis naar een verre stad even een dorp in om de weg te vragen. Hij heeft voorheen al gehoord dat sommige dorpsbewoners notoire liegbeesten zijn, waarover hij de volgende informatie heeft gekregen. De waarschijnlijkheid dat de mensen in dit dorp liegen is 10%. Als een dorpsbewoner liegt of de waarheid spreekt, is de waarschijnlijkheid dat deze een rode neus heeft 80% resp. 10%. Als Pingping aan een dorpsbewoner met een rode neus de weg vraagt, hoe groot is dan de kans dat deze liegt?

Deze informatie kan ook op een andere manier worden geformuleerd. Van de 100 dorpsbewoners zijn er 10 die altijd liegen. Van deze 10 leugenaars hebben er 8 een rode neus. Van de overige 90, die dus niet liegen, hebben er 9 een rode neus. Als Pingping een groep dorpsbewoners met een rode neus tegenkomt, hoeveel daarvan zijn een leugenaar?

Bij de laatste formulering is het raadsel niet zo moeilijk: 8 van de 17 rode neuzen is een leugenaar, oftewel de kans dat een rode neus liegt is 47%. Zelfs kinderen van een jaar of tien kunnen goed overweg met dit soort raadsels, die geënt zijn op het theorema van Bayes. Krijgen ze echter de eerste formulering voorgelegd, dan bakken ze er niets van.

Dit blijkt uit een studie van Zhu en Gigerenzer (2004). Hun conclusie is dat kinderen het principe van de Bayesiaanse statistiek heel goed snappen, mits de opdracht wordt geformuleerd in een taal die aansluit bij hun manier van redeneren. Meer algemeen: het oplossen van een – in dit geval statistisch – probleem vereist dat het probleem op de juiste manier wordt gepresenteerd.

Methodologie-onderwijs geeft vooral verwarring

Aan hun conclusie moest ik vaak denken toen ik mij ging verdiepen in de wereld van de onderzoeksmethodologie, het vakgebied dat zich bezig houdt met de wijze waarop wetenschappelijk onderzoek wordt verricht, maar vooral: behoort te worden uitgevoerd volgens methodologie-experts, die overigens zelf vaak niet zoveel onderzoek doen. Dit vakgebied maakt de laatste twee decennia een enorme groei door, vooral sinds HBO-instellingen hun studenten ook onderzoeksvaardigheden willen bijbrengen. De universiteit is eveneens meer aandacht gaan besteden aan onderzoeksmethodologie, vooral bij de populaire praktijkgerichte studies als bedrijfs-, communicatie- en geneeskunde.

Bij het doornemen van de enorme stapel boeken en artikelen die inmiddels op dit vakgebied zijn verschenen, kreeg ik vooral de indruk dat de auteurs de zaak veel ingewikkelder maken dan nodig is. Het gevolg is – zo weet ik uit eigen ervaring – dat studenten daardoor vaak in verwarring raken over wat ze moeten doen of laten, en daarom braaf de richtlijnen volgen die hen worden aangereikt (lees: opgedrongen). Geheel in overeenstemming met de studie van Zhu en Gigerenzer is mijn perceptie dat de meeste studenten best wel snappen wat goed onderzoek inhoudt; het methodologieonderwijs sluit echter nauwelijks aan bij hun intuïtieve kennis op dit terrein

“Het is heel makkelijk om iets moeilijker te maken, maar het is heel moeilijk om iets makkelijker te maken.” Ook aan deze uitspraak van Jos de Blok moest ik herhaaldelijk denken. Hij heeft zijn economie-studie afgebroken om verpleegkundige te worden, was vervolgens oprichter en directeur van Buurtzorg, inmiddels de grootste thuiszorgorganisatie van Nederland. Een bedrijf dat is overladen met prijzen voor Beste Werkgever en Beste Marketing, terwijl ze niet eens een aparte afdeling hebben voor HRM en marketing. De Blok zegt aan het eind van het mooie interview: “ik vind eerlijk gezegd dat de zorg heel eenvoudig is. We hebben het heel complex gemaakt.”. Zou dat voor wetenschappelijk onderzoek eveneens kunnen gelden? En zullen studenten zelfs beter onderzoek doen zonder een uitgebreide onderzoeksmethodologie, dus door de Buurtzorg-aanpak te hanteren?

De hamvraag

‘In hoeverre klopt het wat jij beweert’, dat is volgens mij de kernvraag die een student na afloop moet kunnen beantwoorden omtrent het onderwerp dat hij heeft onderzocht. In de meeste gevallen doen studenten op basis van hun onderzoek bepaalde uitspraken over de werkelijkheid, en de essentie van wetenschap is dat deze uitspraken moeten worden bewezen met stevige argumenten en overtuigende gegevens.

Dat ‘in hoeverre’ lijkt op het eerste gezicht nogal dwaas want we hebben altijd geleerd dat er slechts twee mogelijkheden zijn: iets is waar of onwaar, een tussenpositie bestaat niet. Deze ‘vuistregel’ functioneert ook heel goed in het dagelijkse leven maar bij wetenschappelijk onderzoek moeten we een genuanceerder beeld geven. Of ik een bepaalde kanker wel of niet onder mijn leden heb, kan een oncoloog alleen met zekerheid zeggen als hij mij open snijdt. Bij minder drastische diagnosemethoden moet hij altijd aantekenen dat zijn diagnose op twee manieren kan afwijken van de feitelijke situatie, wat ze in de wetenschap een fout-negatief en fout-positief noemen. De eerste afwijking is dat ik kanker heb terwijl dat niet uit de test blijkt, de andere dat ik géén kanker heb maar de test zegt van wel. En hij moet nog meer slagen om de arm maken bij uitspraken over mogelijke uitzaaiingen of over mijn levensverwachtingen.

De kernvraag zou ook anders kunnen worden gesteld: onder welke condities kloppen jouw beweringen? Deze formulering verwijst naar het feit dat iedere oorzaak-gevolg relatie alleen onder specifieke omstandigheden optreedt. Als ik wil weten of mijn kanker op korte termijn dodelijk is moet de oncoloog nagaan in hoeverre de relevante condities bij mij inderdaad van toepassing zijn, of kunnen zijn.

Replicatie mogelijk maken

De toevoeging ‘in hoeverre’ heeft niet alleen te maken met de complexe werkelijkheid waarin de meeste verschijnselen een ‘waarschijnlijkheidsmodus’ hebben, of pas optreden als een bepaalde grenswaarde wordt overschreden, de bekende druppel die de emmer doet overlopen. Ook zijn er uiteenlopende methoden om die werkelijkheid in beeld te krijgen en te analyseren, en geen van alle zijn ze niet voor 100% perfect. Daarom is het bij wetenschappelijk onderzoek zo belangrijk dat je expliciet en uitgebreid beschrijft welke stappen en beslissingen in het onderzoeksproces zijn genomen om tot jouw bevindingen te komen. Dat zorgt voor een verantwoording achteraf, en schept de voorwaarden voor replicatie-onderzoek: iemand die op dezelfde manier jouw onderzoek herhaalt moet in principe dezelfde uitkomsten krijgen. Dit lijkt mij de meest belangrijke richtlijn die je aan een beginnend onderzoeker moet geven.

Voor alle duidelijkheid: ik heb het niet over de vaak onnodig ingewikkelde stappenplannen die door methodologen worden opgesteld. Deze lijken vooral bedoeld om de studenten slaafs door de methodologische hoepel te laten springen. Wat ik bedoel heeft meer weg van een verslag van een ontdekkingsreis: welke weg ben ik toen ingeslagen en waarom heb ik alternatieve wegen niet genomen of uitgeprobeerd?

Voldoet het artefact aan de eisen?

Ingenieurs en bedrijfskundigen zullen terecht opmerken dat zij zich niet alleen bezighouden met een analyse van de werkelijkheid, dus met wat zij de diagnose-fase noemen. Net zo belangrijk is hun taak om nieuwe bouwwerken, instrumenten, methoden, actieplannen en andere artefacten te ontwerpen. Ook daarvoor is onderzoek nodig, dat aan bepaalde regels moet voldoen om het predicaat ‘wetenschappelijk’ te verdienen. De kernvraag luidt dan: in hoeverre voldoet het artefact inderdaad aan de gestelde eisen? Neem het ontwerpen van een brug. Dat artefact moet aan uiteenlopende eisen voldoen, variërend van veilig, duurzaam, passend in het landschap, tot allerlei kostenoverwegingen. Voor 100% voldoen aan alle eisen is onmogelijk zodat de ingenieur zo goed mogelijk moet inschatten in hoeverre zijn ontwerp daadwerkelijk aan de diverse eisen voldoet. Zijn onderzoek begint met het inventariseren van allerlei varianten, om vervolgens de meest geschikte te selecteren, die tot slot zodanig wordt uitgewerkt dat met een bepaalde waarschijnlijkheid kan worden voldaan aan de diverse eisen. Ook hier geldt dat de stappen in dit proces navolgbaar moeten zijn, zodat degenen die over het brug-project moeten beslissen kunnen nagaan of het ingenieursbureau zijn werk naar behoren heeft uitgevoerd. Ook een eventuele contra-expertise kan hier haar voordeel mee doen.

Het bovenstaande geldt trouwens ook voor de artefacten die bij uitstek door wetenschappers worden ontworpen: concepten, modellen en theorieën. Deze kunnen niet waar of onwaar zijn, want zij doen als zodanig geen uitspraken over de werkelijkheid. Zij zijn te beschouwen als een kaart of een instrumentarium met behulp waarvan wij beter in staat zijn de wereld te beschrijven, te verklaren of te voorspellen. De hamvraag bij een nieuwe theorie of model is dus of ze deze functies beter kan vervullen dan de bestaande theorieën en modellen. En dat roept weer de vraag op welke eisen we precies aan deze wetenschappelijke artefacten kunnen en moeten stellen. Deze vraag is lastig maar uitermate belangrijk, en wordt in de sociale wetenschappen veel te weinig gesteld, laat staan beantwoord. Het gevolg is dat studenten worden overstelpt door een overvloed aan zeer uiteenlopende concepten, modellen en theorieën, bijeen gebracht in steeds dikkere – en duurdere – leerboeken. Is het dan gek dat zij door de bomen het bos niet meer zien, en de literatuur als een soort grabbelton gebruiken?

Krachtig en kwetsbaar

De eisen die aan ieder wetenschappelijk onderzoek moet worden gesteld, zou je kunnen samenvatten als ‘krachtig en kwetsbaar’. De uitspraken die aan het eind van het onderzoek worden gedaan, moeten zo stevig mogelijk zijn, als een rots in de branding. Het is niet voldoende om te zeggen dat A een significant positief effect heeft op B, zoals onder meer bij regressie-analyses wordt onderzocht ; de student moet ook kunnen aangeven onder welke condities dat effect optreedt, welk oorzakelijke verbanden aan de orde zijn, enzovoorts. Prietpraat en gebakken lucht hebben we al genoeg in de sociale wetenschappen, en dat geldt ook voor economie en bedrijfskunde, die het vaak verbergen achter een hoop wiskunde en statistiek.

Met het criterium ‘kwetsbaarheid’ bedoel ik dat de student mogelijke critici voldoende gelegenheid geeft om zijn onderzoek onderuit te halen. Dat begint met de eerder genoemde explicitering van de diverse stappen in zijn ‘ontdekkingsreis’. Daarnaast mag je van een wetenschappelijke studie verwachten dat de onderzoeker zelf mogelijke bezwaren en tekortkomingen van zijn studie naar voren brengt. En dat hij aandacht besteedt aan de externe validiteit: op welke (deel)populaties hebben de bevindingen van mijn onderzoek betrekking, voor welke zijn ze alleen geldig onder bepaalde aannames of condities.

Een gedetailleerde vergelijking met een of twee studies die als benchmark worden beschouwd, maakt de scriptie zowel krachtig als kwetsbaar. Kwetsbaar omdat de student zich meestal niet kan meten met het werk van ervaren onderzoekers, krachtig omdat de student een confrontatie met vergelijkbaar onderzoek niet uit de weg gaat. Hetzelfde geldt voor een robuustheidscheck. Deze kan verschillende vormen hebben, afhankelijk van de aard van het onderzoek en de gebruikte onderzoekstechnieken, maar in essentie ga je na of je conclusies ook overeind blijven als je de belangrijkste variabelen op een iets andere manier meet. Zo kan de mate van innovativiteit worden afgelezen uit het aandeel van de R&D-uitgaven, maar ook uit het aantal patenten of het omzetaandeel van nieuwe producten.

Solide argumentatie, overtuigende bewijzen, voortbouwen op of juist afwijken van eerder onderzoek; daar draait het allemaal om bij een afstudeerproject. Iedereen met gezond verstand en een kritische blik, gekoppeld aan elementaire kennis van het onderwerp, kan beoordelen of een scriptie daaraan voldoet. Daar zijn geen uitgebreide protocollen voor nodig, die momenteel steeds meer oprukken, vooral op de HBO. Ze hebben daar de illusie dat ze betere scripties krijgen als studenten allerlei nauwkeurig voorgeschreven processtappen doorlopen. Zo gebruiken ze op de HanzeHogeschool bij een stage/afstudeerproject het programma OnStage waar docenten meer dan 25 stappen moeten afvinken; dat kost zoveel tijd dat ze nauwelijks tijd hebben om de student inhoudelijk te begeleiden.

Een voorbereid mens telt soms voor een half

Vooral op het HBO en bij de praktijkgerichte universitaire opleidingen worden studenten vaak gedwongen om zich uitgebreid te verdiepen in allerlei methodologische literatuur alvorens ze aan hun scriptie mogen beginnen. Bovendien moeten ze in hun scriptie-voorstel in detail aangeven hoe hun voorgenomen onderzoek past in de diverse categorieën die in deze literatuur worden onderscheiden. Ik beschouw dit als een vreselijke verspilling van tijd en energie en talent. Net als bij droogzwemmen wordt de student gedwongen vooraf keuzes te maken die pas betekenis krijgen als je daadwerkelijk aan de slag gaat – als je echt in het water springt. Onderzoek is op zijn best een ontdekkingsreis, waarbij je van te voren niet weet wat je allemaal tegenkomt. Anders gezegd: je bent op zoek naar een speld in de hooiberg en je komt uit het hooi met een mooie boerendochter. Tal van ontdekkingen zijn het resultaat van deze vorm van toeval, aangeduid als serendipiteit.

Dit alle betekent natuurlijk niet dat het helemaal geen zin heeft als studenten van tevoren nadenken over de richting die ze willen inslaan. Maar dat moet zich tot het minimale beperken, bijvoorbeeld tot het beantwoorden van de volgende vier vragen:

  1. Afbakening van het onderzoek: waarover wil je aan het eind van het onderzoek uitspraken doen?

  2. welke onderzoekstechnieken, variërend van casestudies tot regressie-analyses, komen daarbij in aanmerking?

  3. Welke daarvan, of welke combinatie van onderzoeksmethoden, lijkt het meest vruchtbaar en haalbaar?

  4. wat moet ik minimaal van tevoren doen om aan het eind van de rit krachtige en kwetsbare uitspraken te kunnen doen?

Over een andere boeg

Moet het methodologie-onderwijs dan helemaal worden geschrapt? Nee, misschien moet het juist worden uitgebreid maar dan wel over een andere boeg. Om te beginnen moet methodologie – geheel in overeenstemming met de Buurtzorg-aanpak – niet een apart vak zijn maar ieder vak aan de orde komen. Om een vakgebied te leren kennen moet je niet alleen kennis nemen van de onderzoeksresultaten die de wetenschappers in de loop der tijd hebben geboekt, maar ook op welke manieren ze die resultaten hebben verworven, dus de methodologie die ze in het vakgebied hanteren. Sterker nog, dat laatste zou juist op de voorgrond moeten staan, terwijl het nu een ondergeschoven kindje is.

“Maar dan krijg je toch de situatie dat een bepaalde onderzoekstechniek, zoals de enquête, in ieder vak opnieuw wordt behandeld, wat tot een nodeloze verspilling leidt!”. Helemaal waar, en daarom zijn aparte lesmodules voor de meest gangbare onderzoekstechnieken heel erg zinvol, en kunnen deze zelfs instellingsbreed worden aangeboden. Onderzoeksmethodologie gaat echter niet zozeer om de onderzoekstechnieken zelf maar om de rol die zij spelen in het onderzoeks- en publicatieproces. Omdat deze rol in elk vakgebied specifieke kenmerken heeft, kan je deze problematiek ook beter bij de betreffende vakken onderbrengen.

Terug naar de kern

Een andere tegenwerping zou kunnen zijn dat studenten op die manier hoogstwaarschijnlijk worden geconfronteerd met zeer uiteenlopende opvattingen over methodologie. Ook helemaal waar, maar dat is eerder een voordeel dan een nadeel. Laten we elkaar – en de studenten – niet voor de gek houden: zeker in de gammawetenschappen zijn er bij methodologie verschillende wegen die naar Rome leiden, en de ene weg is niet altijd superieur aan de andere. Nodeloos gesteggel over wat de juiste methodologie is – of nog erger: wie de beste methodoloog is – kan alleen worden beperkt door eensgezindheid te krijgen over de kern van de wetenschappelijke bewijsvoering, en zowel docenten als studenten verder vrij te laten in allerlei toeters en bellen. Mij valt op dat docenten meestal weinig verschil van mening hebben als zij een voorstel of het eindproduct in grote lijnen moeten beoordelen, en vaak dikke ruzie krijgen als ze die beoordeling moeten expliciteren in bewoordingen die door methodologen zijn bedacht.

Methodologie een integraal onderdeel maken van ieder vak heeft verder als voordeel dat studenten niet alleen leren hoe onderzoek behoort te worden opgezet en uitgevoerd, maar ook oog krijgen voor de feitelijke gang van zaken in het betreffende vakgebied. Dat dwingt docenten zich uit te spreken over het methodologische gehalte van de diverse modellen en theorieën die hun vakgebied overspoelen. En de studenten leren onderscheid te maken tussen goede en minder goede studies, zodat ze kritischer komen te staan tegenover de tentamenstof, die ze nu nog voor zoete koek moeten slikken; en kritiekloos moeten reproduceren om voor het tentamen een voldoende te krijgen.

Voorbereiding op de beroepspraktijk

In het verlengde hiervan ligt een ander voordeel: ze zijn beter voorbereid op de beroepspraktijk. Zelfs bij de universitaire masterstudenten zijn er slechts weinigen die na hun studie zelf onderzoek gaan doen. Wat de overgrote meerderheid van de hoger opgeleiden wèl moet doen, is het – selectief – benutten van andermans onderzoeksresultaten, of een of andere vorm van onderzoeksjournalistiek bedrijven. En dus is het belangrijk dat ze onderscheid kunnen maken tussen puik onderzoek en studies met veel blah-blah of twijfelachtige conclusies, tussen harde bewijzen en boterzachte beweringen, tussen nutteloos onderzoek en studies die nieuwe relevante gezichtspunten opleveren.

Als studenten op deze manier onderscheid kunnen maken tussen zin en onzin van methodologie, dan kunnen ze met een gerust hart veel meer vrijheid krijgen bij het opzetten en uitvoeren van hun eigen proeve van bekwaamheid, het afstudeerproject.

Hoe het niet moet

“Het rapport is mooi geschreven. Het kennisproduct is hier een spiegel die energie geeft. Het ontwikkelt narratieve kennis, die vervolgens gevalideerd is in andere situaties, via enkele goede iteratieslagen. De perspectieven van betrokkenen (studenten en docenten) zijn duidelijk weergegeven. De stappen zijn goed beschreven, ook wat het de onderzoekster als persoon heeft gedaan is in een procesbeschrijving vastgelegd. Wat ontbreekt is een weergave van de perspectieven op en interpretaties van het kennisproduct zelf door de onderzochten.” Dit is een citaat uit het juryrapport Winnaar Praktijkgericht Onderzoek van het Jaar 2010, bijlage 1 uit het rapport Reviewen van Praktijkgericht Onderzoek (2012). Voor alle duidelijkheid: het is een beoordeling – review in quasi-academisch Nederlands – van een rapport van een afgestudeerde docent-onderzoeker aan de Hogeschool Windesheim, met als titel “Meesterschap, de docent als inspiratiebron. Een onderzoek naar de bijdrage van docenten aan de ontwikkeling van een arbeidsidentiteit bij studenten.” Maar het had ook een citaat kunnen zijn van een beoordeling van een eindscriptie.

Wat mij opvalt zijn de algemene bewoordingen die worden gebruikt. Met dit soort zinnen kun je vrijwel iedere scriptie of onderzoeksverslag typeren, en dat wordt ook vaak gedaan, weet ik uit eigen ervaring. Het commentaar is met andere woorden niet erg specifiek, wat de indruk wekt dat het rapport – of de scriptie – niet erg grondig is gelezen, wat ook vaak het geval is.

Bovendien staat het commentaar bol van de holle en modieuze termen, zoals kennisproduct, narratieve kennis, gevalideerd, iteratieslagen. En “wat het de onderzoekster als persoon heeft gedaan” lijkt mij minder relevant dan wat de onderzoekster ervan heeft geleerd, of een volgende keer anders zou doen.

Natuurlijk ontbreekt er altijd iets, want zij die beoordelen moeten natuurlijk wel even laten weten dat zij een stapje hoger staan. Maar erger is wat als minpuntje wordt gezien, zoals hierboven: “Wat ontbreekt is een weergave van de perspectieven op en interpretaties van het kennisproduct zelf door de onderzochten”. Zeker bij de oprukkende managementopleidingen – die verboden zouden moeten worden voor studenten zonder enkele jaren fulltime werkervaring in een echte organisatie – is het tegenwoordig regel dat de scriptie vooral aan allerlei meta-eisen moet voldoen. Ik bedoel daarmee dat studenten moeten aangeven wat de relevantie is voor de opdrachtgever, hoe het onderzoek organisatorisch is ingebed, wie de stakeholders zijn, hoe zij zijn betrokken bij het onderzoek, enzovoorts.

streven naar waarheid, door het uitbannen van onwaarheden”

Ik heb drie problemen met deze oprukkende tendens. Om te beginnen wordt alleen beoordeeld of de student hier iets over zegt, dus een kwestie van afvinken, een praktijk die als een kankergezwel het onderwijs – en andere sectoren – is binnengedrongen. Bovendien zijn student noch docent – die beiden meestal niet voor langere tijd buiten de muren van de opleiding hebben gewerkt – goed in staat om hierover zinnige uitspraken te doen, die verder gaan dan algemene prietpraat; daarvoor is nodig dat je de nodige ervaring hebt en de betrokken organisatie goed kent. Tot slot leiden dit soort meta-eisen de aandacht af van waar het werkelijk om moet gaan: is de student in staat goed onderzoek te doen – dus een onderscheid te maken tussen harde feiten en halfzachte beweringen. Het hoger onderwijs moet de plaats zijn waar het ideaal van John Lukacs met volle teugen kan worden gepraktiseerd: “streven naar waarheid, door het uitbannen van onwaarheden”.

Kortom, ik pleit ervoor dat studenten zich in hun afstudeerproject beperken tot het onderzoeken van een empirisch of theoretisch vraagstuk dat hun diepe interesse heeft. En als studenten daar zelf niet mee komen – een signaal dat je het als opleiding niet goed hebt gedaan – moeten docenten geschikte onderwerpen aandragen waarmee zij hun capaciteiten kunnen bewijzen – een praktijk die beta-opleidingen heel normaal is. Die kans – om met minimale regels op cognitieve ontdekkingsreis te gaan – krijgen ze daarna nooit meer, want in hun latere beroepspraktijk zullen zij zich in allerlei bochten moeten wringen om hun ‘kennisproduct’ te slijten.

Dus gun ze de laatste gelegenheid om te ervaren hoe boeiend het is om diepgravend onderzoek te doen. En misschien slaat het enthousiasme van de studenten dan over op de docenten, om meer te doen dan alleen scoren op toppublicaties of subsidiepotjes.

S. de Beter

Share

6 Reacties.

  1. Ik  heb je stuk over methodologie met interesse gelezen. Ik beschouw me niet als uitgesproken deskundige op dit terrein; ik ben echter vaak betrokken bij methodologische discussies tussen promovendi en promotoren uit de groep waartoe ik behoor. Ik weet vrijwel zeker dat mijn meer uitgesproken collegae jouw stuk beoordelen als ‘juist, maar dan wel binnen een positivistische denktrant’. Nu heb ik inmiddels geleerd dat er geen dichotomie is tussen een positivistische en een niet–positivistische denktrant. Het actuele debat tussen methodologen speelt zich af op verschillende dimensies. Lastig te volgen vaak, maar wel relevant. Een van die dimensies gaat over de vraag of de wereld kenbaar is onafhankelijk van de eigen zienswijze en opvattingen van de onderzoeker. Degenen die vinden dat dit het geval is werden empiristen genoemd waarvan het positivisme een milde vorm is. De anderen vertegenwoordigen een van de vele constructivistische zienswijzen.De strenge replicatie-eis is een voorbeeld van positioneren binnen dit spectrum. In het moderne positivisme is men tamelijk sceptisch over de mogelijkheid om sociaal-wetenschappelijk replicatie-onderzoek uit te voeren. Dit leidt alleen tot bruikbare resultaten als de context van rond het onderzoeksobject identiek is aan die van het oorspronkelijke onderzoek. De scheidslijn tussen positivisten en constructivisten wordt overschreden als ook nog eens de eis wordt gesteld dat de replicerende onderzoekers dezelfde vooronderstellingen moet hebben over hoe de werkelijkheid in elkaar zit (ontologie). Positivisten zullen dan weer zeggen dat dit een kwestie van de selectie van theorieën is, anderen zullen stellen van de hang naar theorie zelf een kenmerk van het positivisme is. Sommigen van hen prefereren daarom ‘theorieloos’ onderzoek of een aanpak langs langs de lijnen van grounded theory en narratieve methoden.

    Zelf heb ik geen uitgesproken opvatting, behalve dat het reductionisme in veel gangbaar sociaal-wetenschappelijk onderzoek me tegen de borst stuit. De onderzoeker wil de aanwezigheid van een  significante relaties tussen enkele variabelen aantonen en is blij als hij of zij die vindt. Doorgaans wordt er niet bijverteld hoe groot (lees: klein) de ‘verklaarde’ variantie is. Vaak denk ik dan, geef mij maar goede onderzoeksjournalistiek.

    Overigens ben ik de laatste die deze discussie op het hbo zou willen introduceren. Ik denk dat ik daar zou stellen dat politici, journalisten en wetenschapsbeoefenaren allemaal verhalenvertellers zijn en dat de laatstgenoemden misschien beter en in elk geval langer nadenken over de de manier waarop ze de kwaliteit van hun verhaal kunnen bepalen. Ik zou ook zeggen dat de criteria om de kwaliteit van het verhaal vast te stellen verschillen naargelang het soort verhaal dat we willen vertellen. Een verhaal over de sterkte van een brug is  een heel ander verhaal dan dat over suïcidale neigingen van gepeste werknemers. Laat een positivist het eerste verhaal maar vertellen, maar aan de verteller van het tweede verhaal stel ik heel andere eisen.

  2. Beste H.

    Stel dat de directie van Rijkswaterstaat voor een bepaalde categorie bruggen wil weten in hoeverre er aanpassingen in de brugconstructie nodig zijn om een extra rijbaan ‘toe te voegen’. En stel dat diezelfde organisatie wil weten in hoeverre een bepaalde categorie werknemers in het afgelopen jaar vaker is gepest of zich gepest voelde. Zal diezelfde directie een ander ‘verhaal’ van het tweede onderzoeksbureau willen horen dan van het eerste? Ik vermoed dat de directie in beide gevallen gewoon de ‘feiten’ wil weten, en welke gangbare beweringen als onjuist bestempeld moeten worden.

     

    • Ik heb nog een paar andere reacties binnen gekregen, via mijn emailadres. Ik beperk mij hier tot een gemeenschappelijk kenmerk van deze reacties.

      Als ik mij verplaats in de positie van een directeur van Rijkswaterstaat die – toevallig – twee verschillende onderzoeken wil uitzetten, dan is duidelijk dat hij van de meeste commentatoren de boodschap krijgt dat hij verschil moet maken tussen die twee onderzoeksprojecten. Maar hij weet nog steeds niet precies WELK verschil, en nog minder welke consequenties dat heeft voor de opdrachtverlening – daar zeggen de meeste commentatoren niets over. Ik kan mij dus voorstellen dat hij denkt “wat heb je nu aan die academici: ze brengen een mening naar voren maar geven vervolgens niet aan wat ik wel of juist niet moet doen”

      Gelieve daarom bij nieuwe reacties uit te gaan van mijn positie als ‘directeur van Rijkswaterstaat’ en opdrachtgever van twee uiteenlopende onderzoeken. Dat antwoord zal ongetwijfeld ook voor methodologen en studenten relevant zijn; het omgekeerde zou eigenlijk ook moeten gelden maar dat blijkt een stuk moeilijker.
      En denk aan de woorden van mijn ‘collega’ Jos de Blok van Buurtzorg NL: “Het is heel makkelijk om iets moeilijker te maken, maar het is heel moeilijk om iets makkelijker te maken.”

  3. Ik heb de blogpost gelezen. Ik ben ervan onder de indruk. De manier waarop een vraagstuk wordt gepresenteerd (de rode neuzen) is inderdaad van groot belang voor de mogelijkheden van leerlingen en studenten om er greep op te krijgen (en via die weg het vraagstuk ook op andere manieren te leren benaderen). Het is ook geen toeval dat de eenvoudige manier voortreffelijk door een beslisboom kan worden weergegeven – de manier die u aanbeveelt bij het afleggen van verantwoording van het doen van onderzoek. Eenvoud loont en te vaak (daar gaat het grootste deel van de blog over) wordt die regel in de wind geslagen. Met lonende eenvoud bedoel ik niet een goed bekkend ‘frame’, maar het bekende scheermes. 
     Wat een en ander te maken heeft met positivisme dan wel constructivisme ontgaat me. 
     

  4. U brengt zelf niet in praktijk wat u anderen adviseert om te doen. Blijkbaar vindt u robuuste bewijsvoering en een kwetsbare opstelling wel nodig bij empirisch onderzoek maar niet bij teksten over onderzoek zelf. Het gemak waarmee u stellingen betrekt en waarmee u (dis)kwalificeert doet veronderstellen dat u vindt dat er geen grote kennistheoretische vragen zijn over het doen van onderzoek. Zo stelt u dat het mogelijk moet zijn om tot overeenstemming te komen over de kern van bewijsvoering. Volgens mij is die opvatting de basis van uw betoog. Zonder die overeenstemming heeft een pleidooi voor simpelheid weinig zin. Ik zie die mogelijkheid tot overeenstemming in de verste verte niet. In ieder geval niet voor het onderzoek in de sociale wetenschap. Er is verschil van mening over alles wat onderzoek betreft. Over welke methoden tot robuuste bewijsvoering leiden. Over of robuuste bewijsvoering uberhaupt mogelijk is. En over wat bewijsvoering eigenlijk is. Positivisten noemen kwalitatief onderzoek eenvoudigweg slechte wetenschap. Kwalitatieve onderzoekers noemen positivistisch onderzoek naar sociale vraagstukken eenvoudigweg tijdverspilling. Action-researchers ontwaren in de samenwerking tussen betrokkenen en onderzoekers een nieuwe verlichting. Anderen verwijten action-researchers wel veel epistemologische teksten te produceren maar geen nieuwe kennis. Postmodernistisch onderzoekers wijzen elke waarheidsclaim af en pleiten voor onderzoek via ‘bricolage’. Anderen veroordelen postmodernistisch onderzoek als een terugval achter de verlichting. Complexiteit onderzoekers zien een nieuwe wetenschappelijke revolutie gloren maar verschillen onderling van mening hoe je vanuit een complexiteitsopvatting onderzoek moet doen. Plus allerlei varianten en combinaties. Ik zie geen convergentie van opvattingen, laat staan eensgezindheid.
    Op het hbo komt deze kennistheoretische diversiteit ook voor. Weliswaar getemperd door de overeenstemming over het idee dat onderzoek relevant moet zijn voor de praktijk. Maar over de vraag hoe praktijkgericht onderzoek er uit zou moeten zien lopen de meningen weer sterk uiteen.
     
    Wat betekent deze situatie van uiteenlopende opvattingen voor een docent onderzoek (zoals ik zelf) op het sociale domein van het hbo? Volgens mij het volgende. Laten we ons blijvend verdiepen in het wetenschapstheoretische debat over onderzoek. Laten we met collega’s en vertegenwoordigers van het werkveld bepalen welke onderzoeksbenadering of benaderingen voor welke vraagstukken in ons vakgebied het meeste in aanmerking komen. We werken die benadering(en) uit in methodisch handelen die tegelijkertijd een toegevoegde waarde heeft voor de dagelijkse beroepsuitoefening van de student. We laten de studenten er hun afstudeerproject mee doen. We bespreken met elkaar en het werkveld de ervaringen die de docenten en de studenten op doen met deze onderzoeksmethode(n). We raadplegen regelmatig onderzoekers uit een ander veld en leggen hen afstudeerproducten van de studenten voor. En vooral; laten we zorgen voor een goed klimaat voor een collegiaal debat. Laten we onze aanpak met verve verdedigen en verantwoorden. Laten we open staan voor kritiek en onderzoekers van een andere opvatting niet de maat nemen.

    • Beste J.

      Hartelijk dank voor uw uitgebreide reactie. Blijkbaar ben ik niet duidelijk genoeg geweest. Ik heb niet beweerd dat geen ” grote kennistheoretische vragen zijn over het doen van onderzoek.” Het enige dat ik naar voren wil brengen: val studenten daar niet mee lastig. Niet omdat vrijwel alle studenten daar geen belangstelling voor hebben – wat natuuurlijk wel het geval is – maar omdat het geen beter onderzoek oplevert. Integendeel, het geeft vooral verwarring, niet alleen bij studenten maar ook bij docenten die de student moeten begeleiden. Want evenals u zie ik “geen convergentie van opvattingen, laat staan eensgezindheid.”
      Hoewel u – net als ik – hierover pessinistisch ben, ben u juist weer heel erg optimistisch over de mogelijkheden van het “blijvend verdiepen in het wetenschapstheoretische debat over onderzoek.” Dat vind ik moeilijk te begrijpen.

      Mijn advies is: we moeten terug naar de kern van wat het betekent om wetenschappelijk onderzoek te doen, waarbij het niet zoveel uitmaakt of het fundamenteel, toegepast of praktijkgericht onderzoek is. Onderzoek doen is een ambacht, dat je alleen in je vingers krijgt door veel te oefenen – in een bepaalde volgorde: van makkelijk naar moeilijk – , en door veel naar anderen te kijken hoe die het doen. Met dat laatste bedoel ik dat studenten vooral veel leren door eerdere onderzoeken – in allerlei soorten en maten – kritisch te leren beoordelen.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *


Deze vraag is bedoeld om spambots tegen te gaan. Spambots zijn stukjes software die op sites automatisch formulieren invullen om zo de website te kunnen bestoken met ongewenste berichten. Spambots kunnen niet interpreteren wat het antwoord moet zijn.

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Abonneer je op dit blog d.m.v. e-mail

Voer je e-mailadres in om je in te schrijven op dit blog en e-mailmeldingen te ontvangen van nieuwe blogposts.

Laatste berichten