Kritisch denken kun je leren

Ik heb flink wat kritiek op het huidige hoger onderwijs, zo weet de trouwe lezer van mijn blog. Maar heb ik ook een concreet alternatief? – naast mijn oproep Laat honderd University Colleges bloeien. Hieronder presenteer ik beknopt een thema voor een bachelorscriptie, dat in principe in elke gamma-opleiding kan worden toegepast.

S. de Beter (3 augustus 2020)

In plaats van studenten een ‘kunstje’ te leren (bij voorkeur het kunstje dat de begeleidende docent zelf al jaren vertoont) beoog ik met dit thema dat studenten leren hoe ze kritisch naar de wetenschappelijke literatuur over een bepaalde theorie of tool kunnen en moeten kijken. Overeenkomstig de belangrijkste roeping van een academicus: “streven naar waarheid, door het uitbannen van onwaarheden”, zoals John Lukacs het kernachtig omschrijft. Niet alleen belangrijk voor die paar studenten met later een academische carrière, maar ook voor de overgrote meerderheid die professional wordt, dus academische kennis kan of moet toepassen in hun beroepspraktijk.

De term ‘kunstje’ behoeft enige toelichting. Ik ben ervan overtuigd dat vrijwel iedereen die aan de universiteit werkt (zeker aan het begin van de loopbaan) oprechte belangstelling heeft voor haar of zijn vakgebied en voor de theorieën en modellen die daar worden gebruikt. De publicatiedruk en de heersende mores bij wetenschappelijk tijdschriften zorgen er echter voor dat zelfs menig bevlogen wetenschapper na verloop van tijd een handige onderzoeker wordt die precies weet wat je moet doen en schrijven om je artikel te kunnen publiceren in je favoriete vaktijdschrift(en), en natuurlijk bij voorkeur de journals met een hoge impact-score. Iemand die tevens weet hoe je onderwijsverplichtingen zodanig moet organiseren dat je meer tijd overhoudt voor waarop je wordt afgerekend: onderzoek en vooral publicaties.

Berust de economische trickle down theorie op een ernstige dwaling, de morele versie daarentegen is wel reëel: naarmate docenten en onderzoekers bovenaan de academische ladder het bedrijven van wetenschap als een ‘kunstje’ beschouwen, is het niet verwonderlijk dat studenten dezelfde houding krijgen. Sterker nog, studenten worden aangemoedigd om hun scriptie in de vorm van een wetenschappelijk artikel te schrijven, met dezelfde structuur en een literatuurverwijzing achter bijna iedere zin. Zodat het schrijven van een scriptie algauw een invuloefening wordt: neem een artikel uit een gerenommeerd blad en breng daarin een kleine variatie aan: andere databestand gebruiken, andere variabelen in de regressie-analyse introduceren, de regressie-vergelijking toepassen op een ander land of bedrijfstak, of een andere wijziging; de kind kan bijna de was doen. Met mijn voorstel probeer ik deze trickle down te doorbreken, door studenten te stimuleren kritisch naar het wetenschappelijk proces en product te leren kijken.

Hoewel docenten nuttige suggesties kunnen doen, is het voor de motivatie belangrijk dat studenten zélf met een onderwerp komen. Bijvoorbeeld met een theorie of tool verplicht voor een tentamen wat toen of achteraf bij hen de vraag opriep: is daar eigenlijk wel voldoende bewijs voor? Want deze vraag is het begin van wat een scriptie zou moeten zijn: een intellectuele ontdekkingsreis naar de academische fundamenten van kennis die vanzelfsprekend lijkt maar bij nader inzien slecht gefundeerd blijkt te zijn. In ieder onderdeel van de sociale wetenschappen wemelt het van dit soort ‘conventional wisdom’, wat voor studenten de verplichte kost is die in de leerboeken is verankerd en die ze op tentamens braaf moeten reproduceren.

In mijn voorstel (in het Engels want ik heb het afgelopen halfjaar toegepast voor een Engelstalige opleiding) gooi ik de woorden ‘theory’ en ‘tool’ soms op één hoop, wanneer de aanpak voor beide min of meer hetzelfde is. Ik zie echter een duidelijk onderscheid. Bij een theorie worden uitspraken gedaan over de werkelijkheid: fenomeen F hangt samen met of heeft invloed op verschijnsel V wanneer er sprake is van de omstandigheden O1, O2 enzovoorts. Een ‘tool’ daarentegen is een instrument om bepaalde doelstellingen beter of sneller te realiseren. Zo kan een marketingmodel bedoeld zijn om de meest geschikte klanten te vinden of hogere omzetten te realiseren. De overeenkomst is dat zowel een theorie als een tool bewijsvoering behoeven: welke argumenten of ‘feiten’ (empirical evidence) zijn nodig om potentiële ‘gebruikers’ van een theorie of instrument ervan te overtuigen dat de claims voldoende gefundeerd zijn. Dat je met theorie T1 (beter dan T2) bepaalde verschijnselen kan beschrijven, verklaren of voorspellen. Dat beleidsmodel B1 (beter dan B2) effectiever is in het verkrijgen van bepaalde informatie (diagnose) of bij het realiseren van gewenste doelen (interventie).

Na de Engelstalige tekst formuleer enkele onderwijsdoelstellingen die ik met deze scriptie-aanpak wil realiseren (die nogal afwijken van wat gebruikelijk is, naar ik vermoed) en van de onderwerpen die mijn studenten afgelopen halfjaar hebben aangepakt volgens de hierna beschreven methodiek.

You better prove it

My parents were not scientists. They knew almost nothing about science. But in introducing me simultaneously to skepticism and to wonder, they taught me the two uneasily cohabiting modes of thought that are central to the scientific method”.

One of the great commandments of science is ‘Mistrust arguments from authority.’ […] Too many such arguments have proved too painfully wrong. Authorities must prove their contentions like everybody else”.

Two nice quotes from Carl Sagan, an astronomer mainly known as science popularizer and communicator. The word ‘proof’ denominates the essence of science: as a scientist you have to prove that the claims of your theory or tool are ‘right’ – and others are ‘wrong’. Of course, proving a claim about reality is not the exclusive right of science. In court (or in a detective movie) it has to be proven that a particular person committed the crime, and nobody else. The same applies to an investigative journalist who tries to prove that someone or some company is acting illegally or amorally. Science, however, is about generic knowledge: something is true not just for one case (N=1) but for one or more categories of cases (N is a sample). And if you know the causal mechanism(s) and the relevant circumstances, you can even say something about future cases: prediction. Or give advice: prescription.

Descriptive vs Causal

A scientific proof is required not just for theories and models claiming some causal mechanism(s). Descriptive models and tools also need arguments and empirical evidence to get a scientific status. Another misconception is that explaining something has a higher ‘scientific quality’ than describing a phenomenon. First of all, descriptive research may be even more important than explanatory research. Because the latter can only be successful if the former is good enough. Before answering the why-question, first you should try first to answer the what-questions about the phenomenon you want to investigate: when, whom, out of what, in what manner.

Secondly, the advance of statistical techniques (e.g. regression analyzes) made it quite easy to claim that the dependent variable Y varies (to some extent) if some independent variable X changes. But that doesn’t mean that the author has found some causal mechanism(s). Regression analysis can prove correlation, not causation. Besides, such correlations only apply to the examined sample, specified in time and place (e.g. Dutch multinationals in the nineties). In itself they don’t prove that you will get a significant correlation for another sample, or for a future sample.

Challenging conventional wisdom

One of the main tasks of scientists is, in my opinion, to challenge ‘conventional wisdom’: what most people (and scientists) think or believe is the case. Take Galileo Galilei, the ‘father of modern science’. In his age everybody thought the earth didn’t move (only the sun). But he proves that they were wrong and he was right. This ‘discovery’ didn’t make him popular. On the contrary, the people in power (associated to the Catholic Church) put him under house arrest the rest of his life.

Nowadays Science has supplanted the Church in many areas. But that makes it even more urgent to ask the most important question for scholars and students: is this really true? Similar questions are: is this still true, or not any longer? Is this only true under limited circumstances, and not under most conditions (anymore)?

For social scientists these questions are even more important than for natural scientists. At least for four reasons: 1) social phenomena have changed or will change, more than most natural phenomena; 2) As soon as social theories or models become well-known, some people reflect on their behavior and eventually change it; 3) Some social groups ‘benefit’ from certain theories or ‘scientific facts’, so they have reason to defend them; 4) Because social theories are difficult to confirm (or to refute), some social scientists use a lot of ‘marketing’ and ‘massive persuasion’ to get to the ‘scientific top’ – and try to stay there. So there is a fierce competition among theories and management tools but this doesn’t mean that only the best survive.

In science the question “is this really true?” is harder to answer than say in court or for investigative journalists. Answering this question requires that you have to use at least the empirical cycle (explained below)

The structure of the bachelor thesis is a little bit different from the standard one:

  1. Introduction

  2. First publication(s)

  3. Methodology: the empirical cycle

  4. Follow-up research

  5. Assessment and conclusions

Chapter 1: introduction

This chapter has at least two versions. The first is used as a thesis proposal, the last version is written at the very end, to get a good ‘fit’ between this chapter and the other ones. In the final version (written when the other chapters are ready) the introduction informs the reader about the relevance (academic or otherwise) of the thesis topic, about the research question that will be answered in the thesis, and other prior information.

In contrast to common practice nowadays, the student doesn’t have to find the ‘right’ research question. For a bachelor student this activity is not very instructive and often a waste of time (giving the student a lot of frustration and despair). Instead, the research question is prescribed: Have the successive stages of the empirical cycle been implemented in the development of ……. (name of the theory/model/tool) and what are the results? Of course, the student is allowed to use other words to say about the same, or words fitting better with the purpose or content of her/his thesis.

Chapter 2: first publication(s)

For this chapter the student studies the article(s) or book in which her/his theory/tool was published for the first time. The following questions have to be answered:

  • what exactly are the scientific claims of the author(s)? What kind of claims: descriptive, causal or otherwise? And for what purpose is the theory or tool developed?

  • what are the main concepts in that first publication? How are these concepts defined? Do the authors make clear how these concepts should or can be measured?

  • What kind of proofs do the authors provide for their claims (e.g. logical reasoning, mathematical proof, empirical evidence)

  • what is the historical background of the first publication? Most of the time, a new theory or tool is a response to some urgent social, economic or business problems, or to older theories or models on the same subject. What are the main differences and similarities between the old and the new theory/model?

To write this chapter close and critical reading of the original publication(s) is essential. The student must show that he/she understands the core of the theory/model/tool, its added value but also some shortcomings. This chapter is mere description, with a few critical remarks or questions – if relevant.

Chapter 3: the empirical cycle

This chapter deals with a method for building and improving new theories/models/tools. The empirical cycle was ‘invented’ by the Dutch psychologist A.D. de Groot. His cycle (see next figure) has been adapted in different ways, with different words and less or more stages. The core is still the same: building a good theory or tool requires different activities in successive stages, and this cycle has to be repeated until the claims of the theory are sufficiently specified and justified by (a combination of) convincing proofs with valid and reliable evidence.

The empirical cycle is a prescription, a normative concept (Ought, not Is). If you have found a pattern in the topic you are investigating (induction), you should first develop a theory or theoretical model describing or explaining this pattern (abduction, as some scholars name it). Then you derive testable hypotheses from this theory (deduction) Testing confirms or rejects these hypotheses, so the theory will eventually be adapted, or specified for certain conditions (in time, place or other conditional variables). But even if the hypotheses are confirmed, you should start another empirical cycle to find out if the theory has a wider scope (e.g. not only in industry/country nr.1 but also in nr. 2) . The combination of these activities should make the theory/model/tool stronger and more specific.

In this chapter the student describes the empirical cycle in more detail, by using relevant literature. For business administration, they should use De Vaus (2001), Carlile and Christensen (2005) and Christensen (2006). Note that when Christensen shows how he has built and improved his theory of disruption, he applies the empirical cycle but uses other words.

Although the empirical cycle has a general purpose (it can be applied in every academic (sub)discipline and for every topic), the student earns a higher grade if the description ‘fits’ the theory or tool he/she is investigating. Even more by showing to what extent (and how) the empirical cycle was already used in the original publications (described in chapter 2).

Chapter 4: follow-up research

Chapter 4 gives the results of applying the approach described in chapter 3. To put it otherwise, it answers the question: what kind of follow-up studies has been done after the theory/model was first published, and what are the result in terms of the empirical cycle?

Before answering this main question the student has to give a solid indication of the popularity (or impact, as it is often called) of the theory/model under review. Some theories/models have become very popular in the beginning and then fade away. Others are growing in popularity and are still popular. Some are only ‘popular’ in the academic world, others also in practice (but sometimes in a different way). Whatever the data on popularity the student has found, critical remarks about the method used and the meaningful interpretations of these data are essential for a higher grade.

After that, the student should first give an overview of the theoretical or conceptual criticisms that came up from other scholars after the first publication? Theoretical criticism: the model/theory is missing important variables: the causal relations are wrong: intervening variables are missing, etcetera. Conceptual criticism: the variables of your model/theory are not correctly defined (and later on as a result, incorrectly operationalized and measured).

Secondly: has the model/theory ever been tested empirically after the original publication? By the same or by other authors? Here are the most relevant sub questions:

  • What exactly has been tested? Which claims or hypotheses ?

  • which research design(s) and methods of data-collection has been used?

  • In which industries, markets or other areas of application has the theory/model been tested?

  • which (combinations of) methods of analysis have been used? If statistical regression is used (as is frequently done in business research and economics), what were the dependent variable(s) (Y), the independent variable(s) and the control (confounding) variable(s) in the studies you reviewed? Did they use intervening variables?

  • What are the outcomes of these empirical studies?

Chapter 5: assessment and conclusions

This chapter is the most difficult part of the thesis: to answer the research question specified in the first chapter. This requires an assessment of the original theory/model/tool in the first publication (ch. 2) and of the follow-up research (ch. 4). For this assessment two questions are important:

  1. Have the claims (on purpose and added value) of the theory/model/tool been made sufficiently clear and specified, in and after the first publication?

  2. Have these claims of the theory or management tool been justified by relevant proofs in the successive stages of the empirical cycle, in and after the first publication? Of course, the student should say something about the internal validity, the external validity and the construct validity (how well do the results we obtain when using the measure(s) fit with the theoretical expectations)

After making this assessment of other scholars, the student should also assess her/his own work: what is the added value of the thesis and what are its shortcomings? Of course, the thesis will be far from perfect because for most bachelor students the thesis is the first time to do research alone, to write in an academic way (not the same as using difficult words) and get critical comments. So the most important question in this respect is whether the student is able to reflect critically on the final product (thesis) and on the process (including maybe the blood, sweat and tears). I recommend a special appendix on what the student has learned

Doelstellingen en toepassingen

Bij deze opzet van de bachelorscriptie had ik de volgende onderwijsdoelstellingen in gedachten. Middels de scriptie laten de studenten zien dat zij in staat zijn:

  • Een kritische positie in te nemen tegenover de literatuur over de wetenschappelijke claims van de onderzochte theorie/model/instrument en over de wijze waarop deze claims worden gerechtvaardigd;

  • een overzicht te bieden van verschillende onderzoeksdesigns, -stappen en -methoden die kunnen of moeten worden gebruikt bij de (verdere) ontwikkeling van een theorie/model/instrument;

  • een academisch betoog te houden en op schrift te stellen, zonder daarbij een kopie te maken van de schrijfstijl en het vakjargon die gevorderde onderzoekers in hun vakpublicaties gebruiken;

  • last but not least: redelijk zelfstandig en gestructureerd een onderzoeksterrein in kaart te brengen, uitmondend in oorspronkelijk en uniek product waar zij met recht trots op kunnen zijn.

In het afgelopen semester hebben mijn studenten de aanpak die ik in dit artikel heb geschetst, toegepast op de volgende theorieën/tools:

  1. The Uppsala model of Internationalisation

  2. How to measure Corruption?

  3. The 4P-model in Marketing

  4. The Effectuation model for start-ups

  5. The Prospect theory in Finance

  6. Transaction Cost Economics – the role of Asset Specificity in Forward Integration

  7. The GLOBE-project on international cultural differences

  8. Hofstede’s theory on cultural dimensions in an international perspective

Dit is in zomer 2020 het derde artikel over het hoger onderwijs. Eerdere artikelen vind u hier en hier.

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Wilt u zich op mijn blog abonneren (wat ik zeer waardeer), dan hoeft u alleen uw emailadres in te vullen en daaronder op 'Abonneren' te klikken.

Laatste berichten