Wetenschappelijk onderzoek - het nieuwe paradigma of ongeloofwaardig?

De situatie is verschrikkelijk geworden': vervalste wetenschappelijke artikelen duwen geloofwaardigheid onderzoek naar crisispunt. Vorig jaar moesten 10.000 vervalste artikelen worden ingetrokken door academische tijdschriften, maar experts denken dat dit slechts het topje van de ijsberg is. Aldus een recent artikel in The Guardian (Sat 3 Feb 2024 17.00 CET)¹

Leestijd: ± 25 minuten

Hoewel wij voorstander zijn van wetenschappelijk onderzoek (WO), hebben we er toch enkele kanttekeningen bij. Te vaak blijkt onderzoek beperkt, of gewoon onjuist. Er worden tegengestelde conclusies getrokken, t.o.v. wat later blijkt meer waar of aannemelijk te zijn.    

Wetenschap schrikt de gewone burger af: het wordt niet begrepen en zomaar geloofd. Echter, je kunt zelf met wat moeite er achter komen, wat er mis is met het onderzoek. Hetzij door zelf grondig te lezen en je gezond verstand te gebruiken, danwel door tegengestelde meningen te lezen en dan je verstand en gevoel te gebruiken. Goede kennis van statistiek is echter essentieel - ook vele wetenschappers bezitten die helaas niet.

Er zijn diverse uitgevers, zoals Omics (India) en Waset (Turks) die fake of zwakke artikelen toelaten: ze verdienen er geld aan. Er zijn ook sites die vrijwel automatisch een 'wetenschappelijk' artikel creëren, zoals SCIgen.  Met de verdere ontwikkeling op het gebied van AI (kunstmatige intelligentie) zal dit (nu of binnenkort?) onontwarbaar worden. Met ChatGPT zijn er al veel mogelijkheden onzin te creëren.  

Hoe ingewikkeld iets ook mag zijn, als het niet eenvoudig en helder uitgelegd wordt, is er meestal iets fundamenteel mee mis. 

‘The situation has become appalling’: fake scientific papers push research credibility to crisis point. Last year, 10,000 sham papers had to be retracted by academic journals, but experts think this is just the tip of the iceberg, The Guardian (Sat 3 Feb 2024 17.00 CET)

Wat is wetenschappelijk onderzoek? 

Een belangrijk criterium bij WO is de herhaalbaarheid of replicatie. Terwijl ieder mens verschillend is, ook in de tijd, is dit soms onvermijdelijk. Echter, de replicatiecrisis is een groot probleem in de wetenschap waarbij veel, soms baanbrekende, onderzoeken niet reproduceerbaar bleken te zijn. Begin jaren 2010 werd duidelijk dat dit niet slechts incidenteel was, maar dat het een wijdverbreid probleem was.

Het biotech bedrijf Amgen¹ had geprobeerd om studies op het gebied van hematologie en oncologie te repliceren. Er waren 53 belangrijke studies geïdentificeerd, maar bij slechts 6 (11%) daarvan bleek het mogelijk de resultaten te repliceren!

Dit staat los van frauduleus onderzoek, waarvan soms melding gemaakt wordt als wetenschappers de boel moedwillig beduvelen.

Vrijwel steeds wordt één variable in de regel gemeten, terwijl een stof in een lichaam in een complex van factoren werkt. Dit is niet altijd realistisch. Een fameuze studie² over Q10 en selenium heeft bewezen dat met twee variabelen de uitkomst spectaculair was. 

¹Begley, C.G., Ellis, L.M., Raise standards for preclinical cancer research' Nature, Volume 483, 2012, No. 7391, p. 531-533.

² Alehagen, Urban, et al., Cardiovascular mortality and N-terminal-proBNP reduced after combined selenium and coenzyme Q10 supplementation: A 5-year prospective randomized double-blind placebo-controlled trial among elderly Swedish citizens, International Journal of Cardiology, 2012. doi:10.1016/j.ijcard.2012.04.156

Aan welke criteria moet wetenschappelijk onderzoek voldoen?

Bij elk onderzoek worden er aannames gedaan. Het is belangrijk die te vermelden en ook hoe de aannames de resultaten beïnvloeden. 

Peer review of collegiale toetsing is belangrijk. Er zijn websites waarop een studie kan worden geplaatst en collega's wereldwijd er op kunnen reageren. Een voorbeeld is biorxiv.org voor artikelen op het gebied van biologie.

Bias is dat je vindt wat je wilt vinden als je lang genoeg zoekt en combineert of wegstreept. Dit komt veelvuldig voor. Door onkunde, de wens om iets te vinden en te publiceren, roem en andere ego-dingen kunnen hier gemakkelijk toe leiden.   

Er zijn veel wetenschappelijke bladen, van heel goed en beroemd, tot matige, soms heel commerciële, tijdschriften. Via de site scimagojr.com kun je een indruk krijgen van de kwaliteit van een blad, hoevaak er uit geciteerd wordt e.d. 

Sommige universiteiten en instellingen hebben een grote reputatie op hun gebied. Dit hoeft op zich niet altijd een criterium te zijn, maar is het vaak wel: zij hebben een reputatie op te houden en hebben meestal de beste wetenschappers aan boord. 

Er zijn vele valkuilen bij het gebruik en de interpretatie van statistiek

Hierna volgen enkele bekende valkuilen, die je in veel statistieken en grafieken zult tegenkomen. Ze laten gemakkelijk wat anders zien dan de 'werkelijkheid'. 

  1. x- en y-assen (schaal) veranderen of omdraaien - hierdoor lijken trends ineens anders.
  2. absoluut of relatief weergeven - de meeste mensen kunnen nog wel absolute waardes begrijpen, maar niet (meer) procenten of logaritmische schalen lezen, laat staan vergelijken;
  3. niet de juiste dingen meten -  het is te bewijzen dat kinderen met grotere voeten lezen sneller,  maar het is onzin: ze zijn ouder;
  4. gegevens zijn niet meer zichtbaar in gemiddelden -als je alles of te veel middelt, zijn juist belangrijke verschillen niet meer zichtbaar;
  5. gemiddelden zeggen soms niets - de gemiddelde Nederlander heeft één borst en één testikel, maar komt in de praktijk niet voor;
  6. gegevens wegen - als de verschillende groepen anders van samenstelling zijn, vallen de verschillen niet meer op;
  7. dubbel blind zegt niet altijd wat - hierbij weten patient en arts niet wie een medicijn heeft of een placebo.  
  8. relatief risico versus absoluut risico - het relatieve risico versus het absolute risico op iets maakt een wereld van verschil als het absolute risico gering is: dan zegt het niets meer. 
  9. laat het een oorzaak en gevolg zien of is het een associatie (het komt samen voor)? Dat noem je de modus ponens als je verkeerde oorzakelijke conclusies trekt: de straat is nat, dus het regent. Echter, het kan ook betekenen dat iemand een emmer water erover heeft gegooid. Als het regent wordt het nat, maar het omgekeerde is niet altijd zo. Er is wel associatie: ze komen wel samen voor.
  10.  'metingen' zijn soms volstrekt onbetrouwbaar - afhankelijk van de nauwkeurigheid het meetinstrument (ieder instrument heeft een meetfout), het tijdstip waarop gemeten wordt, hoe vaak gemeten wordt e.d.; 

Er zijn nog tienstallen ander zaken, die bij het toepassen van statistiek spelen. De meesten van ons hebben er geen kaas van gegeten, ook vele academici, artsen en wetenschappers niet.  

Je kunt dus met wetenschap vrijwel alles bewijzen of ontkrachten, als je niet heel alert bent op welke statistiche technieken gebruikt zijn. Dit gebeurt in meer dan 90% van de onderzoeken.   

Gevolgen van wetenschappelijk onderzoek

Prof.dr. John Ioannidis (wellicht 's werelds grootste epidemioloog, Stanford University) schreef zijn hele leven al veel over slecht wetenschappelijk onderzoek¹. Is elk medisch onderzoek te vertrouwen?

"Die vraag staat centraal in zijn carrière. Hij is een van 's werelds meest vooraanstaande deskundigen op het gebied van de geloofwaardigheid van medisch onderzoek. Hij en zijn team hebben keer op keer en op veel verschillende manieren aangetoond dat veel van wat medische onderzoekers in gepubliceerde studies concluderen - conclusies die artsen in gedachten houden wanneer ze antibiotica of bloeddrukmedicatie voorschrijven, of wanneer ze ons adviseren meer vezels of minder vlees te eten, of wanneer ze een operatie aanbevelen voor hartaandoeningen of rugpijn - misleidend, overdreven en vaak ronduit verkeerd is. Hij beweert dat maar liefst 90 procent van de gepubliceerde medische informatie waarop artsen zich baseren onjuist is. Zijn werk is algemeen aanvaard door de medische gemeenschap; het is gepubliceerd in de beste vakbladen, waar het zwaar wordt geciteerd; en hij is een grote trekker op conferenties. Gezien deze bekendheid, en het feit dat zijn werk in grote lijnen gericht is op het werk van alle anderen in de geneeskunde, en op alles wat artsen doen en alle gezondheidsadviezen die we krijgen, is Ioannidis misschien wel een van de invloedrijkste wetenschappers die er leven. Maar ondanks zijn invloed vreest hij dat het medisch onderzoek zo veel gebreken vertoont en zo vol zit met belangenconflicten, dat het zich chronisch verzet tegen verandering of zelfs tegen openlijk toegeven dat er een probleem is."²

¹ Ioannidis, John P.A., Why most published research findings are false, PLoS Medicine (2005).

² Uit: Lies, Damned Lies, and Medical Science, David H. Friedman, The Atlantic, November 2010.

Enkele quotes over wetenschappelijk onderzoek

Als toegift nog enkele quotes uit de harde praktijk en een voorbeeld:

  • "99 procent van alle statistieken vertellen slechts 49 procent van het verhaal." - Ron DeLegge II
  • "Er zijn drie soorten leugens: leugens, verdomde leugens en statistieken." - Benjamin Disraeli
  • "Feiten zijn koppig, maar statistieken zijn plooibaar." - Mark Twain
  • "Een van de eerste dingen die in inleidende statistische boeken wordt geleerd, is dat correlatie geen oorzakelijk verband is. Het is ook een van de eerste dingen die vergeten worden."
    - Thomas Sowell
  • "Als je experiment een statisticus nodig heeft, heb je een beter experiment nodig." - Ernest Rutherford
  • "De meeste mensen gebruiken statistieken zoals een dronken man een lantaarnpaal gebruikt; meer ter ondersteuning dan ter verlichting." - Andrew Lang
  • "Regressieanalyse is de waterstofbom van het statistisch arsenaal."
    - Charles Wheelan
  • "Statistici zijn de gevaarlijkste wezens op deze planeet."
    - Faheem Uddin Syed
  • "Het maakt uit wie in het gemiddelde is opgenomen, en wie is er van is uitgesloten." - David H. Freedman
  • Leugens, verdomde leugens en medische wetenschap - David H. Freedman
  • “Statistieken zijn nooit een vervanging voor gezond verstand.” - Amit Kalantri
  • Voorbeeld: uit onderzoek bleek dat 98% van de automobilisten vindt, dat hij/zij goed rijdt. 96% vindt dat anderen slecht rijden... en dat kan natuurlijk niet!

Tot zover. Je ziet dat je met statistiek alle kanten op kunt!

Tenslotte over wetenschappelijk onderzoek

Hoewel goed wetenschappelijk onderzoek onontbeerlijk is voor verdieping en vele ontwikkelingen, blijft je eigen ervaring eveneens van groot belang. Geef dat niet uit handen. Volg zo mogelijk je intuïtie en laat je niet ringeloren door 'wetenschap'. Of ga de discussie aan en onderzoek ook eens zelf iets. 

Meer informatie over wetenschappelijk onderzoek

Website(s):

Boek(en):

  • Cijfers liegen niet: 73 dingen die je over de wereld moet weten – Prof. dr. Vaclav Smill (2021)

  • De waarheid over liegen – Michael Goovaerts (2011)

  • How to Lie with Statistics – Darrell Huff (1954)
  • Liegen met cijfers – Darrell Huff (vertaald in 2019)

Laatst bewerkt: 03-01-2024

Ω