De垃圾桶 van de wetenschap: hoe AI neppe kankeronderzoeken opspoort

Herken je dat gevoel? Je leest een kop over een baanbrekende doorbraak in kankeronderzoek, en een paar maanden later blijkt het allemaal niets te zijn. Misschien ingetrokken, misschien gewoon verzonnen. Wat als ik je vertel dat dit vaker gebeurt dan je zou denken — en dat onderzoekers nu een slimme oplossing hebben gevonden?

Een spamfilter voor wetenschappelijke artikelen

Professor Adrian Barnett van de Queensland University of Technology en zijn team hebben een AI getraind om 2,6 miljoen kankeronderzoeken te analyseren, verschenen tussen 1999 en 2024. Hun missie? Studies opsporen die verdacht veel lijken op producten van zogenaamde "paper mills" — bedrijven die nep- of kwaliteitsarme onderzoeken fabriceren en verkopen.

"Paper mills zijn bedrijven die valse of slechte wetenschappelijke studies verkopen," legt Barnett uit. "Ze produceren 'onderzoek' op industriële schaal, en onze bevindingen laten zien dat het probleem in kankeronderzoek veel groter is dan de meeste mensen beseffen."

Het systeem dat ze bouwden is ongelooflijk elegant. Stel het je voor als een spamfilter voor wetenschappelijke artikelen. De AI, gebaseerd op een taalmodel genaamd BERT, leerde herkennen welke tekstuele vingerafdrukken keer op keer terugkomen in bekende frauduleuze studies: hergebruikte tekst, onhandige formuleringen die verraden dat de auteurs geen native English speakers zijn (of helemaal geen wetenschappers), en patronen die wijzen op sjabloon-gedreven productie.

Toen ze het testten tegen bekende nepartikelen, pikte het systeem verdachte werkzaamheden er 91% van de tijd uit. Voor een tool die academische fraude moet detecteren is dat opmerkelijk nauwkeurig.

De cijfers zijn schrikbarend

En hier wordt het écht verontrustend. De onderzoekers ontdekten dat meer dan 250.000 artikelen verdachte patronen bevatten — maar de trend over tijd is waar ik 's nachts van wakker lig.

In het begin van de jaren 2000 vertoonde slechts ongeveer 1% van de gepubliceerde kankeronderzoeken deze rode vlaggen. In 2022 was dat gestegen naar meer dan 16%. Eén op de zes! Dit is geen klein probleempje in de marge van de wetenschap — dit is een vloedgolf.

De neppe artikelen waren ook niet willekeurig verspreid. Ze groepeerden zich in bepaalde gebieden: moleculaire kankerbiologie, vroege fase laboratoriumonderzoek, en specifieke kankersoorten waaronder maag-, lever-, bot- en longkanker. Of dat komt omdat die vakgebieden lucratievere doelwitten zijn voor paper mills, of gewoon makkelijker na te bootsen — dat is de moeite waard om over na te denken.

Waarom zou jij je hier druk over maken?

Je zou kunnen denken: "Oké, maar ik ben geen wetenschapper. Waarom raakt dit mij?"

Hierom: wanneer onderzoekers voortbouwen op eerdere bevindingen om nieuwe behandelingen te ontwikkelen, vertrouwen ze op de bestaande kennisbasis. Als die kennisbasis honderdduizenden gefabriceerde studies bevat, kunnen echte wetenschappers jaren verspillen aan doodlopende wegen. Klinische trials könnens op valse aannames worden gebaseerd. Medicijnontwikkeling könnte de verkeerde kant opgaan.

"Kankeronderzoek beïnvloedt klinische trials, medicijnontwikkeling en patiëntenzorg," zegt Professor Barnett. "Als gefabriceerde studies in de bewijsbasis terechtkomen, kunnen ze echte wetenschappers misleiden en uiteindelijk de vooruitgang voor patiënten vertragen."

Denk er zo over: elk nep artikel dat wordt gepubliceerd is niet alleen verspilde tijd — het trekt actief middelen weg van legitiem onderzoek en potentially misdirects het hele vakgebied.

Het goede nieuws (ja, er is ook goed nieuws)

Drie wetenschappelijke tijdschriften zijn al bezig met het testen van de AI-tool om redacteuren te helpen bij het screenen van manuscripten voordat ze voor peer review worden verzonden. Dat is een grote stap, want hoewel peer review essentieel is, is het niet onfeilbaar — reviewers werken vaak met beperkte tijd en kunnen niet altijd geavanceerde fraude spotten.

De onderzoekers plannen ook om het systeem aan te passen voor andere wetenschappelijke vakgebieden dan kankeronderzoek. En ze verwachten dat het alleen maar beter wordt naarmate meer bevestigde voorbeelden van paper mill-activiteit beschikbaar komen om het mee te trainen.

Maar hier is de belangrijke kanttekening: het systeem markeert verdachte artikelen, het bewijst geen fraude definitief. Die gemarkeerde studies hebben nog steeds menselijke experts nodig om te onderzoeken en definitieve oordelen te vellen. Het is een tool om prioriteit te geven aan welke artikelen extra aandacht verdienen, niet een geautomatiseerde beul.

Een bredere discussie

Dit hele verhaal roept wat ongemakkelijke vragen op over hoe wetenschappelijke publicatie werkt. De druk om te publiceren — "publish or perish" zoals ze zeggen in de academische wereld — creëert prikkels die sommige mensen blijkbaar op diep onethische wijze uitbuiten.

Paper mills bestaan omdat er vraag is naar auteursposities en omdat het systeem tot nu toe niet goed was in het betrappen ervan. Tot nu, in ieder geval.

Ik denk niet dat dit betekent dat we al het wetenschappelijke onderzoek moeten wantrouwen — verre van dat. De meeste wetenschappers doen eerlijk, nauwkeurig werk. Maar het betekent wel dat we nadenkend moeten zijn over hoe we individuele studies interpreteren en erkennen dat het wetenschappelijke proces, hoewel zelfcorrigerend, niet instant is.

Het feit dat onderzoekers deze tool hebben ontwikkeld en hun bevindingen openlijk hebben gepubliceerd, is eigenlijk een teken van de gezondheid van het systeem. Wetenschappers die fraude binnen hun eigen gemeenschap opsporen en blootleggen? Dat is science working as intended.

Maar het is ook een herinnering dat achter elke "doorbraak" echte mensen echt werk verrichten — en dat we het aan hen verplicht zijn om ervoor te zorgen dat het vakgebied niet wordt verpest door in de fabriek geproduceerde onzin.

Bron: ScienceDaily — AI flags more than 250,000 suspicious cancer research papers (sciencedaily.com)