A tudománynak is kell egy spam szűrő — és most végre megkapta

Előfordult már veled, hogy egy címsor arról áradozott, mekkora áttörés történt a rákgyógyításban, aztán kiderült, hogy az egész kutatást visszavonták vagy megcáfolták? Nos, ez sokkal gyakrabban megtörténik, mint gondolnánk — és most a kutatók végre találtak egy okos módszert, hogy időben kiszűrjék a bajkeverőket.

Amikor a spam szűrő a tudományért dolgozik

Adrian Barnett professzor, a Queenslandi Műszaki Egyetem munkatársa vezetésével egy kutatócsoport egy hatalmas adatbázison dolgozott: 2,6 millió rákkutatási tanulmányt vizsgáltak meg, egészen 1999-től 2024-ig. A cél egyszerű volt: kiszűrni azokat a munkákat, amelyek gyanúsan hasonlítanak a úgynevezett "papírmalmok" termékeire.

De mik azok a papírmalmok? Olyan cégek, amelyek szó szerint gyártják a hamis vagy silány minőségű tudományos munkákat, és eladják őket — mondta el Barnett professzor. Ipari méretekben termelik ezeket a "kutatásokat", és az eredményeink azt mutatják, hogy a rákkutatásban a probléma sokkal nagyobb, mint amit a legtöbben elképzelnek.

Az rendszer, ami felismeri a hamisítványokat

A csapat megoldása igazán ötletes. Úgy működik, mint egy spam szűrő — csak épp tudományos cikkekre. A mesterséges intelligencia, amely a BERT nyelvi modellre épül, arra tanult, hogy felismerje az ismert hamis tanulmányok jellegzetes nyomait: újrahasznosított szövegrészeket, furcsa megfogalmazásokat, amelyek arra utalnak, hogy a szerzők nem anyanyelvi angolok — vagy épp nem is tudósok —, valamint olyan mintákat, amelyek azt sugallják, hogy a munkát sablonok alapján gyártották le.

Amit a tesztelés mutatott: a rendszer a bizonyítottan hamis tanulmányok 91 százalékát ki tudta szűrni. Ez elég meggyőző eredmény egy ilyen feladathoz.

A számok, amiktől rosszul leszel

Aztán jön a igazán nyugtalanító rész. A kutatók több mint 250 ezer tanulmányban találtak gyanús mintázatokat — de az, ami igazán éjszakába sodorhat, az az időbeli trend.

A 2000-es évek elején a megjelent rákkutatási cikkeknek csak nagyjából az egy százaléka mutatta ezeket a vörös zászlókat. 2022-re ez a szám 16 százalék fölé ugrott. Hatból egy! Ez nem egy apró probléma, ami a tudomány sarkában lapul — ez egy lavina.

A hamis tanulmányok ráadásul nem véletlenszerűen oszlottak el. Bizonyos területeken sűrűsödtek: a molekuláris rákbiológiában, a korai stádiumú laboratóriumi kutatásokban, és néhány konkrét ráktípusnál — gyomor-, máj-, csont- és tüdőráknál. Hogy ez azért van-e, mert ezek a területek jövedelmezőbb célpontok a papírmalmoknak, vagy egyszerűen könnyebb őket hamisítani, az érdemes elgondolkodni rajta.

Miért kellene ez neked?

Lehet, azt gondolod: "Rendben, de én nem vagyok tudós. Miért érint ez engem?"

Íme, miért: amikor a kutatók korábbi eredményekre építkezve fejlesztenek új kezeléseket, az egész meglévő bizonyítékhalmazra támaszkodnak. Ha ebben a halmazban több százezer koholt tanulmány van, a valódi tudósok éveket tölthetnek zsákutcákkal. A klinikai vizsgálatok hamis feltevések alapján indulhatnak. A gyógyszerfejlesztés rossz irányba haladhat.

A rákkutatás befolyásolja a klinikai vizsgálatokat, a gyógyszerfejlesztést és a betegellátást — mondta Barnett professzor. Hafabricált tanulmányok kerülnek be a bizonyítékok közé, azok félrevezethetik a valódi tudósokat, és végső soron lassíthatják a betegek gyógyulását.

Gondolj bele így: minden megjelent hamis tanulmány nem csak időpazarlás — aktívan elveszi az erőforrásokat a legitim kutatástól, és potenciálisan félrevezeti az egész szakterületet.

A jó hír (Igen, van ilyen is)

Három tudományos folyóirat már teszteli az AI eszközt, hogy a szerkesztők segítségével szűrjék a kéziratokat, mielőtt peer review-ra küldenék őket. Ez nagy dolog, mert bár a lektorálás elengedhetetlen, nem tévedhetetlen — a bírálók gyakran korlátozott idővel dolgoznak, és nem mindig tudják elkapni a kifinomult csalásokat.

A kutatók azt is tervezik, hogy a rendszert más tudományterületekre is adaptálják a rákkutatáson túl. És várhatóan egyre pontosabb lesz, ahogy egyre több megerősített papírmalom-példa válik elérhetővé a betanításhoz.

De itt van egy fontos megfontolás: a rendszer jelöli a gyanús tanulmányokat, de nem bizonyítja egyértelműen a csalást. Azokat a megjelölt munkákat még emberi szakértőknek kell vizsgálniuk és végső döntést hozniuk. Ez egy eszköz, ami segít priorizálni, mely tanulmányok érdemelnek alaposabb szemügyrevételt — nem egy automatizált ítéletvégrehajtó.

Egy nagyobb beszélgetés

Az egész helyzet kellemetlen kérdéseket vet fel arról, hogyan működik a tudományos publikálás ma. A publikálási kényszer — ahogy az egyetemeken mondják, "publish or perish" — olyan ösztönzőket teremt, amelyeket néhányan mélyen etikátlan módon kihasználnak.

A papírmalmok azért léteznek, mert van kereslet a szerzőségi pozíciókra, és mert a rendszer eddig nem volt túl jó abban, hogy elkapja őket. Eddig.

Nem gondolom, hogy emiatt bizalmatlanná kellene válnunk a tudományos kutatással szemben — távolról sem. A legtöbb tudós becsületes, szigorú munkát végez. De azt jelenti, hogy gondolkodóan kell értelmeznünk az egyedi tanulmányokat, és fel kell ismernünk, hogy a tudományos folyamat, bár önjavító, nem azonnali.

Az, hogy a kutatók kifejlesztették ezt az eszközt és nyíltan publikálták az eredményeiket, valójában a rendszer egészségének jele. Tudósok, akik kiszűrik és feltárják a csalást saját közösségükön belül? Ez a tudomány úgy működik, ahogy kellene.

De emlékeztetőül is szolgál: minden "áttörés" mögött valódi emberek valódi munkája áll — és tartozunk nekik azzal, hogy a szakterületet ne áraszták el a gyárban előállított hülyeségek.

Forrás: ScienceDaily — AI flags more than 250,000 suspicious cancer research papers