Isobel Hadley-Kamptz: AI förgiftar kunskapens källa – fejkade referenser allt vanligare i vetenskaplig text

Den kraftiga ökningen av falska referenser i vetenskaplig forskning hotar akademins trovärdighet

På endast två år har antalet påhittade referenser i biomedicinska vetenskapliga artiklar ökat med anmärkningsvärda 1 100 procent. Detta alarmerande faktum framkommer i en ny studie som uppmärksammats i den välrenommerade medicinska tidskriften The Lancet. Fenomenet kan härledas till forskares ökande användning av AI-verktyg som ChatGPT för att producera artiklar och sammanställa referenslistor.

AI-verktygen är konstruerade för att alltid leverera ett svar, oavsett om informationen faktiskt existerar eller inte. När dessa system inte kan hitta studier om specifika samband, exempelvis mellan kolesterolnivåer och plötslig spädbarnsdöd, fabricerar de helt enkelt en referens – komplett med påhittade författarnamn, årtal och publikationsorter.

Trots att riskerna med denna praxis är välkända i forskarsamhället, väljer allt fler forskare att ta chansen. Enligt en studie publicerad i Nature publicerades under 2023 tiotusentals vetenskapliga artiklar innehållande fabricerade referenser – vad som skulle kunna beskrivas som ”Frankencitat”. Likt Mary Shelleys fiktiva vetenskapsman Victor Frankenstein, skapar de avancerade språkmodellerna ett lapptäcke av data som ger sken av att vara legitima referenser, vilka sedan får ett eget liv när de citeras av andra.

Problemet förvärras genom att dessa falska referenser sprids vidare i den akademiska sfären. Ett talande exempel är en brittisk medie- och teknikforskare som upptäckte att han själv påstods ha författat en artikel som aldrig existerat. Vid närmare granskning fann han att denna påhittade studie i sin tur hade citerats nästan 140 gånger av andra forskare. ”Jag har fått mer uppmärksamhet för något jag inte skrivit än för det arbete jag faktiskt har gjort”, konstaterade forskaren besviket.

Det vetenskapliga publikationssystemet har en flera hundra år lång historia och utgör själva grunden för hur mänsklig kunskap utvecklas kollektivt. Varje forskare bygger vidare på tidigare arbeten genom att hänvisa till andra och transparent redovisa sina metoder. På detta sätt växer kunskapsmassan kontinuerligt, misstag kan korrigeras och forskningsfält kan utvecklas eller omdefinieras.

Naturligtvis förekom bristfällig forskning och tvivelaktiga metoder även före AI-eran. Den nuvarande omfattningen av AI-genererat material utgör dock ett reellt hot mot hela det vetenskapliga ekosystemet. Det kan liknas vid ett gift som injicerats i kunskapens flod och riskerar att förgifta allt i sin väg. När trovärdigheten undermineras, faller själva värdet av vetenskapen. Hur kan allmänheten avgöra vilka forskare som faktiskt verifierar sina källor och vilka som okritiskt förlitar sig på AI-verktygens påhittade information?

Fenomenet är inte begränsat till den akademiska världen. Nyligen presenterade Sydafrika sin nationella AI-policy, som ironiskt nog inte bara handlade om AI utan också var framtagen med hjälp av AI-verktyg – inklusive referenser till icke-existerande studier. Detta exempel illustrerar på ett nästan tragikomiskt sätt hur problemet har spridit sig till samhällets beslutsfattande organ.

För vetenskapens framtid är detta en allvarlig utmaning. Det akademiska systemet bygger på ömsesidigt förtroende och noggrann källkritik. När dessa grundpelare eroderas av AI-genererade falsarier, hotas hela forskningens integritet. Forskningsvärlden står nu inför uppgiften att utveckla effektiva metoder för att identifiera och filtrera bort dessa fabricerade referenser, samtidigt som man måste återuppbygga förtroendet för den vetenskapliga processen.

Utan kraftfulla åtgärder riskerar vi att hamna i en situation där den kollektiva kunskapsutvecklingen – en av mänsklighetens största prestationer – undermineras av samma teknologiska framsteg som var avsedda att föra oss framåt.