Professor i ansvarsfull AI utreds för AI-fusk

Virginia Dignum, professor i ansvarsfull AI och chef för AI Policy Lab vid Umeå universitet, är van vid att förklara hur artificiell intelligens bör hanteras. Hon ger råd till regering och myndigheter, är senior AI-rådgivare åt Wallenbergstiftelserna och fick tidigare i år utmärkelsen Lifetime Achievement in AI vid Nordic DAIR Awards. Nu är hon själv föremål för en utredning om oredlighet i forskning.

Anmälan kom i juni. Enligt anmälaren ska sex fotnoter, referenser eller akademiska hänvisningar i boken ”The AI Paradox” inte existera. Uppgifterna ska ha hittats på av AI, så kallade hallucinationer. Boken gavs ut i februari på Princeton University Press och handlar om vikten av mänsklig kontroll över AI-utvecklingen. Anmälaren menar att allvaret förstärks av att Dignum forskar och undervisar i etisk användning av AI.

Virginia Dignum tillbakavisar att referenserna är medvetet fabricerade. Hon förklarar att felet uppstod när bokmanuset konverterades med hjälp av programmet LaTeX.

– Jag skrev in data för referenslistan och bad programmet att konvertera information till en referenslista och lägga den längst bak i boken. Referenserna är alltså inte påhittade av AI, utan har omvandlats felaktigt. Det rör sig om ett konverteringsfel, säger hon.

Hon medger att hon borde ha kontrollerat referenslistan bättre, men säger att hon gjorde det ”en miljon gånger”. Mellan det sista utkastet och tryck gick ungefär sex månader, och ett femtontal personer, redaktörer och sakkunniga, hann granska innehållet.

Även delar av den löpande texten har uppmärksammats i anmälan. Enligt Dignum har hon använt AI-verktyg som ChatGPT, Claude och Gemini för att förbättra språket, inte för att skriva innehåll.

– Särskilt när författaren, som i mitt fall, skriver på engelska men har ett annat modersmål. Boken är skriven till hundra procent av mig, men ibland frågade jag om en mening var tillräckligt tydlig på engelska, säger hon.

Hon uppskattar att högst tio procent av texten korrigerats med hjälp av AI. Hon understryker att boken är populärvetenskaplig och inte en forskningspublikation, och invänder därför mot att ärendet beskrivs som oredlighet i forskning. Samtidigt tar hon ansvar.

– Självklart har jag ansvar för allt innehåll eftersom mitt namn står på boken.

NPOF vill inte kommentera det pågående ärendet. Men kanslichefen Jonas Jeppson bekräftar att myndigheten ser en ökning av anmälningar där referenser är i fokus.

– AI-verktyg är särskilt opålitliga när det gäller namn, titlar och årtal. Forskare har ett ansvar för att kontrollera att det de publicerar stämmer, även referenserna, säger han.

Han tycker att uppmärksamheten kring riskerna är välkommen. NPOF ser också en ökning av så kallade paper mills, där misstänkt påhittade artiklar sprids i stor skala. I en del ärenden finns anledning att tro att materialet genererats med hjälp av AI.

Ett tidigare fall illustrerar hur nämnden resonerar. I april fälldes en forskare vid Linnéuniversitetet för oredlighet inom samhällsvetenskap. Forskaren hade fabricerat fyra referenser i en ansökan om forskningsmedel. Nämnden ansåg att det inte handlade om förbiseende eller slarv, utan om grov oaktsamhet.

Sedan NPOF bildades 2020 har myndigheten avvisat 87 ärenden och prövat 160. Av dessa har 44 lett till fällande beslut. Fabricering och förfalskning bedöms oftast som allvarliga avvikelser från god forskningssed, medan plagiering kan bedömas mildare i enskilda fall.

Virginia Dignum säger att utredningen inte stoppar hennes arbete.

– Jag fortsätter att arbeta som vanligt, föreläsa och ge råd till olika organisationer.

Hon menar att AI-verktygen är särskilt opålitliga för skribenter som har engelska som andraspråk och att forskning visar det. Enligt henne är det en vanlig missuppfattning att AI själv hittar på referenser. I hennes fall handlade det om felaktig konvertering av data som redan fanns. Utredningen får nu avgöra hur nämnden ser på saken.