Forskare hittade på sjukdom – sedan började chattbotarna ställa diagnoser

Falsk sjukdom sprids av AI – forskare slår larm efter bedrägeritest

En påhittad ögonsjukdom som aldrig existerat har på kort tid fått spridning i den digitala världen, där artificiell intelligens nu ger råd till människor om sjukdomen. Bakom bedrägeriet står forskaren Almira Osmanovic Thunström, som avsiktligt fabricerade tillståndet ”bixonimania” för att testa hur lätt felaktig medicinsk information kan spridas.

”Det var förvånande hur lite som krävdes,” säger Osmanovic Thunström om det oroväckande experimentet som avslöjar allvarliga brister i både den medicinska forskningens granskningsprocess och AI-systemens källkritik.

Experimentet började med att Osmanovic Thunström publicerade två helt påhittade vetenskapliga studier om den icke-existerande ögonsjukdomen. Trots att artiklarna innehöll uppenbara brister och fabricerade data, passerade de genom systemet utan att väcka tillräckligt med misstankar.

Det dröjde inte länge förrän informationen plockades upp av AI-system som började ge medicinska råd till personer som frågade om tillståndet. Detta visar på en alarmerande svaghet i hur dagens AI-teknik hanterar information utan adekvat källgranskning.

Än mer oroväckande är att andra forskare började citera de falska studierna i sina egna arbeten. Detta fenomen, känt som ”citationsspridning”, illustrerar hur felaktig information kan få vetenskaplig legitimitet genom att återanvändas i seriösa sammanhang.

Problemet återspeglar en växande oro inom den medicinska världen. I takt med att AI-verktyg blir allt vanligare inom hälsovården ökar risken för att felaktig information sprids till patienter, vilket kan leda till feldiagnoser eller onödig oro.

Experter inom medicinsk etik pekar på behovet av striktare granskningsprocesser för både akademiska publikationer och AI-system som används för hälsorelaterad rådgivning. Särskilt problematisk är kombinationen av bristfällig akademisk granskning och AI-system som okritiskt absorberar och återger information.

Sveriges forskningsråd har tidigare varnat för denna typ av problem. En talesperson från rådet kommenterar att antalet förfalskade eller bristfälliga studier har ökat markant under de senaste åren, delvis på grund av trycket att publicera inom akademin.

Fenomenet har även väckt oro bland patienter och patientorganisationer. Förbundet för patientsäkerhet menar att detta är ett ytterligare exempel på hur digital desinformation kan underminera förtroendet för medicinsk vetenskap.

För tech-industrin representerar avslöjandet en betydande utmaning. Företag som utvecklar AI för medicinska ändamål måste nu ta itu med frågan om hur deras system kan skilja mellan legitim och falsk information utan att förlita sig enbart på källans uppenbara auktoritet.

”Vi måste utveckla bättre metoder för att verifiera medicinsk information innan den inkluderas i våra system,” säger en representant för ett ledande AI-företag som önskar vara anonym.

Osmanovic Thunströms experiment har också lett till diskussioner om forskarnas eget ansvar. Kritiker hävdar att skapandet av fejkade medicinska tillstånd i sig kan vara problematiskt, även om syftet är att belysa svagheter i systemet.

Som svar på kritiken förklarar Osmanovic Thunström att experimentet utfördes under kontrollerade former och att de falska studierna nu har markerats tydligt som felaktiga. ”Vårt mål var att visa på sårbarheten i systemet innan någon med skadliga avsikter utnyttjar den.”

Svenska Läkaresällskapet har nu tillsatt en arbetsgrupp som ska undersöka hur medicinska tidskrifter och databaser kan förbättra sina granskningsprocesser, särskilt med tanke på den växande användningen av AI i medicinska sammanhang.

Experimentet belyser ett större problem i dagens informationssamhälle: i en värld där information kan spridas globalt på sekunder, blir kvalitetskontroll och källkritik allt viktigare – särskilt när det gäller information som kan påverka människors hälsa och välbefinnande.