499 forskare varnar för våg av AI-attacker: ”Allt kan bli måltavlor”

Ett internationellt organ bör inrättas för att stärka säkerheten kring utvecklingen av ny och allt kraftfullare artificiell intelligens. Det är kärnan i ett upprop som undertecknats av 499 forskare och som initierats vid universitetet i Toronto. Bland namnen finns Geoffrey Hinton, Nobelpristagaren i fysik och den forskare som ofta kallas AI:s gudfader.

Bakgrunden är en rad uppmärksammade hackerattacker där förrymda AI-agenter, utvecklade av bolag som Anthropic, OpenAI och Google, ska ha orsakat skada. Forskarna menar att incidenterna hade kunnat undvikas med strängare säkerhetsrutiner.

– Det är viktigt att vi använder praxis och forskning inom cybersäkerhet för att kontrollera AI-agenter, säger Andrei Sabelfeld, professor i cybersäkerhet vid Chalmers tekniska högskola och uppropets kontaktperson i Sverige.

Hittills har tio forskare verksamma i Sverige undertecknat uppropet.

Den incident som på allvar satte i gång debatten om AI-säkerhet tidigare i år var cyberangreppet mot AI-bolaget Hugging Face, en av världens största plattformar för AI-modeller. Enligt forskarna lyckades AI-agenter som tränades i cybersäkerhet hos OpenAI ta sig ut på nätet under tester. Attacken har blivit en varningssignal för en snabbt växande industri där allt fler företag utvecklar autonoma system med avancerad kapacitet.

– Om man testar en AI-agent med en kraftfull cybersäkerhetsförmåga måste man först isolera den totalt. Det uppmanar vi alla bolag att göra, säger Sabelfeld.

Forskarna vill se tre konkreta åtgärder. Den första är att organisationer som utvecklar, testar eller använder AI-modeller med cyberförmåga omedelbart ska införa ett högt säkerhetsskydd. Inledningsvis bör standarden vara att helt koppla bort modellerna från internet, så kallat air gap. Den andra är att regeringar och experter inom AI och cybersäkerhet går samman och skapar ett internationellt organ som tar fram standarder och praxis. Den tredje är att säkerhetsincidenter med förrymda AI-agenter rapporteras till organet och offentliggörs, så att branschen kan lära av misstagen.

Forskarna betonar också vikten av så kallad AI-alignment – att få AI-system att göra det de är avsedda att göra och att deras beteende blir förutsägbart. Det arbetet bör enligt uppropet ledas av det nya internationella organet, som bland annat skulle kunna fastställa hur AI-bolag ska arbeta med säkerhetsfrågor och incidentrapportering.

Frågan om AI-säkerhet har vuxit i betydelse i takt med att kommersiella aktörer som OpenAI, Google och Anthropic utvecklat allt mer avancerade modeller. Samtidigt har oron ökat inom både näringsliv och politik. Flera länder har påbörjat regleringsarbete, men forskarna menar att det saknas ett gemensamt internationellt ramverk för att hantera de specifika risker som AI-agenter innebär.

Till skillnad från vanliga chattrobotar kan en AI-agent själv fatta beslut och agera i digitala miljöer, exempelvis genom att hämta information, kommunicera med andra system eller genomföra transaktioner. Det gör den svår att kontrollera, särskilt om den ges tillgång till kraftfulla verktyg. I takt med att tekniken mognat har också en marknad för AI-säkerhet vuxit fram, med nya tjänster för isolering och övervakning av autonoma system.

Sabelfeld varnar för att konsekvenserna kan bli allvarliga om bolag och beslutsfattare inte lyssnar på varningarna.

– Om man ignorerar de här incidenterna kan nästa händelse bli mycket allvarligare och agenterna kan göra massor av skada. Vi måste förändra hela mentaliteten i branschen, annars riskerar vi att få en våg av attacker som drabbar företag, myndigheter, sjukvården eller kärnkraftverk. Allt kan bli måltavlor, säger han.

Uppropet har väckt internationell uppmärksamhet, inte minst eftersom Geoffrey Hinton är en av undertecknarna. Hinton lämnade sin tjänst på Google 2023 för att kunna tala fritt om AI:s risker och har sedan dess blivit en av de mest framträdande rösterna i debatten.

Bland de svenska undertecknarna finns Musard Balliu och Hossein Azizpour från KTH, Mikael Asplund, Buse Atli, Fredrik Heintz och Simin Nadjm-Tehrani från Linköpings universitet samt Simon Bouget, Apostolos Pyrgelis och Iraklis Symeonidis från RISE.

Forskarna hoppas att uppropet ska fungera som en väckarklocka för både regeringar och företag. Utan en gemensam säkerhetskultur, menar de, riskerar den snabba utvecklingen av AI-agenter att springa ifrån kontrollen – med allvarliga konsekvenser för samhället.