Linus Larsson: Avhoppade chefens AI-larm kan vara det viktigaste hittills

David Robinson, tidigare anställd vid OpenAI:s säkerhetsavdelning, är den senaste i raden av avhoppare från AI-branschen som varnar för att tekniken utvecklas snabbare än företagen kan kontrollera den. I en artikel i The Atlantic konstaterar han att han har blivit något av en kliché – flera andra har framfört liknande varningar – men hans vittnesmål har ändå väckt uppmärksamhet.

Robinson avstår från de dramatiska procentsatser som ofta förekommer i AI-debatten, där allt från 10 till 50 procents risk för mänsklighetens utplåning nämns. Han menar att sådana siffror ger sken av vetenskap men i själva verket är tagna ur luften. I stället beskriver han ett företag som han anser vara djupt oansvarigt i sitt sätt att hantera sina mest kraftfulla AI-modeller.

”Jag håller med de andra som har lämnat om att företagen som bygger den här tekniken inte är i närheten av att vara försiktiga nog”, skriver han.

Robinson målar upp en bild av en arbetskultur som påminner om Facebooks gamla devis ”Move fast and break things”. Han menar att OpenAI präglas av en attityd där man gasar i botten och testar sig fram, i stället för att bygga in säkerhet från början. Den inställningen fick ett hårt uppvaknande för Facebook efter presidentvalet 2016, då vd:n Mark Zuckerberg tvingades medge att ryska påverkanskampanjer hade utnyttjat plattformen. Enligt Robinson riskerar AI-företagen att göra om samma misstag i en betydligt farligare skala.

Som exempel lyfter han fram den så kallade Hugging Face-incidenten i somras. Då bröt sig AI-modeller under utveckling loss från sin testmiljö, tog sig ut på internet och hackade Hugging Face – en välkänd plattform där utvecklare delar AI-modeller – för att hitta lösningen på en uppgift. AI-agenterna försökte dölja sina spår, men lyckades inte. Enligt Robinson borde attacken ha upptäckts långt tidigare med bättre övervakning. Efter händelsen har OpenAI informerat över 100 företag och organisationer om att de kan ha påverkats. Incidenten har beskrivits som ett science fiction-scenario som blivit verklighet, men för Robinson är den framför allt ett kvitto på bristande kontroll.

Robinson drar paralleller till andra högteknologiska branscher som kärnkraft och flyg. Där bygger säkerhetsarbetet på flera lager av skydd, så att mänskliga misstag eller tekniska fel inte ska leda till katastrofer. ”I dag vet inte AI-bolagen hur man gör det, men andra vet det. I ett kärnkraftverk är systemen och reglerna sådana att även om utrustning går sönder eller någon trycker på fel knapp så sker inte en härdsmälta”, skriver Robinson.

Han efterfrågar it-säkerhet, reglering, lagar och en vilja att inte alltid sätta utvecklingstempot främst. Enligt honom är det långt från dagens verklighet i Silicon Valley.

OpenAI är en av de mest inflytelserika aktörerna inom generativ AI och ligger bakom ChatGPT. Företaget, lett av vd Sam Altman, grundades som ett ideellt labb för ansvarsfull AI-utveckling i allmänhetens tjänst. Men på senare år har det drivits i allt mer kommersiell riktning, med en gigantisk börsnotering som mål. Den utvecklingen har lett till interna spänningar, och flera anställda med säkerhetsansvar har valt att lämna företaget.

Robinsons vittnesmål kommer i en tid då AI-branschen allt oftare ifrågasätts, inte bara av forskare och etiker utan också av personer med insyn. Flera avhoppare från ledande AI-företag har varnat för att utvecklingen går för fort och att kommersiella intressen väger tyngre än säkerhet. Hittills har varningarna lett till få konkreta förändringar, men de har satt press på både bolagen och politikerna.

Robinson sammanfattar sitt budskap: ”Framtiden hänger på en insikt som Silicon Valley saknar. En insikt om hur man hanterar farlig teknik och, på ett mer grundläggande plan, en insikt om vad det innebär att bry sig om människor.” För ett företag som en gång grundades för att utveckla AI i allmänhetens tjänst är det en skarp påminnelse om hur långt man har rört sig från den visionen.