Avhoppande AI-forskarens varning: Den kan utplåna mänskligheten

En tidigare AI-utvecklare som har arbetat på två av världens mest inflytelserika och konkurrerande AI-företag går nu ut och varnar för den teknik han själv har varit med om att bygga. Jacob Coxon, som tidigare utvecklade artificiell intelligens hos både OpenAI och Anthropic, sade nyligen upp sig från det sistnämnda bolaget. Under tisdagen använde han plattformen X för att rikta skarp kritik mot sina forna arbetsgivare.

”Inget av företagen agerar ansvarsfullt. De kör i full fart mot självförbättrande superintelligens och de spelar med våra liv”, skriver Coxon.

Självförbättrande superintelligens är ett hypotetiskt framtida scenario där en AI blir överlägsen människans intellekt och dessutom kan skriva om sin egen programkod för att ständigt bli bättre. Många AI-kritiker har varnat för att en sådan utveckling skulle kunna bli en av de största händelserna i mänsklighetens historia – och en av de farligaste.

Coxons inlägg har i skrivande stund visats över 140 miljoner gånger. I en intervju med tech-tidningen Wired utvecklar han sitt resonemang och säger att AI skulle kunna utplåna mänskligheten eller orsaka förödande katastrofer, till exempel genom att ta fram nya kraftfulla biologiska vapen eller genom massiva cyberattacker mot kritisk infrastruktur. Han får medhåll från Evan Hubinger, som leder ett säkerhetsteam på Anthropic. Hubinger skriver på X att han tror att risken för att AI dödar alla människor är över tio procent inom det närmaste decenniet.

OpenAI och Anthropic hör till de företag som står i centrum för den pågående AI-kapplöpningen. OpenAI ligger bakom ChatGPT, medan Anthropic utvecklat chatbotten Claude. Båda bolagen är baserade i San Francisco-området och har vuxit explosionsartat under de senaste åren. De lockar till sig stora investeringar och några av världens främsta forskare, men samtidigt har utvecklingstakten väckt frågor om säkerhet och kontroll.

Anthropic har profilerat sig som ett säkerhetsfokuserat bolag, vilket gör att kritiken från Coxon och Hubinger väger särskilt tungt. Att även personer med insyn i säkerhetsarbetet larmar kan förstärka kraven på hårdare reglering.

Varningarna är inte isolerade. Microsoft-grundaren Bill Gates har nyligen sagt att hotet från AI är mycket större än vad techbranschen vill ge sken av. FN:s människorättschef Volker Türk har beskrivit AI som ett ”existentiellt hot” mot mänskligheten. Flera andra forskare och teknikledare har under åren lämnat sina bolag och gått ut med liknande budskap.

Debatten om existentiella risker fick brett genomslag genom den svenske filosofen Nick Bostroms bok Superintelligens: De tänkande maskinernas tidsålder från 2014. Bostrom, verksam vid Oxfords universitet, argumenterade för att en framtida superintelligent maskin skulle kunna bli så kraftfull att den hotar människans överlevnad om den inte kontrolleras. Sedan dess har utvecklingen av AI gått fort, och flera av de scenarier som då ansågs avlägsna har blivit föremål för pågående forskning.

Fredrik Heintz, professor i datavetenskap vid Linköpings universitet och biträdande föreståndare för Wallenbergstiftelsens forskningsprogram WASP, har följt AI-utvecklingen under lång tid. Han säger att varningar av det här slaget inte är nya, men att han inte ser hotet mot mänskligheten som den mest akuta risken.

”Hotet mot mänskligheten är inte den risk jag är mest orolig över när det kommer till artificiell intelligens. Samtidigt kan man inte säga att det är omöjligt”, säger han till DN.

Heintz menar att de största problemen finns närmare i tiden. Cybersäkerhet är en sådan fråga.

”Elaksinnade aktörer kan använda AI-modeller för att ta sig in i it-system som de inte borde ha tillgång till, vilket skulle kunna få väldigt stora negativa konsekvenser”, säger han.

Han ifrågasätter också den vanliga föreställningen att en superintelligent AI skulle bli ondskefull.

”Man verkar hela tiden förvänta sig att en superintelligent AI skulle bli ondskefull, men för mig är det inte uppenbart att även om vi får en superintelligens så skulle det innebära att den medvetet skulle försöka skada oss”, säger Fredrik Heintz.

AI-frågan är inte bara vetenskaplig. Den har också blivit en av de viktigaste ekonomiska frågorna i världen. Företag som OpenAI och Anthropic är högt värderade, och techjättar som Microsoft, Google och Amazon investerar miljardbelopp i AI-infrastruktur. Samtidigt försöker politiker världen över sätta ramar för tekniken. EU har antagit en AI-förordning som ställer krav på riskbedömning och transparens, och i flera länder pågår diskussioner om hur AI ska regleras.

Det återstår att se om de nya varningarna från insidan av AI-bolagen leder till konkreta förändringar. Men en sak är tydlig: debatten om AI:s risker har aldrig varit mer aktuell, och den lär fortsätta att prägla både forskningen, politiken och teknikutvecklingen under lång tid framöver.