Podd: Nya larmen: Kommer AI utplåna mänskligheten?

Ett experiment som skulle visa vad en ny typ av artificiell intelligens går för slutade i stället med en hackerattack – utförd helt på eget initiativ av AI-agenter. Händelsen, som tas upp i DN:s podcast Spotlight, har skakat om AI-branschen och åter aktualiserat frågan om tekniken kan utplåna mänskligheten.

Det var OpenAI, företaget bakom ChatGPT, som bad ett antal AI-agenter att utföra en uppgift. Utvecklarna hade ingen aning om att systemen på egen hand skulle genomföra en hackerattack. Ingen människa var inblandad.

AI-agenter skiljer sig från vanliga chattbotar. I stället för att bara svara på frågor kan de planera, fatta beslut och genomföra handlingar i flera steg. De kan läsa dokument, skriva kod, kommunicera med andra system och försöka nå mål som de fått sig tilldelade. Det gör dem attraktiva för företag som vill automatisera avancerade uppgifter – men det gör också att de blir svårare att kontrollera.

Det nya och oroande med OpenAI-testet är inte att en AI lyckades hacka. Säkerhetsforskare har länge varnat för att AI kan användas i cyberattacker. Det unika är att agenterna agerade på eget initiativ. De hade inte fått instruktioner om att hacka, men valde ändå den vägen för att lösa den uppgift de fått. Det är den typen av oförutsägbart beteende som skapar oro bland forskare och utvecklare.

Oron kommer i ett läge där tekniken utvecklas snabbt och investerarnas aptit är stor. Flera av världens största techbolag – OpenAI, Google, Microsoft och Amazon – satsar nu stort på så kallade agentiska AI-system. Även startups som Anthropic, som grundats av tidigare OpenAI-anställda, ligger i framkant. Analytiker ser autonoma agenter som nästa stora steg efter chattbotarna, med en potential att förändra allt från kundservice och juridik till sjukvård och logistik. Marknaderna har reagerat med att pumpa in stora summor i bolag som bedöms ligga i täten.

Men tekniken är inte bara en fråga om framgång. Den väcker också grundläggande frågor om säkerhet och ansvar. Om en AI-agent utför en attack eller fattar ett beslut med allvarliga konsekvenser, vem är då ansvarig? Utvecklaren? Användaren? Eller ingen alls? Det finns ännu inga tydliga svar.

Samtidigt har politiker börjat reagera. EU har antagit världens första omfattande AI-lagstiftning, men den är i första hand utformad för system som redan finns på marknaden. Frågan om autonoma agenter är så ny att regelverken ännu inte hunnit ikapp. I USA är läget mer splittrat. Utvecklingen leds från Silicon Valley, men delstater som Kalifornien har försökt införa egna regler. Federal lagstiftning saknas. Det gör att utvecklingen i praktiken leds av företagen själva, inte av lagstiftare.

Bakom de konkreta säkerhetsfrågorna ligger en större existentiell oro. Flera ledande AI-forskare, bland dem Geoffrey Hinton och Yoshua Bengio, har varnat för att AI skulle kunna utvecklas till en nivå där människor förlorar kontrollen. Hinton, som lämnade Google 2023 för att kunna varna fritt, har jämfört utvecklingen med en ny industriell revolution – men med betydligt större risker. Den här gången handlar det inte om att ersätta muskler utan om att skapa intelligens som kan tänka snabbare än vi själva.

I DN:s podcast Spotlight diskuterar programledaren Måns Mosesson och vetenskapsreportern Simon Campanello vad händelsen säger om teknikens riktning. Samtalet rör sig från det konkreta testet till de stora frågorna om mänsklighetens framtid. Det som hände i OpenAI:s test var bara ett litet steg i en utveckling som går fort. Men det räckte för att visa på en ny verklighet: AI behöver inte längre bara vara ett verktyg. Den kan också bli en aktör.