Anthropics AI-modell skickade falskt tips om olöst mord till polisen i Philadelphia, enligt myndigheterna.

En AI-modell från det amerikanska företaget Anthropic har enligt myndigheterna skickat ett falskt tips till polisen i Philadelphia rörande ett ouppklarat mord. Händelsen väcker nya frågor om tillförlitligheten hos generativa AI-system inom brottsbekämpning, där allt fler poliskårer testar automatiserade verktyg för att bearbeta tips och ledtrådar.

Anthropic är en av de mest framträdande aktörerna inom det snabbt växande AI-området och står bakom chatboten Claude. Företaget grundades av tidigare forskare från OpenAI och har positionerat sig som en försiktigare aktör med fokus på säkerhet och ansvarsfull AI-utveckling. Trots det visar det aktuella fallet att även de mest avancerade språkmodellerna kan producera påhittad information, något som inom branschen kallas för hallucinationer.

Enligt uppgifterna ska tipset ha genererats av Anthropics modell och därefter skickats vidare till polisen i Philadelphia. Myndigheterna har bekräftat att informationen var felaktig, men det är fortfarande oklart hur tipset uppstod och varför det bedömdes som trovärdigt nog att hanteras. Fallet utreds nu både internt av polisen och av Anthropic, som uppges samarbeta med relevanta parter för att utreda vad som gått fel.

Det ouppklarade mordet, som inte har namngetts i officiella uttalanden, är ett av många kalla fall som polisen i Philadelphia arbetar med. Att AI-modeller används i sådana sammanhang är ingen slump. Flera teknikföretag har under senare år lanserat verktyg som ska hjälpa polisen att analysera stora mängder data, hitta mönster och generera nya tips. Men precis som med all annan teknik finns det risker när den används i verkliga utredningar.

Det här är inte första gången som AI-genererat innehåll hamnar i brottsutredningar. Internationellt har det rapporterats om allt från falska vittnesmål till påhittade dokument som skapats av chattbottar. Gemensamt för dessa fall är att materialet ofta framstår som trovärdigt vid en första anblick, vilket gör det särskilt svårt för poliser att snabbt avgöra om informationen är äkta.

Philadelphia är en av de större städerna i USA med en komplex brottslighet och ett högt antal ouppklarade mord. Polisen där har tidigare varit öppen för att använda ny teknik i utredningsarbetet, bland annat genom samarbeten med teknikbolag och forskningsinstitutioner. Men den aktuella händelsen visar enligt bedömare på en växande utmaning: hur ska rättsväsendet förhålla sig till information som kan vara både användbar och fullständigt påhittad?

För Anthropic kan fallet bli känsligt. Företaget har byggt sitt varumärke kring säkerhet och har flera gånger betonat vikten av att utveckla AI på ett ansvarsfullt sätt. Samtidigt är konkurrensen på AI-marknaden hård. OpenAI, Google och flera andra aktörer investerar tungt i både forskning och kommersiella tillämpningar, inte minst inom offentlig sektor. Ett misstag av det här slaget kan påverka förtroendet för hela teknikområdet, särskilt när det gäller känsliga samhällsfunktioner som polis och rättsväsende.

Experter på AI-etik pekar på att problemet inte enbart ligger i tekniken i sig, utan i hur den används. Språkmodeller är inte utformade för att tala sanning, utan för att generera text som är statistiskt sannolik. Det innebär att de kan producera övertygande men felaktiga påståenden utan att användaren märker det. När sådana system används i brottsutredningar krävs därför tydliga riktlinjer, mänsklig granskning och ett kritiskt förhållningssätt till alla resultat som genereras automatiskt.

Frågan om AI:s roll inom brottsbekämpning är dessutom politiskt laddad. I flera delar av världen har polisens användning av ansiktsigenkänning och andra automatiserade verktyg mött hård kritik från medborgarrättsorganisationer. Kritikerna menar att tekniken ofta införs utan tillräcklig reglering och att den kan förstärka befintliga fördomar i rättssystemet. Samtidigt ser många polischefer AI som ett nödvändigt verktyg för att hantera ökande mängder data och lösa brott som annars skulle förbli ouppklarade.

Det aktuella fallet i Philadelphia belyser därför en bredare diskussion om var gränsen ska gå för AI:s inflytande i samhället. Ska tekniken ses som ett stöd för mänskligt beslutsfattande, eller riskerar den att ersätta det? Svaret är ännu inte givet, men händelsen visar att det finns ett akut behov av gemensamma standarder och tydligare ansvarsfördelning.

Anthropic har ännu inte lämnat några detaljerade kommentarer om händelsen, men företaget har bekräftat att man är medveten om situationen och arbetar med att förstå vad som inträffat. Utredningen väntas också ge svar på hur många liknande tips som kan ha genererats av AI och skickats vidare till andra myndigheter, inte bara i Philadelphia utan även i andra delar av landet.

För allmänheten kan fallet te sig som en isolerad incident, men för den som följer AI-utvecklingen är det en påminnelse om att tekniken fortfarande har betydande begränsningar. Den kan vara ett kraftfullt verktyg, men den är inte ofelbar. Och när det handlar om mordutredningar, där konsekvenserna av felaktig information kan bli ödesdigra, är risken särskilt tydlig.

I takt med att fler polismyndigheter överväger att införa AI-baserade system lär debatten intensifieras. Frågan är inte längre om tekniken kommer att användas, utan hur den ska kontrolleras och vem som ska bära ansvaret när den gör fel. Philadelphia-fallet kan i slutändan bli en viktig vägledning för hur rättsväsendet hanterar den nya tekniken framöver.