Hemliga signaler ska avslöja AI-text

Den kanadensisk-haitiske författaren Thélyson Orélien skulle ha kunnat vinna Frankrikes mest prestigefyllda litteraturpris. I stället har han hamnat i centrum för en uppmärksammad skandal kring AI-genererad text.

Orélien var nominerad till Goncourtpriset för sin hyllade debutroman ”C’était ça ou mourir” – ”Det var antingen det eller att dö” – en fiktiv berättelse inspirerad av hans eget liv. Men för några veckor sedan strök juryn honom från listan. Orsaken var misstankar om att delar av texten skapats med hjälp av artificiell intelligens. Misstankarna väcktes av ett anonymt konto på nätet och byggde på en analys med mjukvaran Pangram, ett av de vanligaste verktygen för att upptäcka AI-skribenter. Orélien själv nekar till anklagelserna.

Historien belyser en växande problematik i litteraturvärlden och i samhället i stort. AI-genererade texter blir allt svårare att skilja från mänskligt skrivna, och tilliten till både författare och publiceringar sätts på prov. Samtidigt visar fallet hur osäkra detektionsverktygen fortfarande är. När nyhetsbyrån AFP testade Oréliens text med sitt eget verktyg blev resultatet det rakt motsatta: texten bedömdes som högst troligt skriven av en människa.

AI-analys av texter handlar alltid om sannolikheter och gissningar, mer eller mindre kvalificerade. Verktygen är i sig själva AI-modeller som tränats på både mänskliga och maskinskrivna texter. Målet är att hitta typiska mönster i ordval, meningsbyggnad och struktur. Men risken för falska positiva – att mänsklig text pekas ut som AI-genererad – är fortsatt hög, liksom risken för falska negativa, där riktiga AI-texter passerar obemärkta.

En del av problemet är att språkmodellerna hela tiden utvecklas. Länge var långa tankstreck ett tydligt tecken på AI-genererad text. Chat GPT och andra modeller överanvände dem i en sådan utsträckning att de blev en klassisk markör. Vissa versioner har också varit förtjusta i akademiskt klingande ord, långa meningar och uppräkningar i tre led. Men dessa egenheter förändras i takt med att modellerna förfinas, vilket gör detektionsarbetet till en ständig jakt på nya mönster.

Nu införs dock ett nytt verktyg i kampen mot AI-fusk: vattenmärkning. EU:s AI-förordning kräver att AI-genererat material ska kunna identifieras maskinellt. För bilder och video finns redan tekniska lösningar där markörer bäddas in i filerna. För text har det varit betydligt svårare, eftersom det enda materialet är själva orden.

Open AI uppger att företaget utvecklat ett system som kallas Textgrain. Det handlar inte om dolda tecken utan om statistiska markörer i texten. Språkmodellens val av ord påverkas i så liten utsträckning att en vanlig läsare inte ska märka något, men ett datorprogram ska kunna avslöja att texten är maskinskapad. För användare inom EU ska funktionen vara påslagen automatiskt, medan användare i andra delar av världen får aktivera den själva. Även konkurrenten Anthropic, som ligger bakom chattroboten Claude, har aviserat en liknande vattenmärkning.

Men systemet är inte vattentätt. Enligt Open AI:s egna tester upptäcks omkring 80 procent av vattenmärkta AI-texter vid en längd på cirka 150 ord. Dubblas längden ökar träffsäkerheten till 95 procent. Ämnet spelar också roll: matematiska texter är svårare att vattenmärka eftersom modellen har mindre utrymme att välja ord fritt. Dessutom går det att sabotera märkningen. Om vart tionde ord ersätts med en synonym sjunker upptäcktsgraden från 92 till 66 procent. Ersätts vart fjärde ord rasar den till 17 procent.

Trots detta är Open AI tveksamma till hur tillförlitlig tekniken är i praktiken. Verktyget som ska kunna identifiera vattenstämplad text släpps därför inte till allmänheten ännu, utan enbart till forskare och andra som ansöker om tillgång.

Frågan är hur mycket vattenmärkningen egentligen kommer att betyda. Tidningen The Economist jämförde nyligen 55 940 meningar ur den egna tidningen med AI-genererade texter om samma ämnen. Resultatet visade att AI-modellerna blivit bättre på att efterlikna mänskligt skrivande, men att vissa skillnader kvarstår. De skriver fortfarande längre meningar, använder ordet ”och” oftare och gillar att gruppera saker i tre. De väljer gärna onödigt flådiga ord och konstruerar gärna motsatsförhållanden.

Tidningens viktigaste slutsats var dock att ingenting är beständigt. De språkliga särdrag som i dag avslöjar en AI-text kan vara borta i morgon. Vattenmärkningen kan bli ett sätt att avslöja nästa författarbluff – åtminstone för den som inte orkar skriva om vart fjärde ord.