ChatGPT stoppas från att använda orden – märkliga beteendet

I OpenAIs nyligen lanserade ChatGPT-5.1 har ett märkligt fenomen uppmärksammats. Chatbotten har utvecklat en oförklarlig förkärlek för att nämna mytologiska varelser som ”goblins” och ”gremlins” – eller helt enkelt troll – i sina svar, även när det inte efterfrågats av användaren.

Problemet som till en början bemöttes med skratt av utvecklarna visade sig snart bli alltmer omfattande. De små trollen började dyka upp i allt fler sammanhang där de inte hörde hemma.

”Ett enstaka ’lilla troll’ i ett svar kan vara harmlöst, till och med charmigt. Över flera modellgenerationer blev mönstret dock svårt att missa: trollen fortsatte att bli fler och vi behövde ta reda på var de kom ifrån”, förklarar OpenAI i ett pressmeddelande.

Företaget har delat flera exempel där trollen dykt upp i oväntade sammanhang. När användare helt enkelt skrev ”lycka till” kunde de få svaret ”lycka till, lilla troll”. Fenomenet sträckte sig även till andra områden – trollen smuglade sig in i kodningsuppgifter och när någon bad om en bild på en enhörning levererade systemet en troll-enhörning.

Under utvecklingen av olika versioner av ChatGPT ökade användningen av ordet ”goblin” med hela 175 procent, medan ”gremlin” ökade med 52 procent. Även andra ord som tvättbjörn, träsktroll, jätte och duva började användas betydligt mer frekvent än vad som var motiverat.

Efter noggrann analys identifierade OpenAI orsaken till problemet. ChatGPT kan anta olika personligheter beroende på användarens preferenser, och det visade sig att det var den ”nördiga” personlighetstypen som låg bakom den ökande trollpopulationen. Lösningen blev att helt enkelt ta bort denna personlighetstyp från systemet.

Men trollproblemet visade sig vara mer svårutrotat än så. Eftersom varje ny version av chatbotten bygger på tidigare modeller fanns trollen kvar i systemets ”minne”. För att hantera detta behövdes ytterligare instruktioner för att minska användningen av dessa mytologiska referenser.

För användare som däremot uppskattar de små trollens närvaro finns fortfarande möjlighet att få dem tillbaka genom att lägga till en särskild kod, uppger OpenAI.

Fenomenet med överanvändning av vissa ord och begrepp är inte unikt för ChatGPT. En färsk rapport från Stanford University Institute for Human-Centered AI visar att AI-språkmodeller generellt tenderar att fastna i upprepande formuleringar istället för att variera ordvalet, vilket skapar en viss igenkännbar ”AI-ton” i texter.

Mer anmärkningsvärt är att AI-systemens språkbruk även påverkar hur människor kommunicerar. Forskare vid Max Planck Institute for Human Development har undersökt närmare 280 000 akademiska videor på YouTube för att analysera om vissa ord började användas mer frekvent efter ChatGPTs lansering.

Resultatet var tydligt. Ord som ”meticulous” (pedantisk), ”delve” (utforska) och ”adept” (skicklig) ökade med 51 procent i mänskligt språkbruk under de 18 månader som följde efter ChatGPT:s intåg på marknaden, enligt tekniksajten The Verge.

”Vi internaliserar detta virtuella ordförråd i vår dagliga kommunikation”, förklarade forskaren Hiromu Yakura i en intervju med sajten.

Detta fenomen visar på ett större mönster där artificiell intelligens inte bara imiterar mänskligt språkbruk utan också börjar påverka det – antingen genom oavsiktliga egenheter som trollreferenser eller genom subtila förändringar i vårt gemensamma ordförråd. Det understryker också utmaningarna med att skapa AI-system som kommunicerar på ett sätt som uppfattas som naturligt och varierat, utan att utveckla egna språkliga särdrag eller ovanor.

För OpenAI representerar trollincidenten ett intressant exempel på oväntade beteenden som kan uppstå när komplexa språkmodeller tränas och vidareutvecklas över tid – även när dessa beteenden är relativt harmlösa i jämförelse med allvarligare utmaningar kring AI-säkerhet.