Miljoner barn utsatta för AI-genererade sexuella bilder

I en alarmerande UNICEF-undersökning har det framkommit att minst 1,2 miljoner barn i elva länder uppgett att bilder på dem manipulerats med hjälp av generativ AI i sexuella sammanhang under det senaste året. Omfattningen av problemet har chockerat experter och väckt oro för barns säkerhet i den digitala världen.

”Det faktum att det är så många barn i bara dessa elva länder visar att detta är ett stort problem och att det kommer att bli ett ännu större problem i framtiden om vi inte snabbt hittar olika lösningar,” säger Daniel Kardefelt Winther, chef för forskning om barn och digitala medier på UNICEF.

Enligt Kardefelt Winther utgör dessa bilder allvarliga övergrepp, även om de inte är verkliga. De AI-genererade bilderna är extremt realistiska och det kan vara mycket svårt att skilja dem från autentiska fotografier. Det är just denna realism som gör att offren upplever samma traumatiska känslor som vid faktiska övergrepp.

”Skammen, skulden och alla de svåra känslorna som kommer från sexuella övergrepp finns också här. Emotionellt kan konsekvenserna för barnen vara allvarliga,” förklarar han.

Bilderna används dessutom ofta som verktyg för fortsatta övergrepp, exempelvis genom utpressning där förövare hotar att sprida materialet. Detta skapar en ond cirkel av utsatthet för de drabbade barnen.

”I länder där sex är ännu mer tabubelagt blir detta väldigt skamfullt. Vi har sett exempel där barn som har sökt hjälp har blivit utfrysta och mobbade,” säger Kardefelt Winther.

Problematiken är mångfacetterad. Förövarna kan vara vuxna med avsikt att sexuellt utnyttja barn, men också andra barn. Det kan handla om en klasskamrat som tar fram nakna bilder för att mobba eller bara för nöjes skull, vilket visar på en brist på förståelse för konsekvenserna av sådana handlingar.

”Men det är definitivt inte en rolig sak för den som blir utsatt. Det är extremt allvarligt och vissa barn och ungdomar kanske inte alltid förstår hur allvarligt detta är,” betonar Kardefelt Winther.

UNICEF erkänner att det sannolikt inte finns någon enkel lösning på problemet, men organisationen föreslår tre åtgärder för att bekämpa det växande hotet. För det första behöver föräldrar vara medvetna om tekniken och veta hur de kan stödja barn som utsätts för övergrepp. Detsamma gäller skolor, som måste förstå vad denna typ av övergrepp innebär och hur de kan identifiera och hjälpa drabbade elever.

”Sedan behöver vi någon form av lagstiftning som antingen förbjuder denna typ av appar eller förbjuder användningen av AI för att skapa kränkande material,” säger Kardefelt Winther.

Han understryker också teknikbranschens ansvar i frågan: ”Och teknikindustrin måste ta ett mycket större ansvar än vad den hittills har gjort. De som utvecklar AI-appar eller AI-stöd för appar behöver verkligen tänka på hur de kan missbrukas.”

Experter inom barnrätt och digitala medier har länge varnat för riskerna med generativ AI, men denna undersökning ger för första gången en konkret uppfattning om problemets omfattning. Det är särskilt oroande eftersom studien endast omfattar elva länder, vilket tyder på att det globala antalet drabbade barn kan vara betydligt högre.

I takt med att AI-tekniken blir allt mer tillgänglig och kraftfull ökar risken för att den missbrukas. Samtidigt som tekniken erbjuder enorma möjligheter inom många områden, visar UNICEF:s undersökning tydligt att det finns en mörk baksida som kräver omedelbar uppmärksamhet från beslutsfattare, teknikföretag och samhället i stort.

Undersökningen understryker behovet av en balans mellan teknisk innovation och skydd av de mest sårbara i samhället. Utan adekvata skyddsåtgärder riskerar generativ AI att bli ett kraftfullt verktyg för övergrepp mot barn i en skala som tidigare varit omöjlig.