Miljontals barn utsätts för AI-övergrepp

Över 1,2 miljoner barn utsatta för AI-manipulerade bilder i sexuella sammanhang

En alarmerande rapport från Unicef visar att minst 1,2 miljoner barn i elva länder har rapporterat att deras bilder manipulerats i sexuella sammanhang med hjälp av generativ AI under det senaste året. Detta avslöjar en ny och växande dimension av övergrepp mot barn i den digitala eran.

– Att det är så pass många barn bara i de här elva länderna visar att det här är ett stort problem och att det kommer att bli ett större problem framöver om vi inte snabbt får till olika lösningar, säger Daniel Kardefelt Winther, forskningschef för barn och digitala medier vid Unicef.

Trots att bilderna inte är verkliga utan skapade eller manipulerade med hjälp av AI-verktyg, betonar Kardefelt Winther att konsekvenserna för de drabbade barnen är högst reella.

– De är extremt realistiska och det kan vara väldigt svårt att se skillnad. Skammen, skulden och alla de jobbiga känslorna som kommer av sexuella övergrepp kommer även här. Känslomässigt kan konsekvenserna för barnen bli allvarliga, förklarar han.

Ett ytterligare oroande inslag är att dessa bilder kan användas för fortsatta övergrepp, exempelvis genom utpressning där förövaren hotar att sprida materialet vidare. Denna form av digitalt övergrepp är särskilt problematisk i samhällen där sexualitet är tabubelagt.

– I länder där det är ännu mer tabu med sex så blir det här väldigt skamfyllt. Vi har sett exempel där barn som har sökt hjälp har blivit utstötta och mobbade, säger Kardefelt Winther.

Problematiken har flera dimensioner enligt Unicefs forskningschef. Förövarna kan vara både vuxna med sexuella avsikter gentemot barn, men också andra barn och ungdomar som kanske inte förstår allvaret i sina handlingar.

– Det kan handla om en klasskompis som gör nakenbilder för att mobba, eller bara som en kul grej. Men det är absolut inte en kul grej för den som blir utsatt. Det är oerhört allvarligt och vissa barn och ungdomar kanske inte alltid förstår hur allvarligt det här är, understryker han.

Kardefelt Winther påpekar att det inte finns någon enkel lösning på problemet, men Unicef föreslår tre huvudsakliga åtgärder för att motverka utvecklingen.

För det första behöver föräldrar bli mer medvetna om den tekniska utvecklingen och få kunskap om hur de kan stötta barn som drabbas. Samma sak gäller för skolor, där personal måste få förståelse för vad denna typ av digitala övergrepp innebär och hur de påverkar de utsatta barnen.

– Sedan behöver vi någon form av lagstiftning som antingen förbjuder den här sortens appar eller förbjuder användningen av AI för att skapa övergreppsmaterial, säger han.

Den tredje och kanske mest avgörande faktorn är teknologiföretagens ansvar. Utvecklare av AI-teknik måste enligt Unicef ta ett betydligt större ansvar för hur deras produkter kan missbrukas.

– Techindustrin måste ta ett mycket större ansvar än vad de gjort hittills. De som utvecklar AI-appar eller AI-stöd till appar måste verkligen fundera över hur de kan missbrukas, betonar Kardefelt Winther.

Rapporten kommer i en tid när generativa AI-verktyg blir alltmer sofistikerade och lättillgängliga för allmänheten. Denna tekniska utveckling skapar nya utmaningar för samhällets skyddsnät för barn och ungdomar, där lagstiftning och sociala strukturer ofta har svårt att hänga med i den snabba tekniska utvecklingen.

Med tanke på att undersökningen endast omfattar elva länder finns det anledning att befara att det verkliga antalet drabbade barn globalt är betydligt högre. Detta understryker vikten av internationellt samarbete för att bekämpa denna nya form av digitala övergrepp mot barn.