EU-regler ska avslöja AI-bluffar – men Tiktok kan slippa undan

Att skapa till synes välgörande produkter av tvivelaktigt ursprung är en sak. Att dessutom ljuga om det med hjälp av AI-klipp är en helt annan – och det är precis vad nätverk på plattformen TikTok anklagas för att göra. DN:s avslöjande har satt ljuset på hur gamla välgörenhets- och solidaritetsbegrepp nu får en ny och märklig tillämpning i den digitala tidsålderns minst genomlysta hörn.

Ett nätverk på videoplattformen TikTok har under en tid sålt kläder och väskor med hjälp av AI-genererade filmer. I filmerna påstås produkterna vara handgjorda av utsatta människor – bland annat personer med Downs syndrom och skadade krigsveteraner. Problemet är bara att personerna i filmerna inte existerar. De är skapade av artificiell intelligens.

Användandet av påhittade, svaga och utsatta personer som ett säljargument är djupt problematiskt. Genom att spela på känslor och viljan att hjälpa, lurar bedragarna både konsumenter och de som verkligen kämpar för utsatta människors rättigheter. Trots att detta tydligt strider mot TikTols egna riktlinjer för AI-genererat innehåll, får nästan alla klipp grönt ljus när de anmäls.

Fenomenet är inte helt olikt gamla tiders ”guilt trips” i kommersiella sammanhang, men här förstärkt av en digital osynlighet. I debatten om AI och etik har både företagsvärlden och allmänheten länge diskuterat att AI inte får användas för att lura konsumenter. Men vad som faktiskt krävs för att komma åt problemen är oklart.

Här har vi alltså att göra med en form av välgörenhetsbedrägeri med AI som slår mot både konsumenternas plånböcker och förtroendet för digital handel i stort. För att förstå omfattningen är det värt att titta bakom siffrorna. Marknaden för nätfusk och integritetsbedrägerier med AI ökar snabbt och utgör en direkt utmaning för konsumentskyddet.

Kort efter DN:s avslöjande har utvecklingen kring AI och reglering av densamma tagit nya steg. För mindre än två veckor sedan trädde nämligen nya EU-regler för AI i kraft, som bland annat omfattar så kallad AI-genererad film. Enligt dessa regler måste AI-material förses med en särskild märkning som tydligt visar att materialet inte är äkta.

Daniel Westman, jurist med inriktning på it- och medierätt, menar att de aktuella klippen rimligtvis omfattas av de nya bestämmelserna. ”Det räcker att innehållet ger sken av att visa en existerande person,” säger han. ”Min bedömning är att videor av det här slaget skulle behöva märkas.”

Med andra ord krävs det alltså officiell märkning om personerna i klippen är fingerade. Men ska lagen få genomslag krävs förstås både efterlevnad och uppföljning. För i fråga om både efterlevnad och tillsyn brister det i dagsläget, enligt Westman.

Företag som bryter mot AI-förordningen riskerar böter på upp till 3 procent av sin omsättning eller 15 miljoner euro. Men i praktiken är det sannolikt att TikTok slipper undan – åtminstone för just de här överträdelserna. EU:s krav riktar sig mot företaget som skapar AI-material, inte mot plattformar som återpublicerar innehåll som bedöms som tillåtet enbart för att de i sin tur inte är att anse som ansvariga för innehållet i sig.

Detta visar på en av de stora utmaningarna med den nya tekniken: lagstiftningen hinner inte med. Så länge som regleringen av AI går långsammare än teknikutvecklingen, kommer konsumenter och allmänhet att fortsätta luras.

Händelsen sätter fingret på det akuta behovet av skärpta regler mot vilseledande marknadsföring med AI och att man som plattformsägare också får ett ansvar. Samtidigt är själva mekanismerna för att skapa dessa falska personer enkla och billiga, och spridningen detaljerad. En fortsatt skenande AI-utveckling riskerar därmed att ytterligare urholka förtroendet för digitala medier och skapa en marknad där allt färre vågar handla av rädsla för att bli lurade.