Bedragare fejkar Downs syndrom – Tiktok ger grönt ljus

En ung kvinna sitter på en buss. Hon har ansiktsdrag som hos någon med Downs syndrom, och hon ser ledsen ut. I videoklippet på Tiktok håller hon en väska med mönster av stora, färgglada fjärilar i famnen. Någon kastar ett hopknycklat papper på henne och spridda skratt hörs. Hon håller upp handen mot kameran, som för att slippa bli filmad.

I nästa klipp håller hon en annan väska av samma modell, men med blommigt motiv. Hon pratar om väskorna med tårar rinnande över kinderna. ”Jag lägger så mycket tid på att tillverka varenda en av dem. Men alla bara gör narr av mig”, säger hon i filmen.

Hennes konto är fyllt av liknande filmer där hon framstår som utsatt och hårt arbetande. I en av filmerna syns hon sitta och sy, och texten i slutet frågar: ”Säg ärligt. Skulle du köpa en?” I profilen finns en länk till en butik där väskorna säljs för knappt 400 kronor. Kommentarsfältet är översållat av stöttande inlägg. Många skriver att väskorna är underbara och att mobbarna bara är avundsjuka på hennes talang.

Men det är något som inte stämmer. Tittar man noga på klippen syns underliga detaljer. I ett klipp sitter hon i en bil där förarsätet är märkligt förflyttat mot mitten av fordonet. En analys med ett specialverktyg ger ett tydligt svar: Filmerna är skapade med artificiell intelligens. Den gråtande kvinnan finns inte på riktigt, inte heller hennes mobbare. Identiska väskor går att hitta i flera nätbutiker, bland annat på Amazon, för mindre än halva priset.

Klippen med kvinnan är bara några av hundratals som följer samma mönster. Gemensamt för dem är att de är utformade för att lura tittaren att tro att en produkt är handgjord av en person i en utsatt situation. Ingenstans framgår att innehållet är AI-genererat, vilket strider mot Tiktoks egna regler. Plattformen skriver att AI inte får användas för att vilseleda eller ge ett falskt intryck, och att allt AI-genererat material måste markeras. Särskilt viktigt är detta när det handlar om syntetiska ansikten, röster och digitala människor.

DN har tagit del av Tiktoks svar gällande över 160 AI-genererade klipp som rapporterats till företaget. Bland dessa finns filmer som marknadsför butiker, men också klipp med unga, lättklädda kvinnor där användare uppmanas att betala för vad som antyds vara nakenbilder. Inget av klippen var markerat som AI-genererat. Ändå friade Tiktok i nästan samtliga fall. Endast ett klipp togs bort, och fyra flaggades för att inte visas i rekommendationsflödet.

Granskningen har gjorts tillsammans med säkerhetsspecialisten Karl Emil Nikka, som i flera månader har analyserat klipp med hjälp av ett verktyg som identifierar sannolikt AI-skapat material. Han har anmält innehållet och dokumenterat Tiktoks hantering. Han säger att det började med irritation över mängden AI-genererat innehåll och insikten att mycket av det inte var markerat. Med stigande förvåning såg han hur anmälningarna gång på gång avslogs. ”Tiktok har en policy, men den gäller inte”, konstaterar han.

Det största problemet, menar han, är att människor lurats att spendera pengar på falska premisser. Han jämför med traditionell reklam i tv, där ett liknande upplägg skulle mötas av starka reaktioner. På Tiktok tycks det dock accepteras.

Tiktok har inte ställt upp på en intervju. I ett skriftligt uttalande skriver företaget att material som är utformat för att lura människor om vad de stödjer, eller exploaterar deras sympati, inte har någon plats på plattformen. Man hävdar också att konton och innehåll som bryter mot reglerna om vilseledande AI-genererat material har tagits bort. Men det stämmer inte med granskningens resultat. Tiktok avslog nästan samtliga anmälningar och uppgav att klippen inte stred mot några regler. Först när DN kontaktade företagets pressavdelning hände något: alla säljfilmer raderades, och flera av klippen med AI-genererade kvinnor försågs med en markering om att de är AI-material.

Svenska Downföreningens ordförande Tord Hermansson reagerar starkt på hur sympatier för människor med Downs syndrom utnyttjas. Han kallar det oetiskt och påpekar att innehållet bygger på stereotypa bilder som riskerar att förstärka fördomar och diskriminering.

Under sommaren har flera stora plattformar utlovat nya åtgärder mot AI-genererat material. Snapchats ägare meddelade att helt AI-genererade filmer inte ska marknadsföras av algoritmen. Youtube uppgav att vissa AI-klipp inte längre ska kunna generera reklamintäkter. Även Linkedin har lovat nya verktyg för att minska exponeringen av så kallat AI-sörja.

DN har sökt flera av de butiker som marknadsförs i klippen, utan att få svar. Sannolikt handlar det om så kallad dropshipping, där en person köper billiga produkter från importsajter som Temu eller Aliexpress och säljer dem vidare genom en egen webbshop till ett kraftigt högre pris. Försäljaren behöver aldrig ens se eller testa produkten.