Prime Video använder AI för att synkronisera skådespelares läpprörelser i dubbade serier och filmer.

Den tyska dramaserien “Maxton Hall” är först ut med en ny typ av AI-teknik hos en större streamingtjänst. När tittarna väljer engelsk dubbning av de två första säsongerna anpassas skådespelarnas läpprörelser med hjälp av en kombination av AI och visuella effekter. Det gör att dubbningen upplevs som betydligt mer naturlig, skriver SVT Kultur.

Tekniken har utvecklats för att minska den störande effekt som uppstår när tal i en översatt version inte stämmer överens med skådespelarnas munrörelser. Enligt SVT Kultur är Prime Video den första av de stora streamingtjänsterna att använda tekniken i en serieproduktion. Dubbningen i sig görs fortfarande av mänskliga röstskådespelare. AI:n används enbart för att matcha läpparna mot dialogen i det språk som serien är dubbad till.

Maxton Hall är en tysk romantisk dramaserie som bygger på Mona Kestens böcker och har nått en bred internationell publik sedan premiären på Prime Video. Serien, som utspelar sig på en exklusiv internatskola i England, blev snabbt en tittarsuccé och är ett exempel på hur tyska produktioner kan fungera på den globala streamingmarknaden. Att just Maxton Hall blir först med den nya läppsynkroniseringen kan ses som ett tecken på att plattformarna vill testa tekniken på produktioner som redan har en etablerad internationell publik.

Utvecklingen kommer samtidigt som dubbningsbranschen genomgår stora förändringar. När streamingtjänsterna expanderar till nya marknader har behovet av lokalisering vuxit snabbt. I länder som Tyskland, Frankrike, Spanien, Italien och stora delar av Latinamerika är dubbning sedan länge den vanligaste formen av tv-underhållning. För globala tjänster som Prime Video och Netflix innebär det att en produktion måste göras tillgänglig på många språk för att nå en bred publik. Dubbning har därför blivit en allt viktigare del av ekonomin i film- och tv-branschen.

Den nya typen av AI-stöd kan sänka kostnaderna och korta ledtiderna i dubbningsarbetet. I stället för att acceptera att bilden inte stämmer med ljudet kan tekniken justera ansiktsrörelser i efterhand. Det är ett verktyg som gör det möjligt att förbättra kvaliteten på redan dubbade scener utan att spela in om dem. Samtidigt är frågan känslig för yrkesverksamma inom röst- och filmarbete. Skådespelare och fackförbund har under flera år varnat för att AI skulle kunna användas för att ersätta mänsklig talang. Under den stora skådespelarstrejken i Hollywood 2023 var just skyddet mot AI en av de centrala frågorna. I dagsläget är röstskådespelarna kvar i produktionen av Maxton Hall, men tekniken väcker ändå frågor om hur AI-användningen kommer att utvecklas i framtiden.

Även på andra håll i teknikvärlden används liknande metoder. YouTube och Meta har testat AI-baserad dubbning och läppsynk i sina sociala plattformar. Skillnaden mot Prime Video är att det där framför allt rör sig om användargenererat innehåll, medan Maxton Hall är en etablerad serieproduktion med en pr-mässig och kommersiell tyngd som är betydligt större. Det visar att tekniken håller på att flytta sig från korta sociala medier-klipp till den professionella tv-branschens absoluta toppskikt.

För svenska tittare är dubbning framför allt förknippat med barnprogram, medan vuxenpubliken i hög utsträckning föredrar textad originalvideo. Internationellt är situationen annorlunda. I flera av de största tv-marknaderna är dubbning inte ett undantag utan en regel. Det innebär att de globala streamingtjänsterna investerar stora summor i översättning, dubbning och efterbearbetning. Att använda AI för att förbättra läppsynk kan ge både snabbare leveranser och högre upplevd kvalitet – något som blir allt viktigare i en bransch där konkurrensen om tittarnas tid är hård.

För publiken märks skillnaden främst när skådespelare talar i bild. Om dialogen är korrekt översatt men läpparna rör sig i otakt uppfattas dubbningen ofta som störande, oavsett hur bra röstinsatsen är. Med den nya tekniken kan bilden av ansiktet justeras så att rörelserna stämmer bättre överens med det dubbade talet. Det är ett ingrepp som sker automatiskt men som gör stor skillnad för tittarupplevelsen. Exakt hur mycket AI som i framtiden kommer att påverka det konstnärliga resultatet, och vad det innebär för de människor som arbetar med dubbning, lär bli en av de frågor som präglar branschen under de närmaste åren.