Filmy z dubbingiem dzięki deepfake'om mogą nabrać głębi

Filmy z dubbingiem mają jedną, zasadniczą wadę – po wyciszeniu oryginalnej ścieżki dialogowej kwestie wypowiadane przez aktorów głosowych brzmią dziwnie, gdyż nie zgrywają się z ruchami ust postaci widocznej na ekranie. Startup Flawless proponuje, aby rozwiązać ten problem za pośrednictwem technologii deepfake. Algorytm zaprezentowany przez firmę nie skupia się na rekonstrukcji wyglądu całej twarzy, a jedynie na mięśniach mimicznych. Oprogramowanie bazuje na dwóch materiałach wsadowych – oryginalnym filmie oraz nagraniu lektora. System wyszkolony za pośrednictwem technologii uczenia maszynowego wykorzystuje te dane, aby zrekonstruować ruchy warg w taki sposób, aby odpowiadały temu, co wypowiada lektor. Efekt pracy algorytmu od Flawless można zaobserwować na poniższym materiale. Choć obraz przetworzony przez sztuczną inteligencję nie jest perfekcyjny i momentami można odnieść wrażenie, że niektórzy aktorzy dość sztywno poruszają ustami, prezentuje się o wiele bardziej naturalnie niż klasyczny dubbing bez deepfake’owego wspomagania. Jack Nicholson oraz Tom Cruise w Ludzie honoru wypadają zaskakująco wiarygodnie, kiedy rozmawiają ze sobą po francusku: Według przedstawicieli Flawless największą zaletą ich rozwiązania jest wysoka skalowalność. Koszty wdrożenia technologii są niewielkie, a sam proces przetwarzania materiału źródłowego relatywnie prosty. Dodatkowo algorytm nie ingeruje nadmiernie w mimikę twarzy aktora, starając się wiernie odtworzyć jego ekspresję. W tym miejscu warto zauważyć, że praca zespołu Flawless opiera się na badaniach przeprowadzonych przez naukowców z Instytut Informatyki im. Maxa Plancka, którzy już w 2019 roku zaprezentowali algorytm deepfake’owy imitujący mimikę twarzy osoby z macierzystego nagrania. Flawless jest twórczym rozwinięciem tego projektu: Ale algorytm od Flawless nie działa w pełni automatycznie. Twórcy szacują, że 85% pracy przy przetwarzaniu obrazu na potrzeby dubbingu realizuje sztuczna inteligencja. Resztę poprawek należy wykonać ręcznie, aby usunąć pewne niedoskonałości. Czasami zachodzi także potrzeba wykonania ponownego przebiegu algorytmu, gdy efekt jego pracy nie zawsze jest zadowalający. Aby taka technologia trafiła pod strzechy, musimy zmienić nasze spojrzenie na kinematografię. Wszak takie modyfikowanie obrazu wypacza pierwotną formę dzieła, co może nie spodobać się zarówno reżyserowi, jak i aktorom, którzy zostaną poddani procesowi translacji ruchów mimicznych. Wiele wskazuje jednak na to, że deepfake dubbingowy wkrótce mogą zagościć na rynku. Przedstawiciele Flawless poinformowali o nawiązaniu współpracy z pewnym klientem zainteresowanym ich technologią. Na razie nie mogą zdradzić, o jaką firmę chodzi.