Deepfake: Keanu Reeves powstrzymuje uzbrojonego złodzieja

O potencjale tkwiącym w deepfake'ach wspominaliśmy wielokrotnie. Dzięki tej technologii stosunkowo niskim nakładem kosztów można przerobić film w taki sposób, aby podmienić w nim twarz wskazanej osoby na twarz kogoś innego. Wystarczy wykorzystać technologię uczenia maszynowego i nauczyć sztuczną inteligencję fizjonomii docelowego obiektu. Resztę pracy algorytm wykona automatycznie - przeanalizuje nagranie, wychwyci kluczowe ruchy mimiczne i nałoży nową warstwę graficzną na twarz aktora. Być może brzmi to dość zawile, ale z punktu widzenia odbiorcy działa bardzo prosto: jeśli mamy dużo zdjęć jakiejś osoby i dysponujemy algorytmem deepfake, możemy zamienić dowolną twarz z nagrania na twarz tego człowieka. Końcowa jakość produkcji zależy od tego, jak obszerną bazą zdjęć mamy do wykorzystania. Nic więc dziwnego, że najlepszym obiektem do zabawy z deepfake'ami są słynni aktorzy. W końcu wystarczy nakarmić algorytm kadrami z ich filmów, aby stworzyć dobrze wyglądające sfałszowane nagranie. Na przykład takie przedstawiające Keanu Reevesa, który zapobiega kradzieży w sklepie: Za stworzenie tego nagrania odpowiedzialny jest zespół kreatywny z youtube'owego kanału Corridor. Twórcy postanowili od podstaw nakręcić deepfake'owy film z Keanu w roli głównej, a nie korzystać z gotowych nagrań. W materiale zza kulis autorzy krok po kroku wyjaśniają, w jaki sposób udało im się stworzyć tak dobrze wyglądający film. Aby algorytm dobrze poradził sobie z przetworzeniem obrazu, aktora wyjściowy musiał być jak najbardziej podobny do Keanu, dlatego zdecydowano się na wykorzystanie peruki, która miała przypominać prawdziwe włosy Reevesa. Na planie trzeba było zadbać także o dobre oświetlenie, gdyż sztuczna inteligencja nie radzi sobie zbyt dobrze z obróbką twarzy skrytych w półcieniach. Z kolei operator musiał zadbać o to, aby unikać filmowania osoby wcielającej się w aktora z profilu. Takie ujęcia są problematyczne, gdyż oprogramowanie nie radzi sobie zbyt dobrze z przetwarzaniem kształtu nosa. W ekstremalnych przypadkach może w ogóle nie być w stanie podmienić twarzy. A to jeszcze nie koniec sztuczek, jakie należało wykorzystać podczas realizacji tego deepfake'a. Największą przeszkodą na drodze do stworzenia wiarygodnych deepfake'ów jest fakt, że ta sztuczna inteligencja generuje obraz w stosunkowo niewielkiej rozdzielczości. Oznacza to, że w filmie nie można było kręcić ujęć z bliska, jeśli chciało się zamaskować niedoskonałości algorytmu. Z tego powodu zdecydowano się na realizację nagrania w stylu found footage - niska jakość nagrania z komórki nie powinna nikogo dziwić, w tym przypadku celowo obniżono jakości materiału wejściowego. Ponadto zdecydowano się na kręcenie kadrów w pionie. Wszystko po to, aby twarz wygenerowana przez algorytm była jak najmniejsza na finalnym nagraniu. Twórcy z Corridor wzięli na warsztat nie tylko Keanu Reevesa. Przygotowali także sfałszowane nagranie pokazujące, jak Tom Cruise odwiedza ich w firmowym biurze. Oto jak w rzeczywistości mogłaby wyglądać wspomniana wizyta.