Słuchawki C-Face rozpoznają mimikę twarzy użytkownika

Inżynierowie od dawna eksperymentują z systemami rozpoznawania twarzy, które ułatwiają nam interakcje z elektroniką użytkową. Apple wyniosło tę technologię na wyżyny, tworząc algorytmy zdolne do autoryzacji tożsamości za pośrednictwem danych pozyskanych z układu optycznego Face ID. Badacze z Cornell University postanowili pójść o krok dalej i skupili się na usprawnieniu systemów wyspecjalizowanych w precyzyjnym śledzeniu emocji. Zespół zaprojektował słuchawki C-Face, które mogą monitorować zmiany w zakresie napięcia mięśni mimicznych bez konieczności korzystania z dodatkowych czujników montowanych na skórze. Ich gadżet wyposażono w niewielkie kamery przy nausznikach, które mają śledzić położenie konturów szczęki i na tej podstawie oceniać, jakie emocje rysują się na twarzy użytkownika. Aby dopracować algorytm w tak precyzyjnym zadaniu, konieczne było wyszkolenie go przy wykorzystaniu technologii uczenia maszynowego. Efekt prac sieci neuronowej okazał się więcej niż zadowalający. Oprogramowanie nauczyło się rozpoznawać zmiany w zakresie 42 kluczowych punktów mimicznych, z których można wyczytać ruch mięśni odpowiedzialnych za ułożenie ust, oczu oraz brwi. Tym samym nauczono algorytm, jak rozpoznawać podstawowe emocje, jakie można wyczytać z ludzkiej twarzy. Nawet jeśli ta skrywa się za maseczką. Ale to był dopiero początek prac nad C-Face, gdyż kolejnym krokiem było wykorzystanie zdobytej wiedzy w praktyce. I tu zaprezentowano kilka ciekawych pomysłów. Badacze zasugerowali, że takie słuchawki mogłyby być wykorzystane do zautomatyzowanego wprowadzania emoji w trakcie konwersacji bądź do bezgłośnego kontrolowania systemów rozpoznawania mowy. Dysponując tymi słuchawkami moglibyśmy szeptać polecenia bądź jedynie imitować ruch ust, aby pobudzić inteligentnych asystentów do działania. W materiale filmowym zobaczyliśmy także, jak ruch mięśni przechwycony przez C-Face może zostać wykorzystany do animowania wirtualnych awatarów. A jeśli zespolilibyśmy tę technologię z grami komputerowymi, być może moglibyśmy sprawić, aby bohaterowie, w których się wcielamy, synchronizowali ruch ust z tym, co wypowiadamy za pośrednictwem czatu głosowego. Prace nad projektem są dopiero we wczesnej fazie rozwojowej, C-Face przetestowano jedynie na dziewięciu użytkownikach, dlatego nie wiadomo, jak taka technologia sprawdzałaby się na szeroką skalę. Ale nawet mimo ograniczonych testów C-Face i tak zaskakują precyzją działania. Słuchawki wykazały się 88-procentową skutecznością w tworzeniu emoji oraz 85-procentową skutecznością w odwzorowywaniu rysów twarzy monitorowanej osoby. Kolejnym wyzwaniem, z którym zmierzy się zespół z Cornell University będzie usprawnienie systemu zasilania C-Face. To on zdaniem badaczy stanowi obecnie wąskie gardło tej technologii.