Nowa metoda wykrywa fałszywe filmy w 99%
Informatycy z Uniwersytetu Kalifornijskiego w Riverside opracowali metodę wykrywania zmanipulowaną mimikę twarzy w filmach typu deepfake z dokładnością 99%!
Jest to lepszy wynik niż można uzyskać dzięki zastosowaniu najnowocześniejszych obecnie metod.
Osiągnięcie przybliża naukowców o krok do opracowania zautomatyzowanych narzędzi do wykrywania zmanipulowanych filmów, które zawierają treści propagandowe lub dezinformacyjne.
Rozwój oprogramowania do edycji wideo ułatwił wymianę twarzy jednej osoby na drugą i zmianę wyrazu w oryginalnych twarzach. Istnieją metody umożliwiające wykrywanie z rozsądną dokładnością zamiany twarzy. Jednak identyfikacja twarzy, w których zmieniono tylko wyraz twarzy, jest trudniejsza i do tej pory nie istnieje żadna wiarygodna technika.
Metoda z Riverside dzieli zadanie na dwa komponenty w ramach głębokiej sieci neuronowej. Pierwsza gałąź rozpoznaje mimikę twarzy i przekazuje informacje o regionach posiadających indywidualny wyraz, takich jak usta, oczy lub czoło, do drugiej gałęzi, znanej jako koder-dekoder. Architektura koder-dekoder odpowiada za wykrywanie i lokalizację manipulacji.
Struktura, zwana wykrywaniem manipulacji ekspresją lub EMD, może zarówno wykrywać, jak i lokalizować określone regiony w obrazie, które zostały zmienione.
„Uczenie się wielozadaniowe może wykorzystać wybitne funkcje poznane przez systemy rozpoznawania mimiki twarzy, aby przynosić korzyści szkoleniu konwencjonalnych systemów wykrywania manipulacji. Takie podejście osiąga imponujące wyniki w wykrywaniu manipulacji wyrazem twarzy” – powiedział doktorant Ghazal Mazaheri, który kierował badaniami.
Zestawy danych wzorcowych dla manipulacji twarzą opierają się na zamianie ekspresji i tożsamości. Przenosi się wyrażenia z filmu źródłowego na film docelowy bez zmiany tożsamości osoby w filmie docelowym.
Eksperymenty na dwóch zestawach danych dotyczących manipulacji na twarzy pokazują, że nowoopracowana metoda ma lepszą wydajność w wykrywaniu nie tylko manipulacji wyrazem twarzy, ale także zamiany tożsamości. EMD dokładnie wykryło 99% zmanipulowanych filmów.
Czytaj także: 100 tysięcy USD nagrody za wykrywanie deepfake’ów
