Deepfake-Detektoren sind gut, solange es um Gesichter geht
Heute ist das Defacto-Konsortium in Südkorea zusammengekommen, um den Projektstand abzugleichen: jeder Partner mit eigenem Vortrag, die Korean National Police Agency mit am Tisch. Ein Thema zog sich durch: Faceswapping ist der Fall, für den die aktuelle Detektionsforschung gerüstet ist - mit Modellen, Benchmarks und Trainingsdaten. Sobald aber nicht das Gesicht manipuliert ist, sondern der Körper, die Szene oder nur ein kurzer Abschnitt eines ansonsten echten Videos, fehlt beides: die Verfahren und das Material, an dem man sie prüfen könnte.
Genau hier setzt unser Forschungsbereich Industrial Deep Learning im Defacto Projekt an. Wir bauen die Fakes, an denen sich Detektionsverfahren bewähren müssen: großflächige Szenenmanipulationen über automatisierte Pipelines, die Diffusionsmodelle systematisch durchprompten. Als nächsten Schritt führen wir Lipsync-Manipulationen ein, bei denen nur Teile eines Videos verfälscht sind und der Rest echt bleibt. Das ist zugleich der Übergang von Single- zu Multimodalität: Bild und Ton gemeinsam gefälscht.
Die Arbeiten entstehen gemeinsam mit der Georg-August-Universität Göttingen.
Tobias Meisen, Leiter des TMDT, hat unsere Ergebnisse in Korea vorgestellt, die Arbeit dahinter kommt vom unseren wissenschaftlichen Mitarbeiter*innen Nathalie Ilic und Iskandar Omrane, gemeinsam mit Dr.-Ing. Hasan Tercan Tercan, Leiter des Forschungsbereichs.
