Datenbasierte Gesichtsanimation

Die Erzeugung realistischer 3D-Computeranimationen von Gesichtern ist auf Grund der hohen Bedeutung des menschlichen Gesichts für eine Vielzahl von Anwendungsbereichen von Interesse. Neben virtuellen Schauspielern in der Film- und Computerspiele-Industrie oder Online-Avataren verlangt auch die experimentelle Untersuchung der menschlichen Wahrnehmung von Gesichtern nach effizienten Lösungen zur Erstellung von Gesichtsanimationen. Insbesondere die experimentelle Verwendung motiviert den in dieser Arbeit vertretenen datenbasierten Ansatz, der möglichst ohne die in der Industrie übliche kreativ-handwerkliche Gestaltung der Gesichtsdaten auskommen will.

Die Arbeit beschreibt, wie Messdaten realer Gesichter in Form von Motion Capture sowie 3D- bzw. 4D-Scans für diese Aufgabe eingesetzt werden können. Ausgehend von der Grundannahme der Darstellbarkeit eines Gesichts und dessen Bewegungen als Linearkombination werden Möglichkeiten der Gewinnung und Nutzung solcher Daten aufgezeigt:

Der erste Teil kombiniert statische Oberflächenmessungen des Gesichts in Form von räumlich hoch aufgelösten 3D-Scans mit den zeitlich hoch aufgelösten, markerbasierten Bewegungsdaten eines Motion-Capture-Systems. Hierzu werden die gemessenen Bewegungen durch eine semantische Parametrisierung auf Basis des Facial Action Coding Systems (FACS) dargestellt. Dies erlaubt nicht nur die identitätsunabhängige Übertragung der Bewegung auf ein beliebiges Gesicht, sondern auch eine kompakte und gleichzeitig interpretierbare Beschreibung der Bewegung.

Die zweite Hälfte der Arbeit baut auf neuen Messverfahren auf, die eine detaillierte 3D-Aufnahme des zeitlichen und räumlichen Verlaufs komplexer Gesichtsbewegungen in einem einzigen Aufnahmevorgang als 4D-Scan ermöglichen. Um solche Daten jedoch systematisch einsetzen und verändern zu können, werden Methoden zur Herstellung einer Korrespondenz zwischen den einzelnen Zeitschritten der Aufnahme benötigt. Hierzu werden sowohl ein modellfreies Verfahren als auch ein modellbasiertes Verfahren zur Rekonstruktion von Gesichtsbewegungen vorgestellt. Mit Hilfe des modellbasierten Ansatzes wird zudem gezeigt, wie stark verrauschte Daten echtzeitfähiger Tiefensensoren rekonstruiert werden können. Schließlich wird die modellbasierten Bewegungsanalyse dazu verwendet, aus Aufnahmen komplexer Gesichtsbewegungen FACS-Aktivierungen zu gewinnen und damit ein individuelles Gesichtsmodell zu berechnen, das interpretierbare Parameter besitzt.