Gesichts-Tracking

Zuletzt aktualisiert am 3. November 2023

Face Tracking-Übersicht

Mit dem Gesichts-Tracking können Sie menschliche Gesichter präzise erkennen und verfolgen. Mit einfachem Masken-Tracking können Sie schnell Effekte auf ein Gesicht anwenden, wie eine selektive Farbkorrektur, das Verzerren eines Gesichts und vieles mehr.

Mit dem Gesichts-Tracking können Sie jedoch auch bestimmte Stellen des Gesichts wie die Pupillen, den Mund oder die Nase verfolgen und diese Gesichtszüge dadurch isolieren und detaillierter bearbeiten. Ändern Sie z. B. die Augenfarbe oder betonen Sie Mundbewegungen, ohne dass Sie jeden einzelnen Frame anpassen müssen.

Mit After Effects können Sie auch Gesichtszüge messen. Durch das Tracking von Gesichtsmaßen erhalten Sie detaillierte Informationen – z. B. wie weit der Mund oder ein Auge geöffnet ist. Wenn jeder Datenpunkt isoliert ist, können Sie Inhalte optimieren. Außerdem kannst du auch detaillierte Tracking-Daten nach Adobe Character Animator exportieren, um performancebasierte Charakteranimationen zu erstellen.

Der Gesichts-Tracker funktioniert größtenteils automatisch, Sie können jedoch bessere Ergebnisse erzielen, indem Sie die Analyse in einem Frame beginnen, der eine senkrechte Frontalansicht des Gesichts enthält. Ausreichende Beleuchtung der Fläche kann die Genauigkeit der Flächenerkennung verbessern.

Im Tracker-Panel gibt es zwei Gesichtstracking-Optionen:

  • Gesichts-Tracking (Nur Kontur): Verwende diese Option, wenn du nur die Kontur des Gesichts verfolgen möchtest.
  • Gesichts-Tracking (detaillierte Merkmale): Verwenden Sie diese Option, wenn Sie die Position von Augen (einschließlich Augenbrauen und Pupillen), Nase und Mund verfolgen und optional Maße verschiedener Merkmale extrahieren möchten. Diese Option ist erforderlich, wenn Sie die Tracking-Daten in Character Animator verwenden möchten.

    Wenn Sie die Option „Detaillierte Merkmale“ verwenden, wird ein der Effekt „Gesichts-Track-Punkte“ auf die Ebene angewendet. Der Effekt enthält mehrere 2D-Effekt-Kontrollpunkte mit Keyframes, von denen jeder an erkannte Gesichtszüge angehängt ist (zum Beispiel die Augenwinkel und der Mund, Positionen der Pupillen, die Nasenspitze).

Tracking der Kontur einer Fläche

Wähle in After Effects Datei > Import > Datei.Durchsuche den Speicherort des Filmmaterials und füge es dem Projekt hinzu.

Projektfenster

Ziehe das Filmmaterial aus dem Projekt-Bedienfeld in eine Komposition, um eine Ebene hinzuzufügen.

Hinzufügen einer Ebene zu einer Komposition

Positioniere die Zeitmarke (CTI) auf einem Frame, das eine frontale, aufrechte Ansicht der Fläche zeigt, die du verfolgen möchtest.

Anmerkung

Die Gesichtserkennung wird verbessert, wenn der erste zu verfolgende Frame ein nach vorne blickendes und aufrecht orientiertes Gesicht hat.

Gesichtserkennung

Zeichnen Sie eine grobe geschlossene Maske um das Gesicht, die Augen und Mund enthält. Die Maske definiert die Suchregion für die Gesichtsmerkmale. Wenn mehrere Masken ausgewählt sind, wird die oberste Maske verwendet.

Zeichnen einer Maske

Wähle bei ausgewählter Maske Fenster > Tracker , um das Tracker-Bedienfeld zu öffnen.Stelle die Tracking-Methode auf Face Tracking (Nur Kontur) ein.

Auswählen einer Tracking-Methode

Verfolge im Tracker-Bedienfeld Frame für Frame vorwärts oder rückwärts, um sicherzustellen, dass das Tracking korrekt funktioniert, und klicke dann auf den -Button, um mit der Analyse aller Frames zu beginnen.

Sobald die Analyse abgeschlossen ist, stehen die Face-Tracking-Daten in der Komposition zur Verfügung.

Tracking detaillierter Features und Extrahierung von Gesichtsmessungen

Wähle in After Effects Datei > Import > Datei.Durchsuche den Speicherort des Filmmaterials und füge es dem Projekt hinzu.

Ziehe das Filmmaterial aus dem Projekt-Bedienfeld in eine Komposition, um eine Ebene hinzuzufügen.

Positioniere die Zeitmarke auf einem Frame, das eine frontale, aufrechte Ansicht der Fläche zeigt, die du verfolgen möchtest.

Anmerkung

Die Gesichtserkennung wird verbessert, wenn der erste zu verfolgende Frame ein nach vorne blickendes und aufrecht orientiertes Gesicht hat.

Zeichnen Sie eine grobe geschlossene Maske um das Gesicht, die Augen und Mund enthält. Die Maske definiert die Suchregion für die Gesichtsmerkmale. Wenn mehrere Masken ausgewählt sind, wird die oberste Maske verwendet.

Wähle mit ausgewählter Maske Fenster > Tracker aus, um das Tracker-Bedienfeld zu öffnen. Stelle die Tracking-Methode auf Face Tracking (Detailed Features).

Tracke im Tracker-Bedienfeld Frame für Frame vorwärts oder rückwärts, um sicherzustellen, dass das Tracking korrekt funktioniert, und klicke dann auf den -Button, um mit der Analyse aller Frames zu beginnen.

Nach Abschluss der Analyse stehen die Tracking-Daten im neuen Effekt Gesicht-Track-Punkte zur Verfügung. Du kannst auf Face-Tracking-Daten innerhalb der Komposition oder im Effekte-Bedienfeld (Fenster > Effekt-Steuerung) zugreifen.

Steuerelemente für den Effekt „Gesichts-Track-Punkte“

Verschieben Sie die Zeitmarke auf einen Frame mit einem neutralen Gesichtsausdruck (die Ruhepose). Gesichtmaße auf anderen Frames verhalten sich relativ zum Ruheposenframe. Klicke im Tracker-Bedienfeld auf Set Rest Pose.

Klicke im Tracker-Bedienfeld auf Extract & Copy Face Measurements. Ein Effekt „Gesichtsmaße“ wird der Ebene hinzugefügt und die Keyframes werden basierend auf Berechnungen erstellt, die anhand der Keyframe-Daten unter „Gesichts-Track-Punkte“ durchgeführt wurden. Die Face Measurements Keyframe-Daten werden zur Verwendung in Character Animator in die System-Zwischenablage kopiert.

Anmerkung

Die Keyframes für Face Measurements werden basierend auf den Face Track Points Keyframe-Daten generiert, relativ zur Rest Pose (siehe Schritt 8).

Steuerelemente für den Effekt „Gesichtsmaße“

Referenz für Face-Tracking-Daten

Face Track Points

Der Face Tracker-Effekt erstellt Effekt-Steuerungspunkte für verschiedene Gesichtsmerkmale, die du im Timeline-Bedienfeld anzeigen kannst.

Face Measurements

Wenn Sie die Option „Detaillierte Merkmale“ verwendet haben, können Sie noch weitere Informationen in Form von den parametrischen Messungen von Gesichtszügen extrahieren. Diese werden als Gesichtsmaße bezeichnet. Alle angezeigten Messungen für das von dir getrackte Gesicht sind relativ zum Rest Pose Frame.

Gesichtsversatz

Gibt die Position des Gesichts bei einem Versatzwert von 0 % im Ruheposenframe an. Die folgenden Datenpunkte werden bereitgestellt und zeigen Versatzwerte auf der x-, y- und z-Achse an:

  • Versatz X
  • Versatz Y
  • Versatz Z

Gesichtsausrichtung

Gibt dreidimensionale Ausrichtungen des Gesichts an. Die Ausrichtung wird mithilfe der folgenden Datenpunkte gemessen, die x-, y- und z-Achsen anzeigen:

  • Ausrichtung X
  • Ausrichtung Y
  • Ausrichtung Z

Linkes Auge

Zeigt verschiedene Messpunkte für das linke Auge an und enthält die folgenden Datenpunkte:

  • Augenbrauenabstand links
  • Öffnung linkes Augenlid
  • Blickrichtung links X
  • Blickrichtung links Y

Rechtes Auge

Zeigt verschiedene Messpunkte für das rechte Auge an und enthält die folgenden Datenpunkte:

  • Abstand rechte Augenbraue
  • Augenlid-Öffnung rechts
  • Blickrichtung rechts X
  • Blickrichtung rechts Y

Mund

Zeigt verschiedene Messpunkte für den Mund an und enthält die folgenden Datenpunkte:

  • Mund-Versatz X
  • Mund-Versatz Y
  • Breite Mund-Skalierung
  • Höhe Mund-Skalierung