Arbeiten mit immersivem VR-Video

• Übersicht
• Was ist äquirektangulare Projektion?
• Videoschnitt bei äquirektangularem Video
• Aktivieren der VR-Videoanzeige
• Anzeigen von immersivem Video in der VR-Videoanzeige
• Konfigurieren der VR-Videoanzeige
• Arbeiten mit Effekten
• Exportieren
• Übersicht
• Ressourcen

Übersicht

Immersives Video wird bereits seit Jahrzehnten in verschiedenen Szenarien eingesetzt, hat den Durchbruch als Breitenanwendung aber erst vor Kurzem geschafft.

Bei der am häufigsten verwendeten VR-Videolösung wird der Betrachter in einer Kugel platziert und der Videostream wird rundherum auf die Kugel gelegt. Diese Lösung wird noch immersiver durch die Verwendung von stereoskopischem Video, bei dem zwei getrennte Videostreams für die beiden Augen des Betrachters auf die Kugel gelegt werden. Diese Videobetrachtungsweise wird unter anderem bei den Benutzererfahrungen von YouTube, Google Cardboard und Facebook benutzt.

Entscheidend für diese Lösung ist es, die Daten so zu erfassen, formatieren und kodieren, dass sie auf einfache Weise auf die Kugel gelegt werden können. Am einfachsten wird diese Aufgabe mithilfe der äquirektangularen Projektion gelöst.

Was ist äquirektangulare Projektion?

Wenn Sie sich die Oberfläche einer Kugel vorstellen, wird jeder einzelne Punkt durch eine Breiten- und eine Längengradkoordinate bestimmt. Stellen Sie sich jetzt ein Standardvideobild vor. Videobilder haben eine Breite und eine Höhe und die einzelnen Punkte sind über ihre X- und Y-Koordinaten festgelegt.

Bei der äquirektangularen Projektion wird einfach die Kugel abgerollt und der Längengrad auf die X-Koordinate und der Breitengrad auf die Y-Koordinate übertragen.

Im Folgenden finden Sie ein bekanntes Beispiel, die Kartendarstellung der Erde:

Beachten Sie, dass das Bild zu den Polen hin verbreitert und gestreckt wird. Der Grund besteht darin, dass der räumliche Abstand zwischen den Längengradpositionen mit Nähe zu den Polen abnimmt. Die kürzeren Breitengrade in der Nähe eines Pols werden auf dieselbe Länge wie ein Breitengrad am Äquator gestreckt.

Aufgrund der Verzerrung ist es schwer vorstellbar, woraus ein äquirektangulares Bild zusammensetzt ist. Darüber hinaus sehen Sie mehr Informationen, als Sie normalerweise zu sehen gewöhnt sind, und ihre Position ist nicht intuitiv festgelegt. Das Objekt ganz rechts hinten im Bild befindet sich eigentlich hinter der Kamera und das Objekt ganz links hinten ist direkt rechts davon.

Die Golden Gate-Brücke zieht die Aufmerksamkeit auf sich, da sie sich in der Bildmitte befindet. Wenn Sie immersives Video aufnehmen, müssen Sie jedoch auf die gesamte Szene achten. Wenn Sie das Bild betrachten, geht daraus nicht hervor, dass sich hinter uns ein Zaun befindet. Oder dass hinter Ihrer linken Schulter jemand von diesem Zaun springt!

Um eine Story redaktionell gut erzählen zu können, muss man sich bewusst sein, was im gesamten Bild passiert. Dieses Problem ist eine noch größere Herausforderung bei der äquirektangularen Projektion. Adobe Premiere Pro CC 2015.3 bietet Ihnen alle notwendigen Werkzeuge, um sich in der ganzen Kugel umzuschauen, und simuliert die Ansicht, die Sie über ein Headset oder in einem Desktop-Viewer wie YouTube erhalten.

Videoschnitt bei äquirektangularem Video

Obwohl das Arbeiten mit äquirektangularer Projektion eine Herausforderung darstellen kann, unterscheidet es sich weniger als gedacht von anderen Videoformaten. Die meisten der Bearbeitungsfertigkeiten, Werkzeuge und Tricks sind vergleichbar. Das Zuschneiden, der Splice-Schnitt und die Spurbearbeitung funktionieren auf dieselbe Art und Weise. Auch viele der häufig verwendeten Effekte funktionieren bei der äquirektangularen Projektion gut.

Eine neue Funktion im Premiere Pro 2015.3-Release kann bei immersivem Video besonders hilfreich sein: die Proxy-Arbeitsabläufe. Manche äquirektangulare Videos können 8.000 Pixel breit x 8.000 Pixel hoch sein – viel größer als die meisten anderen Bildgrößen. Video mit solch hoher Auflösung lässt sich selbst mit Hardwarebeschleunigung nur schwer in Echtzeit dekodieren. Der neue Proxy-Arbeitsablauf in Premiere Pro ermöglicht es, während der Einspielung des Materials mit dem Schnitt zu beginnen, während im Hintergrund 2K-Versionen mit niedrigerer Auflösung erstellt werden, die mithilfe eines Mausklicks in der Zeitleiste ersetzt werden können.

Aktivieren der VR-Videoanzeige

Wenn Sie die VR-Videoanzeige im Programm- oder Quellmonitor aktivieren, bietet Premiere Pro Ihnen die Möglichkeit, eine Position innerhalb der Kugel einzunehmen und das Video aus der Sicht eines Benutzers anzuzeigen. Mit der VR-Videoanzeige können Sie verschiedene Betrachtungserlebnisse mit Ihrem äquirektangulären Video simulieren, beispielsweise mit einem VR-Headset wie dem Oculus Rift oder auf einem Desktop über YouTube oder Facebook.

Um die VR-Videoanzeige zu aktivieren, klicken Sie einfach auf das Symbol „Einstellungen“ (Schraubenschlüssel) auf der rechten Seite des Monitors und wählen dann „VR-Video“ > „Aktivieren“.

Über eine neue Monitor-Schaltfläche schalten Sie schnell die VR-Videoanzeige um. Sie können sie auf einfache Weise den Wiedergabesteuerungen Ihres Monitors hinzufügen. Um diese Schaltfläche hinzuzufügen, öffnen Sie den Schaltflächen-Editor, indem Sie auf das Symbol „+“ in der rechten unteren Ecke des Monitors klicken. Ziehen Sie die Umschalt-Schaltfläche für VR-Video zur gewünschten Position unter die Monitoranzeige.

Sie können auch eine Taste Ihrer Wahl zuweisen, um die VR-Videoanzeige eines oder beider Monitore mit den Tastaturbefehl umzuschalten.

Anzeigen von immersivem Video in der VR-Videoanzeige

Nachdem Sie die VR-Videoanzeige aktiviert haben, sehen Sie jetzt die Ansicht innerhalb der Kugel, und Ihr Bildschirm sieht wie folgt aus:

Oben in der Mitte ist das interaktive Fenster innerhalb der Kugel. Sie können Ihre Perspektive schnell ändern, indem Sie auf die Anzeige in der Kugel klicken und sie ziehen, um sie zu schwenken oder zu neigen. Sie können jederzeit schnell die Perspektive neu zentrieren, indem Sie auf eine beliebige Stelle in der Ansicht doppelklicken.

Mit den Reglern am rechten und unteren Rand werden Schwenkung und Neigung eingestellt.

Die numerischen Felder neben dem jeweiligen Schieberegler geben die angezeigte Position genau an. Sie können aber auch Ihre eigenen Werte eingeben. Bei positiven Werten richtet sich der Blick nach rechts bzw. oben, bei negative Zahlen nach links bzw. unten.

Der Drehregler am unteren Rand der Anzeige bietet weiteres visuelles Feedback darüber, in welche Richtung Sie gerade blicken. Sie können damit aber auch beim Schwenken klicken und ziehen, um die Perspektive nach links oder rechts zu verschieben. Der Regler ist insofern einzigartig, als er es Ihnen ermöglicht, eine vollständige Drehung auszuführen und anschließend Ihren Ausgangspunkt zu überschreiten.

Konfigurieren der VR-Videoanzeige

Die VR-Videoanzeige funktioniert sowohl mit monoskopischem als auch mit stereoskopischem Video. Sie können auch mit äquirektangularem Bildmaterial aus einem kleineren Ausschnitt der Kugel arbeiten. Sie können die Anzeige so konfigurieren, dass die Ansicht über ein Headset oder auf einem Desktop simuliert wird. Mithilfe eines Paars günstiger Rot/Cyan-Anaglyphenbrillen können Sie sogar stereoskopisches Material in 3D anzeigen.

Um die VR-Videoanzeige zu konfigurieren, klicken Sie auf das Symbol „Einstellungen“ (Schraubenschlüssel) auf der rechten Seite des Monitors und wählen Sie „VR-Video“ > „Einstellungen“.

Im Bildlayout können Sie angeben, ob Ihr Video monoskopisch oder stereoskopisch ist. Bei letzterem haben Sie die Wahl zwischen einem vertikal (Over/Under) oder horizontal angeordneten Layout (Side-by-Side). Wenn Sie eines der stereoskopischen Layouts auswählen, werden Ihnen eine Auswahl für die stereoskopische Ansicht (entweder linkes oder rechtes Auge) sowie das anaglyphe Rot/Cyan-Composite-Bild präsentiert.

Berücksichtigen Sie beim Arbeiten mit immersivem Video außer den Pixelmaßen der Ansicht auch die Winkel in Grad. Die Erfassungsansicht (Captured View) beschreibt, welcher Teil der Kugel im Videobild dargestellt wird. Normalerweise belassen Sie die Steuerelemente auf der Standardeinstellung für die ganze Kugel (360º horizontal Mal 180º vertikal).

Über die Monitoransichtsbilder können Sie steuern, welcher Teil der Kugel angezeigt wird, während Sie sich im VR-Videoanzeigemodus befinden. Hier können Sie die verschiedenen Ansichtsweisen simulieren. Beispiel: Unter Verwendung der Werte „90 Grad horizontal mal 60 Grad vertikal“ simulieren Sie ein Oculus Rift-Headset. „160 x 90 Grad“ simuliert die Anzeige in YouTube. Beachten Sie außerdem, dass diese Einstellungen das Seitenverhältnis des Ansichtsfensters bestimmen. Beispiel: 160 x 90 Grad entspricht einem 16:9-Anzeigefenster.

Arbeiten mit Effekten

Es gibt drei gängige Effekte, die in der äquirektangularen Projektion verwendet werden: Überblendungen, Farbe (Lumetri) und Geschwindigkeit. Diese Effekte ändern die Position eines Pixels nicht ausreichend, um Probleme zu verursachen. Als allgemeine Regel gilt: Wenn ein Effekt die vertikale Position eines Pixels ändert, funktioniert er wahrscheinlich nicht. Bedenken Sie, wie sich die vertikale Position eines Pixels auf seine horizontale Verzerrung auswirkt, wenn die Perspektive angewendet wird. Beispiel: Horizontale Squeeze- oder Wischblenden funktionieren, während ein einfacher Bild-im-Bild-Effekt verzerrt dargestellt wird, weil dabei sowohl die vertikale als auch die horizontale Abmessung des Bildes skaliert wird.

Beachten Sie auch Compositing-Aspekte. Sie können äquirektangulares Bildmaterial in einem Composite-Bild kombinieren, sofern Sie nicht die vertikale Position und Skalierung ändern. Sie können ein Objekt vor einem Green Screen im Äquirektangular-Modus aufnehmen und mittels Chromakey-Verfahren über ein Hintergrundbild legen. Herkömmliches, flaches Video kann mittels Compositing über Äquirektangular-Video gelegt werden, wobei jedoch zusätzliche Schritte nötig sind. Das bringt uns zum vierten häufigen Effekt: Titel und Grafiken. Um ein einfaches Bild, z. B. einen Titel, auf äquirektangulares Material zu legen, müssen Sie es in die Kugel projizieren. Um einfaches Video über äquirektangulares zu legen, verwenden Sie Plug-ins von Drittanbietern, z. B. SkyBox 360/VR-Tools von Mettle, insbesondere den 2D-Effekt von Mettle SkyBox Project.

Ein wichtiger integrierter Effekt, der beim Arbeiten mit äquirektangularem Video zu beachten ist, ist der Offset-Effekt (zu finden unter Videoeffekte/Verzerrung). Im Gegensatz zu einer herkömmlichen Kamera verfügt ein VR-Rig nicht über eine einzelne Linse zum Fokussieren auf ein Motiv. Die gesamte Szene wird auf einmal erfasst. Wenn Sie mehrere Aufnahmen zusammenschneiden, stellen Sie möglicherweise fest, dass Ihre Kamera die Ausrichtung geändert hat und das Motiv, das Ihnen am wichtigsten ist, sich an einer anderen Position befindet als in der vorherigen Einstellung. Sie möchten natürlich nicht, dass Benutzer ihren Kopf verdrehen zu müssen, um das Motiv wieder in ihr Sichtfeld zu bringen.

Dank Offset-Effekt können Sie das gesamte Bild drehen. Wenden Sie den Effekt auf ein Schnittsegment in der Zeitleiste an und ziehen Sie die erste Zahl des Parameterpaars für die Verschiebung der Bildmitte nach rechts oder links, je nachdem, in welche Richtung Sie den Clip schwenken möchten. Achten Sie darauf, dass Sie den zweiten Parameter nicht verschieben, da Sie damit die Regel für die vertikale Position verletzen würden. Eine letzte Bemerkung: Dieser Effekt ist kein Echtzeiteffekt und muss gerendert werden. Die „Rotate Sphere“-Effekt von Mettle bietet Echtzeitunterstützung. Sie können außerdem die vertikale Neigung verstellen und sogar rollen. Seien Sie vorsichtig, wenn Sie die Kugel neigen und rollen, da dies die Bildqualität beeinträchtigen kann. Der Grund liegt einfach in der Funktionsweise der äquirektangularen Projektion.

Exportieren

Äquirektangulares Video verhält sich beim Exportieren ähnlich wie jeder andere Videotyp, mit einigen Einschränkungen:

• Unabhängig vom ausgewählten Format und den ausgewählten Vorgaben müssen im Dialogfeld „Exporteinstellungen“ die Option für die Quellenskalierung in „Strecken zum Füllen“ ändern. Wenn Sie diese Option nicht ändern, wird das exportierte Video mit hoher Wahrscheinlichkeit in das Format „Letterbox“ oder „Pillars“ konvertiert, wodurch die Ränder der Kugel unterbrochen und diese verzerrt wird.
• Wenn Sie H.264, HEVC oder QuickTime exportieren, aktivieren Sie auf der Registerkarte mit den Videoeinstellungen das Kontrollkästchen „Video ist VR“. Wählen Sie anschließend das zum Quellvideo passende Bildlayout aus, wie Sie es auch für die VR-Videoanzeige-Einstellungen getan haben. Wenn Sie diese Einstellung aktivieren, wird äquirektangulares Video, das auf YouTube und Facebook veröffentlicht wird, automatisch in einem speziellen VR-Viewer wiedergegeben, nachdem es von dem Dienst verarbeitet wurde (das kann bis zu einer Stunde nach dem Abschluss des Upload dauern).
• Bei sehr großen äquirektangularen Bildern sollten Sie Container und Codec sehr sorgfältig auswählen. Auf einem Mac haben Sie die Wahl zum Exportieren mit QuickTime und mit einer der ProRes-Varianten.
  
  Unter Windows ist die Situation komplexer. Hier ist H.264 die beste Wahl. Beim Exportieren großer Bilder mit H.264 führen Sie die folgenden Schritte aus:

1. Wählen Sie das H.264-Format und die Voreinstellung zur Übereinstimmung mit der Quelle (Match Source).
2. Deaktivieren Sie die Kontrollkästchen für die Übereinstimmung mit der Quelle für Abmessungen, Profil und Pegel.
3. Ändern Sie das Profil auf „Hoch“ und den Pegel auf 5.2.
4. Wählen Sie bei der Quellskalierungseinstellung „Strecken zum Ausfüllen“.
5. Deaktivieren Sie den Seitenverhältnis-Link neben den Abmessungen und ändern Sie die Abmessungen in 4096 x 2304 (bzw. 2160 für 60 FPS).
6. Wählen Sie eine hohe Bitrate, z. B. 100 Mbit/s.
7. Um die besten Skalierungsergebnisse zu erzielen, aktivieren Sie die Option für die beste Renderqualität.

Nachfolgend finden Sie ein Beispiel für die stereoskopischen Exporteinstellungen bei H.264:

Übersicht

Adobe Premiere Pro ist seit langem das Standardwerkzeug von Cuttern, die mit immersivem VR-Video arbeiten. Mit der Version 2015.03 bietet Premiere Pro Ihnen Werkzeuge zum besseren Anzeigen, Exportieren und Freigeben von VR-Video. Darüber hinaus wächst der Markt für alles, was mit VR-Video zu tun hat, sehr schnell: VR-Rigs, Kameras, Stitching-Software für äquirektanguläres Video, Effekte, VR-Headsets und sogar Monitoring innerhalb der Anwendung über das Headset. Immersives VR-Video steckt noch in den Kinderschuhen, ist jedoch stark im Wachsen. Es unterscheidet sich von stereoskopischem 3D insofern, als es sich nicht um eine Handvoll großer Elektronikhersteller handelt, die die Technologie vorantreiben. Es wird von unzähligen großen und kleinen Unternehmen getragen, von denen viele zusammenarbeiten. Adobe leistet dabei kontinuierlich einen Beitrag.

Ressourcen

• Adobe Vorschau auf VR-Arbeitsabläufe bei der NAB 2016 
• Wikipedia-Artikel über äquirektangulare Projektion
• Plug-Ins von Drittanbietern:
  • Mettle: VR-Monitoring, Effekte
  • Kolor: VR-Monitoring, Stitching

Videoschulung zum Bearbeiten von 360/VR-Video in Premiere Pro

Bearbeiten von 360/VR-Video in Premiere Pro (monoskopisch und stereoskopisch)