Trabajar con vídeo VR inmersivo

• Información general
• ¿Qué es la proyección equirrectangular?
• Edición de vídeo equirrectangular
• Habilitar la visualización de vídeo de realidad virtual
• Ver vídeo inmersivo en la visualización de vídeo de realidad virtual
• Configurar la visualización de vídeo de realidad virtual
• Uso de efectos
• Exportación
• Resumen
• Recursos

Información general

El vídeo inmersivo ha adoptado diferentes formas durante décadas, pero no ha sido hasta hace poco que ha irrumpido con fuerza a gran escala.

La solución de vídeo VR más común coloca el visor dentro de una esfera y la envuelve con un flujo continuo de vídeo alrededor. Esta función puede ser todavía más inmersiva cuando se utiliza vídeo estereoscópico, que permite al visor ver un flujo único de vídeo envolvente para cada ojo. YouTube, Google Cardboard o Facebook ofrecen esta experiencia de visualización de vídeo.

La clave de esta función es capturar, dar formato y codificar de tal manera que se pueda envolver alrededor de una esfera. El modo más sencillo de conseguirlo es mediante la proyección equirrectangular.

¿Qué es la proyección equirrectangular?

Si pensamos en la superficie de una esfera, un punto único se define con unas coordenadas de latitud y de longitud. Consideremos ahora un fotograma de vídeo estándar. Un fotograma de vídeo tiene una anchura y una altura, con puntos definidos como coordenadas X e Y.

La proyección equirrectangular simplemente desenvuelve la esfera y asigna la longitud a la coordenada X y la latitud a la coordenada Y.

Un ejemplo conocido es un planisferio:

Observe cómo la imagen se ensancha y progresa hacia los polos. El motivo es que la distancia espacial entre las posiciones longitudinales disminuye a medida que se acerca al polo. La circunferencia más pequeña de una línea de latitud cercana a un polo se estira a la misma distancia que la latitud en el ecuador.

Esta distorsión hace que sea difícil comprender de qué se compone una imagen equirrectangular. Además, se visualiza mucha más información de lo acostumbrado y su posición no se define de forma intuitiva. El objeto en el extremo derecho del fotograma, en realidad, está detrás de la cámara y el objeto en el extremo izquierdo está justo a la derecha de él.

El Golden Gate llama la atención porque está cerca del centro del fotograma; ahora bien, si se graba vídeo inmersivo, lo que se desea es incorporar toda la escena. Si miramos el fotograma, no se ve que hay una valla detrás de nosotros. Y, por detrás de su hombro izquierdo, ¡también hay una chica valiente que ha saltado la valla!

Para contar una buena historia desde el punto de vista editorial, debe tenerse en cuenta lo que ocurre en todo el fotograma. Este problema constituye un verdadero desafío en la proyección equirrectangular. Adobe Premiere Pro CC 2015.3 proporciona las herramientas necesarias para mirar alrededor de la esfera, y simula la visión que se podría tener con unas gafas de realidad virtual o con un visor de escritorio como YouTube.

Edición de vídeo equirrectangular

Aunque trabajar con la proyección equirrectangular suponga un reto, no difiere tanto de los demás formatos de vídeo. Podrá usar la mayoría de sus habilidades, herramientas y trucos de edición. Los recortes, los empalmes y la manipulación de las pistas funcionan de la misma manera. Incluso muchos de los efectos más comunes funcionan bien en la proyección equirrectangular.

Una novedad de la versión Premiere Pro 2015.3 especialmente útil en el vídeo inmersivo son los flujos de trabajo de proxy. Algunos vídeos equirrectangulares pueden llegar a tener 8000 píxeles de ancho por 8000 píxeles de alto, una resolución mucho mayor que la mayoría de los tamaños de fotogramas. Los vídeos con una resolución tan alta pueden resultar difíciles de descodificar en tiempo real, ni siquiera con aceleración de hardware. El nuevo flujo de trabajo de proxy de Premiere Pro permite ingerir este material y empezar a editar con él, mientras que las versiones 2K de menor resolución se generan en segundo plano, y está listo para colocarse en la línea de tiempo haciendo clic en un botón.

Habilitar la visualización de vídeo VR

Premiere Pro habilita la visualización de vídeo VR en el monitor de programa o de origen, y permite adentrarse en la esfera y ver el vídeo desde la perspectiva del usuario. Mediante la visualización de vídeo de realidad virtual, puede simular distintas experiencias de visualización con su vídeo equirrectangular, por ejemplo, mediante un visor de realidad virtual como Oculus Rift o en un equipo de escritorio con YouTube o Facebook.

Para activar la visualización de vídeo VR, haga clic en el icono Configuración (llave inglesa) en el lado derecho del monitor y elija Vídeo VR > Habilitar.

Un botón de monitor nuevo alterna con rapidez la visualización del vídeo VR; utilícelo para añadirlo fácilmente a los controles de reproducción del monitor. Para añadir este botón, abra el Editor de botones haciendo clic en el icono + en la parte inferior derecha del monitor. Arrastre el botón Alternar visualización de vídeo VR a la posición deseada bajo el monitor.

También puede asignar la tecla que desee para alternar la visualización del vídeo VR desde cualquier monitor o desde ambos mediante el cuadro de diálogo Métodos abreviados de teclado.

Ver vídeo inmersivo en la visualización de vídeo VR

Después de activar la visualización de vídeo VR, la vista se obtiene desde dentro de la esfera y el monitor se transforma en una experiencia similar a esta:

La parte central superior es la ventana interactiva dentro de la esfera. Puede cambiar al instante de perspectiva haciendo clic en la vista y arrastrándola hacia dentro de la esfera, con lo cual podrá obtener una panorámica o inclinar fácilmente. En cualquier momento, puede volver a centrar enseguida la perspectiva haciendo doble clic en cualquier punto dentro de la vista.

Los reguladores a lo largo de los bordes derecho e inferior permiten controlar la inclinación y la panorámica, respectivamente.

Los campos numéricos junto a cada regulador indican con exactitud la posición de visualización; también permiten introducir valores personalizados. Los valores positivos aplican una panorámica a la derecha e inclinan hacia arriba; por su parte, los valores negativos mueven su perspectiva hacia la izquierda y abajo.

El control radial en la parte inferior de la pantalla ofrece información más visual sobre el lugar a donde se dirige; también permite hacer clic y arrastrar para obtener una panorámica de la perspectiva hacia la izquierda y la derecha. El control es único porque permite dar toda la vuelta y pasar del punto de inicio.

Configurar la visualización de vídeo VR

La visualización de vídeo VR funciona con vídeo monoscópico y estereoscópico. También puede trabajar con secuencias equirrectangulares de una sección más pequeña de una esfera. Puede configurarlas para simular la vista con unas gafas o en el escritorio; incluso puede ver secuencias estereoscópicas en 3D utilizando unas gafas anaglifo rojo/cian económicas.

Para configurar la visualización de vídeo VR, haga clic en el icono Configuración (llave inglesa) en el lado derecho del monitor y, a continuación, elija Vídeo VR > Configuración.

Diseño de marcos permite configurar si el vídeo es monoscópico o estereoscópico y, en el último caso, también puede elegir entre un diseño por encima/debajo o en paralelo. Si elige uno de los diseños estereoscópicos, podrá configurar si la vista estereoscópica se obtiene desde la izquierda o la derecha; también tendrá la opción de un compuesto de anaglífico rojo/cian.

Además de dimensiones en píxeles, al trabajar con vídeo inmersivo, se piensa en grados de visualización. La vista capturada describe la parte de la esfera que se representa con el fotograma de vídeo. Normalmente, los controles se dejan con la configuración predeterminada de la esfera completa, con 360 grados horizontales y 180 verticales.

Los campos de Vista de monitor permiten controlar la parte de la esfera que se visualiza (si se pueden simular diferentes experiencias de visualización), cuando se está en modo de visualización de vídeo VR. Por ejemplo, el uso de un valor de 90 grados horizontales y 60 verticales se asemeja a unas gafas Oculus Rift; por su parte, 160 por 90 grados simulan la visualización en YouTube. Tenga en cuenta que esta configuración determina la proporción de aspecto de la ventana de visualización. Por ejemplo, una configuración de 160 por 90 grados presenta una ventana de visualización de 16:9.

Uso de efectos

Tres efectos comunes que se utilizan en la proyección equirrectangular son los encadenados, el color (Lumetri) y la velocidad. Estos efectos no modifican tanto la posición de un píxel como para causar un problema. La regla básica es que, si un efecto cambia la posición vertical de un píxel, es improbable que funcione. Tenga en cuenta cómo afecta la posición vertical de un píxel a su distorsión horizontal una vez que se ha aplicado la perspectiva. Por ejemplo, el barrido o el encogido horizontal funcionan, mientras que un simple efecto PIP (Picture-In-Picture) se ve distorsionado, ya que escala las dimensiones vertical y horizontal de la imagen.

Tenga en cuenta también la composición. Puede componer imágenes equirrectangulares unas encima de otras, siempre y cuando no cambie su posición vertical y su escala. Puede capturar un objeto sobre una pantalla verde en modo equirrectangular y con incrustación de croma sobre una imagen de fondo. No es posible componer vídeo simple tradicional en modo equirrectangular sin llevar a cabo pasos adicionales, lo que nos lleva al cuarto efecto más común: los títulos y los gráficos. Para trabajar con imágenes planas, por ejemplo un título, sobre imágenes equirrectangulares, debe proyectarse en la esfera. Para componer vídeo simple en modo equirrectangular, utilice plugins de otros fabricantes como SkyBox 360/VR Tools de Mettle (concretamente, el efecto Mettle SkyBox Project 2D).

Un efecto integrado importante que debe tomarse en consideración cuando al trabajar con vídeo equirrectangular es el efecto Desplazamiento, que se encuentra en Efectos de vídeo/Distorsionar. A diferencia de una cámara tradicional, el dispositivo de VR no cuenta con una lente única para enfocar el sujeto. La totalidad de la escena se captura de una sola vez. Al cortar las diferentes tomas, quizá observe que la orientación de la cámara ha cambiado y que el sujeto más importante está en una posición distinta que en la toma anterior. Los usuarios tendrían que girar la cabeza para volver a ver el sujeto.

El efecto Desplazamiento permite rotar todo el fotograma. Aplique el efecto Desplazamiento en el segmento cortado en la línea de tiempo; a continuación, arrastre el primer número del parámetro para cambiar el centro a la izquierda o la derecha, según la panorámica que quiera aplicar al clip. Procure no cambiar el segundo parámetro, ya que infringe la regla de posición vertical. Un último apunte: este efecto no es en tiempo real y requiere procesamiento. El efecto para girar la esfera de Mettle ofrece soporte en tiempo real. Además, permite inclinar verticalmente e incluso desplazar. Tenga cuidado al inclinar y desplazar la esfera, ya que podría afectar a la calidad de la imagen, debido al modo en que funciona la proyección equirrectangular.

Exportación

Exportar vídeo equirrectangular es similar a exportar cualquier otro tipo de vídeo, con algunos matices:

• Al margen del formato y del ajuste preestablecido que seleccione, en el cuadro de diálogo de opciones de configuración de exportación, cambie la opción Escala de origen a Estirar para rellenar. Si no cambia esta opción, probablemente se introducirá una pantalla ancha o pillarbox en el vídeo exportado, lo cual interrumpirá la continuidad de la esfera y la distorsionará.
• Si exporta H.264, HEVC o QuickTime, seleccione la casilla de verificación El vídeo es VR en la ficha Configuración de vídeo. A continuación, elija el diseño de marco que coincida con su vídeo de origen, como hizo con la configuración de visualización de vídeo VR. Si activa esta configuración, el vídeo equirrectangular publicado en YouTube y Facebook se reproduce automáticamente en un visor VR especial después de que el servicio lo haya procesado, lo cual puede tardar hasta una hora después de completarse la carga.
• En el caso de los fotogramas equirrectangulares de gran tamaño, elija cuidadosamente un contenedor y un códec. Si exporta en un Mac, tiene la opción de exportar con QuickTime y una de las variantes de ProRes.
  
  La situación es más complicada con Windows, cuya elección más adecuada es H.264. Si se exportan fotogramas de gran tamaño con H.264, es preciso seguir este procedimiento:

1. Elija el formato H.264 con el ajuste preestablecido Coincidir con origen.
2. Anule la selección de las casillas de verificación de coincidencia con origen para las dimensiones, el perfil y el nivel.
3. Cambie el perfil a Elevado y el nivel a 5.2.
4. Elija Estirar para rellenar en la opción Escala de origen.
5. Desactive el vínculo de proporción de aspecto junto a las dimensiones y cámbielas a 4096 por 2304 (o 2160 por 60 fps).
6. Seleccione una velocidad de bits elevada, como 100 Mbps.
7. Active la opción Máxima calidad de procesamiento para obtener los mejores resultados de escala.

A continuación se muestra un ejemplo de configuración de exportación estereoscópica de H.264:

Resumen

Durante mucho tiempo, Adobe Premiere Pro ha sido la herramienta estándar utilizada por lo editores que trabajan con vídeo VR inmersivo. Con la versión 2015.03, Premiere Pro ofrece las herramientas necesarias para ver, exportar y compartir mejor vídeo VR. Además, el mercado relacionado con el vídeo VR crece rápidamente: soportes, cámaras, opciones para costura de vídeo equirrectangular, efectos, gafas VR e, incluso, monitoreo de las gafas integrado en la aplicación. El vídeo VR inmersivo emerge y crece deprisa. Se diferencia del 3D estereoscópico en el hecho de que algunos de los grandes fabricantes de productos electrónicos no respaldan la tecnología. Se nutre de cientos de empresas, grandes y pequeñas, muchas de las cuales trabajan conjuntamente, y Adobe sigue contribuyendo.

Recursos

• Vista previa de los flujos de trabajo VR de NAB 2016 de Adobe 
• Artículo de la Wikipedia sobre la proyección equirrectangular
• Plugins de terceros:
  • Mettle: monitoreo VR, efectos
  • Kolor: monitoreo VR, costura

Tutorial de vídeo sobre edición de vídeo 360/VR en Premiere Pro

Edición de vídeo de realidad virtual/360 en Premiere Pro (monoscópico o estereoscópico)