Comprensión de audio espacial

El audio espacial replica la experiencia humana natural del sonido auditivo desde cada dirección. A diferencia del estéreo convencional, que fija sonidos en un espectro de izquierda derecha, fuentes de audio espacial en una esfera 3D completa. Esta tecnología es esencial para el vídeo de 360 grados porque el espectador puede mirar en cualquier lugar, y el audio debe coincidir con la perspectiva visual. Sin audio espacial, una pista estéreo estática rompería la ilusión cuando el espectador gira su cabeza.

La audición humana localiza sonido a través de varios cues: diferencias interaurales de tiempo (ITD), diferencias de nivel interaural (ILD), funciones de transferencia relacionadas con la cabeza (HRTF), y reflexiones sutiles del medio ambiente. Los sistemas de audio espacial modelan estas cues para crear sonido direccional creíble. Para el vídeo 360, los enfoques más comunes son ambisónicos, audio binaural y audio basado en objetos.

Cómo beneficios de audio espacial 360 Video

Los proyectos de video inmersivos son tan convincentes como su sonido. Cuando un espectador gira su visión en un auricular VR, el audio debe girar en consecuencia. El audio espacial también guía la atención: una conversación distante o una hoja de frotamiento puede atraer el ojo a elementos narrativos importantes. Reduce la disonancia cognitiva y evita la enfermedad del movimiento al alinear espacios auditivos y visuales.

Tecnologías clave: Ambisonics, Binaural y Audio Basado en Objetos

Antes de sumergirse en la producción, it correspond#8217; es importante entender los tres formatos de audio espacial primarios utilizados en vídeo 360.

Ambisonics

Ambisonics captura y reproduce un campo de sonido de alta emisión usando múltiples cápsulas de micrófono dispuestas en un patrón tetraedral u otro patrón simétrico. Ambisonics de primer orden (FOA) utiliza cuatro canales (W, X, Y y Z); órdenes superiores (HOA) utilizan más canales para una mayor resolución espacial. Ambisonics es ideal para grabar entornos en vivo porque preserva la escena de sonido único

Audio Binaural

El audio de la cintura se registra usando un cabezal o micrófonos en el interior que replican los oídos humanos. Se basa en el oyente número #8217; su propio HRTF para crear una ilusión 3D convincente sobre los auriculares. La binaural es excelente para las experiencias de primera persona, pero se bloquea a la cabeza a menos que se combina con datos de seguimiento de la cabeza.

Audio basado en objetos

Las fuentes de audio basadas en objetos con metadatos que describen su posición, velocidad y difusión. Durante la reproducción, el renderizador calcula la señal correcta para el oyente sensible#8217;s orientación. Este método ofrece la máxima flexibilidad y calidad, pero requiere más computación y esfuerzo de autor. Dolby Atmos y MPEG-H son ejemplos utilizados en cine y radiodifusión. Para 360 vídeos, audio basado en objetos se combinan de forma independiente con escena compleja.

Para la mayoría de los equipos de producción, ambisonics logra el mejor equilibrio entre la simplicidad de captura y la malleabilidad postproducción. Muchas cámaras VR tienen micrófonos ambisónicos incorporados, y software como Facebook #8217;s Estacionamiento espacial e IEM Suite Plug-in ofrecen herramientas gratuitas para mezclar audio ambisónico.

Equipo y software necesarios

Invertir en las herramientas adecuadas es fundamental para capturar y editar audio espacial de alta calidad. Aquí está una lista completa para un flujo de trabajo de vídeo típico 360.

  • Micrófonos ambisónicos: Las opciones populares incluyen el Zoom H3-VR, Sennheiser AMBEO VR Mic, y Rode NT-SF1. Estos micrófonos capturan ambisónicos de primer orden con cuatro cápsulas. Para mayor orden, considere el Eigenmike o Zylia ZM-1.
  • Micrófonos binales: El Neumann KU 100 o 3Dio Free Space se utilizan cuando una grabación de punto de vista estática es aceptable. También es bueno para las grabaciones de referencia.
  • Grabadores de audio: Grabadores de campo multi-track como la serie Zoom F8n o Sound Devices MixPre pueden grabar salidas de micrófono individualmente, posteriormente ensamblando en archivos A-format ambisónicos.
  • Estaciones de trabajo digitales de audio (DAWs): Reaper, Nuendo y Ableton Live son opciones robustas. Reaper es especialmente popular debido a su bajo costo y soporte de scripting extenso.
  • plugins de audio espacial: La suite de complementos IEM (gratuita), Facebook 360 Estación de trabajo espacial (gratuita), herramientas Dolby Atmos y NOVA por Dear Reality. Estas permiten la codificación, decodificación, rotación y renderización binaural.
  • Software de edición de vídeo 360: Adobe Premiere Pro con plugins VR, DaVinci Resolve (Fusion), o Mettle SkyBox Suite. Estos permiten alinear el audio espacial con la línea de tiempo de vídeo equirectangular.
  • Auriculares de vigilancia: Usa auriculares de espalda abierta para mezclar (por ejemplo, Sennheiser HD 600 o Beyerdynamic DT 900 Pro X). El audio espacial Binaural se basa en gran medida en la reproducción precisa del auricular.

Flujo de trabajo paso a paso para crear audio espacial

1. Planificación de la producción anterior

Apunta el ambiente de sonido antes de grabar. Lista todos los sonidos diegetic: diálogo, ambiente de fondo, pasos, máquinas, fauna y flora silvestres. Tenga en cuenta su dirección y distancia esperadas respecto a la cámara. Plan donde se colocarán micrófonos. Si se utilizan micrófonos ambisónicos, recuerde que capturan un campo de 360 grados, por lo que el micrófono es el centro del universo audible. Evite colocar fuentes de sonido demasiado cerca del micrófono a menos que desees de una proximidad directa.

2. Técnicas de grabación

Configura tu micrófono ambisónico en un trípode estable en el mirador de la cámara virtual. Grabar tono de sala durante al menos 30 segundos para ayudar a la reducción del ruido más adelante. Para el diálogo, utilice un lavalier portátil o un micrófono de boom dirigido al actor, pero también grabar una toma ambisónica separada de la escena sin diálogo para que pueda mezclar elementos en postmbi. Mantenga el micrófono libre del viento y el manejo del ruido.

Al grabar múltiples fuentes, sincronizar el código de tiempo es crucial. Jam sincroniza su grabador de audio con la cámara. Muchas cámaras VR soportan la entrada del código de tiempo, o puede utilizar una pizarra de clapper y alinear manualmente en el post.

3. Spatialization post-producción

Importe sus pistas de audio en el DAW. Si utiliza un micrófono ambisónico en formato A (salidas de cápsulas de rocío), conversor en formato B utilizando el fabricante número #8217;s plugin o convertidor IEM A-to-B. Esto le da los cuatro canales ambisónicos (W, X, Y, Z).

Para cada elemento de sonido, decida su posición en la esfera. Utilice un plugin de panner (como IEM MultiEncoder) para colocar la fuente. Para sonidos ambientales estáticos, déjelos fijos en el campo de sonido. Para mover objetos, automatice el revolvimiento con el tiempo. Una trampa común está sobre-plazo: demasiados sonidos móviles crean confusión. Use movimiento espaciosamente, sólo cuando la acción lo justifica.

Mezcla el diálogo a un nivel consistente, con un peso central o ligeramente compensado para que coincida con el altavoz Adán #8217; su posición en pantalla. Aplicar EQ para reducir la fangosidad; micrófonos ambisónicos pueden sonar sin corrección. Use reverbio envía para colocar sonidos en un espacio acústico compartido. Si tiene respuestas de impulso de habitación (IR) coinciden con la ubicación real, utilizarlos para un reverbo realista.

4. Renderancia Binaural para la vigilancia

Como la mayoría de los editores monitorean sobre auriculares, convierte su mezcla ambisónica a binaural utilizando un plugin de decodificador (por ejemplo, IEM BinauralDecoder o Oculus Spatializer). Esto le permite escuchar cómo la colocación espacial se traduce a oídos humanos. Compruebe la resolución: los sonidos deben ser claramente localizables en el plano horizontal, con algunos cues de elevación. Si algo suena dentro de su cabeza o detrás de usted sin ajustar la dirección clara

5. Exportación e integración con vídeo

Exportar la mezcla de audio espacial final como un archivo ambisónico. El formato común de exportación es ambisónicos de formato B en WAV (cuatro canales, FuMa o ACN orden de canal). Muchas plataformas VR esperan que el audio ambisónico incrustado en el archivo de vídeo. Por ejemplo, YouTube 360 acepta ambisónicos de primer orden en un contenedor MP4.

En su editor de vídeo, importar el vídeo y la pista de audio ambisónica. Alinearlos sincronizando con una sola bofetada. La mayoría de los plugins de edición de vídeo 360 como Mettle SkyBox le permiten asignar la pista de audio como espacial y rotar el campo de sonido para que coincida con la orientación del vídeo. Realizar un cheque final jugando el video en un auricular VR o en un reproductor de 360 que decodifica ambisonic.

Mejores prácticas para los resultados profesionales

  • Mantener la colocación de fuentes consistente: Si se supone que un sonido está a la izquierda, manténgalo a la izquierda a lo largo del tiro. Erratic panning desorienta los espectadores y rompe la inmersión.
  • Usar movimiento sutil: Los sonidos de movimiento deben deslizarse suavemente, no saltar. Use la automatización de curvas lineales o logarítmicas. Pruebe lo rápido que un sonido puede moverse antes de que se vuelva antinatural. Generalmente, evite velocidades más rápidos que 90 grados por segundo.
  • Prueba en varios modelos de auriculares: Oculus Quest, HTC Vive y los jugadores móviles de VR manejan decodificación ambisónica de forma diferente. Escuchar el aliado espacial o los desplegantes. Ajustar la mezcla si es necesario.
  • Guía del espectador #8217; s atención: Usar audio direccional para indicar eventos importantes. Por ejemplo, un personaje que habla fuera de pantalla debe ser paneado a su ubicación. El espectador se volverá a mirar naturalmente. Esto funciona como un cue auditivo.
  • Considere la distancia y reverberación: Las fuentes cercanas deben tener poco contenido de reverbio y frecuencia más alta; las fuentes distantes deben tener más reverbio y altos reenrollados. Simula esto con EQ, reverbio envía y ganancia basada en la distancia.
  • Agregue información de altura: Muchas mezclas ambisónicas descuidan el eje vertical. Coloca sonidos a nivel del oído o arriba. Un drone volador debe sonar sobre la cabeza. Usar los panners de elevación para lograr esto.
  • Cuidado con las frecuencias bajas: Sub-bass below 80 Hz es omnidireccional y difícil de localizar. Considere las pistas de alto paso que filtran las pistas no esenciales para evitar el enredo del campo espacial.
  • Proporcionar tono de habitación claro: Un tono ambisónico constante llena el espacio 3D y evita las zonas muertas. Grabar al menos dos minutos de ambiente durante la producción. Lindo con viento suave o el suyo natural.

Técnicas avanzadas y solución de problemas

Usando Audio Basado en Objetos para Interactividad

Si su vídeo 360 se reproducirá en plataformas que soportan el audio basado en objetos (como SDKs de audio espacial para la unidad o un motor irreal), considere la entrega de objetos por separado. Esto requiere metadatos de codificación para cada fuente de sonido. La ventaja es que el audio puede responder en tiempo real a los movimientos de cabeza de espectador sin exportadores de arte audibles. Adobe Audition y Nuendo tienen flujos de trabajo basados en objetos.

Tratar con el viento y el fondo ruido

Los micrófonos ambisónicos son altamente sensibles porque captan todas las direcciones. Las pantallas de viento son obligatorias al aire libre. Los protectores de espuma funcionan para la brisa ligera; los blimps con tapas de piel son necesarios para el viento más fuerte. Después de grabar, use reducción de ruido espectral (como iZotope RX) para eliminar el ruido del viento sin afectar las señales espaciales.

Sincronización de múltiples pistas ambisónicas

Al grabar una escena con múltiples micrófonos ambisónicos colocados en diferentes posiciones (por ejemplo, para una configuración multicamera), tendrá que alinearlos en el tiempo y el espacio. Utilice el código de tiempo y aplausos de registro visibles en el video. En post, mezclar las pistas ambisónicas junto con el promedio o el uso de cruces. El centro del campo de sonido composite debe coincidir con el punto de vista principal.

Manejo de fallas de Playback

Para probar, utilice un auricular VR con una aplicación dedicada. Si no puede probar en hardware, utilice una simulación binaural para monitorizar. Además, proporcione una mezcla estéreo de retroceso para plataformas que no soportan ambisonics. Muchos 360 flujos de trabajo de vídeo incrustan tanto una pista ambisónica como una pista estéreo; el jugador elige la mejor.

Formatos de exportación y normas de entrega

Los formatos de entrega comunes para el audio espacial en vídeo 360 incluyen:

  • Ambisónicos de primer orden (orden Fuma): AV de cuatro canales a 48 kHz, requerido por YouTube y Vimeo. Los canales son W (omni), X (front-back), Y (izquierda derecha), Z (up-down).
  • Ambisónicos de segundo orden y tercero: Utilizado para campos de sonido de alta resolución, pero menos soporte de plataforma. Los tamaños de los archivos aumentan (9 canales para segundo orden, 16 para tercero).
  • Binaural WAV: Mezcla de dos canales para auriculares con salida para vídeo 360 sin seguimiento de cabeza o para VR móvil sin decodificación dinámica.
  • Dolby Atmos ADM BWF: Formato basado en objetos para la reproducción de auriculares teatral o avanzada.

Al exportar desde DAW, asegúrese de que la pista ambisónica se normaliza a un pico de -3 dBFS para evitar el recorte durante el decodificado. Use la codificación lineal PCM. Muchas plataformas esperan que los primeros dos segundos del vídeo no tengan sonidos fuertes (para permitir el amortiguamiento).

Pruebas de tu audio espacial

El análisis es un proceso iterativo. Escuchar los auriculares, pero también en un sistema de monitores de audio espacial correctamente configurado si está disponible. Utilice una herramienta de rotación en el DAW para simular los giros de la cabeza. Compruebe que los sonidos permanecen en el lugar cuando el campo gira. Si los sonidos cambian con la perspectiva del oyente, usted tiene un error matemático en su codificación ambisónica (a menudo causada por el orden de canal incorrecto).

Tenga varios testers poco familiarizados con el proyecto dar retroalimentación. Pídales que describan la dirección de sonidos clave sin mirar el video. Si constantemente identifican posiciones erróneas, ajusten su colocación. Problemas comunes incluyen sonidos apareciendo dentro de la cabeza, elevación siendo difícil de percibir, y falta de profundidad.

Tendencias futuras en audio espacial para vídeo 360

El campo está evolucionando rápidamente. Los ambisónicos de mayor orden (HOA) se están volviendo más accesibles gracias a micrófonos asequibles de 16 cápsulas como el Zylia ZM-1. El renderizado binaural en tiempo real mediante el seguimiento de movimiento en la cabeza está mejorando la latencia y la precisión. El aumento basado en redes neuronales puede generar señales ambisónicas de contenido estéreo o monofuente, aunque los resultados son todavía inconsistentes.

Recursos externos para explorar:

Al dominar el audio espacial, transformas un video de 360 desde una observación pasiva en un mundo activo y creíble. Con una planificación cuidadosa, equipo adecuado y técnicas de postproducción informadas, tus producciones se destacarán en el paisaje competitivo de los medios inmersivos.