Compreender o Áudio Espacial

O áudio espacial reproduz a experiência humana natural de ouvir sons de todas as direções. Ao contrário do estéreo convencional, que fixa sons num espectro à esquerda- direita, o áudio espacial coloca fontes numa esfera 3D completa. Esta tecnologia é essencial para o vídeo de 360 graus, porque o visualizador pode olhar para qualquer lado, e o áudio deve corresponder à perspectiva visual. Sem áudio espacial, uma faixa estéreo estática quebraria a ilusão quando o visualizador vira a cabeça.

A audição humana localiza o som através de várias pistas: diferenças de tempo interaural (ITD), diferenças de nível interaural (ILD), funções de transferência relacionadas com a cabeça (HRFF) e reflexões sutis do ambiente. Os sistemas de áudio espacial modelam estas pistas para criar som direcional credível. Para 360 vídeos, as abordagens mais comuns são ambisónicas, áudio binaural e áudio baseado em objetos. Cada uma tem trocas de complexidade de produção, tamanho de arquivo e compatibilidade de reprodução.

Como o áudio espacial beneficia 360 vídeo

Projetos de vídeo imersivos são tão convincentes quanto o som. Quando um visualizador gira sua visão em um fone de ouvido VR, o áudio deve girar de acordo. O áudio espacial também guia a atenção: uma conversa distante ou uma folha de farfalhar pode atrair os olhos para elementos narrativos importantes. Reduz a dissonância cognitiva e evita o enjoo do movimento, alinhando espaços auditivos e visuais. As produções que negligenciam o áudio espacial muitas vezes perdem o engajamento do espectador em segundos.

Tecnologias-chave: Ambisonics, Binaural, e áudio baseado em objetos

Antes de mergulhar na produção, é importante entender os três formatos de áudio espacial usados em 360 vídeo.

Ambisónicos

A ambisonics captura e reproduz um campo sonoro de esfera completa usando múltiplas cápsulas de microfone dispostas em um padrão tetraédrico ou outro simétrico. A ambisonics de primeira ordem (FOA) usa quatro canais (W, X, Y e Z); ordens mais altas (HOA) usam mais canais para uma maior resolução espacial. A ambisonics é ideal para gravar ambientes ao vivo, porque preserva toda a cena sonora de um único ponto. A pós-produção pode rodar, pan e decodificar ambisonics para binaural ou outros formatos para reprodução. É o formato de áudio espacial mais amplamente suportado em plataformas VR, como YouTube 360, Oculus e Vimeo 360.

Áudio Binar

O áudio binarural é gravado usando um microfone falso ou um microfone interno que reproduz as orelhas humanas. Ele depende do próprio HRTF do ouvinte para criar uma ilusão 3D convincente sobre os fones de ouvido. O BINAural é excelente para experiências em primeira pessoa, mas é bloqueado a menos que combinado com dados de rastreamento de cabeça. Em 360 vídeo com rastreamento de cabeça, o binaural deve ser dinamicamente renderizado a partir de uma representação ambisónica ou baseada em objetos. As gravações binaural puras são estáticas e não podem se adaptar à rotação da cabeça do visualizador, de modo que são menos comuns em VR interativa.

Áudio Baseado em Objetos

O áudio baseado em objectos armazena fontes sonoras individuais com metadados que descrevem a sua posição, velocidade e dispersão. Durante a reprodução, o renderizador calcula o sinal correcto para a orientação do ouvinte. Este método oferece a mais alta flexibilidade e qualidade, mas requer mais computação e esforço de autoria. Dolby Atmos e MPEG- H são exemplos usados no cinema e na transmissão. Para 360 vídeos, os pares de áudio baseados em objectos são bem com cenas complexas, onde os sons devem mover- se de forma independente.

Para a maioria das equipes de produção, a ambisonics atinge o melhor equilíbrio entre a simplicidade de captura e a maleabilidade pós-produção. Muitas câmeras VR têm microfones ambisonic embutidos, e software como o Spacial Workstation do Facebook e IEM Plug-in Suite fornecem ferramentas gratuitas para misturar áudio ambisonic.

Equipamento e Software Necessário

Investir nas ferramentas certas é fundamental para capturar e editar áudio espacial de alta qualidade. Aqui está uma lista abrangente para um fluxo de trabalho de vídeo típico 360.

  • Microfones ambisónicos: As opções mais populares incluem Zoom H3-VR, Sennheiser AMBEO VR Mic e Rode NT-SF1. Estes microfones capturam ambisónicas de primeira ordem com quatro cápsulas. Para maior ordem, considere o Eigenmike ou Zylia ZM-1.
  • Microfones binaurais: O Neumann KU 100 ou 3Dio Free Space são usados quando uma gravação estática ponto de vista é aceitável. Também bom para gravações de referência.
  • Gravadores de áudio: Gravadores de campo multi-trilha como o Zoom F8n ou Sound Devices MixPre série pode gravar saídas de microfone individualmente, mais tarde, montagem em arquivos ambisônicos A-format.
  • Estações de trabalho de áudio digital (DAWs): Reaper, Nuendo e Ableton Live são escolhas robustas. Reaper é especialmente popular devido ao seu baixo custo e extenso suporte de script.
  • Plug- ins de áudio espacial: O IEM Plug-in Suite (gratuito), Facebook 360 Estação de trabalho espacial (gratuito), ferramentas Dolby Atmos e NOVA por Prezada Realidade. Estes permitem codificação, decodificação, rotação e renderização binaural.
  • 360 software de edição de vídeo: Adobe Premiere Pro com plugins VR, DaVinci Resolve (Fusion) ou Mettle SkyBox Suite. Estes permitem alinhar o áudio espacial com a linha do tempo de vídeo equirectangular.
  • Auscultadores de monitorização: Use auscultadores open-back para misturar (por exemplo, Sennheiser HD 600 ou Beyerdynamic DT 900 Pro X). O áudio espacial binar depende fortemente da reprodução precisa do fone de ouvido.

Fluxo de trabalho passo a passo para criar áudio espacial

1. Planejamento de Pré-Produção

Mapear o ambiente sonoro antes da gravação. Listar todos os sons diegéticos: diálogo, ambiente de fundo, passos, máquinas, vida selvagem. Repare na sua direcção e distância esperadas em relação à câmara. Planeje onde serão colocados microfones. Se usar microfones ambisónicos, lembre- se que eles capturam um campo de 360 graus, de modo que o microfone seja o centro do universo audível. Evite colocar fontes sonoras demasiado perto do microfone, a menos que queira uma proximidade muito directa e anormal.

2. Técnicas de gravação

Configure o seu microfone ambisónico num tripé estável no ponto de vista da câmara virtual. Grave o tom da sala durante pelo menos 30 segundos para ajudar na redução de ruídos mais tarde. Para o diálogo, use um lavalier ou um microfone de som que se desloque ao actor, mas também grave uma captura ambisónica separada da cena sem diálogo para que possa misturar elementos em post. Mantenha o microfone livre do vento e do ruído de manipulação. Se usar uma cabeça de dummy binaural, posicione- a onde a cabeça do visualizador estará. Grave todo o áudio a 24 bits/48 kHz, no mínimo; 96 kHz oferece mais precisão espacial para ambisónicas de ordem superior.

Ao gravar várias fontes, a sincronização de código de tempo é crucial. Sincronize o seu gravador de áudio com a câmera. Muitas câmeras VR suportam a entrada de código de tempo, ou você pode usar uma ardósia de clapper e alinhar manualmente na publicação.

3. A Espatialização Pós-Produção

Importar as suas faixas de áudio para o DAW. Se usar um microfone ambisónico em formato A (saídas em cápsulas em bruto), primeiro converta para formato B usando o plugin fabricante ou conversor IEM A- to- B. Isto dá- lhe os quatro canais ambisónicos (W, X, Y, Z).

Para cada elemento sonoro, decida a sua posição na esfera. Use um 'plugin' de panner (como o IEM MultiEncoder) para colocar a origem. Para sons ambientais estáticos, deixe- os fixos no campo de som. Para mover os objectos, automatize o painel ao longo do tempo. Uma armadilha comum está a sobrevoar: muitos sons em movimento criam confusão. Use o movimento com moderação, apenas quando a acção o justificar.

Misture o diálogo a um nível consistente, com o centro de ponderação ou um deslocamento leve para corresponder à posição do alto- falante no ecrã. Aplique o EQ para reduzir a lamaçal; os microfones ambisónicos podem soar boxe sem correcção. Use o reverb para colocar sons num espaço acústico partilhado. Se tiver respostas de impulsos de espaço (IRs) correspondentes à localização real, use- as para uma reverb realista.

4. Renderização Binarural para Monitoramento

Dado que a maioria dos editores monitoram os auscultadores, convertem a sua mistura ambisónica para binaural, usando um 'plugin' de decodificador (por exemplo, IEM BinauralDecoder ou Oculus Spatializer). Isto permite- lhe ouvir como a colocação espacial se traduz para os ouvidos humanos. Verifique a resolução: os sons devem ser claramente localizáveis no plano horizontal, com algumas pistas de elevação. Se algo soar dentro da sua cabeça ou atrás de si sem uma direcção clara, ajuste o painel ou adicione o ruído HF para fornecer pistas de localização.

5. Exportação e integração com vídeo

Exportar o mix de áudio espacial final como um arquivo ambisônico. O formato de exportação comum é ambisônico em formato B em WAV (quatro canais, ordem de canais FuMa ou ACN). Muitas plataformas de RV esperam áudio ambisônico incorporado no arquivo de vídeo. Por exemplo, o YouTube 360 aceita ambisônicos de primeira ordem em um recipiente MP4. Vimeo 360 e Oculus TV também suportam áudio ambisônico.

Se o seu alvo é um headset com rastreamento de cabeça em tempo real, exporte o áudio separadamente e deixe o jogador decodificar em linha.

No seu editor de vídeo, importe o vídeo e a faixa de áudio ambisónica. Alinha-os sincronizando com uma batida. A maioria dos 360 plugins de edição de vídeo como Mettle SkyBox permitem atribuir a faixa de áudio como espacial e rodar o campo de som para corresponder à orientação do vídeo. Realize uma verificação final, reproduzindo o vídeo em um headset de RV ou em um player 360 que decodifica ambisónica (como o GoPro VR Player ou VLC com suporte ambisónico).

Melhores práticas para resultados profissionais

  • Manter a colocação consistente da fonte: Se um som é suposto estar à esquerda, mantê-lo à esquerda durante toda a cena. Erratic panning desorienta os espectadores e quebra a imersão.
  • Usar movimento sutil: Os sons em movimento devem deslizar suavemente, não saltar. Use a automação linear ou logarítmica da curva. Teste a velocidade que um som pode mover-se antes que se torne antinatural. Geralmente, evite velocidades superiores a 90 graus por segundo.
  • Teste em vários modelos de fones de ouvido: Os jogadores Oculus Quest, HTC Vive e VR móveis lidam com decodificação ambisónica de forma diferente. Ouça para aliasing espacial ou desistência. Ajuste a mistura se necessário.
  • Guiar a atenção do visualizador: Use áudio direcional para sinalizar eventos importantes. Por exemplo, um caractere que fala fora do ecrã deverá ser colocado na sua localização. O visualizador irá naturalmente virar- se para ver. Isto funciona como uma pista auditiva.
  • Considere distância e reverberação: Fontes próximas devem ter pouco reverb e conteúdo de frequência mais elevado; fontes distantes devem ter mais reverb e altos de rolagem. Simule isso com EQ, reverb envia e ganho baseado em distância.
  • Adicionar informação de altura: Muitas misturas ambisónicas negligenciam o eixo vertical. Coloque sons no nível do ouvido ou acima. Um drone voador deve soar acima. Use panners de elevação para conseguir isso.
  • Cuidado com as frequências baixas: Subbaixo abaixo de 80 Hz é omnidirecional e difícil de localizar. Considere a filtragem passa-alta não essencial faixas para evitar lamas no campo espacial.
  • Fornecer o tom de sala claro: Um tom de quarto ambisônico consistente preenche o espaço 3D e evita zonas mortas. Grave pelo menos dois minutos de ambiente durante a produção. Misturar com vento suave ou assobio natural.

Técnicas avançadas e solução de problemas

Usando o áudio baseado em objetos para a interatividade

Se o seu vídeo 360 for reproduzido em plataformas que suportem áudio baseado em objetos (como SDKs de áudio espacial para Unity ou Unreal Engine), considere renderizar objetos separadamente. Isto requer a codificação de metadados para cada fonte de som. A vantagem é que o áudio pode responder em tempo real aos movimentos de cabeça do visualizador sem artefatos audíveis. O Adobe Audition e Nuendo têm fluxos de trabalho baseados em objetos. Ferramentas de autoria dedicadas como o Dolby Atmos Production Suite podem exportar arquivos BWF ADM.

Lidar com Vento e Ruído de Fundo

Os microfones ambisónicos são altamente sensíveis porque capturam todas as direções. Os ecrãs de vento são obrigatórios ao ar livre. Os pára-brisas de espuma funcionam para brisa leve; os dirigíveis com coberturas de peles são necessários para vento mais forte. Após a gravação, use a redução de ruído espectral (como o iZotopo RX) para remover o ruído de vento sem afectar as pistas espaciais. Evite a redução de ruído agressiva que introduz a faseamento, que quebra a coerência espacial.

Sincronizar várias faixas ambisónicas

Ao gravar uma cena com vários microfones ambisónicos colocados em diferentes posições (por exemplo, para uma configuração multicâmara), terá de os alinhar no tempo e no espaço. Use o código de tempo e grave as palmas visíveis no vídeo. No post, misture as faixas ambisónicas em conjunto, com uma média ou usando as diferenças cruzadas. O centro do campo de som composto deverá corresponder ao ponto de vista primário.

Manipulação de Falhas de Reprodução

Alguns leitores de mídia não usam o estéreo. Para testar, use um headset de RV com uma aplicação dedicada. Se você não puder testar em hardware, use uma simulação binaural para monitoramento. Além disso, forneça uma mistura de estéreo para plataformas que não suportam ambisonics. Muitos fluxos de trabalho de vídeo 360 incorporam uma faixa ambisonic e uma faixa estéreo; o jogador escolhe a melhor.

Exportar Formatos e Padrões de Entrega

Formatos comuns de entrega para áudio espacial em 360 vídeo incluem:

  • Ambisónica de primeira ordem (ordem FuMa): WAV de quatro canais a 48 kHz, exigido pelo YouTube e Vimeo. Os canais são W (omni), X (front-back), Y (esquerda-direita), Z (up-down).
  • Ambisónica de segunda ordem e terceira ordem: Usado para campos de som de alta resolução, mas menos suporte à plataforma. Os tamanhos de arquivos aumentam (9 canais para segunda ordem, 16 para terceira). Na maioria das vezes usado em experiências de RV em escala de sala.
  • VAS BINAURAIS: Mistura de fones de ouvido de dois canais, usada para 360 vídeo sem rastreamento de cabeça ou para VR móvel sem decodificação dinâmica.
  • Dolby Atmos BWF ADM: Formato baseado em objetos para reprodução de fones de ouvido teatrais ou avançados.

Ao exportar a partir do DAW, assegure-se de que a faixa ambisónica seja normalizada para um pico de - 3 dBFS para evitar o recorte durante a decodificação. Use codificação linear do PCM. Muitas plataformas esperam que os primeiros dois segundos do vídeo não tenham sons altos (para permitir o buffering). Aplique um curto desbotamento.

Testando seu áudio espacial

A verificação é um processo iterativo. Ouça os auscultadores, mas também num sistema de monitor de áudio espacial devidamente configurado, se disponível. Use uma ferramenta de rotação no DAW para simular as curvas de cabeça. Verifique se os sons permanecem no lugar quando o campo gira. Se os sons mudarem com a perspectiva do ouvinte, terá um erro matemático na sua codificação ambisónica (muitas vezes causado por uma ordem de canal errada). Verifique a sua matriz de decodificação.

Tenha vários testadores desconhecidos com o projeto dar feedback. Peça-lhes para descrever a direção dos sons-chave sem olhar para o vídeo. Se eles identificarem de forma consistente posições erradas, ajuste sua colocação. Problemas comuns incluem sons que aparecem dentro da cabeça, elevação sendo difícil de perceber, e falta de profundidade.

Tendências futuras em áudio espacial para 360 vídeo

A ambisónica de ordem mais elevada (HOA) está a tornar-se mais acessível graças a microfones de 16 cápsulas acessíveis como o Zylia ZM-1. A renderização binaural em tempo real utilizando o rastreamento de movimento in-head está a melhorar a latência e a precisão. O upscaling baseado em rede neural pode gerar sinais ambisónicos de fontes estéreo ou mono, embora os resultados ainda sejam inconsistentes. O áudio baseado em objectos está a fundir-se com 360 experiências interativas em motores de jogo, borrando a linha entre vídeo e VR em tempo real. Para criadores de conteúdo, manter-se em conformidade com os padrões estabelecidos pela Audio Engineering Society (AES) e a associação da indústria VR/AR é sábia.

Recursos externos para explorar:

Ao dominar o áudio espacial, você transforma um vídeo 360 de uma observação passiva em um mundo ativo e crível. Com planejamento cuidadoso, engrenagem adequada e técnicas de pós-produção informadas, suas produções se destacarão na paisagem competitiva de mídias imersivas.