Comprendre l'audio spatial

Contrairement à la stéréo conventionnelle, qui corrige les sons dans un spectre de gauche à droite, l'audio spatial place les sources dans une sphère 3D complète. Cette technologie est essentielle pour la vidéo à 360 degrés car le spectateur peut regarder n'importe où, et l'audio doit correspondre à la perspective visuelle. Sans audio spatial, une piste stéréo statique briserait l'illusion lorsque le spectateur tourne la tête.

L'audition humaine localise le son à travers plusieurs repères : les différences interurales de temps (ITD), les différences interurales de niveau (ILD), les fonctions de transfert de tête (HRTF) et les réflexions subtiles de l'environnement. Les systèmes audio spatiaux modélisent ces repères pour créer un son directionnel crédible.

Comment l'audio spatial bénéficie 360 Vidéo

Les projets vidéo immersif ne sont que aussi convaincants que leur son. Lorsqu'un spectateur tourne sa vue dans un casque VR, l'audio doit tourner en conséquence. L'audio spatial guide également l'attention : une conversation lointaine ou une feuille rouillée peut attirer l'œil vers des éléments narratifs importants. Il réduit la dissonance cognitive et prévient le mal du mouvement en alignant les espaces auditifs et visuels.

Technologies clés : Ambisonique, Binaural et Audio Object-Based

Avant de plonger dans la production, il est important de comprendre les trois principaux formats audio spatiaux utilisés dans 360 vidéos.

Ambisoniques

L'ambisonique de premier ordre (FOA) utilise quatre canaux (W, X, Y et Z); les commandes plus élevées (HOA) utilisent plus de canaux pour une plus grande résolution spatiale. L'ambisonique est idéal pour enregistrer des environnements en direct car il préserve la scène sonore entière à partir d'un seul point. La postproduction peut faire tourner, faire la rotation et décoder les ambisoniques vers des formats binaural ou autres pour la lecture. Il s'agit du format audio spatial le plus largement pris en charge dans les plateformes VR telles que YouTube 360, Oculus et Vimeo 360.

Audio binautique

L'audio binaural est enregistré à l'aide d'une tête factice ou de microphones intra-auriculaires qui reproduisent les oreilles humaines. Il s'appuie sur l'auditeur et le numéro 8217;s propre HRTF pour créer une illusion 3D convaincante sur les écouteurs. Binaural est excellent pour les expériences de première personne, mais il est verrouillé par la tête à moins qu'il ne soit combiné avec des données de suivi de la tête.

Audio par objet

Pendant la lecture, le rendeur calcule le signal correct pour l'écouteur et l'orientation de la vidéo. Cette méthode offre la plus grande flexibilité et qualité, mais nécessite plus d'effort de calcul et de création. Dolby Atmos et MPEG-H sont des exemples utilisés dans le cinéma et la diffusion. Pour 360 vidéos, l'audio basé sur l'objet se marie bien avec des scènes complexes où les sons doivent se déplacer indépendamment.

Pour la plupart des équipes de production, l'ambisonics est le meilleur équilibre entre simplicité de capture et malléabilité post-production. De nombreuses caméras VR ont des microphones ambisoniques intégrés, et des logiciels comme Facebook’s Spatial Workstation et IEM Plug-in Suite fournissent des outils gratuits pour mélanger l'audio ambisonique.

Matériel et logiciels nécessaires

Investir dans les bons outils est essentiel pour capturer et éditer un son spatial de haute qualité. Voici une liste complète pour un flux de travail vidéo typique de 360.

  • Microphones ambassiques: Les options les plus populaires sont les Zoom H3-VR, Sennheiser AMBEO VR Mic et Rode NT-SF1. Ces microphones capturent des ambisoniques de premier ordre avec quatre capsules. Pour une commande plus élevée, considérez l'Eigenmike ou Zylia ZM-1.
  • Microphones à binômes: Les espaces libres Neumann KU 100 ou 3Dio sont utilisés lorsqu'un enregistrement statique au point de vue est acceptable.
  • Enregistreurs audio: Les enregistreurs de terrain multipistes comme la série Zoom F8n ou Sound Devices MixPre peuvent enregistrer les sorties de microphone individuellement, en les assemblant ensuite en fichiers A-format ambisoniques.
  • Postes de travail audio numériques (SDA) : Reaper, Nuendo et Ableton Live sont des choix robustes. Reaper est particulièrement populaire en raison de son faible coût et son support de script étendu.
  • Greffons audio spatiaux : La suite IEM Plug-in (gratuite), Facebook 360 Spatial Workstation (gratuite), les outils Dolby Atmos et NOVA de Dear Reality. Ils permettent l'encodage, le décodage, la rotation et le rendu binaural.
  • Logiciel de montage vidéo 360 : Adobe Premiere Pro avec plugins VR, DaVinci Resolve (Fusion), ou Mettle SkyBox Suite. Ils vous permettent d'aligner l'audio spatial sur la chronologie vidéo équirectométrique.
  • Casque de surveillance: Utilisez des écouteurs ouverts pour le mixage (p. ex. Sennheiser HD 600 ou Beyerdynamic DT 900 Pro X). L'audio spatial binaural repose fortement sur une lecture précise du casque.

Flux de travail étape par étape pour la création d'audio spatial

1. Planification de la préproduction

Planifiez l'environnement sonore avant l'enregistrement. Énumérez tous les sons diégétiques : dialogue, ambiance de fond, pas, machines, faune. Notez leur direction et distance attendues par rapport à la caméra. Planifiez où les microphones seront placés. Si vous utilisez des microphones ambisoniques, rappelez-vous qu'ils capturent un champ à 360 degrés, donc le microphone est le centre de l'univers audible.

2. Techniques d'enregistrement

Configurez votre microphone ambisonique sur un trépied stable au point de vue de la caméra virtuelle. Enregistrez le ton de la salle pendant au moins 30 secondes pour aider à réduire le bruit plus tard. Pour le dialogue, utilisez un lave-linge ou un micro à boom destiné à l'acteur, mais enregistrez également une prise ambisonique séparée de la scène sans dialogue afin de pouvoir mélanger des éléments en poste. Gardez le microphone à l'abri du vent et de la manipulation du bruit. Si vous utilisez une tête binaural factice, placez-le là où sera la tête du spectateur et #8217;s. Enregistrez tout l'audio à 24 bits/48 kHz minimum; 96 kHz offre plus de précision spatiale pour les ambisoniques à ordre supérieur.

Lors de l'enregistrement de plusieurs sources, la synchronisation du code temporel est cruciale. Synchronisez vos enregistreurs audio avec la caméra. De nombreuses caméras VR prennent en charge l'entrée du code temporel, ou vous pouvez utiliser une ardoise de clappeur et vous aligner manuellement dans la poste.

3. La spatialisation après la production

Importez vos pistes audio dans la DAW. Si vous utilisez un microphone ambisonique en format A (sorties de capsules brutes), convertissez d'abord en format B en utilisant le plugin fabricant & #8217;s ou le convertisseur IEM A-to-B. Cela vous donne les quatre canaux ambisoniques (W, X, Y, Z).

Pour chaque élément sonore, choisissez sa position dans la sphère. Utilisez un plugin de panner (comme IEM MultiEncoder) pour placer la source. Pour les sons ambiants statiques, laissez-les fixés dans le champ sonore. Pour les objets en mouvement, automatisez le panning au fil du temps. Un écueil commun est surdimensionné : trop de sons en mouvement créent de la confusion. Utilisez le mouvement parcimonieusement, seulement lorsque l'action le justifie.

Mélangez le dialogue à un niveau cohérent, pondéré au centre ou légèrement décalé pour correspondre à la position de l'enceinte et de la 8217; s à l'écran. Appliquez EQ pour réduire la boue; les microphones ambisoniques peuvent sonner boxy sans correction. Utilisez la réverbération pour placer les sons dans un espace acoustique partagé. Si vous avez des réponses d'impulsions de pièce (IR) adaptées à l'emplacement réel, utilisez-les pour une réverbération réaliste.

4. Appel d ' offres pour la surveillance

Puisque la plupart des éditeurs surveillent sur un casque, convertissez votre mix ambisonique en binaural en utilisant un plugin de décodeur (par exemple, IEM BinauralDecoder ou Oculus Spatializer). Cela vous permet d'entendre comment le placement spatial se traduit par des oreilles humaines. Vérifiez la résolution: les sons doivent être clairement localisés dans le plan horizontal, avec des indices d'élévation. Si quelque chose sonne à l'intérieur de votre tête ou derrière vous sans direction claire, ajustez le panning ou ajoutez du bruit HF pour fournir des indices de localisation.

5. Exportation et intégration avec la vidéo

Exportez le mix audio spatial final comme un fichier ambisonique. Le format d'exportation commun est l'ambisonique B-format dans WAV (quatre canaux, FuMa ou ACN). De nombreuses plateformes VR attendent l'audio ambisonique intégré dans le fichier vidéo. Par exemple, YouTube 360 accepte les ambisoniques de premier ordre dans un conteneur MP4. Vimeo 360 et Oculus TV prennent également en charge l'audio ambisonique. Si votre cible est un casque avec un suivi de la tête en temps réel, exportez l'audio séparément et laissez le lecteur décoder à la volée.

Dans votre éditeur vidéo, importez la vidéo et la piste audio ambisonique. Alignez-les en synchronisant avec un clap. La plupart des plugins d'édition vidéo 360 comme Mettle SkyBox vous permettent d'assigner la piste audio comme spatiale et de faire pivoter le champ sonore pour correspondre à l'orientation de la vidéo. Effectuez un contrôle final en lisant la vidéo dans un casque VR ou dans un lecteur 360 qui décode l'ambisonics (comme GoPro VR Player ou VLC avec support ambisonique).

Meilleures pratiques pour les résultats professionnels

  • Maintenir un placement de source uniforme : Si un son est censé être à gauche, gardez-le à gauche tout au long du tournage.
  • Utilisez un mouvement subtil : Les sons mobiles doivent glisser en douceur, et non pas sauter. Utilisez l'automatisation linéaire ou logarithmique des courbes. Testez la vitesse à laquelle un son peut se déplacer avant qu'il ne devienne contre nature.
  • Essai sur plusieurs modèles de casques: Oculus Quest, HTC Vive et les lecteurs mobiles VR gèrent le décodage ambisonique différemment. Écoutez les alias ou les abandons spatiaux. Ajustez le mélange si nécessaire.
  • Guidez le téléspectateur et n°8217; attention : Utilisez l'audio directionnel pour signaler des événements importants. Par exemple, un personnage parlant hors écran doit être balayé à leur emplacement. Le spectateur va naturellement tourner pour regarder. Cela fonctionne comme un repère auditif.
  • Considérez la distance et la réverbération: Les sources proches devraient avoir peu de réverbération et un contenu de fréquence plus élevé; les sources éloignées devraient avoir plus de réverbération et de niveaux de roulis.
  • Ajouter des informations sur la hauteur: Beaucoup de mélanges ambisoniques négligent l'axe vertical. Placez les sons au niveau de l'oreille ou au-dessus. Un drone volant doit sonner au-dessus. Utilisez des panners d'altitude pour atteindre cet objectif.
  • Méfiez-vous des basses fréquences : La sous-bassation inférieure à 80 Hz est omnidirectionnelle et difficile à localiser. Considérez le filtrage à passage élevé des voies non essentielles pour éviter de bouder le champ spatial.
  • Donner un ton clair à la chambre : Une tonalité constante de la pièce ambisonique remplit l'espace 3D et empêche les zones mortes. Enregistrez au moins deux minutes d'ambiance pendant la production. Mélangez avec le vent doux ou le sifflement naturel.

Techniques avancées et dépannage

Utilisation de l'audio par objet pour l'interactivité

Si votre vidéo 360 est jouée sur des plateformes qui prennent en charge l'audio objet (comme les SDK audio spatial pour Unity ou Unreal Engine), envisagez de rendre les objets séparément. Cela nécessite l'encodage des métadonnées pour chaque source sonore. L'avantage est que l'audio peut répondre en temps réel aux mouvements de tête de visionneur sans artefacts audibles. Adobe Audition et Nuendo ont des workflows basés sur objet.

Faire face au vent et au bruit de fond

Les pare-brise en mousse fonctionnent pour la brise légère; les grimpons avec des couvertures de fourrure sont nécessaires pour le vent plus fort. Après enregistrement, utilisez la réduction du bruit spectral (comme iZotope RX) pour enlever le frottement du vent sans affecter les repères spatiaux. Évitez la réduction du bruit agressive qui introduit la phase, ce qui brise la cohérence spatiale.

Synchronisation de plusieurs voies Ambisoniques

Lorsque vous enregistrez une scène avec plusieurs microphones ambisoniques placés à différentes positions (par exemple, pour une configuration multicaméra), vous devez les aligner dans le temps et l'espace. Utilisez le code de temps et enregistrez les claquements visibles dans la vidéo. Après, mélangez les pistes ambisoniques ensemble en faisant la moyenne ou en utilisant des défades croisées. Le centre du champ sonore composite doit correspondre au point de vue primaire.

Gestion des échecs de lecture

Pour tester, utilisez un casque VR avec une application dédiée. Si vous ne pouvez pas tester sur le matériel, utilisez une simulation binaural pour la surveillance. De plus, fournir un mix stéréo de repli pour les plateformes qui ne supportent pas les ambisoniques. Beaucoup de flux de travail vidéo 360 intègrent à la fois une piste ambisonique et une piste stéréo; le lecteur choisit la meilleure.

Formats d'exportation et normes de livraison

Les formats de livraison courants pour l'audio spatial en vidéo 360 incluent:

  • Ambisonique de premier ordre (ordre FuMa): WAV à quatre canaux à 48 kHz, requis par YouTube et Vimeo. Les canaux sont W (omni), X (avant-arrière), Y (gauche-droite), Z (haut-dessous).
  • Deuxième ordre et troisième ordre Ambisoniques : Utilisé pour les champs sonores à haute résolution, mais moins de support de plate-forme. La taille des fichiers augmente (9 canaux pour la seconde commande, 16 pour la troisième).
  • VAVEUR BINAIRE: Mix pour casque bicanal utilisé pour la vidéo 360 sans suivi de la tête ou pour VR mobile sans décodage dynamique.
  • Dolby Atmos SMA BWF : Format basé sur des objets pour la lecture de casques de théâtre ou avancé.

Lorsque vous exportez à partir de DAW, assurez-vous que la piste ambisonique est normalisée à un pic de -3 dBFS pour éviter le décryptage pendant le décodage. Utilisez un codage PCM linéaire. De nombreuses plateformes s'attendent à ce que les deux premières secondes de la vidéo n'aient pas de sons forts (pour permettre le tamponnage).

Tester votre audio spatial

Tester est un processus itératif. Écoutez sur casque, mais aussi sur un système de moniteur audio spatial correctement configuré si disponible. Utilisez un outil de rotation dans la DAW pour simuler les tours de tête. Vérifiez que les sons restent en place lorsque le champ tourne. Si les sons changent avec la perspective de l'auditeur, vous avez une erreur mathématique dans votre encodage ambisonique (souvent causée par un mauvais ordre de canal). Vérifiez votre matrice de décodage.

Demandez-leur de décrire la direction des sons clés sans regarder la vidéo. S'ils ne définissent pas toujours les positions, ajustez votre emplacement. Les problèmes courants comprennent les sons apparaissant à l'intérieur de la tête, l'élévation étant difficile à percevoir et le manque de profondeur.

Tendances futures de l'audio spatial pour 360 vidéos

Le champ évolue rapidement. L'ambisonics de plus en plus en ordre (HOA) devient plus accessible grâce à des microphones à 16 capsules abordables comme le Zylia ZM-1. Le rendu binaural en temps réel en utilisant le suivi en tête de mouvement améliore la latence et la précision. L'augmentation du réseau neuronal peut générer des signaux d'ambisoniques à partir de sources stéréo ou mono, bien que les résultats soient toujours incohérents.

Ressources externes à explorer :

En maîtrisant l'audio spatial, vous transformez une vidéo 360 d'une observation passive en un monde actif et crédible. Avec une planification soignée, un équipement approprié et des techniques de post-production éclairées, vos productions se démarqueront dans le paysage concurrentiel des médias immersifs.