La rapidité de l'avancement de la technologie de la réalité virtuelle (VR) a imposé des exigences sans précédent en matière d'ingénierie audio, repoussant les limites de la façon dont le son est capté, traité et livré. Bien que la fidélité visuelle en VR capture souvent les titres, c'est un son de haute qualité, précis sur le plan spatial qui ancre vraiment le sens de présence de l'utilisateur.

L'évolution des normes de radiodiffusion à l'ère du numérique

Les normes de radiodiffusion sont depuis longtemps l'épine dorsale d'une diffusion uniforme des médias. UIT-R BS.1770 pour la mesure de l'intensité et DSPTA A/85 Ces normes définissent des paramètres tels que la sonorité intégrée (en LUFS), les niveaux de parole vraie, les seuils de gage et la gamme de sonorités (LRA). À mesure que la consommation des médias passe de la diffusion linéaire à la diffusion sur demande, ces mêmes principes ont été adaptés par des organisations comme l'Audien Engineering Society (AES) et l'Union européenne de radiodiffusion (EBU), ce qui a donné lieu à des normes largement adoptées comme EBU R128 et AES TD1000- Oui.

La réalité virtuelle introduit des variables que la radiodiffusion statique n'a jamais eu à gérer : une orientation de l'auditeur, un mouvement en temps réel et un rendu dynamique des sources sonores basé sur l'interaction des utilisateurs. Malgré ces complexités, les objectifs fondamentaux des normes de radiodiffusion – qualité, sécurité et interopérabilité – demeurent très pertinents. En fait, la nécessité d'une fréquence normalisée et d'une plage dynamique peut être encore plus grande en VR, où l'utilisation prolongée du casque peut entraîner une fatigue de l'auditeur ou des dommages auditifs si les niveaux ne sont pas réglementés.

Principaux défis techniques de VR Audio

L'audio de radiodiffusion traditionnelle prend une position d'auditeur fixe et un mélange prédéterminé. L'audio de VR, par contre, doit être dynamique et spatiale. Les sous-problèmes suivants mettent en évidence les domaines où les normes de radiodiffusion existantes nécessitent une réflexion.

Formats audio spatiaux

Trois formats audio spatiaux primaires dominent VR : binaural, ambisonique et audio basé sur objet. L'enregistrement binaural utilise une tête factice pour capturer le son comme l'oreille humaine l'entendrait, créant un effet 3D convaincant lorsqu'elle est jouée sur un casque. La qualité de la reproduction binaural dépend fortement de la qualité de la fonction de transfert liée à la tête (HRTF) utilisée, qui varie d'une personne à l'autre. L'ambisonique code une pleine sphère de son dans des canaux (premier ordre, deuxième ordre, même plus haut) qui peuvent être décodés dynamiquement en fonction de l'orientation de la tête, ce qui la rend populaire pour la diffusion vidéo à 360 degrés et l'événement VR en direct. Dolby Atmos ou MPEG-H Audio, traite chaque source sonore comme un objet discret avec des métadonnées décrivant sa position, sa taille et son mouvement dans l'espace 3D.

Chaque format est assorti de ses propres exigences en matière de compatibilité et de métadonnées. Les normes de diffusion supposent généralement une mise en page fixe basée sur les canaux (stério, 5.1, 7.1). Société d'ingénierie audio Le Comité a également adopté une recommandation concernant la mise au point de méthodes recommandées pour les métadonnées par objet, mais une norme mondiale unifiée est encore en train d ' être adoptée. AES-X346 projet travaille sur un schéma de métadonnées pour l'audio spatial qui relie les exigences de diffusion avec les flux de travail de création immersive.

Exigences de latence et de synchronisation

En VR, l'audio doit être synchronisé avec les mouvements de tête de vidéo et d'utilisateur à environ 20 millisecondes pour éviter la dérive perceptible et le mal du mouvement. Cette exigence s'étend sur toute la chaîne audio : latence du traceur de tête, traitement du moteur de rendu audio, gestion du tampon, et enfin la conversion numérique à analogique et réponse du casque. Les normes de diffusion spécifient traditionnellement des tolérances de synchronisation pour la vidéo et l'audio (synchronisation de la carte), généralement dans un cadre ±1 ou environ 33 ms pour la vidéo 30 fps. Cependant, elles ne tiennent pas compte de la latence variable introduite par le suivi de tête en temps réel et le rendu audio spatial. UIT-R Certains fabricants de casques VR fournissent maintenant des budgets de latence pour les développeurs, mais une norme universelle des organismes de radiodiffusion simplifierait grandement le développement de plateformes croisées.

Normes de portée dynamique et de loudness

Les normes de sonorité de diffusion, telles que EBU R128 ou UIT-R BS.1770, mesurent la sonorité intégrée sur la durée d'un programme. En VR, la sonorité d'une scène peut changer considérablement en fonction de la position et des actions de l'utilisateur, ce qui rend difficile l'application d'une simple cible globale de sonorité. Par exemple, un utilisateur se tenant à côté d'une explosion virtuelle subira une pression sonore plus élevée que celle qui est située loin. MPEG-H Audio La norme comprend des outils pour la diffusion immersive, comme la gestion de la sonorité par objet et le contrôle interactif du niveau de dialogue, offrant une base de référence prometteuse pour la gestion de la sonorité audio VR. tampons de l'historique de la sonorité qui permettent une surveillance en temps réel dans plusieurs zones spatiales à l'intérieur d'une scène de VR.

Efforts actuels pour normaliser VR Audio

Plusieurs organismes industriels et organismes de normalisation s'emploient activement à adapter les normes de diffusion existantes pour les expériences de RV immersives. Ces efforts visent à créer un écosystème cohérent où le contenu produit pour une plateforme peut être consommé de façon fiable sur une autre sans perte de qualité ou de sécurité.

Le rôle de la Société d'ingénierie audio (AES)

L'AES a créé un Comité technique de l'audio spatial et immersif, qui publie régulièrement des livres blancs et organise des ateliers sur l'intersection des normes de diffusion et de la RV. Leur travail comprend la recommandation de méthodes de mesure de la sonorité pour la lecture binaurale (maintenant partie de AES TD1000-1) définir des schémas de métadonnées pour l'audio par objet et proposer des signaux de test pour l'évaluation des systèmes audio spatiaux par écouteur. L'AES collabore également avec la SMPTE (Société des ingénieurs en cinéma et en télévision) pour élaborer un cadre commun pour l'audio immersif qui peut être appliqué dans tout le cinéma, la diffusion et la distribution de VR.

Recommandations de l'UIT-R pour l'audio immersif

Le Groupe d ' étude 6 de l ' UIT-R (Service de radiodiffusion) met à jour activement ses recommandations pour couvrir l ' immersion et l ' interaction audio. UIT-R BS.1909 L'UIT étudie également la façon dont l'audio VR peut être étalonné pour une lecture cohérente dans différents modèles de casque et environnements d'écoute. UIT-R BS.2127, traite spécifiquement de la mesure de la hauteur et de la hauteur réelle des signaux binauraux et ambisoniques, en tenant compte des non-linéarités introduites par le traitement HRTF.

Initiatives dirigées par l'industrie

Les consortiums privés comme le Forum industriel sur les RV (VRIF) sont en train de produire des pratiques exemplaires qui intègrent la pensée de radiodiffusion. Lignes directrices pour la radiodiffusion VR Les entreprises telles que Dolby, DTS et Fraunhofer IIS fournissent également des technologies exclusives qui visent à devenir des normes de facto. Dolby Atmos pour VR fournit un programme de certification qui garantit que le contenu répond à la fois la qualité de rendu spatial et la cohérence de la sonorité. IEEE P2048 Le groupe de travail élabore actuellement une norme pour les méthodes d'essai audio de la VR, qui permettrait une comparaison uniforme entre les fournisseurs, étape essentielle pour les radiodiffuseurs qui doivent vérifier que le contenu de la VR satisfait aux spécifications de livraison.

Considérations pratiques pour les développeurs et les créateurs de contenu

L'intégration des normes de diffusion dans un pipeline audio de VR n'est pas seulement un exercice académique, mais a des répercussions directes sur le déroulement du développement, les essais et l'expérience des utilisateurs.

Outils d'intégration et de surveillance des flux de travail

Les outils traditionnels de surveillance de la diffusion, tels que les compteurs de bruit et les vectoroscopes, ne sont pas optimisés pour l'audio spatial. Les développeurs ont besoin d'outils qui peuvent afficher la sonorité par objet ou par direction, ainsi que des données de rotation de tête en temps réel. Révolution de SPAT et Nugen Audio VisLM Les moteurs de jeu comme Unity et Unreal intègrent également des plugins de sonorité de radiodiffusion qui permettent aux développeurs de surveiller les valeurs de LUFS pendant le temps d'exécution. L'adoption de ces outils au début du pipeline de production permet de s'assurer que la sortie finale est à la fois immersive et conforme à la radiodiffusion.

Essais et certification

Avant de publier une expérience de VR, les tests devraient couvrir plusieurs plateformes matérielles (headsets de Meta, HTC, Sony, Apple, et d'autres) pour vérifier que la livraison audio répond aux cibles de son et aux tolérances de synchronisation. Dolby Atmos pour VR ou les MPEG-H Suite d'essais d'autorisationLes développeurs devraient également tester les éventuels clippings ou déformations lorsque les mouvements de tête provoquent des changements rapides dans le rendu audio spatial, car le changement soudain de gain peut dépasser les limites de la pointe réelle. Les scripts de test automatisés qui simulent les mouvements de tête d'utilisateur et mesurent les niveaux de sortie peuvent gagner du temps et réduire le risque de non-conformité.

Sécurité et confort des utilisateurs

L'utilisation prolongée d'un casque VR avec casque intra-auriculaire peut exposer les utilisateurs à des niveaux de pression acoustique élevés, en particulier lors de séquences d'action ou d'explosions soudaines. Il faut tenir compte des normes de diffusion pour les niveaux maximaux de vraies crêtes (p. ex. -1 dBTP par ATSC A/85) afin d'éviter les dommages auditifs. Organisation mondiale de la santé Pour une écoute sûre (80 dB LAeq sur 40 heures/semaine) peut être intégré dans la conception audio VR. Certaines plateformes VR offrent maintenant une limite de bruit de niveau système, mais les développeurs ne devraient pas se fier uniquement à cela; la bonne rédaction avec des limites de diffusion est la première ligne de défense.

Orientations futures et normes émergentes

L'intersection des normes de diffusion et du VR audio est loin d'être établie. Plusieurs tendances indiquent des normes plus sophistiquées, personnalisées et interopérables dans les années à venir.

Personnalisation et Audio Adaptatif

Les futurs standards peuvent permettre de définir des profils de fréquence et de gamme dynamique spécifiques à l'utilisateur, de façon à ce que les auditeurs ayant des déficiences auditives ou une sensibilité personnelle puissent être bien entendus. MPEG-H Audio 3D La norme comprend déjà un mode --interactif--- qui empêche l'utilisateur de soulever le dialogue au-dessus d'un niveau prédéfini, assurant le respect des règlements de radiodiffusion locale même lorsque l'interactivité est autorisée.

Interopérabilité entre les écosystèmes de la RV

Actuellement, une expérience de VR construite pour un casque peut produire des caractéristiques audio différentes sur une autre en raison de variations dans les HRTF, les pilotes de casque et les pipelines de traitement audio. IEEE P2048 En outre, l'émergence de VR à diffusion en nuage (p. ex., pour les plateformes de VR sociales) introduit de nouvelles contraintes de latence et de bande passante qui nécessiteront des lignes directrices à jour pour la diffusion de l'audio spatial sur le réseau.

Intégration avec les systèmes de radiodiffusion de prochaine génération

À mesure que les radiodiffuseurs adoptent les normes ATSC 3.0 et DVB-I, ils cherchent de plus en plus à fournir un son immersif aux paramètres traditionnels de la télévision et de la RV/AR. Comité des systèmes de télévision avancés (ATSC) a déjà inclus le support pour l'audio immersif dans ATSC 3.0, en utilisant MPEG-H comme codec préféré. Cela crée un chemin direct pour que le contenu VR soit diffusé en direct, à condition qu'il réponde aux mêmes exigences de sonorité et de synchronisation.

Conclusion

Le mariage des normes de diffusion et de l'audio réalité virtuelle n'est pas une contradiction; c'est une nécessité. Alors que VR passe des périphériques de jeux de niche aux plateformes de communication et de divertissement, la demande pour un audio cohérent, sûr et de haute qualité ne fera que croître. Les développeurs qui adoptent les lignes directrices de radiodiffusion existantes — tout en adoptant de nouvelles pratiques spécifiques à l'immersion — produiront des expériences plus convaincantes et éviteront des problèmes de compatibilité coûteux.

  • Normalisation de la loudité Il est essentiel de protéger et de maintenir la sécurité des objets audio spatiaux.
  • Faible latence (moins de 20 ms) est non négociable pour prévenir le mal des mouvements et préserver l'immersion.
  • Formats audio spatiaux comme l'ambisonics et MPEG-H fournissent un chemin vers un VR compatible avec la radiodiffusion.
  • Normes industrielles L'AES, l'UIT-R et le FVR sont en train d'évoluer activement pour relever les défis spécifiques à la RV.
  • Déroulement du développement devrait inclure le mesurage et les essais de certification au moyen de systèmes de radiodiffusion.
  • Sécurité des utilisateurs doivent être prioritaires en respectant les limites de la parole vraie et les durées d'écoute saines.