Comprendre l'audio spatial dans AR

La technologie de la réalité augmentée (AR) a transformé la façon dont nous interagissons avec le contenu numérique en superposant des éléments virtuels sur le monde réel. Un élément clé des expériences d'AR immersive est l'audio spatial, ce qui fait que les sons semblent provenir de lieux spécifiques dans l'espace.

Dans le monde réel, le système auditif humain repose sur des différences subtiles de temps, d'intensité et de fréquence entre les deux oreilles, connues sous le nom de différences interurales de temps (ITD), de différences interurales de niveau (ILD) et de repères spectraux façonnés par la tête et le pinnae, pour localiser les sons. L'audio spatial numérique reproduit ces repères en utilisant les fonctions de transfert liées à la tête (HRTF), qui sont des modèles mathématiques de la façon dont le son est modifié par l'auditeur. Lorsqu'une source de son virtuel est placée dans une scène AR, le système applique le filtre HRTF approprié au signal audio, donnant à l'auditeur l'impression que le son provient d'une direction et d'une distance spécifiques.

Pour les applications AR, l'audio spatial n'est pas seulement une amélioration cosmétique; c'est une nécessité fonctionnelle. Considérez une application de navigation qui vous guide à travers un musée occupé avec des signaux audio pointant vers des expositions. Sans audio spatial, vous entendriez une voix générique et sans direction qui pourrait facilement être confondue avec le bruit ambiant. Avec l'audio spatial, la voix guide semble émaner de l'exposition elle-même, vous permettant de tourner la tête et de la localiser intuitivement.

La fidélité de l'audio spatial en AR dépend de la qualité du HRTF utilisé. Les HRTF génériques, dérivés des dimensions moyennes de la tête et de l'oreille, fonctionnent raisonnablement bien pour la plupart des utilisateurs, mais peuvent être surperformés par des HRTF personnalisés créés par des mesures ou des modèles d'apprentissage automatique. Microsoft HoloLens 2 et Meta Quest 3, inclure des pipelines de rendu audio spatial intégrés qui prennent en charge les FDRH génériques et personnalisés. Audio de Google Résonance et les Cadre Apple Spatial Audio permettre aux développeurs d'intégrer un traitement spatial de haute qualité sans avoir besoin d'une expertise approfondie en ingénierie audio.

La mécanique du suivi des têtes

La technologie de suivi de la tête détecte l'orientation et le mouvement de la tête de l'utilisateur en temps réel. En intégrant ces données, les applications AR peuvent ajuster dynamiquement l'audio spatial en fonction de la perspective de l'utilisateur. Lorsqu'un utilisateur tourne la tête, les sons provenant de sources virtuelles changent en conséquence, en maintenant leur position perçue dans l'espace.

Les dispositifs modernes d'AR permettent de suivre la tête par une fusion de capteurs, le plus souvent un Unité de mesure inertielle (UMU) L'IMU mesure la vitesse angulaire et l'accélération linéaire, à partir de laquelle l'appareil peut calculer l' lacet, le pas et le roulis à haute fréquence (souvent 1 kHz ou plus). Cependant, les données IMU dérivent seules au fil du temps en raison du bruit et du biais des capteurs. Pour corriger cette dérive, les appareils utilisent également des caméras de suivi optique pour reconnaître les caractéristiques environnementales (comme les coins, les bords ou les marqueurs visuels) et les comparer à une carte continuellement mise à jour des environs. localisation et cartographie simultanées (SLAM), fournit des données de positionnement absolu qui réinitialisent les erreurs IMU cumulatives.

Pour les AR mobiles (par exemple, en utilisant un téléphone iPhone ou Android), le suivi de la tête est réalisé par l'appareil face à l'avant et ARRIÈRE ou ARCORE Ces cadres fournissent un suivi de six degrés de liberté (6DoF), ce qui signifie que les mouvements rotationnels (pitch, yaw, roll) et translationnels (X, Y, Z) sont capturés. Le suivi translationnel est particulièrement important pour l'audio spatial, car même les petits mouvements avant ou latéral peuvent modifier de façon spectaculaire l'emplacement perçu d'une source sonore.

Suivi interne, tel qu'il est mis en œuvre dans les casques AR autonomes comme le Meta Quest Pro et à venir Apple Vision Pro, utilise plusieurs caméras orientées vers l'extérieur pour cartographier l'environnement et suivre la position de l'utilisateur par rapport à celui-ci. Parce que ces systèmes suivent également les mouvements de main et de corps, ils fournissent de riches données contextuelles qui peuvent influencer le rendu audio spatial. Par exemple, si un utilisateur parvient à toucher un bouton virtuel, le système peut s'assurer que le son de la pression de bouton semble provenir de l'emplacement de la main de l'utilisateur, même lorsque la main se déplace par rapport à la tête.

Comment le suivi de la tête améliore l'expérience utilisateur

  • Réalisme accru : Les sons se comportent naturellement au fur et à mesure que l'utilisateur se déplace, imitant l'audition réelle. Le déplacement Doppler d'un véhicule virtuel passant, l'effet d'écoute en se tournant vers une conversation, deviennent convaincants lorsque le moteur audio met à jour le HRTF en temps réel en fonction de l'orientation et de la position de la tête de l'utilisateur.
  • Meilleure sensibilisation spatiale : Lors de la formation de simulations pour les tâches de maintenance, par exemple, un bip virtuel d'une pièce de machine peut guider l'utilisateur à regarder directement vers le composant qui a besoin d'attention, réduisant ainsi le temps de réalisation des tâches.
  • Inversion accrue : L'expérience se sent plus authentique et engageante. Une étude publiée dans Les frontières dans la réalité virtuelle Les participants qui ont utilisé l'audio spatial à la tête ont signalé une présence significativement plus élevée et une maladie du simulateur plus faible que ceux qui utilisaient l'audio spatial stéréo ou statique.
  • Charge cognitive réduite: Lorsque les signaux audio correspondent correctement aux attentes visuelles et spatiales, le cerveau n'a pas à travailler pour concilier les divergences.Cela libère des ressources cognitives pour la prise de décision liée aux tâches, ce qui est particulièrement bénéfique dans les applications d'AR pour la chirurgie, l'inspection industrielle ou l'intervention d'urgence.

Un exemple convaincant vient du domaine de l'accessibilité. Pour les utilisateurs ayant des déficiences visuelles, l'audio spatial capté peut agir comme une interface auditive au monde physique. Voir AI projet de Microsoft utilise l'audio spatial pour décrire l'emplacement des objets, portes et personnes, mise à jour en temps réel lorsque l'utilisateur tourne la tête. Cela permet à un utilisateur aveugle ou à vision basse d'entendre -

Applications dans les industries

La combinaison du suivi de la tête et de l'audio spatial est déployée dans un large éventail d'applications AR, chacune exploitant différents aspects de la synergie.

Jeux et divertissements

Gaming reste le cas d'utilisation le plus visible. La demi-vie : Alyx, qui est un titre de réalité virtuelle mais partage de nombreux principes audio AR, le système audio spatial rend les mouvements ennemis audibles de derrière, forçant le joueur à tourner autour et à suivre les menaces. Pokémon GO Avec le mode AR+, commencez à utiliser l'audio spatial pour les cris Pokémon, afin que les joueurs puissent entendre la direction d'une créature rare. Les jeux d'horreur AR futurs pourraient utiliser des grondements à basse fréquence qui semblent émaner des coins sombres avant même que le modèle visuel ne se charge, augmentant la tension.

Les applications de musique et de performance bénéficient également. Guitare Thomann AR app superpose une fretboard virtuelle sur une vraie guitare et utilise l'audio spatial en track pour faire apparaître les sons de chaque ficelle et fret à partir de l'emplacement physique correct sur l'instrument. Cela aide les débutants à comprendre la cartographie entre la position du doigt et la source du son.

Éducation et formation

En formation médicale, les applications AR recouvrent des modèles 3D d'organes sur un mannequin ou un vrai patient. L'audio spatial peut fournir une expérience de type stéthoscope : un utilisateur penché vers le cœur virtuel entend le battement du cœur simulé avec l'intensité et la direction appropriées. Si l'utilisateur tourne la tête, le son se déplace, renforçant la position anatomique correcte. Des systèmes similaires sont en cours de développement pour la simulation chirurgicale, où le son du forage osseux semble provenir de la pointe de l'outil alors que l'utilisateur déplace sa tête autour du champ d'exploitation.

La formation à l'entretien industriel utilise l'AR pour guider les techniciens par des procédures de réparation. Combinée à l'audio spatial à la tête, une voix virtuelle peut sembler provenir du boulon ou du panneau spécifique qui nécessite une attention, avec des indices auditifs supplémentaires indiquant des valeurs de couple ou des avertissements de sécurité. Outil de maintenance Boeing AR déjà utiliser de tels indices auditifs pour réduire les taux d'erreur dans l'assemblage de faisceaux de fils.

La navigation AR recouvre des flèches directionnelles sur le monde réel, mais l'audio spatial offre une alternative plus intuitive. Google Maps AR Le suivi de la tête permet de s'assurer que même si vous tournez la tête pour regarder un écran de téléphone, la direction de la ligne demeure ancrée dans le monde réel, et non dans l'orientation de l'appareil. Cela peut être particulièrement utile pour les piétons qui traversent les intersections ou qui naviguent dans des centres commerciaux multiniveaux.

Pour la navigation intérieure où le GPS n'est pas fiable, les balises audio spatiales placées à des endroits clés (par exemple, la salle de repos à votre gauche) peuvent guider un utilisateur sans nécessiter aucune attention de l'écran. Positionnement audio spatial intérieur (ISAP) Le système développé à l'Université de Stuttgart utilise des écouteurs AR à capturation tête pour obtenir une précision de sous-mètre pour la recherche de voies dans les musées et les hôpitaux.

Défis techniques

Bien que les avantages soient clairs, l'intégration du suivi de la tête à l'audio spatial à la qualité de production reste non-triviale. Les développeurs doivent faire face à la latence, au calibrage, aux contraintes matérielles et à la diversité des anatomies des utilisateurs.

Latence et synchronisation

La latence est le problème le plus critique. Le système auditif humain est extrêmement sensible aux décalages de temps entre le mouvement de la tête et les mises à jour audio. Si le son se déplace plus de 20 à 30 millisecondes après la rotation de la tête, l'utilisateur éprouve un effet déconcertant -Slosh-, où le monde virtuel semble être en retard. Cela peut causer un mal de mouvement et une présence de rupture.

Le système extrapole la position de la tête de l'utilisateur à quelques millisecondes dans l'avenir en fonction de la vitesse et de l'accélération actuelles, puis rend l'audio pour cette pose prédite. Cette technique -look‐ahead-ahead=4 fonctionne bien pour des mouvements fluides et continus, mais peut introduire des artefacts lors de changements de direction rapides (p. ex., lorsque l'utilisateur cesse soudainement de tourner).

Fusion et calibration des capteurs

Le gyroscope et l'accéléromètre IMU ont différents profils sonores et doivent être alignés sur le système de coordonnées optiques de suivi. Erreurs de calibration – même un désalignement de 0,5 degré – parce que l'audio dérive légèrement par rapport à la scène visuelle, faisant des sons virtuels semblent glisser loin de leurs ancres visuelles. La plupart des casques AR effectuent des routines de calibration automatique au démarrage, mais les conditions environnementales (comme l'interférence magnétique des structures métalliques) peuvent fausser le magnétomètre et dégrader le suivi.

Un iPhone 12 pourrait avoir 40 ms de la latence totale du pipeline audio, tandis qu'un iPhone 15 Pro pourrait atteindre 18 ms. Les développeurs ciblant plusieurs appareils doivent mettre en œuvre une compensation de latence dynamique ou accepter des performances dégradées sur de vieux matériels. Google ARCore Audio fournir des recommandations de réglage spécifiques à l'appareil, mais la diversité de l'écosystème Android rend la qualité uniforme difficile à garantir.

Personnalisation des FASS

Même avec un suivi parfait de la tête, l'audio spatial sera irréaliste si le HRTF ne correspond pas à l'utilisateur. Les auditeurs avec des têtes plus petites, des oreilles plus grandes ou différentes formes de pinnae perçoivent différemment le même filtre HRTF, ce qui entraîne une confusion frontale ou une erreur de localisation élevée. Bien que les HRTF génériques fonctionnent correctement pour la plupart des utilisateurs dans des paramètres multicanaux en extérieur ou riches, ils luttent dans des sons audio proches du champ (à moins d'un mètre) où les différences anatomiques comptent le plus. Certains casques AR permettent maintenant aux utilisateurs de prendre une photo de leur oreille avec une application compagnon, qui génère ensuite un HRTF personnalisé en utilisant des réseaux neuronaux convolutionnels en quelques secondes. Apple φs Spatial Audio pour AirPods Pro utilise une approche similaire, en scannant la géométrie de l'oreille de l'utilisateur via la caméra TrueDepth.

Orientations futures

La prochaine génération d'audio spatial à cap en tête va dépasser les limites actuelles, intégrant aux paradigmes matériels émergents et à la synthèse audio pilotée par l'IA.

6DoF avec suivi complet du corps

Comme casques AR comme le Apple Vision Pro et Méta-Orion (prototype prévu) ajouter le suivi du corps inférieur par des capteurs externes ou des caméras internes qui capturent les pieds et les jambes de l'utilisateur, l'audio spatial peut intégrer les propres mouvements de l'utilisateur dans le paysage sonore. Par exemple, les pas sur différentes surfaces pourraient générer en temps réel, le son généré procéduralement qui semble provenir de l'emplacement des pieds de l'utilisateur, synchronisé avec la rétroaction visuelle de leurs pieds réels.

Suivi des yeux et focalisation audio

De nombreux casques AR de next-gen comprennent des traceurs oculaires qui mesurent l'endroit où l'utilisateur regarde. En combinant la direction du regard et l'orientation de la tête, le système pourrait mettre en œuvre mise au point audio— faire le son de l'objet que l'utilisateur fixe plus en avant, tout en mutant ou en diffusant des sons de fond. Ceci imite l'effet -"cocktail party" en véritable ouïe, où nous nous occupons sélectivement d'un orateur. ETH Zurich montrer que l'audio spatial guidé par un paupier améliore l'intelligibilité de la parole dans les environnements EI bruyants jusqu'à 15% par rapport au suivi de la tête seulement.

Reconstruction audio environnementale

Les futurs casques AR peuvent utiliser des capteurs de profondeur et des caméras pour construire un modèle acoustique dynamique de l'environnement réel – détection de surfaces telles que les murs, les tapis et les fenêtres – et calculer ensuite les réponses impulsionnelles pour les sons virtuels qui réfléchissent et absorbent ces surfaces en temps réel. Projet Acoustique La technologie de Microsoft démontre déjà une acoustique précalculée pour les scènes statiques, mais les environnements en évolution en temps réel restent un domaine de recherche actif. Combinés au suivi de la tête, ces systèmes permettraient à un utilisateur d'entendre une balle virtuelle rebondir derrière un véritable pilier, le son étant étouffé et déplacé exactement comme dans le monde physique.

Normes sans fil et étalonnage biométrique

L'industrie converge vers des normes telles que Momentum Sonorité spatiale et Dolby Atmos pour casques Bientôt, les écouteurs sans fil dotés d'UMI intégrés pourraient transmettre les données de suivi de la tête à une application AR fonctionnant sur un téléphone, permettant un son spatial de haute qualité sans casque dédié. L'étalonnage biométrique – à l'aide de scans de moule d'oreilles depuis un smartphone – deviendra courant et rendra les HRTF personnalisés accessibles aux consommateurs à un coût minime.

Conclusion

La technologie continue d'évoluer, et nous pouvons nous attendre à des interactions audiovisuelles encore plus sophistiquées qui transformeront notre perception et notre interaction avec des environnements augmentés. La convergence de la inertie précise et du suivi optique, la personnalisation du HRTF apprise par la machine et le rendu acoustique respectueux de l'environnement rendront le son AR aussi convaincant que le monde réel, et dans certains cas, meilleur. Les développeurs et les concepteurs qui investissent dans la compréhension de ces technologies aujourd'hui seront bien placés pour créer la prochaine génération d'expériences AR qui captent non seulement l'œil, mais aussi l'oreille et l'esprit.

Liens externes pour plus de détails: