Comprendre le traitement des signaux sonores spatiaux

Le traitement du signal sonore spatial vise à recréer les signaux sonores naturels utilisés par l'homme pour localiser les sons dans l'espace tridimensionnel. Le système auditif repose sur les différences interaurales de temps (ITD), les différences interaurales de niveau (ILD) et le filtrage spectral causé par la pinna, la tête et le torse.

L'audio binaural est créé à l'aide de fonctions de transfert liées à la tête (HRTF) mesurées à partir d'une tête factice ou d'un auditeur individuel; il est optimal pour la lecture du casque parce qu'il imite directement les signaux de la chaîne d'oreille. L'audio ambassique utilise une représentation harmonique sphérique du champ sonore qui s'échelle de la sphère mono à pleine sphère et fonctionne bien pour le casque et les haut-parleurs.

Les méthodes traditionnelles reposent sur des bases de données pré-mesurées ou des modèles analytiques tels que le modèle de tête de sphère ou les simulations d'éléments limites. Bien que fonctionnels, ces approches produisent souvent une précision de localisation sous-optimale pour les auditeurs dont l'anatomie diffère des moyennes de mesure. Par exemple, les FASS génériques d'une tête factice KEMAR peuvent doubler l'erreur de localisation moyenne pour certains individus.

Au-delà des HRTF, la modélisation acoustique traditionnelle des salles utilise une acoustique géométrique ou des méthodes de différence finie qui nécessitent des propriétés géométriques et matérielles détaillées. Ces méthodes sont coûteuses en calcul et ne s'adaptent pas aux environnements changeants. L'apprentissage automatique offre une alternative : apprendre la cartographie entre les paramètres de la scène acoustique et les repères spatiaux à partir de données, permettant une adaptation en temps réel sans simulation physique explicite.

Comment l'apprentissage automatique améliore l'audio spatial

L'apprentissage automatique apporte deux avantages fondamentaux à l'audio spatial: adaptabilité et Extraction des caractéristiques. Au lieu de règles d'artisanat, les modèles ML apprennent les modèles à partir de gros ensembles de données de mesures acoustiques ou de réponses de test d'écoute. Ils généralisent vers de nouveaux auditeurs ou environnements, raffinent la sortie en fonction de la rétroaction de l'utilisateur, et se chevauchent les sources sonores avec plus de précision que les algorithmes classiques.

Estimation personnalisée du FASS

Une des applications les plus efficaces de ML est de générer des HRTF personnalisés sans exiger une plate-forme de mesure anéchoïque complète. Les premières approches utilisées pour l'analyse des composants principaux (PCA) sur les mesures anthropométriques – largeur de la tête, dimensions de pinna – mais les méthodes d'apprentissage profond produisent maintenant des résultats beaucoup plus précis.

Les modèles récents utilisent une architecture U-Net pour prédire la totalité des bandes de fréquences complexes du FASS à partir d'un ensemble de caractéristiques anthropométriques. D'autres utilisent des codeurs automatiques pour apprendre une représentation latente des variations du FASS, puis décoder des filtres spécifiques à un sujet. Laboratoire Princeton 3D3A ont montré qu'un réseau formé à des centaines de FDRH mesurées peut estimer des filtres individuels avec une erreur de localisation moyenne à quelques degrés de vérité au sol – comparable aux données mesurées.

Cela ouvre la porte aux applications grand public : une caméra smartphone utilisateur pourrait capter la géométrie de l'oreille, et un modèle sur appareil génère un ensemble de filtres binaural personnalisé pour le jeu, les réunions virtuelles ou les appels vidéo. Dirac et les fabricants de chipset comme Realtek sont déjà intégrant la personnalisation ML dans leurs plateformes audio, souvent en utilisant des modèles de réseau quantifiés qui fonctionnent sur des cœurs DSP.

Analyse dynamique des scènes audio

Dans les environnements réels, les sources sonores se déplacent, se chevauchent et réfléchissent hors des surfaces. L'apprentissage automatique excelle à décomposer des scènes acoustiques complexes en flux individuels – un processus appelé séparation des sources. Les réseaux neuronaux récurrents (RNN) et les modèles basés sur les transformateurs peuvent isoler la parole, les pas ou les instruments de musique d'un mélange, puis re-synthétiser chaque source avec des métadonnées spatiales correctes.

L'état de l'art dans la séparation des sources utilise des modèles de domaine temporel comme Conv-TasNet ou Demucs, qui fonctionnent sur des formes d'onde brutes plutôt que des spectrogrammes, évitant les problèmes d'estimation de phase. Pour l'audio spatial, la séparation doit préserver les différences interauriculaires. Les modèles multicanaux qui traitent conjointement plusieurs entrées de microphone – en utilisant des mécanismes d'attention croisée – apprennent à produire des sources séparées avec leurs repères spatiaux correspondants.

L'estimation de la DAO elle-même bénéficie de la LM : les modèles d'apprentissage profond utilisent les différences de phase et d'amplitude à travers un réseau de microphone pour prédire l'azimut et l'élévation. Une architecture commune utilise un réseau neuronal convolutionnel récurrent (CRNN) qui cartographie les spectrogrammes multicanaux vers une carte de probabilité spatiale.

Réduction du bruit et annulation de l'écho acoustique

La réduction du bruit repose depuis longtemps sur la soustraction spectrale et le filtrage Wiener, mais les variantes d'apprentissage profond comme la suppression du bruit avec des réseaux neuronaux entièrement convolutionnels permettent une meilleure conservation de l'intelligibilité de la parole et des signaux spatiaux. Dans un contexte audio spatial, la dénoiseur doit fonctionner par canal ou à travers un réseau multicanal sans nuire aux relations interaurales.

Les modèles de réseau neuronal formés sur des enregistrements spatiaux appariés propres/nuisibles apprennent à supprimer le bruit de fond, le vent ou le bavardage de foule tout en conservant la signature spatiale de la source cible. Par exemple, un modèle de réduction binaural du bruit peut traiter les canaux gauche et droit avec des couches convolutionnelles partagées puis un bloc d'interaction entre canaux pour maintenir ITD et ILD. Des techniques similaires s'appliquent à l'annulation acoustique de l'écho en téléconférence : un modèle ML prédit le chemin de l'écho à partir du signal de référence, s'adapte rapidement aux changements de locaux et préserve le sentiment d'immersion que l'audio spatial confère. Société d'ingénierie audio publie fréquemment des mises à jour sur les approches d'apprentissage approfondi en matière de réduction du bruit spatial, y compris les mises en œuvre en temps réel pour les appareils auditifs.

Rendu et suivi de la tête

Dans l'audio spatial basé sur le casque, la scène rendue doit être mise à jour en continu pendant que l'auditeur tourne la tête. Le rendu traditionnel utilise une faille croisée entre les filtres binauraux précompulés, qui peuvent introduire des clics audibles, flous ou discontinuités spectrales.

Par exemple, un GNN traite la tête de l'auditeur comme un nœud central et des sources comme des nœuds connectés; il apprend à calculer le signal binaural de sortie en fonction de l'orientation. Une autre approche utilise un réseau neural léger qui cartographie les angles de rotation de la tête et une représentation latente du champ sonore à la sortie binaural, formé sur des données binaurales simulées à des orientations distinctes.

Dans les casques de réalité virtuelle, la correction de la tête à moteur ML – utilisant une unité de mesure inertielle (IMU) fusionnée avec des prédictions réseau neuronal – maintient l'audio ancré dans l'environnement virtuel même lorsque le suivi visuel s'arrête. Le réseau neuronal prédit le mouvement de la tête de quelques millisecondes, compensant la latence du capteur et le décalage de mise à jour de rendu.

Modélisation acoustique de la salle et prédiction de la réponse à l'impulsion

Les méthodes traditionnelles mesurent ou simulent les réponses impulsionnelles de la pièce (RIR), mais elles sont calculables et coûteuses à générer pour les pièces arbitraires. L'apprentissage automatique offre une prédiction RIR efficace : un réseau neuronal peut être formé pour générer une réponse impulsionnelle de la pièce binaural (BRIR) à partir d'un ensemble de paramètres d'entrée – dimensions de la pièce, matériaux muraux, positions source-réceptrice – ou même à partir d'une photographie de la pièce.

Une approche utilise un autoencodeur variable conditionnel (cVAE) qui apprend la distribution des grandeurs BRIR en fonction de la position source et de la géométrie de la pièce. Une autre génère des réponses temporelles complètes à l'aide d'un modèle autorégressif de style WaveNet conditionné sur l'emplacement de l'auditeur.

Défis et limites

Malgré des progrès rapides, le déploiement à l'échelle d'un son spatial amélioré par ML présente plusieurs obstacles.

Exigences en matière de données

La collecte de ces données est longue, coûteuse et nécessite des chambres anéchoïques spécialisées et des appareils de mesure robotique. Les données publiques comme la base de données Princeton 3D3A ou la base de données HRTF CIPIC, mais elles manquent souvent de diversité dans les formes de tête, les âges et les caractéristiques démographiques. Les modèles formés sur des populations étroites peuvent être mal adaptés aux auditeurs sous-représentés, réintroduire les mêmes problèmes de filtrage génériques qu'ils étaient censés résoudre.

Coût et latence de calcul

De nombreux modèles ML, en particulier les réseaux neuronaux profonds, nécessitent des ressources de calcul considérables pour l'inférence. Les applications en temps réel comme le streaming en direct ou le jeu VR exigent des pipelines de traitement audio qui se terminent en quelques millisecondes (généralement moins de 10 ms pour le rendu binaural à faible latence). Optimiser les architectures réseau par la taille, la quantisation (par exemple INT8 ou précision mixte), et la distillation des connaissances est essentielle pour adapter des appareils à puissance restreinte tels que les smartphones et les casques VR autonomes.

Généralisation aux conditions invisibles

Un modèle formé dans un laboratoire contrôlé peut se heurter à des variations réelles : différents réseaux de microphones, acoustiques de salle ou comportement de l'auditeur. L'adaptation de domaine et les techniques d'apprentissage non supervisées sont des domaines de recherche actifs, visant à permettre à un modèle de se perfectionner en utilisation normale sans supervision explicite. Par exemple, un modèle d'estimation HRTF pourrait être déployé avec un initialisateur générique et s'adapter par un court test d'écoute sur le casque de l'utilisateur.

Orientations futures

L'intersection entre l'apprentissage automatique et l'audio spatial évolue rapidement. Plusieurs directions prometteuses sont susceptibles de définir la prochaine génération de produits.

Rendus de bout en bout

Au lieu de séparer les phases du pipeline – séparation des sources, estimation de la DAO, filtrage binaural – les chercheurs explorent des modèles qui cartographient l'audio multicanal brut directement à la sortie du casque tout en préservant les repères spatiaux. rendu de bout en bout appris Les premiers résultats obtenus grâce aux architectures de transformation des signaux montrent une fidélité prometteuse, les modèles apprenant à préserver implicitement la cohérence de la phase. Les défis comprennent la stabilité des gradients et la nécessité de fonctions de perte perceptuelle qui saisissent la précision de la localisation.

Multi-modale Sonorité Spatiale

L'intégration d'informations visuelles et inertielles avec l'audio peut grandement améliorer la cohérence spatiale. Un modèle qui voit la position d'un haut-parleur dans une image vidéo peut guider les processus de séparation et de localisation audio, en particulier dans les scènes encombrées. Des transformateurs multimodaux sont appliqués pour annoter des scènes audio avec des boîtes de délimitation 3D, permettant un mélange entièrement automatique de la réalité et des sons virtuels dans la réalité augmentée.

Apprentissage sans supervision et auto-surveillant

Pour réduire la dépendance à l'égard de séries de données labellisées coûteuses, des méthodes autosupervisées, telles que l'apprentissage contrasté sur les paires binaires, sont en cours de développement. Ces techniques permettent aux modèles d'apprendre des représentations spatiales à partir d'audio non étiquetés, puis de s'affiner avec une supervision minimale pour des tâches telles que la séparation des sources ou l'inversion HRTF. Par exemple, un modèle peut apprendre à prédire l'angle relatif d'une source sonore entre deux enregistrements binaires en résolvant une tâche contrastée, générant des caractéristiques spatiales qui se transfèrent bien vers des tâches en aval.

Intégration avec les Codecs de la prochaine génération

MPEG-H et Dolby Atmos transportent déjà des métadonnées pour l'audio objet. L'intégration de décodeurs ML légers dans ces codecs pourrait permettre la personnalisation au niveau du récepteur sans changer le flux de diffusion. Un appareil auditif pourrait utiliser un réseau neuronal pour ajuster la présentation spatiale en fonction de l'audiogramme de l'utilisateur, tout en décodant le bitstream audio objet normalisé. De même, les plateformes de jeux en nuage pourraient diffuser l'audio objet plus un optimisation d'exécution basé sur ML qui adapte le rendu au casque de l'auditeur et aux préférences.

Conclusion

En remplaçant les modèles statiques génériques par des systèmes d'écoute et d'adaptation des données, ML offre un son spatial plus précis, immersif et accessible. Des HRTF personnalisés générés par une caméra smartphone à l'analyse dynamique en temps réel en réalité augmentée, les applications sont déjà tangibles et en croissance. Les défis liés à la diversité des données, à l'efficacité de calcul et à la généralisation persistent, mais la trajectoire est claire : les modèles ML deviennent plus légers et les données d'entraînement deviennent plus riches, l'audio spatial passera d'une fonction de premier plan à une partie attendue de l'écoute quotidienne.