Développement et importance de l'audio basé sur des objets dans les plateformes de streaming

Depuis des décennies, l'audio a été livré par des formats fixes basés sur des canaux comme les sons stéréo et 5.1 surround, qui ont peint une image sonique statique. Aujourd'hui, un nouveau paradigme – l'audio basé sur des objets – permet aux concepteurs de sons individuels de traiter les sons comme des éléments distincts qui peuvent être placés, déplacés et mis à l'échelle dans un espace tridimensionnel. Ce passage de l'audio basé sur des canaux à l'audio basé sur des objets n'est pas seulement une amélioration progressive; il s'agit d'une réflexion fondamentale sur la façon dont le son est capté, transmis et rendu. Avec la croissance explosive des plateformes de streaming, l'audio basé sur des objets est passé d'une technologie de niche utilisée dans les cinémas haut de gamme à une fonctionnalité classique qui améliore l'expérience de divertissement à domicile pour des millions de téléspectateurs et d'auditeurs dans le monde entier.

Les plateformes de streaming sont l'incubateur parfait de cette technologie. Elles offrent un pipeline direct aux consommateurs, contournant les contraintes des médias physiques et de l'infrastructure de diffusion. Les services comme Netflix, Apple TV+, Disney+ et Amazon Prime Video offrent désormais des pistes audio immersive, tandis que les services de streaming de musique tels qu'Apple Music, Tidal et Amazon Music ont adopté l'audio objet pour une nouvelle ère de la musique spatiale.

L'évolution des technologies audio

De Mono à Surround Sound

L'histoire de la reproduction audio est une histoire de dimensionnalité croissante. mono (Single-channel) son, qui pourrait venir d'une seule direction. stéréo Dans les années 1950, les auditeurs ont reçu deux canaux et un sens rudimentaire du positionnement gauche-droit, mais la profondeur et la hauteur étaient absentes. bruit d'entourage Les formats Dolby Pro Logic (matrifié 4.0) et les formats discrets ultérieurs tels que Dolby Digital (5.1) et DTS ont fourni un plan horizontal à 360 degrés, avec un canal sous-woofer dédié aux effets de basse fréquence. Ces systèmes basés sur un canal traitent l'auditeur comme un point fixe; le champ sonore est mélangé à un nombre prédéterminé de haut-parleurs disposés dans une disposition spécifique (p. ex. 5.1, 7.1).

Si un auditeur n'a pas cette disposition exacte – par exemple, une barre sonore au lieu de haut-parleurs distincts – l'expérience spatiale est compromise. De plus, les systèmes basés sur un canal ne peuvent pas contrôler individuellement chaque source sonore. Un hélicoptère volant au-dessus est simplement balayé par les canaux; le système n'a aucun moyen de le rendre en douceur dans la dimension verticale si le tableau de haut-parleurs manque de canaux de hauteur.

Poussez au-delà du lit de la Manche

Au début des années 2000, les ingénieurs du cinéma et du cinéma à domicile ont reconnu que la prochaine frontière était la hauteur, l'axe z. En 2012, Dolby a introduit Dolby Atmos dans les théâtres, qui ont ajouté des haut-parleurs et introduit le concept d'objets audio plutôt que des canaux seuls. Cela a brisé le moule de mélange statique de haut-parleurs. DTS:X et la norme de diffusion MPEG‐H Audio Le principe sous-jacent est le même : le son n'est plus lié à un flux de haut-parleurs ; c'est un élément indépendant qui transporte des métadonnées décrivant sa position tridimensionnelle, sa taille, sa vitesse et d'autres paramètres.

Le développement de l'audio objet représente une convergence du traitement des signaux numériques, des avancées dans les normes de métadonnées et la disponibilité de puces de rendu plus puissantes dans les appareils grand public. C'est l'aboutissement de décennies de recherche sur l'ouïe spatiale, la psychoacoustique et la technologie de compression.

Comprendre l'audio par objet : principes et formats

Comment les objets diffèrent des canaux

Dans un système traditionnel basé sur un canal, le mix audio est -"baked" dans un nombre défini de flux d'enceintes. Par exemple, un mix 5.1 contient six canaux discrets : gauche, centre, droite, surround gauche, surround droit et effets basse fréquence. L'ingénieur de mixage décide quels sons vont à quel haut-parleur et à quel niveau. Le système de lecture n'a pas de flexibilité; il envoie simplement chaque canal à son haut-parleur assigné.

L'audio basé sur l'objet change entièrement ce paradigme. Les sources sonores originales (p. ex., un dialogue de caractère, une voiture de passage, une goutte de pluie) sont codées comme suit : objets audio. Chaque objet est accompagné de métadonnées – instructions décrivant sa position prévue dans l'espace 3-D (coordonnées x, y, z), sa taille (la largeur du son apparaît) et son chemin de mouvement dans le temps. Le périphérique de rendu (récepteur AV, barre son, ou même casque) utilise ces métadonnées pour calculer en temps réel la répartition de l'objet entre les haut-parleurs disponibles dans cette pièce. Cela permet au système de s'adapter à toute configuration de haut-parleur, d'une configuration 5.1 à une configuration 7.1.4 (avec haut-parleur) à une simple barre son stéréo qui utilise le traitement virtuel pour simuler la hauteur et les effets d'entourage.

Il est important de noter que les objets peuvent aussi porter l'audio -bédé, un mélange traditionnel basé sur un canal qui sert de base à la superposition des objets. Dans Dolby Atmos, par exemple, un mélange de films typique peut contenir un lit de 7,1 plus jusqu'à 118 objets simultanés.

Les formats de pointe sur le marché

Plusieurs formats audio basés sur des objets sont maintenant établis, chacun avec ses propres forces et modèles d'adoption :

Dolby Atmos — le format objet le plus largement reconnu et déployé. Conçu à l'origine pour le cinéma, Atmos est maintenant disponible sur pratiquement toutes les plateformes de streaming majeures, dans les récepteurs de cinéma à domicile, les barres de son et même les écouteurs (via le traitement binaural virtualisé). Atmos prend en charge jusqu'à 118 objets et un lit 9.1, avec rendu adapté à la disposition des haut-parleurs de l'auditeur. Il utilise un codec propriétaire (Dolby Digital Plus avec JOC, ou Dolby TrueHD pour disque) et est livré via des services de streaming utilisant E‐AC‐3 ou AC‐4.

DTS:X — DTS=S répond à Atmos, DTS:X utilise aussi l'audio basé sur objet mais avec un moteur de rendu différent. Il met l'accent sur -la liberté de placement - et est orienté objet plutôt que canal ; contrairement à Atmos, DTS:X n'a pas besoin d'un lit fixe. DTS:X est plus commun sur les supports physiques (Blu‐ray et Ultra HD Blu‐ray) et est pris en charge par des plateformes et des périphériques de streaming sélectionnés. Casque DTS:X étend l'audio spatial aux écouteurs.

MPEG‐H Audio — Norme ISO élaborée par le Groupe d'experts en photographie mobile, MPEG‐H est conçue pour la diffusion et la diffusion en continu. Elle offre un cadre complet qui comprend à la fois des formats basés sur des canaux, des objets et des formats immersifs. MPEG‐H est utilisé dans la norme audio 3D pour la radiodiffusion terrestre (par exemple en Corée du Sud) et est soutenu par Dolby comme le cœur de Dolby AC‐4. Il fournit des fonctionnalités avancées comme la personnalisation audio interactive, permettant aux téléspectateurs d'ajuster les niveaux de dialogue ou de changer les pistes linguistiques sans sacrifier l'immersion.

IAMF (Modèle et formats audio immersifs) — Une nouvelle norme open-source développée par l'Alliance for Open Media (AOM). IAMF vise à fournir une alternative sans redevance pour l'audio spatial, en utilisant le code Opus. Il est conçu pour fonctionner en parfaite harmonie avec le streaming Internet et être mis en œuvre dans les navigateurs Web et les appareils supportant la vidéo AV1. IAMF pourrait devenir la norme pour l'audio objet basé sur le Web, comme la façon dont Opus est utilisé pour le streaming audio général.

L'augmentation de l'audio par objet dans les plateformes de streaming

Vidéo en streaming : la révolution du théâtre domestique

L'adoption de l'audio par objet par les plateformes de streaming vidéo a été un changement de jeu pour le divertissement à domicile. Netflix Il a commencé à offrir Dolby Atmos en 2017 avec la série -Okja, , , , , il a signalé que l'audio immersif n'était plus exclusif aux cinémas. Aujourd'hui, une vaste bibliothèque de Netflix Originals et de contenu sous licence est disponible dans Atmos, avec certains titres dans DTS:X. Disney+ rapidement suivi, fournissant Atmos pour blockbuster Marvel et Star Wars contenu. Téléphonie Apple+ va plus loin en soutenant à la fois Dolby Atmos et, pour le casque Apple Vision Pro, un système unique -audio Pod- , qui utilise le rendu binaural basé sur objet pour placer des sons dans l'environnement réel de l'utilisateur.

Contrairement aux disques Blu-ray, qui offrent un son sans perte de débit élevé (p. ex. Dolby TrueHD), les services de streaming doivent compresser l'audio pour s'adapter à la bande passante disponible tout en préservant l'intégrité spatiale. Ils utilisent des codecs efficaces comme Dolby Digital Plus (E‐AC‐3) avec code d'objet commun (COJ) pour Atmos, et C-4 Ces codecs atteignent une excellente qualité à des débits aussi bas que 384 kbps pour un mélange Atmos complet – bien moins que les 6-8 Mbps d'une piste TrueHD sans perte. Le streaming de débit adaptatif ajuste la qualité audio en verrou avec vidéo pour éviter le tamponnage, assurant une expérience fluide même sur des connexions réseau variables.

Si un périphérique utilisateur ne supporte pas le rendu par objet, le système revient automatiquement sur le lit d'entourage ou stéréo intégré. Cette compatibilité arrière, intégrée dans les métadonnées audio, garantit que le contenu basé sur objet atteint le plus grand nombre d'audiences possibles sans exiger de tous les utilisateurs qu'ils mettent à niveau leur matériel.

Streaming musical: l'audio spatial prend la scène centrale

Peut-être la croissance la plus explosive de l'audio basé sur objet dans la diffusion a eu lieu dans la musique. Musique Apple introduit l'audio spatial avec Dolby Atmos, rendant des milliers de chansons disponibles dans un mix immersif qui place les instruments et les voix autour de l'auditeur. Amazon Music Unlimited Il offre une fonctionnalité similaire appelée -Amazon Music HD-- avec Dolby Atmos et Sony-- 360 Reality Audio (qui utilise des principes basés sur des objets avec une philosophie différente – placer des sons sur une sphère autour de l'auditeur). Tidale a été un pionnier en audio haute résolution et inclut maintenant Dolby Atmos et 360 Reality Audio pistes dans son niveau de qualité Master.

Dans le film, les objets sont souvent étroitement liés à l'action à l'écran; dans la musique, le but est de créer un sentiment d'espace et d'enveloppe qui complète la chanson plutôt que de mimer la réalité. Les producteurs et les ingénieurs de mix peuvent placer les voix au centre, les queues de réverbération à l'arrière et les arpèges de guitare au-dessus, transformant un mix stéréo en une expérience tridimensionnelle. L'auditeur peut également choisir entre le mix stéréo original et le mix spatial, selon leur appareil et leur préférence.

Pour offrir efficacement de la musique spatiale, les services de streaming utilisent les mêmes codecs que la vidéo – Dolby Digital Plus avec JOC – mais souvent à des débits plus élevés (environ 256-512 kbps) pour préserver la nuance de la musique. À mesure que les écouteurs deviennent le principal appareil de lecture, le traitement binaural virtualisé intégré dans les applications de streaming (p. ex. Apple Spatial Audio avec suivi de la tête) rend le mixage basé sur objet dans un champ sonore 3-D convaincant sans nécessiter de multiples haut-parleurs.

Impact sur la création et la livraison de contenu

Pour les cinéastes et les développeurs de jeux

Un cinéaste peut placer un murmure directement derrière l'oreille gauche du spectateur, faire rugir un vaisseau spatial d'en haut, ou avoir un personnage des pas de pas se déplacer sans heurts du front vers le côté. Parce que l'audio est rendu en temps réel, le même mix peut s'adapter à l'environnement de l'auditeur, qu'il s'agisse d'un 7.1.4 home cinéma ou d'un ensemble de casques stéréo. Cela libère les créateurs de s'inquiéter des mises en page des haut-parleurs et leur permet de se concentrer sur l'impact émotionnel.

Dans le jeu, l'audio par objet est essentiel pour l'immersion. Les moteurs de jeux tels que Unreal Engine et Wwise intègrent le support des API audio spatiales (p. ex. Dolby Atmos for Gaming, Windows Sonic, Steam Audio). Les développeurs peuvent positionner des sons individuels – coups de feu, pas, ambiance environnementale – comme des objets 3-D qui interagissent avec la géométrie du monde du jeu. Cela améliore non seulement le réalisme mais aussi les avantages concurrentiels; les joueurs peuvent entendre un emplacement de l'adversaire avec beaucoup plus de précision.

Changements dans les flux de production

L'adoption de l'audio par objet nécessite des changements dans la chaîne de production. Le logiciel de mixage de console, les postes de travail audio numériques (DAW) et les outils de mastering ont évolué pour prendre en charge les métadonnées des objets. Par exemple, Avid Pro Tools comprend désormais un -Reenderer - qui envoie des informations sur objet à un Dolby Atmos RMU (Unité de rendu et de mastering).

Les ingénieurs doivent attribuer des coordonnées 3-D à chaque objet et décider si un objet doit être --panné -(déplacement) ou statique. Ils doivent aussi définir des distances -snap-(diffusé) et des paramètres de divergence. Les métadonnées sont stockées à côté de l'audio dans un format de fichier principal comme ADM (Modèle de définition audio) ou BWF (Format de vague de radiodiffusion avec métadonnées intégrées).

Malgré ces étapes supplémentaires, l'audio objet n'augmente pas nécessairement de façon significative le coût de la création de contenu.De nombreuses plateformes de streaming fournissent des lignes directrices et subventionnent même la création de mixages spatiaux, surtout pour la musique. Le rendement de l'investissement est clair : le contenu avec l'audio immersif a tendance à avoir une plus grande participation, des temps de visionnement plus longs et une promotion plus forte du mot-de-bouche.

Principaux avantages de l'audio par objet

Immersion améliorée

Le plus évident est un son beaucoup plus réaliste et encombrant. L'audio basé sur un objet reproduit la façon dont nous entendons dans le monde réel – les sons proviennent de points spécifiques dans l'espace, avec des indices naturels pour la distance et l'élévation. Dans un film, une tempête de pluie peut se sentir comme si elle tombait partout autour de vous, pas seulement de l'avant et des haut-parleurs latéraux. Dans un jeu, le son d'une flèche qui siffle au-delà de votre oreille induit une véritable adrénaline. Cette immersion conduit à une connexion émotionnelle plus forte et une expérience plus mémorable.

Personnalisation

Certains services et appareils de streaming permettent aux utilisateurs d'ajuster le niveau de dialogue par rapport aux effets, de changer le langage d'une narration ou même d'échanger des objets audio (p. ex., choisir entre différents commentaires audio). Cette personnalisation est intégrée dans des formats tels que MPEG‐H et AC‐4, qui incluent des fonctions audio interactives. Pour les téléspectateurs malentendants, l'audio basé sur des objets peut générer un dialogue de canal central propre sans affecter le reste du mix, en résolvant un problème de longue date avec le son du home-théâtre.

Flexibilité entre les appareils

Le même mix maître peut sembler excellent sur un système haut de gamme 7.1.4 et offre une expérience spatiale convaincante sur une barre de son stéréo ou un casque. Cette flexibilité est essentielle pour la diffusion en continu, où les utilisateurs accèdent au contenu sur une grande variété d'appareils – téléviseurs intelligents, ordinateurs portables, tablettes, téléphones et casques VR. Le moteur de rendu à l'intérieur de chaque appareil (ou dans l'application de diffusion en continu) prend les métadonnées et la configuration de l'enceinte de l'appareil et offre le meilleur résultat possible.

Compatibilité future

L'audio basé sur les objets est construit pour l'avenir. À mesure que de nouvelles configurations de haut-parleurs émergent, comme des tableaux de hauteur plus grands, des pilotes de tir latéral ou même des acoustiques holographiques, les mélanges basés sur les objets existants seront automatiquement rendus pour en tirer parti. Aucun remixage n'est nécessaire. De même, à mesure que la réalité virtuelle et la réalité augmentée deviendront plus courantes, l'audio basé sur les objets sera l'épine dorsale du son spatial dans ces expériences.

Perspectives et défis futurs

Élargir l'écosystème

Bien que les grandes plateformes de streaming l'aient acceptée, de nombreux services plus petits, des flux d'événements en direct et des plateformes de contenu générées par les utilisateurs sont en retard. À mesure que la bande passante augmente et que le matériel de consommation devient plus abordable (p. ex., des barres sonores d'entrée de gamme avec des canaux de hauteur virtualisée), la base installée des appareils capables augmentera. IAMF et les solutions audio spatiales open-source peuvent accélérer l'adoption parmi les plateformes web comme YouTube, Twitch et les applications de médias sociaux, qui dépendent actuellement fortement de la stéréo.

Défis en matière de normes et de délivrance de licences

L'un des principaux obstacles à l'adoption généralisée est la fragmentation des formats et des droits de licence. Dolby Atmos exige une licence de Dolby, qui peut être coûteuse pour les fabricants de matériel et les services de streaming. DTS:X a sa propre licence. MPEG‐H est une norme ISO mais implique une licence de Via Licensing Alliance. IAMF est exempt de redevances, mais il manque l'écosystème établi de contenu et d'outils dont Atmos jouit.

Une norme unifiée réduirait les coûts et simplifierait la distribution de contenu, mais les forces du marché et les considérations de propriété intellectuelle rendent cela improbable à court terme.

L'audio en réalité virtuelle et augmentée

Les écouteurs VR actuels intègrent le traitement audio spatial (p. ex. Oculus Audio SDK) qui utilise le rendu par objet combiné avec les fonctions de transfert liées à la tête (HRTF) pour créer un son 3D convaincant sur un casque. Comme Apple Vision Pro et Meta Quest Pro repoussent les limites de la réalité mixte, l'audio basé sur objet sera essentiel pour fournir des environnements sonores crédibles, notamment la simulation acoustique des réflexions de pièce, l'occlusion (bâclée par des objets virtuels) et l'atténuation basée sur la distance, tous animés par des métadonnées.

L'IA et l'apprentissage automatique en audio

L'intelligence artificielle commence à jouer un rôle dans la création et la diffusion audio par objet. L'intelligence artificielle peut analyser automatiquement un mix stéréo et extrapoler les métadonnées spatiales, en utilisant efficacement le contenu hérité en audio par objet, bien que les résultats soient encore imparfaits. Du côté du rendu, les modèles d'apprentissage automatique peuvent prédire les affectations optimales des haut-parleurs pour une disposition donnée de la pièce, améliorant ainsi la précision spatiale.

La route à l'horizon

L'audio basé sur les objets dans les plateformes de streaming n'est pas seulement une tendance, c'est un changement fondamental dans la façon dont le son est intégré dans les médias numériques. Avec des améliorations continues de l'efficacité de compression, des capacités matérielles et des outils créatifs, il deviendra finalement la façon par défaut dont nous expérimenterons l'audio sur demande. La ligne entre le cinéma, le home-théatre, le jeu et les événements en direct va s'estomper, tous alimentés par le même paradigme fondé sur les métadonnées.