Révolutionner le flux audio sous des conditions de faible largeur de bande

La diffusion audio est devenue un élément fondamental de la vie quotidienne, allant des services musicaux comme Spotify et Apple Music aux outils de communication en temps réel tels que Zoom et Discord. Ces plateformes fournissent des milliards d'heures de contenu chaque jour, mais une grande partie du public mondial se connecte à travers des environnements perturbés par la bande passante : zones rurales avec une infrastructure limitée, réseaux mobiles dans les régions en développement, ou encombrés de Wi-Fi dans les villes denses. Dans ces scénarios, la compression audio efficace n'est pas un luxe mais une nécessité.

La compression des données audio réduit la taille des fichiers audio numériques, ce qui permet une transmission plus rapide et des exigences de stockage plus faibles.Depuis des décennies, les codecs comme MP3 et AAC sont des chevaux de bataille de l'industrie. Cependant, à mesure que les exigences du réseau augmentent et que les attentes des auditeurs augmentent, les techniques émergentes repoussent les limites de ce qui est possible à des débits très faibles.

Concepts de base : Débit, Compression de perte et Psychoacoustique

Les codecs audio sont largement divisés en catégories sans perte et sans perte. Les codecs sans perte tels que FLAC et ALAC conservent chaque morceau du signal original mais atteignent des ratios de compression modestes (environ 2:1), les rendant impropres à la diffusion à bande basse. Les codecs perdants sacrifient certaines informations audio pour obtenir des ratios beaucoup plus élevés (10:1 ou plus), ciblant des données qui sont moins audibles à l'oreille humaine, guidées par des modèles psychoacoustiques de l'ouïe humaine.

Un flux typique de haute qualité peut utiliser 256 kbps pour une piste stéréo, mais dans des environnements à bande passante, le débit disponible peut tomber à 64 kbps ou même 32 kbps. À des taux aussi bas, les codecs traditionnels introduisent des artefacts audibles : sonnerie métallique, perte de fréquences élevées, pré-écho et qualité générale - -warbly. Les techniques émergentes visent à maintenir la qualité perceptuelle à ces faibles bitrates en utilisant des modèles plus sophistiqués de génération d'ouïe et de signal humains.

Où se trouvent les codescs traditionnels aujourd'hui

Pour apprécier la nouveauté des techniques émergentes, il est utile de revoir les normes qui dominent actuellement le paysage.

MP3 (MPEG‐1 Audio Layer 3), développé au début des années 1990, reste largement utilisé. Il utilise une banque de filtres hybride et un modèle psychoacoustique pour enlever des composants inaudibles, obtenant une qualité raisonnable à 128–192 kbps. Cependant, sa performance se dégrade rapidement en dessous de 96 kbps, et il se heurte à des audios complexes tels que la musique classique ou des mélanges denses.

AAC (Advanced Audio Coding), le successeur de MP3, offre une meilleure qualité sonore au même débit. Il utilise une banque de filtres plus flexible (modifiée Discret Cosine Transform ou MDTC), un codage stéréo amélioré et une meilleure gestion des sons transitoires. AAC est la norme pour YouTube, Apple Music et de nombreux services de streaming.

Opus, publié en 2012, est maintenant considéré comme le codec le plus polyvalent tout-terrain. Il combine le codec SILK (pour la parole) de Skype et le codec CELT (pour la musique) de l'IETF. Opus bascule parfaitement entre la parole et la musique, prend en charge le débit variable de 6 kbps à 510 kbps, et atteint une qualité transparente à 64 kbps pour la musique stéréo. Son retard algorithmique faible (aussi bas que 5 ms) le rend idéal pour la communication en temps réel. Opus est utilisé par Spotify pour son réglage de qualité -Très Haute , et est le codec obligatoire pour WebRTC. Malgré l'excellence Opus, les techniques émergentes visent à dépasser ses performances à des débits ultra-faibles en dessous de 32 kbps.

Techniques émergentes qui redéfinissent l'audio à faible teneur en carbone

Compression en réseau neuronal

Contrairement aux codes de codes traditionnels qui reposent sur des transformations artisanales et des tables psychoacoustiques, les modèles de compression neuronale sont formés pour optimiser la qualité perceptuelle à un débit cible. L'architecture centrale est un codeur automatique : un réseau encodeur compresse l'audio en une représentation latente (un ensemble de nombres), qui est ensuite quantifiée et transmise. Un réseau décodeur reconstitue l'audio à partir de la représentation latente.

Les premiers travaux comme WaveNet DeepMind a montré que les modèles génériques pouvaient produire des discours de haute qualité, mais qu'ils étaient trop lents pour être utilisés en temps réel. Sonorisation (Google, 2021) a introduit un codeur-décodeur entièrement convolutionnel avec un quantificateur vectoriel résiduel (RVQ) pour réaliser des débits variables dans un modèle unique. SoundStream peut fonctionner de 3 kbps à 24 kbps, surperformant Opus à très bas débits pour la parole et la musique. EnCodec (Meta, 2022) a ajouté un décodeur basé sur un transformateur et un discriminateur spectrogramme multiéchelle pour améliorer la qualité perceptuelle. EnCodec est conçu pour le streaming en temps réel avec une latence aussi faible que 80 ms et prend en charge plusieurs bits.

SoundStream et EnCodec sont tous deux open-source et ont été intégrés dans des produits du monde réel: Google , Lyra pour l'appel vocal et Meta , le codec audio pour le streaming à faible débit dans Messenger et Instagram. Google SoundStream Blog) (Blog de Meta EnCodec)

Les codes de type traditionnel appliquent un ensemble fixe de règles, tandis que les modèles apprises modélisent implicitement des dépendances complexes dans le signal, ce qui entraîne un nombre réduit d'artefacts à très faible débit. Cependant, ces modèles nécessitent une puissance de calcul importante pour l'encodage et le décodage, ce qui pose des défis pour les appareils de faible puissance tels que les smartphones et le matériel IoT. Optimiser les codes de neurones pour une inférence efficace sur les processeurs mobiles, les DSP et les NPU est un domaine de recherche actif.

Améliorations du codage perceptuel

Alors que les réseaux neuronaux prennent les titres, les améliorations progressives au codage perceptuel continuent à produire des avantages tangibles. Le codage perceptuel repose sur des modèles psychoacoustiques qui caractérisent le système auditif humain. xHE‐AAC (eXtended High-Efficiency AAC), normalisé en MPEG‐D USAC (Uniified Speech and Audio Coding), intègre l'extension de bande passante étendue (SBR) et le codage stéréo paramétrique. USAC peut coder sans heurts la parole et la musique, obtenant une qualité compétitive de 12 à 32 kbps. Il prend également en charge MPEG‐H Audio 3D pour le son immersif. (Fraunhofer USAC)

Les améliorations clés comprennent l'amélioration de la configuration du bruit temporel (TNS) et la substitution du bruit perceptuel (PNS), qui attribuent les bits plus efficacement aux sons transitoires par rapport au fond stationnaire. Un autre est l'utilisation de modes de codage adaptés à des types de contenu spécifiques : un mode de parole utilisant ACELP (Algebraic Code Excited Linear Prediction) et un mode de musique utilisant MDCT. En changeant dynamiquement entre les modes, les codecs comme Opus et USAC maintiennent une qualité élevée sur divers signaux audio.

Les nouvelles techniques perceptives ont également un effet de levier apprentissage profond pour prédire la qualité audio. Des mesures objectives comme PSEQ (Évaluation Perceptuelle de la Qualité de la Parole) et ViSQOL (Virtual Speech Quality Objective Auditer) peuvent guider l'attribution de bits à l'intérieur d'un encodeur, en adaptant efficacement la compression pour maximiser la note perceptuelle prédite.

Encodage adaptatif et encodage des logiciels de diffusion

La compression n'est qu'une partie de la solution, la méthode de livraison est également importante. Le streaming ABR (Aptive Bitrate), commun en vidéo (HLS, DASH), est désormais standard pour les plateformes comme Tidal, Spotify et Amazon Music. Les systèmes ABR encodent l'audio à plusieurs bits et segmentent le flux en petits morceaux. Le client sélectionne le morceau de qualité supérieure qui peut être téléchargé dans un budget en fonction des conditions actuelles du réseau.

Encodage du contenu Un passage acoustique silencieux de guitare peut nécessiter plus de bits pour préserver les détails, tandis qu'une section rock forte peut masquer plus de bruit de quantification. Les services comme Netflix utilisent des techniques similaires pour la vidéo, et maintenant les pipelines de codage audio adoptent une optimisation par titre. Les modèles d'apprentissage automatique analysent le contenu audio et prédisent le débit optimal pour chaque segment, économisant la bande passante sans compromettre la qualité perçue, particulièrement bénéfique dans les environnements limités où chaque bit compte.

Principaux défis dans les déploiements de la largeur de bande‐constraintes

Malgré des progrès rapides, le déploiement de ces techniques émergentes à l'échelle est confronté à plusieurs obstacles.

  • Encodage/décodage en temps réel: Le streaming en direct et la communication vocale exigent des retards de fin à fin de 100 ms. Beaucoup de codecs neuraux, bien que s'améliorant, ont encore plus de latence que les codes classiques comme Opus (qui peut atteindre 5 ms).
  • Complexité informatique: L'encodeur et le décodeur doivent fonctionner efficacement sur une large gamme d'appareils, des serveurs haut de gamme aux smartphones alimentés par batterie. Les codecs neuraux nécessitent souvent une accélération GPU ou un matériel AI dédié pour fonctionner en temps réel.
  • Résistance aux pertes de paquetsLes codes standards comprennent des outils comme la correction d'erreur avancée (FEC) et la dissimulation de perte de paquets (PLC). Les codes neuraux émergents doivent intégrer des mécanismes similaires sans briser le pipeline d'apprentissage de bout en bout. Certaines approches utilisent des modèles génériques pour remplir des cadres perdus, mais la fiabilité dans des conditions réelles est toujours validée.
  • Normalisation et interopérabilité Bien que l'Opus soit une norme ratifiée par l'IETF, la plupart des codecs neuraux sont propriétaires ou encore en recherche. Pour une adoption généralisée, ils doivent être normalisés, testés pour la conformité, et intégrés dans les systèmes d'exploitation, les navigateurs et le matériel.MPEG)
  • Mesure de la qualité à faible débitLes chercheurs s'appuient sur des tests d'écoute subjectifs (MUSHRA) et des mesures objectives plus récentes comme ViSQOL qui permettent de mieux saisir la qualité perceptive. Cependant, ces mesures sont coûteuses par calcul et inadaptées au contrôle en temps réel des encodeurs. La mise au point d'estimateurs de qualité perceptuels légers pour l'optimisation en ligne est une priorité de recherche.

Orientations futures : Où la compression audio est en tête

La trajectoire est claire : des algorithmes fixes aux systèmes apprenants, adaptés au contenu. Plusieurs directions passionnantes sont à l'horizon.

Compresse audio basée sur un objet (p. ex. MPEG‐H Audio 3D) diffuse des objets audio séparés (dialogue, fond, effets) au lieu d'un signal stéréo prémixé. Cela permet au client de rendre l'audio en fonction de l'environnement et des préférences de l'auditeur, tout en encodant des objets à différents niveaux de qualité.

Codecs génériques et basés sur la diffusion Au lieu de transmettre une représentation compressée de la forme d'onde, le décodeur pourrait générer de façon conditionnelle de l'audio à partir d'une description ou d'un vecteur latent. AudioLM et des modèles similaires montrent que des images audio de haute qualité peuvent être générées à partir de représentations extrêmement compactes, bien que les modèles actuels soient loin d'être en temps réel.

Intégration de l'apprentissage automatique dans l'ensemble du pipeline de diffusion Par exemple, un modèle AI léger sur le client pourrait effectuer une super résolution, reconstituant le contenu haute fréquence à partir d'un flux à faible débit, semblable à celui d'un système de gestion de l'information. AudioSR (audio super-résolution) Ce qui décharge le calcul au décodeur, qui est souvent plus puissant que prévu.

Formation perceptive à base de données métriques En intégrant des approximations différentes des scores de test d'écoute dans la fonction perte, les codecs neuraux peuvent optimiser directement pour le plaisir humain plutôt que la reconstruction du signal. Les premiers résultats montrent que les codecs formés avec ViSQOL ou LPIPS pour produire des artefacts plus agréables.

Accélération matérielle Les SoC mobiles d'Apple, Qualcomm et Samsung incluent désormais des unités de traitement neuronal capables de faire fonctionner des modèles audio légers en temps réel avec un tirage minimal de puissance, ce qui permettra une compression neuronale de haute qualité sur des milliards d'appareils.

Conclusion : Un avenir convergé pour la compression audio

Les nouvelles techniques de compression des données audio remodelent ce qui est possible dans les environnements de bande passante. Les codecs neuraux basés sur le réseau comme EnCodec et SoundStream démontrent que l'audio de haute qualité peut être livré à des débits aussi bas que 3 kbps – considérablement plus bas que ce que les codecs traditionnels peuvent obtenir. Entre-temps, des améliorations progressives du codage perceptuel et du streaming adaptatif comblent l'écart pour les applications principales. L'adoption du monde réel s'accélère : Google , Lyra est déjà utilisé pour les appels vocaux dans Google Duo, et Meta , codec est intégré dans ses plateformes de messagerie.

L'avenir du streaming audio ne se situe pas dans une seule percée, mais dans la convergence des approches apprises et conçues : modèles neuronaux pour une stabilité ultra-faible du débit, modèles perceptuels pour l'efficacité et systèmes adaptatifs pour la résilience.Pour les développeurs et les fournisseurs de streaming, le message est clair : investir dans la compréhension et la mise en œuvre de ces techniques émergentes maintenant pour fournir la meilleure expérience possible dans un monde de plus en plus connecté mais inégalement réseauté.