Apprentissage automatique en audio: remodelage de la séparation des sources et amélioration du son

L'apprentissage automatique a fondamentalement modifié le paysage du traitement audio, apportant des percées à peine imaginables il y a dix ans. Parmi les développements les plus transformants, on peut citer la séparation des sources audio et l'amélioration du son, deux technologies qui remodelent discrètement la production musicale, les télécommunications, l'assistance auditive et la consommation quotidienne de médias.

L'évolution du traitement audio

Avant que l'apprentissage machine ne soit entré dans le courant, la séparation des sources audio reposait fortement sur des techniques telles que l'analyse des composants indépendants (ICA), la factorisation matricielle non négative (MFN) et la formage des faisceaux.Ces méthodes fonctionnent raisonnablement bien dans des conditions contrôlées, mais elles luttent lorsque les sources audio se chevauchent en fréquence, lorsque le bruit de fond est imprévisible, ou lorsque l'environnement d'enregistrement introduit la réverbération.

Au lieu de règles de fabrication artisanale pour chaque scénario, les ingénieurs forment des modèles sur des ensembles de données massives de l'audio mixte aux côtés de leurs composants propres et isolés. Ces modèles apprennent à reconnaître les motifs, les signatures timbrales et les relations temporelles qui distinguent une source sonore d'une autre. Le résultat est un niveau de précision et d'adaptabilité que les méthodes traditionnelles ne peuvent pas correspondre.

Le rôle des ensembles de données et des repères

Les critères de référence publics sont essentiels à ce changement, comme MUSDB18, un ensemble de données d'enregistrements multipistes produits par des professionnels et utilisés pour former et évaluer les modèles de séparation des sources. Téléphonie La disponibilité de données de haute qualité, étiquetées, a permis aux modèles de généraliser au-delà de conditions de laboratoire étroites, leur permettant de gérer les variations du monde réel dans les types de microphone, l'acoustique de la pièce et la qualité d'enregistrement.

Comprendre la séparation des sources audio

La séparation des sources audio est la tâche d'extraire des sources sonores individuelles d'un mélange. Un exemple commun est la séparation d'une piste vocale d'une chanson afin qu'un producteur puisse la remixer ou l'analyser indépendamment. Plus largement, la séparation s'applique à tout scénario où coexistent plusieurs sons : séparation de la parole et du bruit de circulation dans un enregistrement assistant intelligent, distinction d'un bébé qui pleure d'un téléviseur dans un moniteur intelligent, ou isolement d'un instrument particulier pendant une performance en direct.

La difficulté de la séparation dépend de la quantité de chevauchement des sources dans le temps et la fréquence. Deux personnes parlant simultanément créent un chevauchement spectral dense; un coup de tambour et une note basse peuvent partager l'énergie de basse fréquence. Les méthodes traditionnelles ont souvent recours à un masque binaire — en décidant que chaque bac de fréquence-temps appartient à une source ou à une autre — ce qui conduit à des artefacts coupants brusques.

Architectures d'apprentissage profond conduisant à la séparation

Trois familles de réseaux neuraux dominent la séparation des sources modernes : les réseaux neuronaux convolutionnels (RNC), les réseaux neuronaux récurrents (RNN) et les transformateurs.

  • Réseaux neuronaux convolutionnels (RCN). Les CNN excellent à capturer les motifs locaux dans les spectrogrammes — représentations bidimensionnelles de la fréquence au fil du temps. En empilant des couches convolutionnelles, le réseau apprend les caractéristiques hiérarchiques, des bords et textures dans le spectrogramme aux structures de niveau supérieur comme les relations harmoniques. Démucs utiliser des encodeurs et des décodeurs convolutionnels pour fonctionner directement sur des formes d'onde, contournant ainsi la nécessité d'une transformation spectrogramme séparée. Demucs a été utilisé dans les environnements de production pour remixer les enregistrements anciens.
  • Réseaux neuronaux récurrents (RNN). Les RNN, en particulier les LSTM et les GRU, modélisent les dépendances temporelles à travers de longues séquences audio. Elles sont particulièrement utiles pour les tâches qui comptent dans leur contexte, par exemple, en distinguant une note de violon soutenue d'un bloc de synthétiseur sonnant similaire. Astéroïde La trousse d'outils fournit des mises en œuvre de plusieurs modèles de séparation fondés sur le RNN.
  • Transformateurs. Conçus à l'origine pour le traitement du langage naturel, les Transformateurs ont été adaptés pour l'audio par des mécanismes d'auto-attention. Ils peuvent capturer des relations sur tout le plan temps-fréquence simultanément, ce qui est puissant pour séparer des sources avec des dépendances non locales. SeptFormer montrer que Transformers peut surperformer les architectures basées sur RNN sur les repères standard, en particulier lorsque l'audio contient plusieurs haut-parleurs. SepFormer atteint des résultats de pointe sur l'ensemble de données LibriMix.

Les modèles hybrides utilisent des couches convolutionnelles pour extraire des caractéristiques de bas niveau, des couches RNN ou Transformer pour modéliser des dépendances temporelles, et un décodeur convolutionnel final pour reconstruire la forme d'onde. Le champ se déplace rapidement, avec de nouvelles architectures apparaissant régulièrement.

Comment les modèles d'apprentissage automatique apprennent à se séparer

La formation d'un modèle de séparation des sources nécessite des données appariées : les mélanges et leurs sources propres correspondantes. Les données comme MUSDB18, qui contient des enregistrements multipistes produits par des professionnels, sont des repères standard. Au cours de la formation, le modèle traite les prédictions du mélange et des sorties pour chaque source – généralement une forme d'onde ou un masque.

Les principaux défis à relever sont les suivants :

  • Ambiguité de permutation. Lorsque plusieurs sources sont présentes, le modèle doit décider de la sortie correspondant à quelle source. Les stratégies de formation comme la formation invariante de permutation (PIT) résolvent cela en essayant toutes les tâches possibles et en sélectionnant celle qui minimise la perte.
  • Échelle ambiguïté. Les sources prédites peuvent avoir la forme correcte de forme d'onde, mais à un niveau de volume différent. Les pertes invariantes d'échelle, comme le SI-SDR, s'attaquent à cela en normalisant les sorties.
  • Généralisation. Un modèle formé sur des enregistrements en studio peut échouer sur des performances en direct ou des clips à faible fidélité. L'augmentation des données – ajoutant du bruit, changeant de pas, simulant l'acoustique de la pièce – améliore la robustesse.
  • Les contraintes de mémoire et de calcul. De nombreux modèles nécessitent de grandes quantités de mémoire GPU pendant l'entraînement. Les techniques comme le contrôle de gradient et l'entraînement de précision mixte aident à réduire l'utilisation de la mémoire tout en maintenant la précision.

Une fois entraîné, un modèle peut traiter un nouveau mélange en une fraction de seconde, rendant la séparation en temps réel possible sur le matériel moderne. Les GPU de qualité consommation peuvent exécuter des modèles légers à des vitesses appropriées pour le streaming en direct ou le chat vocal.

Amélioration du son : au-delà de la séparation simple

Alors que la séparation des sources se concentre sur l'isolement des sons existants, l'amélioration du son vise à améliorer la qualité perçue d'un signal audio. Cela comprend la réduction du bruit de fond, l'annulation de l'écho, la restauration des pics clippés, et même le remplissage de contenu spectral manquant.

Suppression du bruit et annulation de l'écho

Les systèmes anciens utilisaient la soustraction spectrale et le filtrage Wiener, qui introduisaient des artefacts et luttaient contre les bruits non stationnaires comme les clics clavier ou les sirènes. Les approches modernes d'apprentissage de la machine, comme les modèles récurrents et convolutionnels, apprennent à distinguer la parole du bruit en fonction de milliers d'heures de données d'entraînement.

L'annulation d'écho présente un défi connexe : lorsqu'un haut-parleur se vide dans un microphone, le système doit le supprimer sans déformer la parole locale. Les modèles d'apprentissage automatique peuvent modéliser le chemin acoustique entre haut-parleur et microphone, puis soustraire l'écho prévu. Google's RNNoise RNNoise utilise un réseau neuronal récurrent avec moins de 50 000 paramètres, ce qui le rend adapté aux systèmes embarqués.

Restauration audio pour les archives et la production

Les enregistrements d'archives souffrent souvent de clics, de pops, de sifflements ou de bruits à large bande. Les méthodes traditionnelles de dénigrement nécessitent un réglage manuel et endommagent souvent le signal sous-jacent. Les modèles d'apprentissage automatique formés sur des signaux propres peuvent enlever ces artefacts tout en préservant le timbre original. Par exemple, un modèle peut apprendre à combler les lacunes causées par les rayures de vinyle en prédisant le manque d'audio du contexte, ce qui entraîne une restauration qui semble naturelle aux oreilles humaines. MOCHA projet utilise un modèle convolutionnel pour restaurer les enregistrements sonores bruyants avec une grande fidélité.

Aide à l'audition adaptative

L'apprentissage automatique permet à ces appareils de s'adapter en temps réel à différentes scènes acoustiques, en reconnaissant si l'utilisateur est dans une pièce tranquille, un restaurant animé ou une rue venteuse. En classant l'environnement et en choisissant un profil d'amélioration approprié, les appareils auditifs modernes offrent une expérience d'écoute beaucoup plus naturelle que les systèmes à gain fixe antérieurs. Widex ont intégré des modèles d'apprentissage profond dans leurs appareils auditifs pour ajuster automatiquement les paramètres de traitement.

Applications du monde réel dans toutes les industries

L'influence de l'apprentissage automatique sur la séparation et l'amélioration audio est visible dans plusieurs domaines.

Production et remixage de musique

Les producteurs utilisent la séparation des sources pour remixer les anciens enregistrements, isoler les tiges pour des performances en direct ou créer des pistes de karaoké. Les données de l'enquête sont disponibles à l'adresse suivante: et bibliothèques libres, telles que Spleeter Spleeter, développé par Deezer, peut séparer un mix stéréo en cinq tiges (vocales, tambours, basses, pianos, etc.) en temps réel en utilisant une architecture U-Net pré-formée. Cette capacité soutient également des objectifs éducatifs — les étudiants peuvent analyser des parties individuelles d'un ensemble symphonique ou jazz pour comprendre l'arrangement et l'harmonie.

Assistants aux télécommunications et à la voix

Les modèles d'apprentissage automatique suppriment le bruit de fond, le trafic et l'appareil, garantissant que l'assistant peut déclencher de façon fiable un mot de réveil et transcrire des commandes. Les plateformes de vidéoconférence comme Zoom et Microsoft Teams ont intégré la suppression du bruit neuronal comme une fonctionnalité standard, améliorant considérablement la qualité des appels pour les travailleurs distants. Zoom , la suppression du bruit utilise un modèle d'apprentissage profond formé sur des milliers de types de bruit, y compris l'écorce de chien, les pleurs de bébé et le dactylographie clavier.

Audio et renseignement médico-légal

Si l'on isole une voix d'une pièce bondée ou si l'on retire le bruit de fond d'un enregistrement 911, on peut en tirer des preuves essentielles. Bien que les applications médico-légales exigent une manipulation soigneuse pour éviter les biais ou les erreurs d'interprétation, l'apprentissage automatique fournit des outils qui n'étaient pas disponibles auparavant.

Diffusion et création de contenu

Les podcasteurs et les éditeurs vidéo utilisent l'amélioration du son pour polir leurs enregistrements. Les outils automatisés peuvent supprimer l'hum, normaliser les niveaux de volume et réduire la sibilance. Les modèles d'apprentissage automatique peuvent également séparer le dialogue de la musique et des effets sonores dans les fichiers vidéo, permettant aux éditeurs de recouper des scènes sans réenregistrer l'audio.

Défis et limites actuelles

Malgré des progrès impressionnants, la séparation et l'amélioration audio basées sur l'apprentissage automatique ne sont pas parfaites.

  • Coût de calcul. Les modèles de haute qualité, en particulier ceux qui utilisent Transformers, nécessitent une mémoire GPU importante et une puissance de traitement. L'utilisation de ces derniers sur les smartphones grand public ou les appareils auditifs exige une optimisation – quantification, taille ou distillation – qui peut réduire la précision.
  • Généralisation entre domaines. Un modèle formé sur la musique pop occidentale peut ne pas séparer les instruments en chinois traditionnel ou en indiens aussi bien. De même, un modèle de suppression du bruit formé sur la parole anglaise peut se comporter mal avec les langues tonales ou avec la voix des enfants.
  • Artefacts à des niveaux de séparation élevés. Pousser la séparation trop loin peut produire un son contre nature, "plastique". Le modèle peut enlever la réverbération qui porte l'information spatiale, ou il peut introduire un léger timbre métallique.
  • Mesure d'évaluation. Les mesures objectives comme le DTS (rapport signal/distorsion) ne sont pas toujours en corrélation avec la perception humaine. Une séparation qui note bien sur le DTS peut sembler pire pour un auditeur humain que celui avec une métrique inférieure. L'évaluation perceptive reste un domaine d'étude actif, avec de nouvelles mesures comme le PESQ et le STOI qui gagnent en traction pour les applications de la parole.
  • Latence dans les systèmes en temps réel. Pour les applications en direct comme les appareils auditifs ou les assistants vocaux, la latence doit être inférieure à 10 millisecondes. Pour y parvenir avec des réseaux neuraux profonds, il faut une conception architecturale soignée et une accélération matérielle.

Ces défis ne sont pas insurmontables. À mesure que le matériel améliore et que les ensembles de données de formation se diversifient, l'écart entre les repères de laboratoire et la facilité d'utilisation du monde réel continue de diminuer.

Orientations futures

Plusieurs tendances en matière de recherche promettent d'étendre l'impact de l'apprentissage automatique sur le traitement audio.

Séparation adaptative en temps réel. Les modèles qui peuvent ajuster leur stratégie de séparation à la volée — apprendre la voix d'un nouveau conférencier pendant une conversation, ou s'adapter à l'acoustique d'une pièce après quelques secondes d'audio — rendront les appareils auditifs et les assistants intelligents plus réactifs et naturels.

Intégration multimodale. La combinaison de l'audio avec des signaux visuels (mouvements lipiques d'un haut-parleur) ou du texte (sous-titres) peut améliorer la séparation dans des scénarios extrêmement difficiles. Je cherche à écouter projet de Google démontre comment la vidéo du visage d'un haut-parleur peut améliorer la précision de séparation de la parole de 30% ou plus.

Personnalisation. Les appareils auditifs futurs peuvent utiliser peu d'apprentissages pour s'adapter au profil de préférence de l'utilisateur, par exemple, amplifier le chant des oiseaux pendant une promenade tout en supprimant le bruit de la circulation. La personnalisation pourrait également s'appliquer à l'écoute de musique, où l'utilisateur pourrait choisir d'entendre plus ou moins d'un instrument particulier dans un mélange en direct.

Modèles génériques de bout en bout. Les modèles de diffusion et autres architectures génératrices commencent à être appliqués à l'amélioration audio. Ces modèles peuvent remplir le contenu spectral manquant et halluciner des détails plausibles lorsque l'entrée est gravement dégradée, ouvrant la possibilité de restaurer des enregistrements extrêmement anciens ou endommagés. AudioGen montre comment les modèles de diffusion peuvent générer un son de haute qualité à partir d'invites de texte, une capacité qui pourrait être réutilisée pour l'amélioration.

Apprentissage autosupervisé et non supervisé. Les ensembles de données étiquetés sont coûteux à créer. Les méthodes autosupervisées qui apprennent de l'audio non étiqueté, comme le codage prédictif contrastant (CPC), peuvent réduire le besoin de données appariées. Ces méthodes sont particulièrement utiles pour les langues à faible ressources ou les domaines audio de niche où les enregistrements multipistes sont rares.

À mesure que ces technologies mûrissent, la frontière entre l'audio «raw» et l'audio «enrichi» s'estompera. Les auditeurs peuvent s'attendre à une communication claire et parfaitement isolée des pistes comme base, tandis que les créateurs et les ingénieurs acquièrent des outils qui se sentent moins comme le travail et plus comme des partenaires créatifs.

Conclusion

En apprenant des données plutôt que de suivre des règles codées avec du dur, les systèmes modernes atteignent des niveaux de précision et d'adaptabilité remarquables il y a quelques années. Des studios de production musicale aux appels vocaux pour smartphone, des appareils auditifs aux analyses médico-légales, l'influence de ces technologies continue de croître.

La voie à suivre n'est pas sans obstacles — exigences informatiques, lacunes de généralisation et compromis perceptuels — mais la trajectoire est claire. À mesure que le matériel devient plus capable et que les modèles deviennent plus efficaces, l'apprentissage automatique continuera d'augmenter la barre pour ce qui est possible dans le traitement audio.