The Use of Machine Learning to Restore and Remaster Vintage Audio Recordings
Table of Contents
La valeur immuable des enregistrements anciens et leur état fragile
Les enregistrements audio vintage sont des fenêtres irremplaçables dans le passé. Ils capturent les voix des leaders, la musique des époques passées, et les sons ambiants des moments historiques qui autrement seraient perdus. Des cylindres de cire et des shellac 78s aux premières bandes magnétiques, ces enregistrements constituent une partie importante de notre patrimoine culturel commun. Cependant, les supports physiques sur lesquels ils ont été stockés sont sujets à une désintégration inévitable. Grooves s'usent, la bande verse sa couche d'oxyde et les réactions chimiques provoquent l'embrouillement.
La numérisation est une première étape essentielle, mais elle ne fait que capturer la dégradation existante.
Les auditeurs entendent un sifflement constant, des clics et des pops qui masquent la performance. Dans certains cas, le rapport signal-bruit est si faible que le contenu musical est à peine audible. Pour les archivistes et les ingénieurs audio, le défi est depuis longtemps de nettoyer ces enregistrements sans endommager les nuances subtiles de la performance originale. Les progrès récents dans l'apprentissage automatique ont fourni un puissant nouvel ensemble d'outils qui peuvent intelligemment restaurer la qualité audio, révélant des détails qui étaient auparavant cachés et offrant une expérience d'écoute bien plus proche de ce que les publics auraient entendu au moment de l'enregistrement original.
Le problème fondamental : au-delà de la réduction traditionnelle du bruit
Un algorithme de déclic, par exemple, peut chercher des transitoires à haute énergie au-dessus d'un certain seuil et les remplacer par des échantillons interpolés. Bien qu'efficace pour les clics simples, cette approche se heurte à des motifs sonores complexes comme le son de bande qui varie en fréquence, ou à une distorsion à large bande des rainures usées. Ces méthodes sont également sujettes aux artefacts – les déchiqueteurs de clic peuvent créer des splats ou adoucir des transitoires, et les filtres de réduction du bruit peuvent laisser derrière un son -swirly ou -watery- , connu sous le nom de bruit musical.
La limite fondamentale est que le traitement conventionnel du signal traite le bruit comme un problème additif qui peut être filtré. En réalité, le bruit est souvent entrelacé avec le signal. Une pop sur un enregistrement shellac n'est pas seulement une pointe isolée; il est une perturbation momentanée de tout le spectre de fréquence. Le son de bande analogique n'est pas le bruit blanc; il contient des informations corrélées du domaine magnétique. L'apprentissage automatique offre un paradigme différent: au lieu de modéliser le bruit, il modélise le signal propre lui-même.
En apprenant la structure statistique de l'audio haute fidélité, une AI peut déduire ce que l'enregistrement original devrait sonner, puis le séparer des contaminants.
Comment les modèles d'apprentissage automatique apprennent à entendre
Formation sur l'audio propre et dégradé
L'approche la plus courante utilise l'apprentissage supervisé. Un réseau neuronal est alimenté par des paires de clips audio : une version dégradée et son original propre correspondant. La version dégradée peut être créée synthétiquement en ajoutant du bruit, des clics et en appliquant des changements de QE à un maître numérique haute résolution. Le réseau apprend à cartographier l'entrée bruyante à la sortie propre.
Architectures d'apprentissage profond pour l'audio
Plusieurs architectures réseau neurales se sont avérées efficaces. Les réseaux neuronaux convolutionnels (CNN) peuvent traiter le spectrogramme, représentation visuelle de la fréquence dans le temps, comme une image bidimensionnelle. Cela permet au réseau d'identifier des modèles comme la forme d'un clic dans le domaine de fréquence ou la texture du son. Les architectures U-Net, initialement développées pour la segmentation médicale de l'image, sont particulièrement puissantes. Elles capturent à la fois les détails locaux (une pop unique) et le contexte global (l'équilibre global d'un enregistrement).
Approches non supervisées et auto-surveillées
Dans de tels cas, des méthodes non supervisées ou auto-supervisées peuvent être utilisées. Une technique, le bruit2Bruit, apprend à supprimer le bruit en regardant deux versions bruyantes différentes du même signal. Parce que le bruit est aléatoire et non corrélé, le réseau apprend à le faire en moyenne, récupérant efficacement le signal propre. Une autre approche consiste à former un modèle sur un grand ensemble de données d'enregistrements modernes de haute qualité et à l'appliquer à un son vintage bruyant, en utilisant une technique appelée adaptation de domaine. Le modèle apprend les statistiques générales de -good- audio et peut déduire ce que pourrait ressembler la version propre d'un enregistrement vintage dégradé.
Tâches spécifiques de restauration Apprentissage automatique Excels à
Réduction du bruit à large bande et suppression du bruit
La réduction du bruit classique est souvent soustractive spectrale, ce qui introduit des artefacts sonores musicaux. Les dénoyens basés sur l'IA, comme ceux trouvés dans iZotope RX ou Accusonus ERA, utilisent un réseau neuronal pour prédire directement le signal propre. Le résultat est un plancher de bruit qui est considérablement abaissé sans le témoin -swish-de-swish ou le pompage. Le réseau apprend à préserver le souffle d'un chanteur ou la désintégration d'une note de piano, que les méthodes plus anciennes auraient atténué.
Suppression des clics, des pops et des crackles
Les déciqueteurs traditionnels comptent souvent sur des seuils de détection qui manquent de subtils clics ou mal interprètent les transitoires musicaux forts. Les modèles d'apprentissage automatique sont formés pour distinguer entre un crackle et un hit hi-hat, ou entre une pop et un plosif dans la parole. Ils peuvent enlever ces artefacts avec une précision chirurgicale, laissant le transitoire original intact. Certains modèles avancés peuvent même reconstruire les minuscules trous dans la forme d'onde que le clic couvert, en utilisant le signal environnant pour déduire les données manquantes.
Restaurer la gamme dynamique et la compression
De nombreux enregistrements vintage ont été réalisés avec une portée dynamique limitée, soit en raison des limites du support d'enregistrement (par exemple, les cylindres de cire ne pouvaient capturer qu'une gamme de bruits étroite) soit en raison de la compression lourde appliquée pour protéger les têtes de coupe fragiles. L'apprentissage machine peut apprendre une fonction de transfert qui mastique la dynamique comprimée de l'original à la gamme dynamique plus large de l'audio moderne. Cela ne signifie pas simplement appliquer un compresseur , inversement; il implique de comprendre la relation complexe entre l'équipement d'enregistrement et la performance.
Extension de la largeur de bande
Les enregistrements acoustiques du début du XXe siècle ont été découpés directement sur la cire à l'aide d'une corne, ne captant qu'une gamme de fréquences limitée – souvent de 200 Hz à 2 kHz. Les 78 shellac plus tard pouvaient atteindre jusqu'à 8 kHz, mais toujours très en deçà de la bande passante moderne de 20 kHz. Les modèles d'apprentissage automatique peuvent être formés pour extrapoler les hautes fréquences manquantes. En apprenant la relation statistique entre l'enregistrement de faible fidélité et les références de haute fidélité de tels instruments, le réseau peut générer un contenu plausible à haute fréquence.
Corriger Wow et Flutter
L'instabilité mécanique des appareils de lecture provoque des fluctuations de pas, appelées wow (slow) et flutter (fast). Sur les platines ou les machines à ruban, celles-ci peuvent déformer le pas et le timing musicaux. La correction traditionnelle nécessite une tonalité de référence ou une édition manuelle. Les modèles d'apprentissage de la machine peuvent apprendre à détecter et corriger ces imperfections en analysant la forme d'onde pour les variations périodiques de pas.
Applications pratiques et outils disponibles
Suites de restauration professionnelles
L'outil professionnel le plus utilisé est Les données de l'enquête sont disponibles à l'adresse suivante:, qui intègre l'apprentissage automatique dans ses modules Spectral De-noise, De-click, De-clip et De-hum. Son Assistant de réparation -- Suite de restauration numérique Acon, qui emploie des réseaux neuronaux pour le dialogue dénouement et déclic. Pour les amateurs de sources ouvertes, il existe des bibliothèques Python comme Démucs Ces outils sont devenus standard dans les studios de mastering, les archives de diffusion et les installations de restauration de films.
Projets d'archives et de patrimoine
Les archives institutionnelles se tournent de plus en plus vers l'apprentissage automatique. La Bibliothèque du Congrès a expérimenté l'IA pour restaurer les premiers enregistrements de la collection nationale Jukebox. La British Library a utilisé l'apprentissage profond pour nettoyer les enregistrements de langues menacées.Ces projets font face à des défis uniques : les enregistrements sont souvent uniques, sans référence de qualité. Pourtant, les résultats ont été remarquables, rendant les enregistrements auparavant inépuisables accessibles pour la recherche et le plaisir public.
Étude de cas: Le remix des Beatles
Bien que pas entièrement la restauration vintage, le remix 2022 de Les Beatles -Revolver - Les bandes sources ont souffert de la perte générationnelle et de l'impression. Grâce à un modèle de séparation de source AI personnalisé développé par Giles Martin et son équipe, ils ont pu isoler les voix, les guitares et les tambours avec une clarté sans précédent. Le mélange qui en a résulté a permis une nouvelle image stéréo et révélé des détails précédemment enfouis dans le mélange. Ceci démontre comment l'apprentissage machine peut à la fois restaurer et remasteriser, donnant aux ingénieurs la flexibilité de créer des mélanges de sons modernes à partir de sources compromises.
Limites et considérations éthiques
La restauration de l'apprentissage automatique n'est pas une balle magique. La qualité de la production dépend fortement des données de formation. Si le modèle n'a été formé que sur des instruments de musique du 20ème siècle, il peut produire des reconstructions inexactes d'orchidées ou d'instruments ethniques du début du 20ème siècle. Il y a aussi un risque d'hallucination, , où le modèle ajoute des détails qui n'y étaient pas, créant essentiellement un faux. Pour la conservation des archives, cela est problématique.
De plus, le bruit de surface d'un disque shellac peut fournir un sens du contexte d'écoute; en le retirant entièrement, il peut rendre l'enregistrement stérile et déconnecté de son époque. De même, la compression et la bande passante limitée font partie de la signature sonore d'un disque 78 tours/min. La restauration trop zélée peut enlever le caractère qui rend l'enregistrement authentique. Les meilleurs praticiens utilisent l'apprentissage machine comme scalpel, pas comme sledgehammer, préservant autant que possible l'esthétique originale tout en réduisant seulement les artefacts les plus distrayants.
Orientations futures de la restauration audio assistée par l'IA
Restauration en temps réel pour la diffusion et la diffusion en direct
Actuellement, la plupart des travaux de restauration sont effectués hors ligne, en traitant un fichier qui peut prendre plusieurs minutes pour une chanson de trois minutes. Des architectures modèles émergentes comme Mamba ou des transformateurs efficaces pourraient permettre de dénouer et de décoder en temps réel lors de diffusions en direct de matériel d'archives. Ce serait une aubaine pour les stations de radio qui veulent jouer de vieux enregistrements sans interruption.
Contexte-Restauration des logiciels
Les futurs modèles peuvent intégrer des métadonnées contextuelles : la date de l'enregistrement, le type de microphone utilisé, le support. En conditionnant cette information, le modèle pourrait adapter sa stratégie de restauration. Par exemple, un enregistrement de 1925 pourrait être traité différemment de celui de 1965, parce que la nature du bruit et la technologie d'enregistrement diffèrent. Ce niveau d'intelligence nécessiterait de grands ensembles de données bien étiquetés des enregistrements historiques – exactement le type de matériel que les archives commencent à numériser.
Remasterisation audio immersive et spatiale
Une autre frontière passionnante est l'utilisation de l'apprentissage automatique pour transformer des enregistrements vintage mono ou stéréo en formats audio spatiaux comme Dolby Atmos. Le réseau peut extraire des sources sonores individuelles (vocales, basses, batterie) en utilisant la séparation de source, puis les placer dans une scène sonore tridimensionnelle. Cela a déjà été fait pour les enregistrements en direct des Beatles et de la Reine. Bien qu'il passe au-delà de la simple restauration en reproduction créative, il offre un moyen pour les jeunes publics de découvrir les enregistrements vintage dans des formats auxquels ils sont habitués.
Conclusion
L'apprentissage automatique a fondamentalement changé le paysage de la restauration audio. Ce qui était autrefois un processus fastidieux et souvent insatisfaisant de filtrage et d'édition manuelle est maintenant un flux de travail semi-automatisé et intelligent qui peut récupérer des détails pensés pour toujours. En apprenant la nature du son lui-même, ces modèles peuvent distinguer le signal du bruit avec une subtilité qui échappe aux algorithmes traditionnels.
La technologie exige cependant une responsabilité. La ligne entre restauration et révision est mince. Pour les archivistes et les ingénieurs, le but devrait toujours être d'honorer la performance originale tout en la rendant accessible aux oreilles modernes. Avec l'apprentissage machine comme allié puissant, nous entrons dans un nouvel âge d'or de la préservation audio, où le passé peut être entendu tel qu'il était, pas comme un écho étouffé. La prochaine décennie promet de nouvelles percées, et avec eux, la chance de sauver même les enregistrements les plus endommagés du bord du silence.