Comprendre la synthèse additive

La synthèse additive est l'une des méthodes de synthèse sonore les plus anciennes et les plus simples sur le plan conceptuel, mais elle demeure la pierre angulaire de la réalisation d'émulations vocales de haute fidélité. Au cœur de cette synthèse additive, on construit des formes d'onde complexes en additionnant une série de partiels d'onde sinusoïdale simples, chacun défini par sa propre fréquence, son amplitude et son enveloppe de phase.

Contrairement à la synthèse soustractive, qui commence par une forme d'onde harmoniquement riche et supprime les fréquences par des filtres, la synthèse additive construit le spectre souhaité de zéro, ce qui permet une manipulation indépendante de chaque partie. En pratique, cela signifie qu'un concepteur peut reproduire avec précision l'emplacement et l'évolution de certains harmoniques et formants qui définissent les sons voyels, le bruit consonne et le timbre vocal. La flexibilité est énorme, mais la demande computationnelle aussi : une émulation vocale réaliste peut nécessiter des centaines à des milliers d'oscillateurs sinusoïdaux simultanés, chacun avec ses propres paramètres de variation temporelle.

La base théorique de la synthèse additive est enracinée dans le théorème de Fourier, qui affirme que toute forme d'onde périodique peut être décomposée en une somme d'ondes sinusoïdales à plusieurs entiers de la fréquence fondamentale. Pour la voix humaine, cependant, le signal est rarement parfaitement périodique – il contient des composants apériodiques (breath, sibilance, grognements) et des changements transitoires rapides.

Mise en œuvre moderne de la synthèse additive, comme dans les synthétiseurs logiciels comme Morph v3 par les systèmes d'acoustique appliquée, Vocalizer Pro de Virsyn, ou de la source ouverte HCM (Manipulation de contenu harmonique) Les moteurs – offrent souvent des interfaces conviviales pour l'édition partielle, la résynthèse et la morphage spectrale. La compréhension des principes sous-jacents est toutefois essentielle pour concevoir au-delà des préréglages et atteindre des textures vocales vraiment expressives.

Techniques clés pour l'émulation vocale

Pour imiter la voix humaine de manière convaincante, un concepteur doit s'adresser à trois domaines acoustiques primaires : la source (impulsion glottale), le filtre (résonance du tube vocal) et les modulations (prosody, vibrato, articulation).

Modélisation harmonique de la source glottale

La voix humaine provient de la vibration périodique des plis vocaux, produisant une forme d'onde semblable à une impulsion riche en harmoniques. La synthèse additive le reproduit en établissant une fréquence fondamentale (F0) et en générant une série d'ondes sinusoïdales à plusieurs entiers : f1 = F0, f2 = 2×F0, f3 = 3×F0, etc. L'amplitude de chaque harmonique doit suivre un roll-off d'environ 6 dB par octave (comme dans un dérivé du flux glottal) mais aplati ou boosté selon le type de voix spécifique – bass, ténor, alto, soprano – et mode de phonation (breathy, pressed, falsetto).

Pour une voix modale (chest), les premiers harmoniques dominent; pour une qualité respirante, les harmoniques et les composants sonores plus élevés deviennent plus importants. La synthèse additive permet de régler des enveloppes d'amplitude individuelles pour chaque partie, ce qui signifie qu'un concepteur peut façonner l'inclinaison spectrale dynamiquement sur la durée d'une note ou d'une phrase.

Simulation de formant pour la qualité de Vowel

Alors que la modélisation harmonique reproduit la source, la simulation formatante reproduit l'effet filtrant du tract vocal, qui donne à chaque voyelle son timbre unique. Les formants sont des fréquences résonnantes où le tract vocal amplifie naturellement les partiels. Les formants voyelles typiques (F1, F2, F3) se situent dans les gammes approximatives suivantes : F1 entre 250 et 800 Hz, F2 entre 600 et 2500 Hz, et F3 entre 2000 et 3500 Hz, variant selon la voyelle et le sexe.

Dans la synthèse additive, les formants sont créés en stimulant l'amplitude des harmoniques qui entrent dans la bande passante d'un formateur. Par exemple, pour synthétiser un /a/ (comme dans "père"), le concepteur augmente le gain sur les partiels près de 700 Hz (F1) et 1100 Hz (F2), tout en supprimant les régions adjacentes. Ceci n'est pas fait avec un filtre mais par pondération directe de l'amplitude des partiels d'onde sinusoïdale.

Les émulations vocales additives avancées mettent souvent en œuvre un déplacement dynamique du formant, modifiant les fréquences de pointe et les bandes passantes au fil du temps pour simuler les transitions voyelles (diphthonges) et les mouvements du tube vocal. Le chemin du formant peut être extrait d'un enregistrement réel par l'analyse du codage prédictif linéaire (LPC) et ensuite recréé à l'aide de partiels additifs. ÉPÉRATION (Édition partielle et résynthèse) ou Pêcheur produits permettent une résynthèse précise à partir de données spectrales.

Modulation dynamique pour l'expressivité

La voix humaine n'est jamais statique. Des variations subtiles et à grande échelle de hauteur, de bruit et de timbre sont essentielles pour la nature. La synthèse additive les accueille avec plusieurs techniques de modulation:

  • - Oui. Écart périodique en hauteur (généralement ±50 cents à 5–7 Hz). Implémenté en modulant simultanément la fréquence de tous les partiels harmoniques, généralement par l'intermédiaire d'un oscillateur basse fréquence (LFO) appliqué à la fréquence fondamentale.
  • - C'est pas vrai. Modulation de l'amplitude de tous les partiels ou de certains partiels pour imiter les variations de la pression de l'air ou du souffle.
  • Portamento et Glissando: Transitions de fréquence lisses entre les emplacements, obtenues en rampant le fondamental et ses harmoniques au fil du temps.
  • Articulation et transitoires: Les pics d'amplitude rapide et les rafales sonores pour consonnes (plosifs, frucatifs) sont souvent manipulés en superposant un composant sonore distinct (bruit blanc ou filtré) avec sa propre enveloppe.

Une technique puissante est automatisation partielle de l'amplitude. Dans une phrase chantée, les forces relatives des harmoniques changent – par exemple, les troisième et cinquième harmoniques peuvent gonfler sur des notes soutenues tandis que les harmoniques inférieures s'atténèrent. En dessinant ou en enregistrant des enveloppes par partie, la synthèse additive peut recréer ces subtilités qui donnent une voix synthétique «vie».

Conseils pratiques pour la mise en œuvre

Passer de la théorie à un patch ou un script de travail nécessite une planification minutieuse et les bons outils. Que vous utilisiez un synthétiseur additif dédié, un environnement modulaire comme Céson ou Supercollider, ou un patcher visuel tel que Max/MSP ou Données pures, les étapes suivantes vous aideront à construire une émulation vocale convaincante.

Étape 1: Analyser un enregistrement vocal cible

Commencez par un enregistrement de haute qualité d'une voyelle unique soutenue pendant au moins une seconde. Utilisez un logiciel d'analyse spectrale (p. ex., Audition, Les données de l'enquête sont disponibles à l'adresse suivante:, ou des outils libres comme Lancer ou Visualiseur sonique) pour extraire la fréquence fondamentale, le contenu harmonique (magnitude et phase pour chaque partie), et les pics formants. Attention à l'évolution du spectre au fil du temps : la plupart des voix montrent une dérive même sur une note "stable".

Exportez les données d'analyse, habituellement comme une liste de pics avec le temps, la fréquence et l'amplitude. De nombreux outils de résynthèse additive acceptent ces données directement. Si vous construisez votre propre système, vous pouvez utiliser les données comme cibles pour votre pile d'oscillateurs.

Étape 2: Construire l'embout harmonique

Initialisez un ensemble de générateurs d'ondes sinusoïdales correspondant au nombre de parties que vous souhaitez reproduire. Pour une voix réaliste, visez au moins 40 à 60 parties pour une voix à coin inférieur, et jusqu'à 100 à 150 pour une soprano à coin supérieur (depuis que la série harmonique s'étend plus loin). Réglez la fréquence de chaque oscillateur à un multiple entier du fondamental.

Important : Pour les segments non périodiques ou transitoires (p. ex., l'attaque d'un consonneur), vous devrez peut-être inclure des partiels à base de bruit ou un moteur à bruit séparé. La synthèse additive à elle seule ne peut pas facilement reproduire le bruit apériodique, de sorte qu'une approche hybride utilisant le bruit en couches (bruit blanc filtré par des formants de passe-bande) est recommandée. Particules stochastiques—des ondes sinusoïdales dont la fréquence et l'amplitude varient de façon aléatoire dans une plage définie, afin de simuler la respiration ou la sibilance.

Étape 3 : Mettre en oeuvre des filtres à formant (pondération partielle)

Au lieu de filtrer après la somme additive, il faut peser directement les amplitudes des particules qui tombent près des fréquences de formation. Ceci peut être fait avec une formule mathématique : pour chaque partie avec la fréquence f, calculer sa distance de chaque centre de formation Fn, et appliquer un boost en forme de cloche (par exemple, Gaussian ou Lorentzian) à l'amplitude. La bande passante de chaque formeur contrôle combien de parties environnantes sont affectées.

De nombreux synthétiseurs additifs fournissent une suivi du formateur La fonction qui maintient automatiquement les formants fixes en fréquence même lorsque le pas change, c'est essentiel pour un rendu vocal réaliste, car les formants sont indépendants du fondamental. Par exemple, lorsqu'un chanteur passe d'une note basse à une note élevée, les formants restent stables, ce qui entraîne un changement du timbre vocal. La synthèse additive peut facilement découpler le pas et former en laissant les seuils de fréquence formant constante.

Étape 4: Ajouter des enveloppes dynamiques et la modulation

Créer des enveloppes d'amplitude pour chaque partie, ou du moins pour les groupes de parties (faible, moyenne, haute bande). Utilisez des courbes point d'arrêt ou cubique pour reproduire le contour de la sonorité mesurée. Pour vibrato, acheminez un LFO (sinus ou triangle, avec contrôle de la profondeur et de la vitesse) à la fréquence fondamentale de tous les parties. Pour l'articulation, utilisez une enveloppe de gating qui amplifie ou mute rapidement la pile entière, et ajoutez un court bruit pour les consonnes non vocales (par exemple, /t/, /s/, /=)/.

Si vous concevez une voix, envisagez d'ajouter une enveloppe de pas qui simule le scooping ou le portamento entre les notes. Vocaloïde) comptent fortement sur ces transitions de pas pour un son naturel.

Étape 5: Calque et processus

Une seule voix additive peut sembler stérile; la superposition de deux ou trois piles légèrement déjouées peut ajouter de la richesse et simuler le choeur naturel de multiples plis vocaux. Vous pouvez également appliquer une réverbération subtile de convolution pour ajouter une présence spatiale dans la pièce, ou un égaliseur doux pour apprivoiser des parties excessivement résonantes.

Pour des performances en temps réel, envisager d'utiliser des moteurs de synthèse additives qui soutiennent Accélération du GPU ou des opérations vectorielles (par exemple, Klang pour l'unité, ou C'est pas vrai. Avec des modules additifs, cela permet de faire fonctionner des centaines d'oscillateurs à faible latence, cruciale pour des applications interactives comme les assistants vocals de réalité virtuelle.

Demandes et orientations futures

La capacité de synthétiser des émulations vocales hautement contrôlables et réalistes ouvre des portes à de multiples industries. Dans la production musicale, des textures vocales additives peuvent être utilisées pour créer des tampons choraux, des voix robotiques avec des inflexions humaines subtiles ou des phonèmes entièrement nouveaux que personne ne pourrait chanter. Amazone Alexa ou Assistant Google La synthèse additive offre une alternative à la TTS concaténative ou paramétrique en permettant un contrôle fin de l'expressivité, comme l'empathie, l'urgence ou la chaleur.

Intégration avec le Machine Learning

Les réseaux neuraux peuvent analyser de vastes ensembles de données de voix humaines pour apprendre la cartographie complexe entre le texte, la prosodie et les paramètres additifs (trajectoires de fréquence et d'amplitude pour chaque partie). WaveNet et Tacotron La synthèse additive offre une représentation plus efficace : au lieu de prédire 16 000 échantillons par seconde, le réseau prévoit quelques centaines de paramètres additifs variables dans le temps qui peuvent être rendus en audio à grande vitesse.

Des recherches récentes ont été menées synthèse additive différenciée— où les paramètres additifs sont des objectifs d'apprentissage pour un réseau neuronal — permettant une formation de bout en bout de systèmes de synthèse vocale à la fois expressifs et calculables. Cette approche a déjà donné des résultats prometteurs en générant des voix chantantes avec vibrato, des glisses de pas et des colorations émotionnelles. Synthèse des additifs neuraux par Google Magenta) mature, nous pouvons voir du matériel et des logiciels dédiés qui peuvent produire des émulations vocales de qualité studio à partir de texte ou d'entrée MIDI.

Contrôle interactif en temps réel

Une autre direction est le développement de contrôleurs en temps réel pour la synthèse vocale additive. VR/AR et de la performance en direct, les artistes veulent modifier les voix synthétiques à la volée en utilisant le geste, la respiration ou l'entrée vocale. Par exemple, un interprète pourrait chanter dans un microphone, faire analyser le signal par un FFT, et avoir les informations spectrales utilisées pour conduire un modèle vocal additif dans une gamme de pas différente ou avec des formants modifiés.

Des produits tels que Tableau de bord continu de Haken Audio et de la EaganMatrix déjà permettre aux artistes de contrôler les paramètres additifs avec un contact continu, Côte d'Ivoire Le futur pointe vers des interfaces tactiles et vocales qui rendent la conception vocale additive aussi expressive que le jeu d'un instrument acoustique traditionnel.

Considérations éthiques et authenticité

La synthèse additive, parce qu'elle est construite à partir de modèles mathématiques plutôt que d'échantillons enregistrés, peut être conçue pour générer des voix qui n'existent pas – ou pour imiter la voix d'une personne donnée avec une grande précision. Cela soulève des questions de consentement, d'imitation et de fakes profonds. Il est crucial que les développeurs mettent en œuvre des mesures de sauvegarde, comme le marquage vocal et l'attribution transparente, pour s'assurer que les émulations vocales additives sont utilisées de façon responsable dans les médias et la communication.

Malgré ces défis, l'art et la science de concevoir des émulations vocales complexes à l'aide de synthèse additive continuent de progresser. En comprenant la physique de la voix, en maîtrisant les détails du contrôle partiel et en embrassant de nouveaux outils informatiques, les concepteurs de sons peuvent repousser les limites de ce qu'une voix synthétique peut transmettre – du murmure à une chanson.

Pour plus ample lecture, envisager Manuel en ligne de Julius O. Smith sur la synthèse additive, les AES papier sur la synthèse vocale additive, et la documentation pour Objets de synthèse additive de Pure Data pour des expériences pratiques.