Contrairement à la synthèse par échantillonnage ou soustraction, qui repose sur des sons préenregistrés ou des formes d'onde simplifiées, la modélisation physique construit des sons en simulant les processus physiques sous-jacents qui les génèrent. Cette approche permet aux artistes et aux ingénieurs d'élaborer des environnements sonores non seulement réalistes, mais aussi très sensibles aux interactions utilisateur-réelle, comme le toucher, le mouvement ou les changements environnementaux.

Qu'est - ce que la modélisation physique?

Dans le contexte du son, il simule la vibration de matériaux comme le bois, le métal, les colonnes d'air ou les cordes et produisent de l'énergie acoustique. En modélisant ces propriétés physiques – comme la rigidité, l'amortissement, la résonance et la non-linéarité – les créateurs peuvent générer des sons authentiques et évolutifs sans avoir à enregistrer toutes les variations possibles d'un instrument physique.

La modélisation physique remonte aux années 1970 et 1980, lorsque les chercheurs ont commencé à explorer les guides d'ondes numériques et les systèmes de ressorts de masse. La synthèse des cordes Karplus-Strong (1983) a été un exemple précoce et influent, simulant les cordes plumées à l'aide d'une simple ligne de retard et filtre. Depuis, les techniques ont évolué pour inclure la synthèse modale, les méthodes de différence finie du temps-domaine (FDTD) et, plus récemment, les approches basées sur le réseau neuronal.

Les types communs de modèles physiques utilisés dans les installations interactives comprennent:

  • Réseaux de sources de masse: Modèles qui traitent les objets producteurs de son comme un maillage de masses et de ressorts interconnectés, capturant des comportements complexes non linéaires comme le grincement ou le grattage.
  • Synthèse modale: Représente les modes résonants d'un objet comme un ensemble d'oscillateurs amortis, permettant une simulation efficace de métal, de verre ou de pierre frappé ou arraché.
  • Guides d'ondes numériques : Simuler la propagation des vagues dans des structures unidimensionnelles comme les cordes ou les alésages, idéal pour les instruments à vent et à cordes.
  • Modèles Finite-element et FDTD: Très précis mais coûteux en calcul; utilisé pour des simulations détaillées de membranes, de plaques ou d'espaces acoustiques à trois dimensions.

Chaque type de modèle offre un compromis différent entre réalisme, coût de calcul et contrôle, ce qui rend le choix critique pour les exigences spécifiques d'une installation interactive.

Avantages de l'utilisation de la modélisation physique

La modélisation physique apporte plusieurs avantages convaincants aux installations sonores interactives, chacune contribuant à une expérience de public plus riche et plus de liberté créative pour l'artiste.

Réalisme inégalé et expression

Contrairement aux systèmes basés sur la lecture, les modèles physiques génèrent des sons continus et nuancés qui répondent naturellement à chaque geste. Une chaîne virtuelle peut être arrachée doucement ou avec force, avec le timbre résultant en évolution organique. Ce réalisme s'étend aux effets subtils de l'amortissement, des vibrations sympathiques et de la résonance corporelle, rendant l'installation vivante et imprévisible.

Flexibilité sans prototypage physique

La modification des propriétés matérielles d'un modèle physique (par exemple, en rendant un tube métallique virtuel plus épais ou en modifiant son alliage) est aussi simple que l'ajustement de quelques paramètres dans le logiciel.Cette flexibilité permet aux artistes d'explorer des centaines de variations sonores – comme un gong géant en laiton de la taille d'une pièce ou d'une harpe miniature en verre – sans construire d'objets physiques.

Interactivité en temps réel

Comme les modèles physiques fonctionnent sur des paramètres continus, ils peuvent être directement contrôlés par des données de capteur en temps réel. Un capteur tactile sur une surface peut moduler le coefficient d'amortissement d'une chaîne virtuelle; un capteur de mouvement peut changer la forme d'une colonne d'air simulée.

Efficacité et durabilité

Bien que les modèles physiques puissent être exigeants en calcul, ils éliminent souvent le besoin de vastes bibliothèques d'échantillons ou de grandes collections d'instruments physiques. Un modèle unique bien conçu peut générer des milliers de sons distincts, réduisant les déchets matériels et le fardeau logistique du transport d'objets lourds ou fragiles.

Mise en œuvre de la modélisation physique dans les installations sonores

La construction d'une installation sonore interactive avec modélisation physique implique une chaîne de composants soigneusement orchestrée : détection, modélisation et sortie. Chaque étape doit être conçue pour fonctionner en temps réel de manière transparente, souvent dans des contraintes de latence serrées (habituellement moins de 10 millisecondes pour une interaction réactive).

Systèmes de capteurs et entrée utilisateur

Le choix des capteurs dépend de la modalité d'interaction souhaitée.

  • Capteurs tactiles capacitifs ou résistants pour les interactions tactiles (p. ex. toucher une surface à « pincer » une chaîne virtuelle).
  • Capteurs de distance ultrasonore ou infrarouge pour le contrôle à proximité (p. ex., se rapprocher d'un capteur pour augmenter la résonance).
  • Appareils photo avec vision de l'ordinateur (p. ex., en utilisant des caméras OpenCV ou des caméras de profondeur comme Kinect) pour suivre la position du corps, l'orientation ou le flux de mouvement.
  • Microphones pour l'entrée sonore vocale ou environnementale qui peut déclencher ou moduler le modèle physique.

Ces capteurs alimentent les données dans un système de traitement central, qui interprète les signaux bruts en paramètres de contrôle significatifs, comme la vitesse, la force, la position ou la pression, qui conduisent le modèle physique.

Environnements logiciels

Plusieurs plateformes de codage créatives sont devenues standard pour la mise en œuvre de modèles physiques dans des contextes interactifs en direct :

  • Max/MSP: Un environnement de programmation visuelle avec de vastes bibliothèques pour la modélisation physique (par exemple, Mirage, PeRColate). Son moteur audio en temps réel et son patchage flexible le rendent idéal pour le prototypage.
  • Données pures: Une alternative open-source à Max/MSP, largement utilisée dans l'art interactif. hcs et cyclone ajouter des objets de modélisation physique avancés.
  • Supercollider: Un langage et un serveur basés sur le texte avec de puissantes capacités de synthèse en temps réel. greffons sc3 inclure des générateurs d'unités de modélisation physique dédiées (p. ex., Barre modale, Poignée) .
  • FOI: Un langage de programmation fonctionnel pour le traitement du signal audio qui peut compiler à code C/C++ hautement optimisé, adapté aux systèmes embarqués.

De nombreux artistes utilisent également des configurations hybrides, combinant ces outils avec des moteurs de jeu comme Unity ou Unreal pour des éléments visuels, tandis que le modèle audio fonctionne sur un processeur DSP séparé.

Considérations matérielles

Pour les installations autonomes, le matériel à faible latence est essentiel. Des ordinateurs simples comme le Raspberry Pi (qui exécute des noyaux en temps réel) ou des plateformes dédiées comme le Béla Le système de gestion, qui fournit des I/O ultra-faible latence, est un choix populaire. Bela offre notamment une petite empreinte et la possibilité de faire fonctionner des modèles physiques développés en Pure Data ou C++ avec une latence sous-milliseconde, ce qui le rend idéal pour les œuvres interactives intégrées.

Exemples de modélisation physique dans la pratique

Des artistes et des ingénieurs du monde entier ont utilisé la modélisation physique pour créer certaines des installations sonores interactives les plus convaincantes des deux dernières décennies. Voici quelques exemples notables qui illustrent l'étendue des possibilités.

Instruments à cordes virtuelles

L'installation Plumb L'artiste Daniel Palacios utilise un modèle physique de chaîne plumée contrôlée par le mouvement du public. Grâce à un appareil photo Kinect, le système maquille la position des mains des visiteurs au point de pincement et la force sur une chaîne de guide d'ondes numérique. Au fur et à mesure que les visiteurs se déplacent, ils «jouent» un instrument invisible, le son passant subtilement des timbres métalliques brillants aux tons chauds et moelleux.

Installations de résonance métallique

Dans Résonance des matériaux Les visiteurs s'approchent de grands objets sculpturaux et les capteurs ultrasoniques mesurent la proximité. Le modèle ajuste la fréquence de résonance et l'amortissement d'une plaque métallique virtuelle en temps réel, produisant un hum hantant et en constante évolution qui change avec la distance et la vitesse de déplacement du visiteur. Le résultat est une sensation presque magique de la sculpture « chant » en réponse à la présence humaine.

Modèles de colonne d'air et systèmes éoliens

L'installation interactive Respiration par l'artiste Andrey Smirnov utilise un modèle physique de colonne d'air semblable à une flûte. Les visiteurs soufflent dans un microphone, et le logiciel analyse le débit d'air et la pression pour contrôler les paramètres du modèle, comme la rigidité des roseaux ou l'angle d'embouchure. Le son produit n'est pas un enregistrement de flûte mais un ton synthétisé qui se comporte comme un seul, répondant à des changements subtils dans le souffle du joueur.

Modèles hybrides physico-numériques

Certaines installations combinent des objets physiques avec des modèles numériques. Les vagues tangibles par Kelli Mae utilise un véritable morceau de ferraille trouvé comme un dispositif d'entrée. Les accéléromètres fixés au métal détectent les impacts et les rayures, qui sont ensuite introduits dans un modèle de synthèse modale du même objet. Le son résultant correspond à la sensation physique mais peut être augmenté de propriétés impossibles – comme la réverbération infinie soutenue ou spatialisée – créant un mélange surréaliste de réalité et de simulation.

Défis et considérations

Bien que la modélisation physique offre un immense potentiel créatif, elle présente également des défis techniques et artistiques qu'il faut gérer avec soin.

Demandes de calcul

Les modèles à haute fidélité, en particulier les méthodes FDTD ou les méthodes à éléments finis, peuvent nécessiter une puissance CPU importante. L'exécution de modèles multiples simultanés pour les installations polyphoniques ou multicanaux peut pousser les systèmes à leurs limites. Les développeurs doivent souvent équilibrer le réalisme par rapport aux performances en temps réel, en utilisant des modèles simplifiés ou en réduisant les taux d'échantillonnage si nécessaire.

Latence et réceptivité

Les installations interactives exigent une latence extrêmement faible, idéalement inférieure à 10 ms pour que l'audio se sente instantané. L'ensemble du pipeline, de la lecture des capteurs à la sortie audio, doit être optimisé. L'utilisation de matériel audio dédié (comme Bela ou une carte son RME) et l'éviter des systèmes d'exploitation à haute latence sont critiques.

Cartographie et intention artistique

La cartographie entre l'entrée du capteur et les paramètres du modèle est l'endroit où réside une grande partie de l'expression artistique. Une cartographie mal conçue peut rendre l'installation arbitraire ou non réceptive. Les artistes doivent soigneusement concevoir ces relations, souvent par des tests itératifs de l'utilisateur, pour s'assurer que l'interaction se sent intuitive et enrichissante.

Fiabilité et entretien

Les modèles physiques peuvent dériver ou accumuler des erreurs numériques (p. ex., en raison de la précision du point flottant sur de longues périodes). La mise en oeuvre de mesures de protection telles que les boutons de réinitialisation du modèle, les routines d'auto-étalonnage et les pistes audio de décrochage garantit la stabilité de l'installation.

Orientations futures

Le domaine de la modélisation physique du son interactif évolue rapidement, grâce aux progrès de l'informatique, des capteurs et de l'intelligence artificielle.

Intégration de l'apprentissage automatique

Les réseaux neuronaux commencent à être utilisés pour apprendre les modèles physiques directement à partir de mesures d'objets réels, contournant le réglage manuel traditionnel des paramètres. Plumb neural, un modèle d'apprentissage profond qui simule avec une grande précision le timbre complexe d'une tige frappée. De tels modèles pourraient permettre aux artistes de créer des installations qui évoluent ou adaptent leur comportement physique au fil du temps en fonction des modèles d'audience.

Rétroaction haptique et expériences multisensorielles

Combiner le son de modélisation physique et la rétroaction haptique – en utilisant des actuateurs pour produire des vibrations que l'utilisateur peut sentir – crée une expérience pleinement incarnée. Matière vive (2019) ont utilisé des servomoteurs de bobines vocales montés sur des barres de main pour synchroniser avec un modèle physique de barre de résonance percutée, permettant aux visiteurs de « sentir » le modèle en interaction. Cette approche multisensorielle approfondit l'illusion d'interagir avec un objet réel.

Modèles en réseau et en collaboration

Avec l'augmentation des protocoles audio réseau (par exemple, OSC, Soundjack), les modèles physiques peuvent maintenant être partagés sur plusieurs sites. Une installation peut permettre aux visiteurs de différentes villes de « jouer » en collaboration avec le même instrument virtuel, chaque personne contrôlant un paramètre différent.

Systèmes embarqués et de forage de l'énergie

Les microcontrôleurs de faible puissance comme le ESP32 ou le Teensy sont maintenant assez puissants pour exécuter des modèles physiques simples, surtout lorsqu'ils sont associés à un codage efficace. Combinés à des capteurs de récupération d'énergie (solaire, piézoélectrique), il devient possible de créer des installations autosuffisantes qui génèrent leur propre puissance tout en répondant aux changements environnementaux – un pas vers un art interactif véritablement autonome.

Conclusion

La modélisation physique est devenue un outil indispensable pour les créateurs d'installations sonores interactives, offrant un mélange unique de réalisme, de flexibilité et de réactivité en temps réel que les autres méthodes de synthèse ne peuvent pas faire correspondre. En simulant le monde physique à travers des algorithmes, les artistes peuvent construire des environnements sonores immersifs qui se sentent naturels mais qui peuvent transcender les contraintes de la réalité. Des instruments à cordes virtuelles aux résonateurs métalliques et aux modèles de vent interactifs, les applications sont aussi diverses que les artistes eux-mêmes.