(en cours)
Poésie IFFT – 2021
Projet réalisé au centre de production Daïmon
Extrait vidéo
^^
DE L’IMAGE VERS LE SON
Ces expérimentations viennent de l’envie de trouver des façons de transposer vers le son des réalités qui lui semblent à prime abord étrangères. Dans le cas de ce projet, l’idée était d’utiliser la transformée de Fourier rapide inverse pour transformer directement une image en matière sonore.
La transformée de Fourier rapide permet d’obtenir le contenu spectral d’un son. Elle nous informe de la quantité d’énergie contenue dans des blocs de fréquences consécutifs à un moment donné. Cette information est souvent représentée sous la forme de spectrogrammes. Ces représentations nous permettent d’avoir une vue d’ensemble d’un extrait sonore en rendant visible les variations d’amplitudes des différents blocs de fréquences dans le temps.
Il est possible de faire le chemin inverse, c’est-à-dire de traduire le résultat de l’analyse en onde sonore, et cela avec plus ou moins de perte de définition.
Cette dernière technique nous a fait réfléchir à la possibilité de fournir à des modèles d’intelligence artificielle des bases de données contenant une grande quantité de ces spectrogrammes. Théoriquement, il serait possible d’écouter les spectrogrammes générés en utilisant la technique de la transformée de Fourrier inversée. Certains modèles, tel que le StyleGAN2, obtiennent des résultats particulièrement impressionnants pour, par exemple, générer artificiellement des visages humains. Que-se passerait-il si ce genre de modèle apprenait à générer des spectrogrammes sur la base d’analyses spectrales faites sur une grande quantité de morceaux de musique?
L’expérimentation actuelle nous a entre-autre permis d’explorer des techniques de transformation de Fourier inverse. Cependant, nous avons remplacé l’information relative aux blocs de fréquences par la quantité de luminosité contenue dans une série de pixels. Ces pixels se trouvent au centre de l’image sur une ligne verticale. Ainsi, plus le pixel est lumineux, plus il active le bloc de fréquence auquel il est lié. Inversement, un pixel noir rendra silencieux ce bloc de fréquence.
La source visuelle envoyée vers l’algorithme permet donc d’activer ou de désactiver les blocs de fréquences de la transformée de Fourrier rapide et d’en faire varier l’amplitude. Nous avons imaginé quelques effets visuels simples qui altèrent l’image et par conséquent le son. Un feedback à l’image devient un effet de réverbération, un effet stroboscopique déclenche une série d’enveloppes.
Cette étude d’un couple image-son nous a permis de mieux comprendre le fonctionnement et les limites de la technique de la transformée de Fourier inverse, ouvrant la porte vers la transposition de d’autres types de réalités vers le son ainsi que la création de d’autres couples étranges.
eauforte 