A propos de

la musique interactive d’

Icare

(installation de réalité virtuelle)

Ivan Chabannaud

conception, graphisme

Roland Cahen

musique interactive

Bruno Herbelin

ingénierie

Conventions de terminologie :

Il est convenu par convention et faute d’un nom approprié, d’appeler le spectateur-visiteur-navigateur-utilisateur de l’installation “l’explorateur.”

Il est convenu d’appeler “monde” le paysage qu’on voit à l’intérieur du visiocasque.

I) Généralités et à propos de la notion de point de vue :

La variété des point de vue enrichit, développe et manifeste le vivant.

Cette variété requiert et ordonne le temps nécessaire à la sa connaissance.

Cette durée implique des mises en relations à de multiples niveaux entre les différents points de vue : classement, distinction, spécifications, globalisation, confusion, interaction… etc.

Cette notion de point de vue est doublement activée par le mécanisme de la réalité virtuelle : tout particulièrement dans Icare.

Premièrement, dans la relation entre le point de vue du créateur et celui, actif de l’explorateur, puisqu’en évoluant librement dans un univers conçu par un artiste, on est à la fois prisonnier de son point de vue et on le dépasse en le faisant sien a chaque exploration. En ce sens, l’exportateur est autant un interprète qu’un spectateur.

Deuxièmement, dans le sens d’un espace physique, on se déplace dans l’espace intérieur du monde comme si on était a l’intérieur du tableau du peintre, une multitude de points de vue sont possibles, on prend plaisir à changer de point de vue, on se promène pour regarder le paysage.

Icare s’appuie sur le point de vue de l’explorateur.

Cette dernière notion géographique de point de vue est, dans Icare, la plus réaliste possible. Le reste du fonctionnement de l’installation ne l’est pas. Ainsi, les explorateurs ont l’impression se repèrent comme dans le monde connu alors qu’en fait ils évoluent dans un univers fait d’abstractions. Il s’agit ici d’un choix qui concerne Icare. L’espace au sol est cohérent avec les déplacements du corps. C’est a dire que l’explorateur se déplace dans les deux axes horizontaux x, y et que son point de vue sur le monde évolue en fonction de sa position et proportionnellement à l’espace de la salle..

Par contre en ce qui concerne la hauteur (z) elle dépend à la fois de la hauteur de la tête de l’explorateur et du mouvement des ailes qui l’emmènent virtuellement vers le haut (dans le monde) alors que son corps reste debout sur le sol, dès lors, la cohérence avec le réel est rompue, seule demeure l’apparence réaliste du point de vue.

Musique interactive :

Cette notion de point de vue est également appliquée à la musique, la musique en dépend. Tout d’abord le comportement de la trame d’ambiance générale (pour l’appeler simplement) est fonction des positions x, y et z.

Spatialisation des objets :

D’autre part, un certain nombre d’objets sont visibles dans le monde : le soleil, Dédale, le moulin, la montre, les statues… Lorsque l’explorateur s’en rapproche, ils grossissent. Lorsqu’on tourne la tète sur la droite, l’objet sort du cadre vers la gauche.

Ainsi, le principe du point de vue s’applique également aux objets.

Lorsqu’un objet produit du son, le son de l’objet dépend également du point de vue : le volume du son associé à l’objet dépend de la distance de l’objet, de sa taille dans le monde et d’un seuil au delà duquel l’objet n’est plus audible.

C’est ce que nous appelons “à vue d’œil c’est audible”.

De même, la position dans la stéréophonie (panoramique) du son ou de la musique qu’il produit dépend de l’angle de vue de l’objet. L’angle a été réduit jusqu’à présent à 180°, nous n’avons donc pas tenu compte de l’axe avant - arrière car nous ne disposions pas de moyens de spatialisation suffisants.

Certains objets sont figés, c’est à dire qu’ils sont toujours à la même position xyz et ne bouge pas : statues, sol, écran vidéo

D’autres sont fixes mais animés comme la montre, le soleil

D’autres se comportent différemment selon des critères propres, hauteur du point de vue pour le sol, ensembles de photos

Les deniers sont mobiles et animés : photos, Dédale

Comportement musical des objets du monde :

De même que les sons des objets fixes sont audibles selon la position de l’explorateur, ceux des objets mobiles dépendent de leur position spatiale par rapport à l’explorateur en volume comme en panoramique. Un spacialisateur plus fin permettrait de simuler la distance et de produire un effet de latéralisation plus réaliste, pour respecter au maximum le point de vue.

C’est ici que le parallélisme entre l’image et le son s’arrête.

Chaque processus de son est différent et ne dépend que partiellement du processus visuel. (lire § II)

Limites de l’interactivité sonore :

Nous avons constaté deux extrêmes sans intérêt dans les systèmes interactifs :

Une indépendance trop grande entre le visuel et le sonore fait qu’on n’a pas conscience du lien qui les attachent, voir pas conscience de l’interactivité de la musique. Une trop grande dépendance, par exemple l’accroche directe d’un paramètre visuel à un paramètre sonore, fait de la partie musicale un simple système de monitoring, trivial et vite redondant. Il s’agit donc, sans perdre le lien entre le visuel et le sonore d’enrichir les propositions musicales, ou bien d’attacher le paramètre visuel à une variation globale du phénomène musical. Dans la vie les raisons pour lesquelles tel ou tel objet produit tel ou tel son selon telle ou telle action sont rarement apparentes.

II) Fonctionnement de la musique :

A) L’environnement musical du “monde” :

Une trame sonore couvre l’ensemble du monde. Il s’agit d’un système à 6 ou 8 voix indépendantes. Les sons, les vitesses et les registres varient en fonction du point de vue.

Pour chaque voix le processus est le même. La multiplicité des voix et leur modulations créent une masse évoluante.

Principe de chaque voix :

On tire dans une urne une valeur entre 0 et 9 parmi 9. Chaque note registrées selon un offset relatif à la position verticale y. On déclenche le début de la note avec le volume à zéro puis on module le volume grâce à un modulateur en triangle ou en dent de scie selon un seuil dont nous parlerons plus tard. Une fois le volume revenu à zéro, on déclenche une autre note. La vitesse de modulation est aussi fonction de la position verticale y.

Ces variations de vitesses et de hauteurs sont réglées par une table de transfert. Les changements de sons par des seuils.

B) les objets musicaux du “monde” :

Les sons des objets fixes se déclenchent dès que la valeur de proximité p (inverse de la distance) est supérieure à zéro. Les variables de proximité et d’angle a de provenance sont graduées sur 127. Chaque objet à son fonctionnement musical propre.

1) son continu modulé en proximité et en angle : le moulin : le son est joué en boucle dès que la proximité est supérieure à zéro et jusqu’à ce qu’elle revienne à zéro. a est envoyé en continu mais il serait mieux de ne l’envoyer que lorsque p >0.

2) masse de sons brefs traités en microséquences : A chaque passage de Dédale, c’est à dire à chaque fois que p franchit le front d’entrée (p =0,/ p >0), un nouveau mode est tiré selon une suite d’intervalles. Idem pour les occurrences temporelles. La courbe de volume est amplifiée au passage de dédale à proximité, on peut y ajouter un léger effet doppler.

3) Objets dépendant de la quantité de mouvement de l’explorateur : lorsque p ou a ne changent pas, le son n’est pas produit. Si p ou a changent, un objet line suit le changement en introduisant une inertie et déclenche des volées de sons brefs dont la hauteur pas exemple est modulée. Ainsi, on entend l’objet que si l’on bouge.

C) Le système de balance entre la trame et les objets :

Lorsque l’explorateur s’approche des objet fixes, la trame s’atténue proportionnellement à l’accroissement du volume du son de l’objet. En fait c’est le volume maximum de toutes les voix qui est atténué.

D) Objets ponctuels (présence absence) : photos, battements d’ailes, prise d’ailes, hors limite, cluster test…

E) Soleil : génération d’un ensemble de bruits brefs concaténés et tirés aléatoirement sur 4 voies (dans une banque) avec modulation de la quantité d’objets selon le temps, modèle d’explosion, avec retombée d’objets se raréfiant à mesure que l’explorateur retombe.

F) Vitesse de l’explorateur en vol. Un bruit (vent stylisé) est produit en (bipiste très proche des oreilles) dont l’intensité et la hauteur dominante varie en fonction de la vitesse du vol. Ce son permet d’évaluer l’accélération lors de l’exploration. Sa matière varie selon la position des ailes, la direction l’angle du regard par rapport au vol.

III) Plan sommaire du dispositif simplifié (MIDI et expandeur sc55)

IV) Questions pratiques :

Une version entièrement audio est réalisable avec l’aide de l’IRCAM.

Possible si une personne qui maîtrise bien FTS est présente pendant tout le travail.

(c’est mieux si c’est toujours la même mais les taches peuvent être partagées en deux, voir en trois : structure de base et liaisons entre machines : programmeur, programmation et tests des algorithmes : assistant)

Proposition d’emploi du temps :

Deux temps de travail :

Premier temps : construire l’environnement de base du son d’ICARE avec FTS sur une O2 et tester la communication entre les deux machines (image et son).

Temps estimé selon la difficulté : 2 ou 4 jours

Deuxième temps : ajuster l’ensemble des dispositifs : Ce peut être plus long selon les possibilités de la machine et l’adaptabilité du projet.

Temps estimé : de 4 à 6 jours dont les 2 derniers avec l’ensemble du dispositif pour les réglages en conditions réelles.