Navigation sonore située

Roland Cahen 2002

Table des matières

Navigation sonore........................................................................................................................ 4

Navigation, mot vague mais perspectives à l’horizon...................................................... 5

Pourquoi la navigation interactive ?...................................................................................... 5

Qu’est-ce que la navigation sonore..................................................................................... 6

Scènes réalistes, imaginaires et abstraites...................................................................... 6

Navigation sonore et multimédia ou multimodalité.......................................................... 7

Qu’apporte la spatialisation pour la navigation sonore ?................................................ 7

Sons cinétiques....................................................................................................................... 8

Son et sens................................................................................................................................... 9

Les fonctions de l’oreille et de l’écoute............................................................................... 9

Subjectivité de l’écoute......................................................................................................... 12

Un son n’est pas un son...................................................................................................... 13

Objet sonore........................................................................................................................... 13

Evènement sonore................................................................................................................ 14

Phénomène et évènement.................................................................................................. 14

Critères perceptifs................................................................................................................. 14

Causalité et navigation......................................................................................................... 14

Causalité et interactivité :..................................................................................................... 15

Chaîne des causalités......................................................................................................... 15

Mémoire et temporalité............................................................................................................. 17

Sens et évolution sonore..................................................................................................... 17

registre et registration........................................................................................................... 20

Relations image/son/espace.................................................................................................. 21

Le son des objets.................................................................................................................. 21

Perception conjointe du son et de l'image....................................................................... 21

Synchrèse et liens temporels............................................................................................. 21

Synchrèse image/son spatialisée..................................................................................... 22

Relation image son spatialisée......................................................................................... 23

Un archétype audiovisuel remarquable............................................................................ 23

Son et spatialisation en temps réel....................................................................................... 25

Exemple en situation réelle................................................................................................. 25

Dépasser le modèle convenu............................................................................................. 25

Spatialisation et multidiffusion............................................................................................ 26

Développements du langage spatial sonore...................................................................... 29

Navigation du sujet dans un espace statique................................................................. 29

Objets mobiles ou dynamiques......................................................................................... 29

Mouvement de la source et des propriétés...................................................................... 29

Quelques types de sons cinétiques.................................................................................. 29

Groupes d’objets animés.................................................................................................... 30

Objets animés........................................................................................................................ 30

Comportements sonores situés............................................................................................ 31

Eléments de typologie de quelques phénomènes et actions sonores en espace..................................................................................................................................... 31

Comportements temporels................................................................................................. 35

Son et représentation............................................................................................................... 37

Que représenter avec des évènements sonores........................................................... 37

Architecture de scènes interactives navigables.............................................................. 37

Comment attribuer les fonctions et données aux évènements sonores ?................ 39

Architecture de programmes informatiques pour la navigation sonore..................... 41

Exemple possible d’implémentation d’un objet-source créé à partir d’un fichier son joué en boucle :.................................................................................................. 42

Solfège de la navigation et langage objet......................................................................... 43

Projet de développement interdisciplinaire...................................................................... 43

Terminologie.............................................................................................................................. 44

Bibliographie.............................................................................................................................. 46

Navigation sonore

C’est en tant qu’artiste et que designer sonore que j’écris ici. Je ne suis pas scientifique et mon objectif est de donner à travers ces lignes une idée de ce que la navigation sonore située ou plus précisément spatialisée peut offrir à la représentation en général et quels en sont des principaux ressorts. Pourquoi ajouter un point de vue empirique aux travaux scientifiques traitant de l'interactivité et de la spatialisation sonore de chercheurs réputés à l’Ircam, au MIT, au CNMAT ou à la Nasa, Sony, Dolby, France Telecom…etc. ? Parce que seuls les artistes peuvent instrumenter et donner du corps aux objectifs humains d’une technique d’expression. À plus forte raison dans un domaine dont le langage n’existe pas encore. Je souhaite également apporter un regard synthétique sur les développements de différents domaines et proposer une approche si possible à la fois globale et prospective de la navigation sonore située[1]. Ce propos se veut donc empirique et à l’intersection des domaines trop souvent distincts de l’art, la pensée, la technique et la science :

Sur le plan scientifique, les recherches sur la navigation sonore se proposent de :

- Représenter des espaces de données abstraites en situation de navigation interactive en utilisant pleinement les capacités de la perception sonore et tout particulièrement du son spatialisé ;

- Avancer dans les domaines de la multimodalité et de l'interface sonore ;

- Dans le champs de la sonification, développer des outils et éléments de langage permettant de représenter les comportements et phénomènes abstraits pas des évènements sonores.

Sur le plan technique, il s'agit de :

- Se doter d'outils intégrés permettant de lier les données sous forme visuelle ou sonore grâce à des passerelles ou des structures communes ;

- De développer les possibilités intégrées de spatialisation sonore ;

- Étendre le vocabulaire et les outils de programmation de la spatialisation sonore.

Penser la navigation sonore signifie :

- Réfléchir et analyser la perception sonore du monde, la relation du sujet au monde sonore environnant ;

- Expérimenter la relativité du point de vue ;

- Etudier des architectures de situations dynamiques ;

- Réfléchir aux problématiques du sens et de l'écoute ;

- Approfondir la question du découplage du son et de sa cause.

L’art qui m’intéresse ici pourrait être qualifié de fonctionnaliste, non pas décoratif ni au service du vécu plus intense d’un jeu, mais comme expression sonore signifiante d’un ensemble de données abstraites et dynamiques, d’une scène, d’un monde virtuel, d’un mouvement, d’une action… Loin de se réduire à un simple bruitage ou à une l’illustration, de telles expériences peuvent, j’en suis convaincu, être d’une très grande richesse musicale et humaine. A mon avis, la fonction est souvent plus esthétique et moderne qu’une esthétique fondée sur les critères douteux d’une pureté idéale. Si encore on cherche des antécédents à cette approche, on peut dire qu’elle opère, d’une certaine manière, la jonction entre celles de Schaeffer, de Cage et de Xenakis[2]. Schaeffer pour son approche phénoménologique du sonore, Xenakis pour l’algorithmique et la dimension spatiale de son travail, Cage enfin pour l’indétermination et l’écoute du monde comme musique, telle que la vie nous la donne à entendre.

Cet article veut expliquer et développer le concept de navigation sonore située, expliquer sommairement les modes perceptions mis en œuvre, présenter quelques concepts utiles, puis à travers une esquisse de typologie forcément très incomplète au vu de la richesse quasi infinie des situations vécues, donner des exemples d’approches pour mieux appréhender des réalisations concrètes.

Navigation[3], mot vague mais perspectives à l’horizon.

Faute de nouveaux océans à découvrir, tournons aujourd’hui la proue du navire vers l’intérieur de nous-mêmes et vers l’abstraction. Le monde qu’il nous faut maintenant explorer est celui de l’infiniment complexe, de la connaissance et de l’imaginaire. Voilà que le tableau devient promenade, offrant de multiples points de vue au visiteur et que l’annuaire se présente comme une constellation où bruissent les activités des abonnés. Mais à quoi bon ? On en vient, c’est naturel, à se demander si le capitaine ne souffre pas de jeunisme ou de gâtisme précoce lorsqu’il prétend présenter des connaissances sérieuses sous forme de jeu vidéo. La pensée comme l’art y prennent un coup inattendu et faute d’une perspective plus charnelle, nombreux sont ceux, artistes ou spectateurs, qui enfilent la casquette du navigateur et s’aventurent sur ces flots incertains. Le verbe se ferait-il maintenant topos et les octets musique ? Mais qui peut prédire ce qui sortira de ces filets, si le paradigme spatial, la confrontation des points de vue, ne viendront pas à bout de quelques bonnes vielles hérésies. A vos machines, amarres…Larguées !

Pourquoi la navigation interactive ?

La navigation interactive constitue un modèle de représentation extrêmement puissant. Multisensorielle, elle met en oeuvre plusieurs modes de perception en sortie (du dispositif vers l'utilisateur) ainsi que certains contrôles corporels en entrée (de l'utilisateur vers le dispositif). Il semble que se soit le mode opératoire qui se rapproche le plus de l'expérience du vécu humain, en tout cas elle est conçue sur le modèle du vécu. C'est à la fois un simulacre et une représentation centrée sur le sujet : le 'moi dans une scène synthétique' représentant le 'moi dans une scène réelle'. Cette représentation devenant à son tour une nouvelle réalité, elle se forme ses codes et devient une technique et un art de la représentation. Au point qu'il est possible de représenter des scènes imaginaires et abstraites. La scène interactive[4] étant l’unité de cadre. Le modèle de représentation de la navigation est principalement composé de plusieurs instances ou membres qui sont :

- sujet(s)

- objets

- espace(s)

- temps(s)

- architecture de l'ensemble

La navigation permet de faire évoluer chacune de ces instances et leurs relations mutuelles.

Qu’est-ce que la navigation sonore

La notion de navigation indique une évolution sur un plan ou dans un espace, aller vers un but ou errer d’un endroit à l’autre. Naviguer signifie également se diriger, se repérer, calculer sa route, conduire. Toutefois le sens de repérage, s’il est applicable au visuel, on se repère dans l’espace généralement grâce à la vue, ne s’applique que peu à l’ouïe, mis à part pour les aveugles, les chauves-souris, les sous marins…etc. Si l’audition d’un son peut donner des informations de contexte, d’origine ou de provenance, il est rare qu’on puisse réellement se repérer grâce à lui. Où donc réside alors l’intérêt de la navigation sonore ?

La navigation est ici prise dans le sens général de mouvement, déplacement et évolution, elle résume la notion de point de vue sonore dynamique. C’est ce qui se passe lorsque dans la vie quotidienne nous évoluons au milieu des sons. Bien entendu, il ne s’agit pas forcément de reproduire un espace sonore réel ni même réaliste, mais d’utiliser la métaphore de l’espace pour représenter sous diverses formes un espace de données quelconque. Naviguer revient dès lors à déplacer son point de vue à volonté avec plus ou moins d’autonomie. Toutefois limiter ce mouvement à un simple mouvement sur un sol (plan) comme c’est généralement le cas dans la majeure partie des applications dites ‘3D’ serait extrêmement réducteur et à peine suffisant pour les courses de voitures. Si l'on souhaite aller plus loin, il faut étendre la question. Dans une perspective plus générale, la navigation sonore apporte pour le moins une quatrième dimension, le temps, à laquelle s’ajoute le son, qui en contient lui-même plusieurs, mieux ; tout un ensemble d’information hiérarchisées et dynamiques au service de l’expression et du sens.

Scènes réalistes, imaginaires et abstraites

La représentation des scènes interactives visuelles et sonores n’échappe pas à la dualité réalisme-abstraction.

La représentation d’une scène qui pourrait exister dans le réel est appelée réaliste.

La représentation une scène hors de la réalité empirique usant de formes et de principes, de concepts ou d’idées formelles est dite abstraite.

Une navigation sonore dans une scène réaliste pourrait consister par exemple à se déplacer au milieu d’un orchestre jouant une symphonie[5]. On pourrait alors entendre différemment selon l’emplacement. Une navigation sonore dans une scène abstraite serait par exemple se déplacer dans une représentation d'enregistrements de stations météorologiques, avec pour objectif d’étudier, observer de différents points de vue, rechercher des phénomènes particuliers, introduire des perturbations, modifier des comportements…

On confond le plus souvent abstrait et imaginaire. Pour ma part, malgré l'ambiguïté de la distinction je préfère les distinguer. A réaliste ou figuratif j'oppose abstrait et à imaginaire j'oppose fonctionnel.

Abstrait indique que l'origine des données qui composent la scène est d'origine non audiovisuelle : conceptuelle, numérique, transposition d'un phénomène différent via la numérisation…etc.

Imaginaire indique que la scène est imaginée ou imaginable, elle fait l'objet d'un scénario ou d'une fiction. La plupart du temps ces deux approches sont mélangées pour donner du plus ou moins réaliste et du plus ou moins abstrait. La représentation apporte nécessairement sa part d’abstraction et sa part de réalisme lui permet d’être recevable.

La part réaliste de la navigation réside dans le fait de se déplacer dans un espace à trois dimensions et d’y voir, rencontrer, entendre des objets…Au-delà le reste peut être abstrait. L’espace et le temps eux-mêmes peuvent se comporter de façon non réaliste. C’est là porte ouverte à un domaine de création novateur et passionnant à la jonction de l’art et de la science.

Navigation sonore et multimédia ou multimodalité

La navigation dans un espace exclusivement sonore est particulièrement intéressante pour expérimenter la perception des aveugles ou pour la création artistique. On pourrait ainsi créer des situations dramatiques interactives, que j’appelle des théâtrophonies, utilisant des acteurs situés et mobiles, et les faire interagir avec le sujet.

Dans le domaine 2D, la notion de navigation exclusivement sonore existe. C’est le 'syndrome de l’écran noir', souvent utilisé dans les jeux ou que tous les étudiants en multimédia ont essayé pour ‘réhabiliter le son’. Cette expérience est souvent la meilleure preuve que le son ne permet pas naturellement de s’orienter dans l’espace. En effet, tâtonner sur un écran noir avec une souris, ou dans la nuit pour trouver la porte de la salle de bain, n'ont pas la vertu d'éveiller le sens de l'ouïe, ça se saurait. La même situation avec des aveugles et du son spatialisé peut par contre, donner des résultats beaucoup plus intéressants.

C’est donc dans le contexte multimédia ou multimodal que la navigation sonore est la plus performante. Elle apporte des compléments essentiels aux applications multimodales, au visuel et aux actions de contrôles tactiles entre autres.

Nous verrons plus loin les articulations possibles entre la perception auditive et les autres modes, puis une approche de la mise en œuvre de ces synergies.

Qu’apporte la spatialisation pour la navigation sonore ?

Le repérage des évènements sonores dans la vie quotidienne se fait à l'évidence dans le temps mais aussi dans l’espace. Si les yeux fermés l'on repère peu les sources sonores, les yeux ouverts la perception auditive participe activement à notre orientation.

La spatialisation d’un événement sonore, aidée ou non du visuel, permet de localiser les sources sonores, principalement dans le but de veiller à leur innocuité. Si cette conscience auditive primaire renseigne les êtres vivants sur les dangers physiques, elle est également capable d’indiquer des comportements sonores culturels synonymes de danger (bruit anormal, irrégularité, sifflement annonçant la chute d'un obus…).

L’apport de la 3D dans une scène interactive permet de réagir spatialement à un événement sonore : soit en se déplaçant, soit en déplaçant un objet. La corrélation de la vue avec l’événement sonore permet de contrôler et de valider ou non l'objet comme objet-source. Cette corrélation peut très bien ne pas se faire si le danger est imminent et que l'oreille suffit à déclencher un réflexe physique. Si un événement se produit simultanément et au même endroit dans le visuel et le sonore, c’est que l’objet-source est l’origine probable du son[6]. La corrélation peut également se faire sans visuel sous la forme d’un contrôle spatial de la source, c’est à dire d’un contrôle en temps réel de la position ou du son d’un objet invisible mais situé.

L’acoustique de l’espace (effet de salle ou architecture d’acoustique virtuelle) peut informer sur la taille, la résonance, la réponse spectrale, la proximité et la qualité de certains obstacles. Dans une certaine mesure, on peut toutefois s’orienter avec les son, par exemple grâce à certaines sources sonores repérées ou en développant un système spécifique d'orientation ou de repérage sonore, et à condition d'apprendre à l'utiliser.

La lisibilité des évènements sonores apportée par un système de spatialisation sophistiqué tel le Spat~ est considérable. Elle permet de multiplier le nombre de sources distinctes, de localiser les sources en mouvement par rapport aux sources fixes, de percevoir la dimension des sources relativement à leur distance, de distinguer leur particularités propres (couleur sonore, modes de diffusion, comportement…)

D'autres sources virtuelles peuvent avoir des positions conventionnelles ou fixes, par exemple toujours à proximité immédiate de l'oreille gauche du sujet, ou se situer hors champs ou même off[7], par exemple pour des commentaires diffusés en mono ou en opposition de phase…

Sons cinétiques

Il existe de nombreux sons dont la nature caractéristique n’est que spatiale, c’est-à-dire que leur timbre ne joue qu’un rôle très mineur dans leur reconnaissance. Autrement dit, si on les enregistre en mono, ils deviennent méconnaissables. C’est le cas par exemple du bruit de la cascade, d'une richesse spatiale infinie, donné pourtant en cours d’acoustique comme un bon exemple de bruit blanc. D’autres sons moins homogènes contiennent des informations spatiales plus spécifiques; certaines d’entre elles peuvent être préservées avec la spatialisation, d’autre non : imaginons par exemple un cycliste tournant autour du terre-plein central de la place de l’Étoile. Les voitures qui le dépassent à différentes distances et vitesses sont des objets -sources, ici bruit de roulement sur les pavés, moteurs, musique boumboum…, tous ces paramètres étant également fonction de la trajectoire et de la vitesse du cycliste.

Une fois enregistrée depuis le vélo, même en stéréophonie et en multiphonie, une telle scène n’est que très mal restituée et si on vous demandait de piloter le cycliste à distance et à l’oreille vous n’accepteriez sans doute pas cette responsabilité. On me répliquera que l’image fera bien mieux ce travail, la cause est entendue. Toutefois même avec un grand angle et 2 rétroviseurs, le pilote à distance que vous êtes ne dirait sans doute pas non à un son bien spatialisé lui permettant d’entendre entre autres les voitures venant de l’arrière, les coups de klaxons…Toutefois, la spatialisation ne résout pas tout et une représentation ne remplace pas la réalité. J’évoquerai plus loin le traitement des transmissions solidiennes[8] et les effets en chaîne.

Son et sens

Même si des points communs, pour ne pas dire des lieux communs, que la langue et le son partagent existent bel et bien[9], les sciences humaines se sont lassées d’accumuler des fausses preuves que la musique était un langage. Le sens d’un événement sonore a peu en commun avec celui d’une phrase, à moins qu’il s’agisse justement de paroles ou de sons délibérément organisé comme telles[10]. Si le sens s’y construit également au fil du temps, c’est davantage par comparaisons de sensations que par reconnaissance de signes. Pourtant la musique comme les bruits communiquent bien un sens, mais le langage y est manifestement court-circuité. Shaeffer encore insiste sur le concept de valeur pour désigner l’unité de sens en musique, il écrit dans le TOM que « La valeur musicale…s’appuie sur des propriétés intrinsèques de l’objet sonore ». Il écrit également que « la musique aurait un sens plutôt que, comme le langage une signification » et que « si le signe linguistique est arbitraire, le signe musical ne l’est pas »[11].

De même qu’on a voulu plaquer le schéma de la langue sur la musique pour cause de structuralisme, on veut aujourd’hui lire et construire la musique comme une image pour cause de multimédia. Or la musique n’est pas aussi sage que les images. Elle ne se contente pas d’être posée là figée, mais évolue dans le temps et avec le temps, elle joue même le temps par le tempo, les rapports de vitesse, les attaques, les contretemps…etc

Toutefois la limite est floue et l’icône comme le langage existent également dans le domaine des sons. On utilise aujourd’hui pour cela le terme de sonification, fusion des mots ‘son’ et ‘signification’, qui désigne habituellement la signalétique mais qu’on peut, me semble t’il, étendre à toutes formes de représentations sonores fonctionnelles. Je préfère, pour ma part, le terme de sonification à celui de bruitage qui ne désigne que des bruits mais exclue la musique, à celui d’illustration sonore qui indique que la musique décore l’image, à celui de sonorisation qu’on confond souvent avec la sono rock…etc Ainsi le verbe sonifier pourrait devenir le terme générique pour désigner qu’on donne du sens à un médium par le son.

De nombreuses notions musicales deviennent ainsi intégrables à un dispositif de navigation dans des données sonorisées ou sonifiées.

Les fonctions de l’oreille et de l’écoute

Que les musiciens connaissant le fonctionnement de l’écoute et le travail de Pierre Schaeffer sautent ce chapitre car je simplifie outrageusement ce qui mériterait de plus explicites développements et j’invente également ou réinvente dans un domaine où des travaux plus aboutis existent probablement déjà. Pour les autres, ce chapitre propose donc une approche rapide de l’écoute et de la production de sens par le son, orientés dans la perspective de la navigation sonore.

Les trois formes d’écoute :

Écoute causale, anecdotique ou animale

Écoute textuelle ou sémantique ou linguistique ou symbolique

Écoute musicale ou formelle ou réduite

Ces trois écoutes peuvent se superposer. Même si la conscience se porte sur une seule d’entre elles à la fois, notre attention auditive soumet au seuil de notre conscience les évènements entendus par d’autres formes d’écoutes. Les fusions de ces écoutes ont d’ailleurs donné à l’art et à la vie quelques-uns de ses meilleurs moments :

- Bruit et musique : Spike Jones, Russolo, de nombreuses musiques électroacoustiques…,

- Texte et musique dans l’opéra et la chanson,

- Bruit et texte au théâtre ou dans la poésie sonore, au cinéma…etc

Fonction primaire de l’oreille :

Chez les êtres vivants qui en sont munis, l’oreille sert essentiellement à prévenir du danger. Chez l’homme, cette fonction primaire reste suffisamment forte pour déterminer en grande partie le fonctionnement de notre écoute. Cette fonction utilise pour déterminer le danger et la réaction éventuelle un certain nombre d’aptitudes spatiales et temporelles spécifiques de l’oreille :

Aptitudes temporelles :

Informer de l’émergence d’un nouvel événement : Tout nouvel évènement à l’intérieur d’un complexe sonore est immédiatement distingué et éveille l’écoute active jusqu’à ce qu’il soit reconnu, assimilé ou intégré. On peut dire qu’un son est intégré au moment où il a dégagé sa charge de sens.

Cette intégration prend un sens différent selon qu’il s’agisse d’un bruit, d’un texte ou d’une musique. Dans le cas des bruits (écoute causale) l’intégration consiste à identifier une cause vraisemblable, en particulier à la reconnaître, c’est-à-dire à la qualifier comme élément connu et/ou sans danger. Pour le texte, l’intégration consiste à tenir le fil du propos, comprendre, imaginer…Avec la musique, l’intégration consiste à constituer les liens relationnels entre les sons.

Aptitudes spatiales et dynamiques :

- Identifier la provenance ou l’origine d’un événement sonore.

- Entendre hors du champ visuel, derrière la tête et au travers d’obstacles

- Déterminer le mouvement d’une source.

- Distinguer la présence ou non d’obstacles entre la source sonore et l’oreille et dans certains cas de les qualifier.

- Reconnaître certaines caractéristiques acoustiques de l’espace environnant la source sonore ou du sujet écoutant.

L’intégration des sons fait appel dans les trois 3 écoutes à des composantes intemporelles, temporelles, spatiales et dynamiques.

En ce qui concerne l’écoute causale :

- Les composantes intemporelles sont la provenance et l’origine du bruit.

- La composante temporelle est l’action qui produit le bruit et les effets de cette action sur le bruit.

La combinaison de ces trois termes (effet sonore, action sonore et provenance) nous permet de déduire en amont de la chaîne des causalités la raison de l’évènement sonore et en aval, les conséquences possibles en terme de danger et de réaction (réflexe puis réfléchie).

Pour l’écoute textuelle :

- Les composantes intemporelles sont le timbre des phonèmes, l’intonation de la voix, l’identification du locuteur, et certains liens sémantiques instantanés…

- Les composantes temporelles sont les mots, phrases et les liens sémantiques se construisant sur la durée.

En ce concerne l’écoute musicale :

- Les composantes intemporelles sont les critères liés à l’écoute verticale (critères shaefferiens de matières) hauteur, timbre

- Les composantes temporelles sont les critères de forme ou les relations horizontales entre événements sonores plus ou moins éloignés dans le temps[12].

Ce tableau encore une fois simpliste et réducteur peut donner quelques repères pour articuler les commandes d’un dispositif de navigation sonore. Plus précisément, il permet de fixer des éléments de terminologie ou des objectifs perceptifs pouvant êtres partagés au sein d’une équipe de développement.

Émergences de nouveaux évènements/stimuli sonores :

Si la vue repère en priorité le mouvement, l’écoute est tout particulièrement sensible à l’émergence des nouveaux événements dans un continuum ou un fond. La réaction au stimuli varie en fonction du niveau du danger sur une échelle qui en compte 3. Ce phénomène inhérent à l’écoute causale fonctionne également en pour les autres formes d’écoutes.

Au niveau maximum de danger (niveau 3), bruit important, agression caractérisée dirigé vers moi… ma réaction réflexe sera de me protéger physiquement

A un niveau de danger moindre(niveau 2), ma réaction sera de tourner mon regard dans la direction de la source de façon à corréler le visuel et le sonore pour identifier la cause. Dans d’autres circonstance comme une émergence violente dans une écoute musicale, j’aurai une surprise ou un choc.

Encore un peu plus bas sur l’échelle (niveau 1), mon attention sera un instant prise par l’arrivée d’un nouvel élément sonore vite identifié et intégré comme c’est le cas à chaque fois qu’un nouvel événement sonore survient dans une écoute musicale.

Au niveau zéro de l’échelle, le son est déjà intégré. Le plus souvent, il s’agit d’un son continu, régulier ou assimilé à un élément du fond décor. Seuls des accidents, perturbations ou irrégularités provoquées par le comportement de la source elle même, du sujet (moi) ou par l’évolution du contexte font remonter le son ou l’ambiance sonore à la conscience.

À l’opposé de l’échelle, on peut placer les sons déjà connus selon leur degré d’agrément, car si l’oreille a pour fonction primaire la prévention du danger son corrélaire est sa sensibilité à l’affect : à la douceur, au familier et à la sensualité.

Un bruit courant ou une voix reconnue, un son familier, appellent une réaction conséquente de lassitude, d’adhésion, de séduction ou de désir.

Ainsi on pourrait, quoi que cette proposition reste discutable, ajouter trois degrés à notre échelle vers le coté opposé[13] :

-1) douceur, lassitude, langueur, hypnose…

-2) familiarité, déjà connu, attendu…

-3) sensualité, jeu de séduction, érotisation…

Ces sentiments ou impressions induites par les sons peuvent êtres également attachés à des objets-sources spatialisés. Dans ce cas, et à condition que les origines respectives soient clairement identifiables comme la différence entre le boulevard et le jardin qui le borde avec ses oiseaux et sa fontaine, l’espace sonore pourra prendre une valeur affective spatialisée.

Sensibilité à la vitesse

La temporalité, ici la vitesse, joue un rôle important à plusieurs titres dans la perception auditive. Plus on monte sur l’échelle ‘danger’, plus les évènements sont brefs ou rapprochés, plus l’écoute est attentive à des évènements très proches et entremêlés. Plus on descend, plus ils sont longs ou lents et moins l’oreille perçoit les micros évènements rapprochés qu’une analyse ou une écoute répétée peut montrer. Il en va de même du coté de l’affectif, plus l’affectif est important, plus la sensibilité à la vitesse des évènement est éveillée.

L’oreille, contrairement à la vision, peut distinguer la nature et l’ordre d’une série d’événements enchaînés à une cadence d’environ 50 millisecondes. De même elle remarque des événements sonores distants surgissant régulièrement ou occasionnellement même à plusieurs jours d’intervalles. La mémoire auditive étant très associative, elle permet dans une certaine mesure de retrouver à la ré-audition des sensations attachées aux premières auditions d’un événement ou d’un phénomène sonore particulier.

La musique joue de cette sensibilité aux émergences, généralement sur une gestion dynamique de la tension. Le compositeur comme l’interprète contrôlent la tension en faisant évoluer la proximité, de temps et de nature, (forme/matière) des évènements sonores. C’est le fameux couple tension-détente auquel il est très difficile d’échapper. Certaines musiques jouent sur les contrastes, les conduites de progressions, les cassures, d’autres sur des états de tension continue, sur des jeux de tension en vase communicants…etc

On voit donc que des particularités de l’écoute primaire sont inséparables de l’ensemble des modalités d’écoute. Ces particularités fortes étant également applicables dans la perspective de la navigation sonore et considérablement renforcées par la situation spatiale qui remet l’auditeur en situation de confrontation directe avec le son, contrairement à la musique qui installe une barrière entre la scène, le cédé, l’instrument et l’auditeur.

Subjectivité de l’écoute

Notre capacité à distinguer et tirer des informations significatives du monde sonore qui nous environne varie avec les personnes, les situations et l’acquis. Chacun entend et interprète différemment le même évènement sonore selon sa réceptivité et selon l’information significative qu’il est en mesure d’y associer.

		Attentif
Banale			Praticienne
		Distrait

Schaeffer distingue l’écoute « banale » et « praticienne », mais aussi « naturelle » et « culturelle ». Ces différents critères constituant ce qu’il appelle « l’intention d’entendre » autrement dit la perspective qui guide notre écoute et qui détermine ce qu’on entend. C’est ce qu’on appelle quelquefois en langage commun l’écoute sélective.

Les réactions du sujet sont liées à ce qui a été effectivement intégré à l’issu de l’audition et qui dépend beaucoup de l’intention d’entendre.

Un son n’est pas un son

La plupart des outils et des concepteurs multimédia considèrent un son comme d’une unité sans pour autant rien préciser de ses particularités. Pierre Schaeffer ne supportait pas qu’on parle « d’un son » et celui qui le faisait était vertement renvoyé à la lecture du TOM[14].

Dans Typologie des objets sonores, Pierre Schaeffer une distinction quasi aristotélicienne entre :

Les critères de forme [15]:

Le moment ou le son commence, sa durée, son évolution, ce qui évolue comment et pourquoi…

Et les crières de matière :

Masse, registre, grain, aspect, spectre…

Un ‘son’ posé comme tel sur une image, qui serait pour ainsi dire aussi sage qu’elle, serait « homogène et sans forme ».Les notion d’événement sonore est donc préférable en ce qu’elle considère que quelque chose, d’une durée limitée survient à un moment donné. Reste à savoir ce qui survient, comment, pourquoi. Est-ce un nouveau son qui se produit ou bien son intensité qui passe de zéro à un ?

Objet sonore

La notion « d’objet sonore » issue de la phénoménologie et utilisée par Schaeffer renvoit à l’idée d’un son identifiable comme objet, ni trop court ni infiniment long, ni trop complexe ce qui pourrait lui faire perdre son unité d’objet. Cette notion se réfère au son lui-même et non à l’objet qui l’a produit. Elle isole l’objet son de sa cause, ou de son origine, pour mieux le qualifier en tant que tel, grâce à un mode d’écoute non causale qualifiée d’écoute réduite. Il importe donc, c’est une des leçons les plus importante de Schaeffer, de ne pas confondre la cause et la qualification du son. Ainsi un son de violon pourra aussi bien être une tenue tonique filée à l’archet, une tonique de forme percussion résonance (attaque raide chute progressive) en pizzicato ou une impulsion de bruit composite au grain hétérogène si quelqu’un a le malheur de s’asseoir dessus. Le terme d’objet sonore reste toutefois ambiguë, on peut confondre l’objet produisant le son et le son lui même tel qu’il est défini çi dessus.

Evènement sonore

La notion « d’évènement sonore » prend en compte la temporalité : quand l’événement se produit, comment il évolue dans le temps…et permet désigner à la fois un objet sonore, un groupe de sons mais également une modification d’une composante sonore, ce qui est très important pour le temps réel et l’interactivité.

Phénomène et évènement

Tout d’abord, nous sommes obligé pour éviter les confusions de distinguer la cause de l’objet, du phénomène ou de l’événement sonore de l’effet produit c’est-à-dire le son. Par exemple le vent dans les arbres est la cause et le phénomène sonore le son des feuilles. On peut imaginer un phénomène sonore qui soit également visuel comme l’exemple précédent. À l’inverse un événement sonore n’est que sonore. D’autre part un phénomène sonore peut comporter plusieurs évènements sonores. De plus, un événement sonore se produit à un moment donné. Enfin, j’insiste tout particulièrement sur ce point, un événement sonore n’est pas nécessairement un son, ce peut être un changement d’état d’une propriété sonore.

Critères perceptifs

Comme on le constate dans l’exemple précédent ou mieux à la lecture du TOM, le langage descriptif inventé par Schaeffer préfère user de critères perceptifs que de paramètres acoustiques abstraits. Dans une perspective de création et de communication sonore, il est plus logique en effet de lier l’entendre avec le faire que l’acoustique à la facture des sons musicaux (voir figure çi dessous). Ce principe permet en particulier de réduire le nombre de contrôles à ceux qui sont réellement significatifs. En terme de programmation cela revient à insérer une couche interprétative entre l’interface de navigation et le contrôle du son lui même. On trouve par exemple ce type de dispositif dans la fenètre 'Spat_Oper' du Spat~

Causalité et navigation

Ayant voulu arracher les sons à leur causes, Schaeffer accorde à la causalité sonore un rôle important mais plutôt négatif, dans le but de les écouter pour eux même, d’en créer de nouveaux, avec le souhait que, grâce à l’écoute réduite pourrait naître une nouvelle abstraction musicale et une nouvelle musique. Corollairement, François Bayle utilise le terme de musique acousmatique, pour désigner le fait qu’elle est spécialement conçue pour être écoutée à travers des haut-parleurs, hors de sa référence causale, ou sans voir la cause, en écartant globalement la question causale de la composition et de la pensée musicale. En réaction, Luc Ferrari avec « Hétérozygote », « Presque Rien » et avec lui, le Groupe de Bourges de nombreux autres compositeurs, jouent de la relation "anecdotique" entre les sons et leur origine, ne serait-ce qu’en utilisant dans leur musique des sons naturels, événementiels comme éléments dramatiques, de contexte ou musicaux…

Pierre Boeswillwald dans son travail de dramatisation du sonore va jusqu’à parler de musique figurative, concept qui témoigne de la dissemblance entre l’évolution des arts visuels et sonores, mais également du fait que l’abstraction en musique n’est pas la seule finalité possible. Il ne faut donc pas comprendre le terme figuratif en musique comme en peinture, ces deux domaines sont très différents : l’abstraction en musique étant la règle. On peut donc parler de scènes réalistes ou figuratives, ou bien de scènes non réalistes et non figuratives : abstraites…etc

Production de cause et production de sens

Ce qui ne cesse de me fasciner dans les musiques électroacoustiques, c’est que toute cause indéterminée est automatiquement qualifiée au moment de l’intégration[16]. Autrement dit, l’auditeur attribue à tout événement sonore une cause visuelle, culturelle, arbitraire, conventionnelle ou mieux fantasmagorique. Cette capacité constitue un potentiel créatif gigantesque et encore insuffisamment exploité. Si elle ne permet pas de faire passer des vessies pour des lanternes, en revanche elle permet, dans une scène imaginaire ou abstraite, d'attribuer un comportement sonore à une cause inouïe. C’est-à-dire de conférer à n’importe quelle cause un son crédible en jouant sur la relation finalement assez souple entre la cause et l’effet sonore. Suffit-il de répondre à la question : cet objet a, cette fonction b, ce mouvement c…peuvent-ils produire cet événement sonore d ? Sans doute non, mais c’est un bon point de départ sans lequel ‘le sens’ ne peut porter que sur du vent. L’interprétation sonore implique de réaliser un difficile et fragile équilibre entre la forme des données, la fonctionnalité et le mode de représentation.

Causalité et interactivité

Contrairement à la musique électroacoustique concertante, les applications interactives mettent la relation de cause à effet centre du dispositif sonore puisqu’on agit sur les causes et qu’on produit ainsi des effets c’est-à-dire du son[17].

Mais on ne peut en rester à évoquer les causes des sons globalement. Il est nécessaire de détailler le fonctionnement causal car c’est à l’intérieur de la chaîne des causalités que peuvent intervenir les interactions avec les phénomènes sonores. Que cette causalité soit mécanique, électrique ou algorithmique.

Chaîne des causalités

Voici donc une proposition schématique pour articuler et représenter l’ensemble de la chaîne causale sonore :

Raison : pourquoi un événement se produit : cause intentionnelle ou conditions initiales

Origine : source(s) qui produit(sent) l’événement sonore : cause matérielle et provenance

Action : action déterminant l’événement sonore : cause efficiente et formelle

Effet : événement(s) sonore(s)

Effets ultérieurs : conséquence sur un membre de la scène.

Seuls l’origine, l’action et l’effet sont situés, mais ce qui est situé ou ne l’est pas et les comportements de provenance, varient légèrement selon les objets et les actions.

Une boucle récursive peut produire des effets cycliques, modifiant ses propres causes et produire un système générateur.

C’est en interagissant à différents niveaux de cette chaîne qu’on peut modifier significativement les phénomènes sonores et donc les évènements sonores produits. On peut utiliser un schéma de ce type pour programmer des comportements sonores. Un même objet peut être muni de comportements ayant des propriétés à différent niveau de cette chaîne.

Attention à ne pas confondre produire du son et jouer d’un instrument ; quand je coupe du bois, mon action produit du son mais je ne joue pas de musique. Une telle confusion, plus courante qu’elle n’y paraît est par exemple à l’origine des clones multiples de petites applications sonores interactives sans intérêt et prétendument musicales qui circulent sur Internet et d’une incompréhension de ce qu’est véritablement le design sonore.

Mémoire et temporalité

Sens et évolution sonore

Allures sonores :

À l’écoute, l’oreille est sensible à des comportements aspectuels[18] d’une séquence sonore.

L’oreille en connaît un grand nombre et peut les distinguer en quelques secondes.

En voici quelques-uns des principaux :

Aléatoire :

Comportement erratique avec des composantes homogènes et des limites floues

Animal :

Varié ou mécanique mais toujours imprécis ou légèrement irrégulier. On y perçoit le muscle, la fatigue, les changements de directions soudains, les tracés avec des rattrapages ou des sauts …

Esthétique :

Le geste est ici travaillé pour le rendre proche de l’épure, en particulier des courbes, mais reste attaché aux limites du corps (limites spatiales, temporelles…etc)

Mécanique :

Régularité absolue et geste élémentaire.

Épure :

Tracé numérique ou parfait) régularité absolue avec un vocabulaire systématique, changements abrupts ou parfaitement progressifs. Lignes brisées ou courbes linéaires, logarithmiques…

Sociaux :

Effets d’amplifications d’un individu vers l’autre, chaîne de causes à effets distribués, circulant d’un individu à l’autre, à un groupe…

Rythme, vitesse, durées :

La qualité temporelle de l’écoute s’exprime tout particulièrement dans le rythme. L’écoute du rythme consiste à identifier des structures temporelles et les comparer.

Le rythme est également lié au corps à travers le mouvement. Le cycle est essentiel au rythme car la répétition d’une cellule entièrement mémorisable par la mémoire immédiate peut être comparée à la suivante. Une modification d’un des éléments est d’autant plus perceptible que le rythme est rigoureux et utilise des divisions entières du temps ou de la mesure. Les mesures (unité mémorisable) comportent généralement de 1 à 16 temps, 4 étant le plus courant et une cellule rythmique comporte donc jusqu’à plusieurs dizaines d’évènements. Parmi les rythmes traditionnels, les talas indiens sont les plus complexes, mais pour une oreille non cultivé il est difficile d’entendre les reprises.

On distingue traditionnellement la notion d’occurrence d’évènement et celle de durée d’évènement.

La vitesse de répétition d’un évènement sonore à occurrence régulière est très facile à surveiller. Un décalage de fréquence est audible même à l’écoute de plusieurs fréquences parallèles.

Les changements de durée sont moins faciles à repérer que les changements de vitesse. On ne perçoit bien que des changements de durée importants, les autres étant généralement considérés comme des nuances. Un allongement des durées dans une itération s’entend comme un renforcement de la présence et un raccourcissement comme une perte de présence, en dessous de 100ms apparaît l’impression de piqué très caractéristique.

Un rythme cyclique dans l’espace peut être apparenté à une polyphonie mais aussi à un mouvement cyclique selon qu’il y ait ou non simultanéité+distance entre les évènements-sources.

Structures et formes temporelles :

La musique est l’art de la forme. Un certain nombre d’archétypes de formes qui sont très facilement reconnaissables à l’oreille produisent du sens.

Formes fonctions (ex : point de conclusion)

Formes modèles (ex : réponses alternées de deux parties)

La relation entre la forme temporelle et la forme spatiale d’une séquence d’évènements sonore dépend de l’unité des objets et des comportements.

Mémoire immédiate

La mémoire immédiate est l'outil principal dont dispose l'audition pour effectuer un grand nombre d'opération sur les sons. Elle fonctionne un peu comme un registre dans un processeur.

Elle permet de mémoriser des séquences sonores plus ou moins longues selon les individus. C'est un organe qui se travaille. Etant séquentielle, chez la plupart des individus, elle comporte moins de 'registres' que la mémoire immédiate visuelle. La comparaison est possible à l'aide du jeu de Kim. Si l'on remplace les images sur des cartes retournées par des sons, et qu'on dispose les cartes sur une figure afin de limiter l'influence de l'association espace-image, le jeu est beaucoup plus difficile avec les sons qu'avec les images. En écriture musicale, on manipule des symboles et on peut mémoriser plusieurs séquences de symboles. A l'inverse en musique concrète, on manipule des séquences de sons complexes. Il n'est alors possible de se souvenir que d'une séquence d'une durée ou d'une richesse limitée. Par contre la mémoire de cette séquence est très claire, c'est un phénomène comparable à la persistance. Grâce à cette mémoire ou 'registre' on peut reproduire, imiter, comparer, modifier. Cette mémoire est brouillée des que des événement de formes et de registres proches sont entendus. Pour comparer une séquence modèle à plusieurs variantes, il est nécessaire de réécouter régulièrement le modèle. En terme d'efficacité, le jeu des 7 erreurs est toutefois plus rapide et plus précis en sons qu'en image. La spatialisation accentue accentuant la capacité à distinguer des objets sonores, elle est susceptible d’aider à la mémorisation par une mise en scène sonore des objets laissant apparaître leurs relations. Pour la mémoire il semble en effet que la relation entre deux objets permettent plus facilement de mémoriser que les objets isolés. Le mode relationnel ou associatif semble être également à l’œuvre dans la mémoire à long terme.

Mémoire auditive à long terme :

Sur le long terme la mémoire sonore peut être également très précise. Il est courant qu'un mélomane qui a écouté un morceau une dizaine de fois dans les semaines passées puisse chanter par cœur un air de musique de plusieurs minutes. Mais ce n'est rien comparé à ce qui se passe dans sa tête pendant qu'il chante. Il entend les entrées des instruments, des timbres particuliers, des effets, des nuances…etc. Quant à sa capacité à identifier des différences par rapport au modèle, elle est tout bonnement remarquable. Il suffit d'une légère différence d'accentuation pour que ce ne soit plus ça. Quelques années plus tard, il ne sera plus capable que de chanter quelque mesures, mais sa capacité à reconnaître le modèle et ses différences sera quasiment intacte.

Mémoire et repérage psychologique :

L’oreille ayant des capacités distinctives très importantes, elle est particulièrement attachée à ses habitudes et ses acquis. Chacun est en mesure de reconnaître d’infimes changements qui lui permettent par exemple de distinguer des accents, d’entendre quand au milieu d’un grand orchestre un seul instrument joue faux…Mais sans habitude et sans entraînement, si je transpose le même exercice dans une culture étrangère, sur des paroles et de la musique indiennes par exemple, c’est beaucoup plus difficile, excepté pour un indien, cela va sans dire. L’empreinte d’une voix connue dans notre mémoire est si forte qu’on est capable de la reconnaître même venant d’une autre pièce à des dizaines d’années de distance. De plus la voix, surtout connue comme celle d’un proche conserve un pouvoir d’incarnation bien plus grand que l’image. Il est arrivé, il y a quelques années au compositeur Pierre Boeswillwald, m’a-t-il raconté, de laisser tourner de vielles bandes dans une pièce voisine et d’entendre soudain sa mère l’appeler. Pendant quelques instants, troublé, il n’était plus sûr qu’elle fût bien morte quelques années auparavant, anecdote qui l’a poussé à composer « le livre des morts ordinaire », dans lequel il a consigné des voix disparues.

Mémoire et repérage spatial :

Le repérage spatial d’une source sonore est mémorisé dès que la source ou l’origine spatiale est identifiée comme telle. Ainsi une enceinte délivrant des messages inattendus dans ce contexte sera vite repérée comme source anachronique et identifiée à un haut-parleur. Ainsi le haut-parleur devient au théâtre la convention de la source sonore anachronique, du hors-champs, ou du off.

Mémoire et apprentissage :

Il est inconcevable de se repérer dans un monde sonore sans avoir appris à le faire.

Cet apprentissage prend des années et requiert la curiosité de tout reconnaître, de scruter les bruits passionnément et en profondeur. Comme pour le visuel, une part importante de cet apprentissage se porte sur la perception de l’unité des objets. Cette unité se manifeste pour une part importante dans la spécialisation des sources, mais également dans une cohérence intrinsèque, un paramètre ou un point commun. On croit souvent que cet apprentissage est terminé à l’adolescence mais il n’en est rien. De mon point de vue, il ne fait que commencer, mettre un mot sur une source ou même sur un son n’est rien, c’est se rassurer ou se satisfaire de peu, c’est l’exhaustivité alliée à la justesse d’appréciation qu’il faut rechercher.

Il est utile d’apprendre à écouter avec la durée, les vitesses, les registres, l’espace, les formes, les liens possibles entre les bruits différents, extraire du contexte, replacer dans un autre contexte, comparer, qualifier, distinguer, imaginer, élaborer des chaînes de causalités potentielles …

Toutefois cet apprentissage peut se faire de façon simple en écoutant longtemps une situation particulière, en imaginant des causes et à condition de disposer de moyens de vérification des hypothèses avec une relative facilité d’accès. Autrement dit si je reconnais une origine ou un comportement, j’ai besoin de pouvoir vérifier que je ne me suis pas trompé dans mon interprétation, sinon bonjour les dégâts. La dimension spatiale est essentielle à cet exercice qui requiert le maximum de précision.

Au début des années (19)70 au GRM, Robert Cahen (compositeur électroacoustique et artiste vidéo) s’est vu confier des bandes d’enregistrements de sonars de la marine nationale avec pour tâche de distinguer à l’oreille le plus grand nombre possible de types sonores différents, si possible de les identifier, puis de les isoler pour que les utilisateurs puissent apprendre à les reconnaître. Il en avait trouvé une vingtaine de sons typés et facilement repérables.

Développement temporel :

Une séquence considérée comme un évènement autonome se développe en définissant,

au fur et à mesure de son développement, ses propres limites et les phénomènes significatifs qui la caractérisent, ce qu’en composition, l’on appelle l’idée musicale. Le silence du début montre que ce qui suit est le début d’une forme. Le premier évènement sonore apparaît comme une posture de départ, le second crée d’emblée un premier lien avec le précédent, le troisième se positionne par rapport au lien des deux précédents…, au bout d’un moment, un parcours, des limites, une forme se constituent.

Le développement apparaît donc comme une évolution des relations entre les sons. Cette évolution par essence temporelle, s'appuie tout particulièrement sur la mémoire comme outil de comparaison et de structuration. La mémoire ici en jeu est aussi bien la mémoire immédiate des sons, que la mémoire des phénomènes et évènements formels, symbolique ou dramatique, que la mémoire à long terme et enfin la mémoire culturelle.

registre et registration

L'oreille est particulièrement sensibles aux différences à l'intérieur de registres réduit (registre ici pris au sens musical et non informatique). Cette capacité à registrer est également mise à contribution dans la reconnaissance des unités sonores.

Relations image/son/espace

Le son des objets

La plupart des objets produisent des sonorités qui n’ont rien de commun avec leur visuel. C’est ce que j’appelle « l’arbitraire du son ». Contrairement à l'image, le bruit des objets industriels est rarement conçu par les designers ou les fabricants, mais quand il l'est, il varie énormément entre deux objets de la même famille sans pour autant que ces différences soient voulues. D’un pays à l’autre, d'une marque, d'un réglage ou d'une génération à l'autre les mêmes objets produisent des bruits très différents (par exemple une locomotive à vapeur et une locomotive électrique ou bien deux téléphones portables). Le son des choses est essentiellement factuel, culturel et fonctionnel. Enfin l'interprétation que nous avons des nombreux bruits et évènements sonores qui nous entourent varie selon les cultures.

Perception conjointe du son et de l'image

La réflexion sur la relation entre image et son simultanés a fonctionné pendant des années sur l'idée simpliste d'une synesthésie[19], puis sur les notions mythiques de redondance et de contrepoint entre les évènements visuels et sonores. Depuis quelques années, en particulier grâce aux ouvrages de Michel Chion, l’idée de complémentarité[20] fait plus sérieusement son chemin.

Dans l’audiovision il propose la pratique d’un triple parcours sur un extrait de film : « Personna » de Bergman. On joue d’abord le film avec l’image sans le son, une fois avec le son sans l’image, une fois enfin avec les deux. L’analyse de ces trois moments montre des disparités importantes dans les interprétations possibles. Chion en déduit que le sens issu de l’audio-vision est différent de celui produit par le visuel seul et le son seul. Ainsi il propose le verbe « audiovoir » pour désigner la perception conjointe de l'ouïe et de la vue.

J’ai également expérimenté la complémentarité du visuel et du sonore dans la création sonore au théâtre, au théâtre musical et au cinéma. Le choix d’un élément musical, d’une inflexion de voix, d’un bruit, d'un timbre, d'un rapport de mixage…peut changer du tout au tout le sens d’une scène.

Synchrèse et liens temporels

Il est rarement nécessaire de faire passer le même message en même temps par différents canaux[21] et peu élégant de répéter 2 ou trois fois la même chose de façon différente, ce qui revient à prendre le destinataire du message pour un idiot. Toutefois à vouloir provoquer des redondances entre visuel et sonore on s’aperçoit vite que l’dée de redondance audiovisuelle est un mythe et que les mêmes idées traduites à la fois dans l’un et l’autre mode accusent au contraire leurs différences. Par exemple un texte écrit synchronisé au même texte parlé révèle surtout les différences et particularité expressive d'un mode par rapport à l'autre. Le seul lien fusionnel entre le visuel et le sonore reste donc le synchronisme. Il fonctionne comme un aimant entre deux évènements et les associe comme émanant d’une cause commune produisant deux effets distincts, ou dans certains cas en conférant à l’un le rôle de cause et à l’autre celui de conséquence. Cette synchronisation intermodale qui a pour objectif de provoquer l’association des idées visuelles et sonores, Michel Chion l’appelle « synchrèse »[22]. Elle fonctionne dans certaines limites de crédibilité et de calage temporel.

La perception de la vitesse pour des évènements visuels et sonores est également très différente. Si on réalise l’expérience suivante on s’en rend bien compte : On affiche un gros point en même temps qu’on produit une impulsion sonore à intervalle régulier, puis on modifie progressivement la fréquence du point et on demande au sujet de lever la main quand ils s’aperçoit que les 2 évènements sont désynchronisés. Puis on recommence à une fréquence de répétition du son plus élevée. Plus cette fréquence est élevée plus les sujets ont du mal à lever la main. Au-delà de 10 hertz, le décalage entre la fréquence sonore et la fréquence visuelle n’est plus perçu. Idem pour un décalage entre deux fréquences d’apparition de 2 évènements visuels. Par contre un décalage de fréquence d’un son par rapport à un autre est immédiatement perçu et cela quasiment jusqu’à 10kHz., puisque la perception de hauteur prend le relais de la perception rythmique. Corollaire de cette même expérience, si on conserve durant toute l’expérience un point plus petit parfaitement synchronisé avec le son. La tendance de fixer plutôt le petit point bien accordé temporellement plutôt que le gros mal accordé semble assez marquée jusqu’à une fréquence supérieure à 10 Hz.

La synchrèse permet d'associer des événements visuels et sonores d'origines différentes. Comme dans la fameuse scène de la fontaine de "Mon Oncle" de Jacques Tati, la synchronisation d’un bruit inhabituel avec un évènement visuel décalé mais imaginable, donne le second comme la cause du premier. Un effet comique ou emphatique s’ensuit lorsque l'association est forcée. Si les événements sont décalés dans le temps au-delà d'un certain seuil, la fusion ne peut plus se produire, mais ce seuil de décrochage reste relatif[23], puisqu'il dépend de la forme du mouvement ou de l'action à l'origine du son. La synchronisation d’évènements peut être analysée en points de synchro et en mouvements évolutifs simultanés associés dans le son et l'image. Lorsqu’il s’agit d’évènements dynamiques, la subjectivité prend le relais et pour peu que certaines rencontres se produisent à des instants clés ou que des apparentées formelles puissent être établies, la fusion peut se faire. Dans certains cas l'antécédence peut qualifier le premier évènement comme cause du second. Enfin, comme nous l’avons dit plus haut, le son des objets étant relativement arbitraire, la perception se laisse facilement berner et peu d’indices, même très éloignés de la réalité, pour peu qu’ils soient apparemment synchronisés suffisent le plus souvent à faire croire au lien du son avec l’image.

Synchrèse image/son spatialisée

Toutefois lorsqu’on ajoute la dimension spatiale, les choses se compliquent un peu car si l’origine spatiale contredit la synchronisation temporelle, l’association n’est plus crédible. En effet, l’oreille en analysant les évènements sonores et visuels projète des possibles associations entre eux. Ces associations sont dans un premier temps psychophysiologiques, (synchronisme + même provenance = fusion) puis culturelles, (fusion possible, impossible ou différence exprimant une signification particulière)…Si un évènement sonore est à la fois synchrone et distant d’un évènement visuel possiblement associable, il n’est pas évident que la cause soit toujours visuelle, ni que les évènements restent liés. Cela dépend des évènements. La distance peut indiquer qu’il existe un lien invisible entre les deux lieux. Le cumul de l’antécédence et de la distance, crée également un lien entre les 2 modes[24]. On peut aussi jouer de décalages de la provenance d’une source sonore par rapport à la source visuelle.

Relation image son spatialisée

Le son spatialisé n’a pas la même valeur qu’un son (rendu) abstrait par l’écoute au travers d’un haut-parleur. Lorsque la fusion spatiale entre un objet-source visuel et un son spatialisé se produit au cinéma, on est presque surpris que se soit soudain l’objet lui-même qui paraisse produire le son. Il ré-acquiert une valeur de présence située, on pourrait dire objective, concrète, il s’incarne en quelque sorte dans la salle de cinéma. Le charme en est quelque part brisé. Le cinéma se fait théâtre. Cette désincarnation d’un son dématérialisé, ‘hors espace’ ayant régné jusqu’aujourd’hui comme seul moyen de créer de la magie sonore grâce au jeu des métaphores, on comprend les réticences des ingénieurs du son devant la disparition promise de leur pouvoir, induite par les technologies multicanales. Pour cause, car ce n’est plus à eux de décider comment le son se comporte, mais à de véritables metteurs en scènes sonores, métier qui à ce jours n’existe pas encore. Il s’agit donc maintenant, aventure passionnante si il en est de créer un nouveau langage celui des comportements sonores et audiovisuels situés.

Un archétype audiovisuel remarquable

Parmi ce qu’on pourrait appeler des ‘signes audiovisuels’ on peut citer comme exemple flagrant l’augmentation simultanée de la taille d’un objet et du volume du son en émanant. Une variante de ce phénomène étant la répétition d’un phénomène audio et d'un phénomène visuel synchrone et comparable, le volume audio et la taille visuelle étant commun mais variant. Ce phénomène est généralement perçu comme mouvement d’approche ou d’éloignement de l’objet par rapport au sujet.

Nous avons vu comment il est possible de lier l'image et le son. Voyons maintenant comment créer du sens dans un espace sonore à trois dimensions en s’inspirant du vécu.

Son et spatialisation en temps réel

Exemple en situation réelle

Je suis en plein air, j’entends le vent dans les arbres au-dessus et tout autour de moi, le vent évolue dans l’espace. En fermant les yeux, je situe aussi bien les mouvements du vent que les yeux ouverts. J'entend une rangée de peupliers près de la clôture, le chêne au-dessus devant, le petit acacia produit un son plus aigu, les grands châtaigniers de l’autre côté du chemin plus grave et proche du froissement. Au loin les conifères produisent comme un souffle feutré. L’ensemble évolue : tantôt un arbre émerge, puis tous à la fois, on entend arriver une rafale au loin puis tous les arbres sont touchés un à un. La dynamique spatiale du son de chaque arbre est complexe : il est à la fois animée de mouvements locaux et globaux. L’ensemble évolue par vagues qui s’éloignent, se rapprochent. J’écoute maintenant les voix des enfants qui jouent, les pas des parents qui circulent dans les allées gravillonnées, une ou deux mouches traverse le champs sonore de temps en temps, se posent sur la table : on entend leur atterrissage comme un arrêt et leur décollage comme l’attaque d’un bourdonnement qui s’atténue très vite à mesure qu’il s’éloigne. Toujours très précisément devant, derrière, à droite, à gauche, plus près plus loin…Continuellement des oiseaux pépient, moineau hoquetant, merle chanteur, là aussi des groupes se forment et se dissolvent, ils semblent se répondre les uns aux autres de loin en loin, toujours très détachés par-dessus tout le reste. Une camionnette passe sur la boucle de la route et opère un lent quart de tour vers l’arrière droit, elle roule au pas. Un avion glisse lentement dans le ciel vers le grave. Il y a encore bien d’autres évènements que je ne décris pas. Ceux que je produis malgré moi, inconsciemment gommés parceque subjectifs, les paroles échangées avec l’un de mes proches, le flip flop de ses tongs qui s’éloignent dans l’herbe.

Ce qui me frappe dans les petites scènes de réel comme celle-ci, qui se produisent à chacun des instants de notre vie, c’est la richesse et la complexité, en particulier spatiale, des éléments sonores que nous percevons et produisons. C’est aussi l’évidence absolue avec laquelle nous les analysons en temps réel et qui nous fait ressentir la paix, la douceur, le stress, le danger et toutes ces émotions particulières, auxquelles nous ne prêtons quasiment pas attention, mais qui sont bel et bien notre perception du monde. Bien entendu, écrire c’est simplifier, dans ce que vous venez de lire, j’ai honteusement simplifié, mais lorsqu’on relit, on ne s’en rend même plus compte, c’est crédible. On crée des raccourcis, des ellipses, une nouvelle réalité, une représentation[25].

Dépasser le modèle convenu

La plupart du temps lorsqu’on veut spatialiser les sons en temps réel, il est question de simuler le déplacement d’un objet dans l’espace. Depuis le « portique potentiométrique de relief » de Poullin et Schaeffer en se sont développés de nombreux procédés pour balader un son. Une fois l’effet réalisé, la technique enfin maîtrisée, on se dit qu’un tel projet partait d’une mauvaise analyse du monde sonore qui nous environne, comme on peut s’en rendre compte en le comparant avec la scène décrite précédemment. L’idée du déplacement d’une source sonore renvoie en effet à celle qu’un objet unique qui produirait un son continu homogène et sans forme et dont, en le déplaçant avec un dispositif électroacoustique, la position perçue de la source évoluerait. La mouche de tout à l’heure, les véhicules à moteurs, la musique baladeuse des ghetto-blasters… à part ça, on entend ça dans certains concerts, mais au fond, ce type de son n’existe presque pas. Inventeur patenté d’une technologie inutile et peu expressive, on se sentirait donc obligé de rajouter de l’effet Doppler pour être sûr de produire les mêmes clichés simplistes que dans les jeux vidéo. Mais même les joueurs de jeu vidéo ne se contentent pas de si peu.

Il faut reconnaître que de partir de la provenance et du déplacement d’un objet (ici assimilée à un point) constitue la base logique et sans doute essentielle de développements plus intéressants. En quelque sorte, que l’objet soit silencieux ou qu’il sonne, son positionnement virtuel en constituerait l’ossature virtuelle, le substrat dans l’espace sonore. Mais considérant qu’actuellement le temps de calcul nécessaire pour un point est relativement important et qu’un micro-ordinateur actuel peut en calculer au mieux une dizaine, nous sommes bien loin de réaliser la simulation de la scène décrite dans le paragraphe précédent. C’est ici que la notion de groupe d’objets peut devenir intéressante. Il n’existe pas à ma connaissance de recherche concernant les groupes d’objets. Cette approche permettrait de ne pas recalculer tous les points à chaque instant mais seulement certaines composantes. Outre les mentalités, la technique demeure donc une difficulté contraignante pour le développement de scènes sonores spatialisées en temps réel. La solution actuelle consiste à disposer de plusieurs machines de dernière génération et de les faire travailler en parallèle. En temps différé par contre, il serait beaucoup plus facile de créer des scènes sonores complexes. Malheureusement les outils existant suffisamment ouverts et puissants ne facilitent pas ce type de mise en œuvre. D'autre part, si l'on peut créer en temps différé des représentations fixées, la navigation sonore est inséparable du temps réel. [26]

Spatialisation et multidiffusion

Il faut distinguer dans l’architecture des scènes sonores les sources réelles, des sources virtuelles.

Par sources réelles, l’on entend des points de diffusion (enceintes) situées physiquement dans l’espace de la salle, alors que par sources virtuelles on entend des sons dont on perçoit la provenance entre plusieurs sources réelles.

L’écoute binaurale au casque comporte 2 sources réelles et l’on peut grâce à l’enregistrement stéréophonique ou aux outils de spatialisation placer y entendre un grand nombre de sources virtuelles spatialisées. Des outils comme le RSS[27], Spatializer, A3Dpro, ambisone 3D, SRS, MIDISpace, DirectSound3D, EAX ou le Spat~… permettent avec des résultat variables de situer et déplacer plusieurs sources dans un espace virtuel. Certains systèmes sont uniquement bi-canaux (binauraux ou stéréophoniques) d’autres se déclinent avec des dispositifs de diffusion multisources et multicanaux[28].

La multidiffusion est utilisée en musique électroacoustique depuis les années 60. De nombreuses expériences, dispositifs et œuvres ont vues le jours grâce à ces dispositifs. Le Cybernéphone[29] de Clozier, Leduc et Boeswillwald, un des premiers dispositifs complets de diffusion (1975-2002) est conçu à la fois comme un instrument de concert pour les musiques électroacoustiques et comme un dispositif de mise en relief sonore. Les œuvres diffusées sont réparties dans l’espace de la salle en fonction de bandes de fréquences et d’autres méthodes d’analyse/répartition. La diffusion se fait sur quelques dizaines de points de diffusion hiérarchisés symétriquement à l’axe frontal, utilisant des sources disposées selon une distribution gaussienne autour de cet axe, jusqu’à l’arrière. Le résultat, lorsque la musique s’y prête, est spectaculaire. D’autres dispositifs industrialisés existent comme le Dolby Surround, le THX…essentiellement orientés cinéma. Leur avantage est la standardisation (toute relative d’ailleurs) mais au prix d’une réduction dramatique des possibilités de spatialisation. Essayez par exemple de mettre une grosse caisse à l’arrière elle se transformerait en tom aigu à la diffusion. Si l’on utilise un micro MS voire XY, que l’on s’amuse à spatialiser un élément sonore en jouant sur le retard gauche-droite ou de filtrer fortement un des canaux d’un signal stéréo, la source se ballade n’importe où en provoquant d’étranges artefacts. Les encodeurs numériques sont encore peu utilisés dans les studios de création car leur mise en œuvre est délicate. Ce qui pénalise la création sonore électroacoustique et oblige les artistes sonores à se tourner vers d’autres solutions plus ouvertes et plus performantes, mais également moins standardisées donc moins diffusables.

En situation d’immersion, la spatialisation binaurale au casque offre de meilleurs résultats que les enceintes. Par contre elle ne se prête qu’à des installations pour un petit nombre d’utilisateurs et au prix de la contrainte relativement lourde du port du casque. La tendance actuelle est plutôt celle du « cave », dispositif multi-écran permettant d’enlever le visiocasque. Ce genre de dispositif complique la tâche du son. En effet, la spatialisation est nettement moins précise dans le cas d’enceintes à distance des oreilles, à plus forte raison si l’on ne connaît pas la direction du regard du navigateur, puisque c’est en jouant sur des phénomènes de phases entre les deux oreilles qu’on peut simuler la position d’une source virtuelle. Toutefois, des recherches très prometteuses, utilisant des procédés holophoniques sur des grandes surfaces servant également d’écrans, permettent de croire que dans un avenir proche on pourra situer et modeler une source virtuelle dans une salle ou en dehors à un endroit plus précis qu’aujourd’hui quelle que soit la position du spectateur. Ce type de dispositif, actuellement expérimenté à l’Ircam par l’équipe d’Olivier Warusfel, pourrait, nous l’espérons, permettre de spatialiser sans casque dans un « cave » pour plusieurs spectateurs mais pour un seul navigateur.

Une fois les problèmes techniques résolus, les problèmes d’expression ne le sont pas pour autant. C’est la raison pour laquelle, en 1992, Eric Mulard invitait au Studio Delta P de La Rochelle une dizaine de compositeurs électroacoustique à expérimenter un dispositif octophonique, un octuor de haut-parleurs sous forme de résidences pendant deux années avec comme consigne de faire de multiples expériences et d’essayer d’en tirer les éléments d’un langage expressif et personnel. En 1994, les travaux furent présentés et preuve fut faite de la richesse des expressions possibles à condition de bien vouloir élaborer des signes et de ne pas se contenter de faire passer un signal dans chaque canal.

- Chorégraphie ludique et volatile d’acteurs sonores concrets spatialisés par montage chez Alain Savouret

- Prolongement synchronisé de la synthèse dans l’espace, association des évolutions de timbre et d’espace chez Patrick Lenfant

- Amplification des possibilités compositionnelles et des évolutions des effets de masses orchestrales dans l’espace par Françis Dhomont

- Langage des combinatoires spatiale comme autant de signes, en action successives, simultanées ou imbriquées chez Roger Cochini

…etc.

Dans le domaine de la multidiffusion, il faut également évoquer le travail remarquable de Robin Minard qui depuis une dizaine d’années installe en grappes des ensemble de petits haut-parleurs jouant des voies indépendantes. Son ouvrage en cours SoundBeats réalisé avec Norbert Schnell est remarquable en bien des points et démontre combien la précision spatiale de l’oreille est au rendez-vous dès lors qu’on présente des motifs précisément spatialisés. Malgré la pauvreté du son d’origine, un simple clic, une profusion d’évolutions cinétiques confère une vie fascinante à l’ensemble du dispositif. L’installation fonctionne sur une grille de 512 hauts-parleurs et voix indépendantes. Chaque ligne de 16 HP joue les bits du registre de sortie sous la forme d’une impulsion lorsqu’un bit change d’état. On parvient à l’aide d’une matrice 16X16 bits (512) à créer des sons cinétiques obéissant avec plus ou moins de liberté aux règles de la rythmique binaire, mais avec une gestion puissante et globale de 512 voies indépendantes.

Développements du langage spatial sonore

Navigation du sujet dans un espace statique

À mesure que le sujet se déplace dans l’espace, l’ensemble des composantes est redessiné et les propriétés spatiales sonores modifiées : pour des objets-sources ponctuels on recalcule le volume en fonction de la provenance (distance, de l’élévation et de l’azimut) en fonction de la direction de la tête du sujet. On aurait également avantage à recalculer également d’autres éléments comme la taille et le rayonnement de la source, le comportement sonore des obstacles en fonction de la position des objets sources et du sujet…. Les objets et les obstacles ayant une position fixe, c’est seulement le sujet qui se déplace. Si les objets-sources rayonnent de façon directionnelle, il faut également recalculer le volume du son et l’effet de salle quand le sujet se déplace.

Objets mobiles ou dynamiques

Lorsque les objets et le sujet se déplacent, les sensations spatiales (cinétiques) sont très intéressantes, en particulier la confrontation des objets-sources statiques et dynamiques, en fonction du déplacement du sujet et des interactions avec le visuel. Comme pour la vision stéréoscopique, la lisibilité de la spatialisation est considérablement accentuée par le mouvement.

Mouvement de la source et des propriétés

Il faut bien distinguer le mouvement d’un objet-source et le mouvement d’une propriété. Trois exemples aideront mieux à comprendre cette distinction fondamentale.

1 ) Mouvement de l’objet-source :

exemple  : une mobylette passe dans la rue

2 ) Déplacement d’une propriété :

exemple  : le paramètre fréquence oscille avec une amplitude variable entre le bas lointain et le haut proche.

3 ) Déplacement d’un objet-propriété

exemple 2 : le vent fait battre les feuilles d’un arbre, le vent est représenté par la propriété ‘mouvement des feuilles’ dont le contour est assimilable à un gros objet invisible et évolutif qui se déplace.

Dès lors que cette distinction apparaît, peut se développer un vocabulaire nouveau des sons cinétiques.

Nous avons réalisé un certain nombre en octophonie au studio DeltaP :

Quelques types de sons cinétiques

Grappe ou cluster

Plusieurs évènements se produisent simultanément en différents endroits

Cycle :

Les évènements reviennent cycliquement au même endroit

Alternance ou répond

Plusieurs évènements se répondent d’une position à l’autre ou en se déplaçant

Nuage

Nombre important d’évènements peu espacés dans le temps et l’espace et de couleur sonore proche

Balayage

Déplacement d’un objet formé sur un axe ou croissance/décroissance en taille dans un axe

Vagues

Balayages superposés et organisés spatialement

Trame

Nuage ordonné spatialement

La construction la plus marquante que j'ai réalisée et présenté dans ce cadre était un ressac octophonique utilisant une enveloppe en delta spatial mobile appliquée à un simple bruit blanc. Chaque enveloppe spatiale glisse dans le dispositif de diffusion. Les fréquences de chacune des 8 voix d’enveloppes spatiales sont décalés de quelques pour cent les unes par rapport aux autres. Le résultat donne impression très forte de présence de la mer dans l’espace.

A propos de ce type de son on pourrait parler de forme dans le temps et l’espace, de forme spatio-temporelle ou de forme 4D.

Groupes d’objets animés

Plusieurs objets sont considérés comme groupés si certaines propriétés spatiales les relient.

Cette catégorie d'objets et son usage dans les scènes sonores sont particulièrement intéressants puisqu’ils permettent d’intégrer des comportements sociaux et des modèles de flux dynamiques.

Objets animés

Certains objets possèdent des comportements qui modifient leur taille et la répartition spatiale des évènements qui les composent… Il existe également de nombreux phénomènes sonores de cette famille. Aujourd'hui, la spatialisation étant le plus souvent pensée comme des points qui se déplacent, et la programmation de l'espace comme de la commutation, il est extrèmement difficile de réaliser ce type d'objet. Comment représenter par exemple l'ouverture et la fermeture d'une lourde porte coulissante derrière laquelle se trouverait un groupe d'enfant ou un petit orchestre ? Un simple routing aurait du mal à en venir à bout. Il faut pour cela faire appel à des comportements sociaux : naissance organisée de points ayant des propriété mutantes. En musique, on trouve ce type de développements chez Mikhaïl Malt : Growing an artificial musical society(2001). Mais si ces développements musicaux sont très riches, ils restent également encore trop lourds, complexes à réaliser et difficilement contrôlables. Il serait souhaitable d'en réaliser allant dans le même sens mais sous forme de librairie d'algorithmes et de fonctions type, encapsulables et contrôlables globalement.

Comportements sonores situés

La tendance actuelle des logiciels de développement 3D temps réel, en particulier dans le domaine des jeux qui s’étend et développe des standards, est de confier les comportements des objets à un élément logiciel appelé le moteur de physique qui se charge de tous les effets-réactions des objets. Aujourd’hui il serait souhaitable de lier les ‘moteurs de sons’ des ces applications avec les moteur de physique affin de faire bénéficier directement à la production et à la spatialisation des sons des calculs de comportements. Cette piste ne va pas sans poser des questions, en particulier : ces comportements physiques, sans doute élémentaires sont-ils aptes à gérer les comportements sonores, si oui, quelles composantes doivent lui être confié et quelles autres doivent être traitées indépendamment. Cette question en apparence technique pose en fait bien davantage des problèmes de contenus et d’approches artistique.

Sur le plan scientifique, des travaux très important ont été réalisés par l’Acroe particulièrement dans le domaine de la modélisation physique. Ces travaux permettent de croire que dans un avenir proche, nous pourrons remplacer des modèles formels simplistes mais bon marché en terme de ressources, par de véritables modèles physiques, même simplifiés, incluant la spatialisation. Cette voix paraît pouvoir naturellement opérer cette fusion entre physique et production sonore.

Comportements et phénomènes

Les évènements sonores sont des phénomènes sonores.

Les phénomènes sonores sont provoqués par des phénomènes physiques (ou mathématique pour la synthèse).

Un phénomène sonore peut être la conséquence d’un comportement.

Le comportement est également la conséquence d’un évènement.

Les comportements des instances (sujet, espace, objets…)déterminent des évènements sonores.

Un comportement sonore serait : l’ensemble des règles de formation, d’évolution et les effets d’un phénomène sonore dans un contexte causal quelconque.

Eléments de typologie de quelques phénomènes et actions sonores en espace

Une approche descriptive et non exhaustive de quelques types, dans la perspective de leur implémentation situés et dynamiques dans l’espace. Les actions sonores sont essentiellement spatiales : sources fixes, mobiles, distribuées, évolutives etc.

Objets-sources, sujets-sources ou générateurs :

Génération de bruit, signaux continus ou discontinus caractéristiques de l’objet, d’un état, d’une position...

Les chocs individuels

Il est notable que les chocs, le plus souvent invisibles[30], sont sonores. C’est un bon exemple de l’apport du son dans les représentations de données, car tant que le contact ne s’est pas produit, aucun bruit n’est audible.

Deux objets de choquent plus ou moins fort, les caractéristiques du chocs dépendent de nombreux facteurs (dureté, vitesse de chacun des objets, masse, matière, plein ou creux, libre ou contraint, capacité du son du choc à s’échapper...) . En terme de différences sonores, nous pouvons réduire un choc à : la couleur du son dépendant de la dureté des matériaux des objets entrechoqués, la position du choc sur l’objet si l’objet n’est pas homogène traduite par une sonorité différente, la force et la dureté du choc traduite par la raideur de l’attaque et la richesse en composantes aiguës, la résonance selon que l’objet est plus ou moins creux, grand, fermé, ouvert…

Les chocs individuels concernent des évènements accidentels ou discrets.

Il existe une immense variété de chocs comme le montre la richesse de la famille des instruments de percussions.

Le comportement spatial varie selon la force du choc, la résistance des matériaux, la taille et la résonance des objets entrechoqués, mais aussi l’espace dans lequel le choc se produit, le mouvement de l’objet au moment du choc, les effets du choc dans l’espace (cassure de l’objet en plusieurs…).

Les chocs répétés (itératifs)

vitesse, régularité, évolution d’intensité, hauteur, timbre, durée… Chocs identiques en une même origine ou chocs similaires d’origine différente, les répétitions peuvent se développer spatialement.

Les chocs groupés

Action unique ou multiple, simultanée ou conséquente, corps sonores identiques ou différents, réaction similaire, différente ou évolutive dans l’espace (parcours, croissance, contagion…)

Il existe de nombreuses situations où une matière en apparence homogène est en réalité un groupement irrégulier de grains ,sont souvent des chocs. Dans la vie quotidienne, on connaît par exemple le bruissement des feuilles des arbres, les froissements, la pluie, les applaudissements…

Les frottements 

Une des principales caractéristique spatiale des frottements est qu’ils manifestent un déplacement d’au moins un des deux objet qui frottent. Les paramètres significatifs d’un frottement sont principalement : le grain du à la rugosité des surfaces, les mouvements des objets (orientation, changement de points d’appui…), accélérations, les comportements résonants des objets frotés…

En terme de comportement spatial, ces variations s’apparentes à des modifications de sources : caractère plus ou moins résonnant d’un des éléments ou de la partie excitée, proéminences génératrices de grains situées ou mobiles, appuis différents, forme du mouvement, régularité ou irrégularité…

Les roulements :

objets roulants, support surface résonance, adhérence, grain, inertie, accélération, roulement sur surface, roulement sur roulement…

Les roulements sont des actions sonores les plus souvent intrinsèquement issues d’un mouvement dans l’espace. Dans roulement sur surface (ou surface/roulement) la surface sert le plus souvent de résonateur et ses irrégularité comme les irrégularités du roulement peuvent produire du grain.

Les roulement sont repérables par une continuité ou une évolution alliée à une relative périodicité. Il faut toutefois distinguer les roulements fixes et mobiles : Les roulements fixes, par exemple deux rouleaux en contact l’un avec l’autre produisent un bruit plus ou moins homogène mais localisé : l’objet-source ne se déplace pas. Dans les roulements mobiles la source se déplace, soit l’objet est roulant se déplace (roulement sur surface) soit la surface se déplace (surface sur roulement)

Grincements

- force et vitesse des décollements

Les grincements sont produits par la répétions de tensions et de détentes entre deux éléments en mouvement l’un par rapport à l’autre et exerçant mutuellement une pression l’un sur l’autre. La partie entendue est généralement la détente qui produit une impulsion. Cette répétition d’une fréquence le plus souvent modulée de quelques hertz à quelques centaines de hertz est particulièrement forte à cause de la pression exercée entre les 2 éléments qui, de se fait se transmet et résonne dans l’ensemble du système.

La particularité spatiale du grincement est la résonance du système qui se comporte spatialement de façon différente selon les fréquences du grincement et les fréquences de résonance propres au système. Comme la transmission dans le système est efficace, les effets d’entrée en résonance par sympathie sont fortement accentués.

Rebonds

Qualité des chocs, résonances, amortissement, déplacements des chocs, réactions en retour de la ’balle’.

Les rebonds sont des successions de chocs entre au moins deux objets. On a des rebonds objet sur objet et objet sur surface, des rebonds répété et non répété, des rebonds d’un objet successivement sur plusieurs autres, des rebonds sur place où se déplaçant. Ils s’amortissent plus où moins dans le temps et dans l’espace.

Les flux

Le contrôle de flux en temps réel est une approche très importante en musique, on la trouve présente aussi bien dans le domaine des synthétiseurs que des instruments produisant des sons entretenus contraints par le jeu de l’instrumentiste, comme les instruments à vent, les cordes frottées etc. Cet archétype est basé d’une part sur un flux sonore plus ou moins contrôlé au niveau générateur et d’un ensemble de contrôles entre le générateur et la sortie. Généralement c’est le couple matière et forme qui s’applique. Les contrôles sur le générateur concernent la matière et les contrôles en aval concernent la forme. Les flux ont un comportement spatial très important, ils sont animés de vagues ou de perturbations qui se déplacent. Ce comportement spatial est plus important que la précision du timbre, ce sont essentiellement des sons cinétiques.

Masses de corpuscules en mouvement

Ce terme un peu pédant était utilisé par G.Reibel et L.Cuniot au CNSM comme exercice de jeu et consistait à manipuler des groupes de petits objets comme des billes, du riz…etc Ce sont des groupes d'objets animés d’un mouvement global dont chaque élément est animé d’un mouvement individuel. Comme les flux, ce sont des sons cinétiques mais les grains produisent des chocs multiples. Ces chocs se produisent à maints endroits selon des règles liées au mouvement de l’ensemble. La synthèse granulaire actuelle ne prend pas en compte cette dimension spatiale et encore mois les comportements physiques mais apparaît un bon candidat pour la modélisation de ce type d’évènements sonores.

Écoulements et fluides

Ici on parlera plus spécifiquement de fluides comme matière sonore

Les bruits de fluides ont 2 causes :

1) Les bruits produit par le mouvement du fluide sur lui-même et

2) les bruits produits par les perturbations du fluide à la rencontre d’obstacles ou de contraintes.

Par exemple 1) les clapotis de l’eau et 2) le sifflement produit par le biseau du bec de la flûte.

Faire produire du son à un fluide revient donc à contrôler le mouvement et les contraintes.

Ces actions ont souvent des implications spatiales car elle sont liées au mouvement dans l’espace.

Relations entre objets :

Les relations entre objets qui produisent du événement sonore sont principalement de plusieurs types :

Par contact et distante

Les relations productrice d’évènements sonores par contact sont les plus courante mais il en existe qui se font à distance principalement par l’entremise d’un lien ou d’un système de transmission ou par influence.

Simultanéité et décalages temporels entre plusieurs objets :

Nous avons traité ailleurs de la synchronisation entre visuel et sonore. Ici c’est la question des retards entre plusieurs évènements sonores issus d’objets sources dont il s’agit. Si plusieurs objets sonores (de l’ordre d’une dizaine) absolument identiques se produisent exactement en même temps leurs signaux s’ajoutent en phase et le résultat est un son plus fort qu’un seul objet.

Si on reproduit le même évènement mais en spatialisant ces sons, on augmente la dimension et la présence d’un gros objet source ou du groupe résultant.

Si ils sont légèrement décalés et spatialisés on distingue un mouvement dans la matière et dans l’espace. Selon l’ordonnancement ce décalage on peut produire des figures très riches dans l’espace, la matière sonore et le temps ; des sons cinétiques.

La aussi la question de l’antécédence joue.

Réaction d’un groupe d’objets à une action

La même action est appliquée à plusieurs objets qui interprètent l’action avec des légères différences selon leurs conditions d’origine. Une action légèrement différente est appliquée à des objets rigoureusement identiques. L’action diffère et les objets diffèrent mais dans une mesure réduite qui est perçue globalement. C’est aussi une question d’échelle : le lien du groupe n’est perceptible qu’au delà d’une certaine distance (dans l’espace, le temps, la nature…)

Réaction avec comportement :

Certains objets ont un comportement dynamique. On peut les classer du plus simple au plus complexe. Ces comportements ne sont activés que dans le cas d’une action sur eux par le sujet ou un autre objet. Par exemple un objet-source dont la hauteur sonore dépend de sa distance avec les autres objets, l’intensité elle est fonction de la distance avec le sujet et le son produit jouerait un petit motif cyclique sur 2 ou 3 tons.

Bris, destruction et déformations d’objets

Les impacts entre objets ou sujet et objets peuvent également produire des effets sonores secondaires sur les objets eux-mêmes. Selon la matière des objets, leurs forme, la durée de contact, la force du choc, la solidité des points d’impacts… une déformation de l’un ou de plusieurs objets peut atténuer le bruit en en étouffant la résonance, l’altérer en provoquant des plis. Le choc peut produire des déchirements plus ou moins importants. Dans le déchirement on entend la texture. Si l’objet se déchire seul, le son est comparable à un frottement de ma matière interne de l’objet sur elle même auquel s’ajoute la résonance du à la forme. Si il est déchiré par un corps étranger, la résonance propre est atténuée et l’entretien du déchirement laisse entendre la progression de celui çi. Enfin un objet fragile se brise sous le choc. L’impact se confond plus ou moins avec la cassure mais on entend surtout les chocs secondaires entre les morceaux plus ou moins nombreux et les objets proches, les autres morceaux ou le sol. L’objet brisé se transforme en plusieurs objets jusqu’à disparaître complètement. Ceci ayant bien entendu des implications informatiques, à savoir qu’un objet est capable de se diviser, se multiplier, être effacé, transformé dans un autre…

Fusion

De même que des objets peuvent se briser, ils peuvent fusionner.

Relations entre sujet et objet ou groupe d’objets :

Le sujet interagissant avec les objets peut le faire de mainte façon. Il peut recevoir un projectile, en lancer, passer au travers d’un obstacle, ces évènements étant du contact direct. Mais il peut également interagir à distance des objets par exemple en modifiant le comportement de l’objet selon la distance du sujet à l’objet,

Monde modifié par le perception du sujet ou non ?

Bruits solidiens :

Pour restituer les bruits solidiens il faut considérer que l’espace ou un objet qui n’est pas la source originale devient à son tour source. Par exemple un objet tombe violemment au sol, le sol vibre et devient source

Effets en chaîne :

De la même façon, certains sons en font naître d’autre ailleurs par exemple par résonance sympathique ou à cause d’un lien physique ou autre (ex : 2 postes de radio diffusant le même programme) Pour programmer la résonance par sympathie il suffit de rajouter à chaque objet la propriété de résonner en lui attribuant une fonction fréquences seuil. On peut créer des chaînes d’évènements sonores en cascade en considérant les effets produits par une action sur un objet comme les causes pour une action sur un autre et ainsi de suite. Cette approche peut également permettre de modéliser les fluides.

Etc. il faudrait développer également avec les phénomènes de synthèse

Comportements temporels

Comment se comportent les sons ?

Comportements individuels

Evolution par ordre de durée :

Objet sonore

Trait

Motif

Phrase

Séquence

Boucle

Evolutions d’un état à un autre d’un paramètre :

Continue

Cyclique

Aléatoire

Fonction

Lien (commutation(s) sur l’entrée de sorties d’autres objets)

Il est possible d’analyser le comportement d’un phénomène physique et de d’appliquer certaines de ses règles, certains traits de son comportement ou approchant à un autre phénomène par un traitement électronique ou numérique. Ceci est également valable pour le son.

Comportements complexes :

Évolutions simultanées de plusieurs critères significatifs du modèle ou de plusieurs paramètres de programmation de la réalisation.

Comportements modifiants : modifications des propriétés en cours d’évolution

Comportement relationnels : règle un comportement en fonction d’un autre : conditions mutuelles…

Comportements sociaux :

Évolution de groupes d’éléments ayant des comportements spécifiques, individuels, communs, y compris des naissances et morts d’individus…

Comportements critiques : au-delà de certaines limites ou sous certaines conditions, des objets, groupes…adoptent des comportements critiques, atypiques ou particuliers

Comportements sonores spatialement signifiants

Son et représentation

On utilise aujourd’hui la notion de sonification : fusion entre ‘son’ et ‘signification’, qui désigne des formes de langage restreints utilisant des sons qui ne sont pas des mots. Ceci concerne la signalétique sonore…mais également le monitoring, la mise en son et la représentation de données abstraite.

Que représenter avec des évènements sonores

Les évènements sonores peuvent représenter :

Des objets visibles ou invisibles et leur comportement

Des évènements occasionnels concernant ces objets, mais également concernant le sujet, l’espace, le temps.

Des évolutions de certaines propriétés des objets

Des situations ou des évènements critiques

Des accidents visibles ou invisibles, des particularités invisibles d’accidents

Des indicateurs d’état concernant, les objets, le sujet , l’espace…

Des changements d’état

Donner des informations orales, des commentaires, communiquer avec une tierce personne…

Architecture de scènes interactives navigables

Architecture égocentrique mono-utilisateur :

Je préfère pour le moment me travailler sur la base d’une architecture égocentrique où le Sujet est le navigateur.

C’est également la base de la navigation.

Ce type d’architecture offre de nombreuses possibilités

On peut décomposer les éléments d’une telle architecture en différentes instances ou membres comme : Sujet, objet, groupe d’objet, espace, temps…

Chacune de ses instances est munie de propriétés qui la relie aux autres

Voici un exemple simple et classique d’architecture sujet-objets

On peut concevoir également cette architecture comme une série de sphères concentriques, de poupées russes ou de niveaux hiérarchiques  et modifier les lois qui régissent leurs relations.

En allant du centre vers l’extérieur, on monte de niveau de priorité et de complexité puisque les lois des ensembles supérieurs s’appliquent à ceux qui y sont inclus ce qui n’est pas réciproque.

Voici un exemple d’architecture concentrique dans laquelle le sujet détermine l’espace et les objets. On peut ainsi modifier les relations sujet-espace-temps-objets.

Composantes de l’objet

Une version plus classique serait : Temps / interventions extérieures / espace / groupes d’objets / objets.

Il est également possible et courant que plusieurs instances, par exemple temps et espace, soient au même niveau et partage les mêmes ressources. Ainsi on pourra obtenir quelque chose comme :

Contrôle extérieur

______________________

Temps - Espace

Sujet + Objets

Chacune de ces instances peut à son tour être modifiée ou être redéfinie en fonction de nouvelles données.

La représentation spatiale n’a pas nécessairement besoin d’être homogène ou cartésienne (orthonormée). Elle peut inclure des fenêtres, des superpositions…etc. Là aussi le son peut rendre ces particularités en utilisant des filtres et des traitements dont l’effet sera également renforcé par la spatialisation.

Comment attribuer les fonctions et données aux évènements sonores ?

Il ne suffit pas d’utiliser un modèle musical ou de synthèse et de le coller à des données brutes, il faut le plus souvent considérablement l’adapter pour qu’il exprime la fonctionnalité et le comportement approprié. Cette construction ou adaptation peut se faire grosso modo en plusieurs étapes :

Mapping des données

Transcrire un phénomène par un autre dans la perspective d’une fonctionnalité implique plusieurs phases :

Analyse du phénomène de départ et de l’attente fonctionnelle concernant le son

Choix des modalités de représentation

Construction algorithmique

Connexion des contrôles et des liens en sortie

Registration des limites et répartition des paramètres

Tests, ajustements et vérifications

Critères formels et fonctionnels :

La sonification d’un espace de donnée figuratif ou abstrait, peut consister à trouver dans les données et leurs comportements dynamiques, une proximité formelle avec des contrôles sonores signifiants et de trouver une façon de mapper les premiers sur les seconds tout en répondant aux attentes fonctionnelles.

Une approche intéressante est de rechercher les critères communs entre les données dont on dispose et les contrôles sonores.

Les critères communément utilisables sont les suivants :

Temporalité : durée, occurence, évolution temporelle, itération,

Pluralité : évènement unique ou multiple, évolution du nombre d’évènements,

Spatialité : position, ordonnancement spatial, changement de dimension, influence sur d’autres positions

Mouvement : mobilité, comportement spatial

Précision : registration, nuances, limites

…

Les attentes fonctionnelles sont principalement attachées aux critères suivants :

Informations nécessaires

Lisibilité et hiérarchisation des informations

Choix de la dynamique de présentation de ces informations

Ergonomie de la consultation :contrôles gestuels, fatigue à moyen et long terme, redondances inutiles,

Nuances

Usage de la mémoire : comparaisons, imitations

Qualité sonore à court et long terme

Actions réactions

…

Construction et adaptation

On peut construire une machine dans la perspective d’un résultat sonore particulier, en adaptant des modèles formels préexistants. Les simples contrôles bruts seront le plus souvent inutilisables : trop nombreux, pas assez nombreux, structures de données incohérentes…etc

Niveau d’intervention 

Il est possible d’intervenir à plus ou moins haut niveau. Prendre une donnée de très bas niveau et la napper sur le signal lui même, ou à l’ inverse utiliser des données déjà interprétées et les napper sur paramètre sonore de très haut niveau comme la modification d’un comportement selon un choix…etc On peut également croiser et lier une donnée de bas niveau avec un phénomène complexe ou vice-versa.

Registration et répartition

Comme nous l’avons déjà indiqué plus haut l’oreille comme la perception en général a des capacités accrues de discernement entre des évènements lorsqu’ils sont repérés à l’intérieur d’un registre limité plutôt que sur un champ étendu. Outre le discernement des évènements dans le registre, la qualification des registres permet la distinction entre les registres, donc donne de la lisibilité aux différentes familles d’évènements.

La plupart des phénomènes sonores ne sont intéressants ou significatifs que dans des limites très particulières, selon des fonctions de répartition ou des structures de données précises.

Exemple de registration : deux hauteurs dont une fixe et la deuxième qui évolue autour de la première de façon continue. L’équilibre a rechercher étant l’unisson. Si les hauteurs sont très espacées, d’un intervalle supérieur au ton, on risque d’entendre des unissons apparents à la quinte ou à la tierce (3/2 – 5/4 ou6/5) si ces intervalles sont réduits on entendra mieux l’accord et les battements entre les 2 sons lorsqu’ils seront proches mais encore inégaux.

Exemple de répartition : les rapports de deux hauteurs ne prendront un caractère harmoniques que dans les cas de rapport de fréquences fondamentales avec des nombres entiers, et plus le rapport sera petit, plus le caractère harmonique sera dominant. Dans ce cas, on pourra jouer sur un système de quantification et de hiérarchisation des rapports de fréquence.

Dans le sens de la création de sons, le travail de registration est donc important également.

Animation et séquencement, temporalisation

Architecture de programmes informatiques pour la navigation sonore

Organisation en patch

En ce qui concerne le son, ce type d’architecture peut être implémenté dans un logiciel comme Max/MSP ou jMax. A chaque instance correspondante à une couche de programme, on crée des entrées sorties, pour les données, on attribut les poignées correspondantes aux propriétés modifiables et l’on développe des algorithmes génératifs pour les parties autonomes. Il est possible d’ajouter une ‘instance’ plus spécifiquement sonore et musicale que ce soit pour créer des objets sonores signifiants et dont les contrôles doivent le rester.

Architecture multi-utilisateur 

Dans une architecture multi-utilisateur , il y a plusieurs sujets et l’espace sonore est normalement recalculé pour chacun des utilisateurs. Je ne souhaite pas traiter ce domaine, certes très intéressant mais qui nous entraînerait trop loin.

Source et communication des données

Il est courant que les données soient directement formatées pour le graphisme mais moins pour le son. Idéalement, les données doivent être servies brutes ou organisées pour des raisons fonctionnelles hors de toute référence visuelle ou sonore, puis elles doivent être interprétées différemment par le son et l’image dans une perspective coordonnée. On peut donc imaginer une structure idéale : une machine serveur A contient les données d’origine et les sert à 2 clients B son et C image. Le sujet se déplace et B comme C retournent des informations à A. Ainsi de suite. Bien sûr ceci est théorique. Dans une perspective plus commune comme celle d’un jeu vidéo, on aurait évidemment intérêt à tout avoir sur la même machine, au prix d’une lutte entre le son et l’image pour les ressources processeur.

Données réparties entre différents modes et particulièrement le visuel et le sonore

Les mêmes moteurs ou les mêmes données peuvent être traduites à la fois par le son et par l'image. Dans ce cas, on devra interpréter différemment ces données. Par exemple si une information dynamique de position d'un objet permet d'afficher l'objet visuellement dans un endroit de la scène, un bruit indiquera sa vitesse ou sa direction de déplacement. On voit qu'on rentre là dans une discussion sur la multimodalité, domaine très bien analysé par Y.Bellik dans sa thèse. Ce qui m'intéresse ici est l'articulation du son avec les autres modes, et plus particulièrement la représentation sonore de données extérieures ou synthétiques dans un espace navigable. Dans ce contexte, la répartition visuelle et sonore, j'ai essayé de le montrer dans cet article, doit permettre de répondre au mieux aux attentes fonctionnelles et/ou artistiques.

Données

Les données sont théoriquement distinctes des contrôles qu’on exerce sur elle, mais que deviennent-elles à l’intérieur de la machine ?

On différencie souvent les systèmes génératifs des systèmes interprétatifs, la synthèse du traitement…Dans les premiers, les données sont générées par la machine en fonction d’algorithmes en partie préprogrammés. Dans les seconds, les données sont captées depuis le monde extérieur, puis interprétées par la machine. En fait le plus souvent ces deux formes s’entremêlent au sein des dispositifs interactifs, ne serait-ce que parceque les données extérieures sont tellement transformées par le dispositif lui-même qu’elles se comportent comme si la machine les produisait et que d’autre part, les contrôles (manuels par exemple) sont souvent suffisamment productifs pour êtres considérés comme des données extérieures. Où sont alors les données brutes ? Elles sont réparties et ne sont jamais véritablement dans leur forme originale puisqu’elles sont en perpétuelle transformation tout au long de la chaîne du dispositif et dans le temps de la représentation. La seule réalité tangible de ces données dans la machine est donc le programme qui les crée, les manipule.

On distinguera plutôt l’espace des données perçues par le navigateur et les données extérieures, les interventions du navigateur sur celles çi…

Exemple possible d’implémentation d’un objet-source créé à partir d’un fichier son joué en boucle :

loop_source_object

Entrées :

Texte et déclaration des liens:

Nom de fichier : aaa

Position : x,y,z

paramètre interne : bbb

Config :

Mode de lecture : boucle

Début de la boucle : zéro

Fin de la boucle : end

Taille : diamètre 2m

Nombre de canaux : 6

Directionnalité : 30°

Contrôle externe

Position:

relative au sujet

espace statique x,y,z

Contrôle interne

paramètre bbb -> fréquence

scaling : 0 100 1 2 (quand bbb passe de zéro à 100, la fréquence passe de la valeur nominale à son double)

Sortie :

binaurale

16 canaux de spatialisation

Attribution des canaux: priorité à la disponibilité sinon pile sortie par le bas

JMax est à ce titre un outil intéressant puisque son architecture tend de plus en plus à permettre ce type d’approche.

Toutefois un certain nombre de possibilités sont aujourd'hui encore manquantes comme un spatialisateur, des outils plus développés permettant d'instancier ou de détruire dynamiquement les objets et les propriétés…un gestionnaire de média…

Les mots double sont en quelque sorte des concaténations d’objets ou des objets héritant de propriétés communes.

On utilise généralement des langages orientés objets, mais dont les algorithmes ou les patchs sont statiques. L’avantage des langages objets pour programmer des scènes audiovisuelles est qu’il y est facile d’ajouter des propriétés aux objets informatiques, de créer dynamiquement des objets selon des propriétés dynamiques en jouant sur les héritages… Ainsi une propriété peut se déplacer d’un objet à un autre, de nouveaux objets peuvent hériter de propriétés issues d’évolutions dynamiques…Mais il ne suffit pas qu’on puisse créer dynamiquement un ou plusieurs objets, mais que la création ou la disparition d’objets, de groupes d’objets, de comportements et de propriétés puissent se faire selon des règles précises et ‘en temps’ sinon réel dumoins contrôlé. C’est sur ce type de questions essentielles que travaillent les développeurs Peter Hanappe et Norbert Schnell.

Solfège de la navigation et langage objet

Le solfège traditionnel tire parti de l’écriture séquentielle et développe la transcription des usages musicaux au niveau symbolique le plus synthétique possible. Il ne dit pas tout, quantité de nuances et d’informations ne sont pas indiquées, mais la partition se définit quasi-exclusivement par ce qui y est écrit. Depuis le milieu du Xxème siècle, le langage musical a évolué et introduit nombre de concepts qui échappent complètement au solfège traditionnel. Les compositeurs instrumentalistes, pour des raisons pratiques continuent de faire évoluer la partition Mais de nombreux phénomènes musicaux et sonores ne sont représentables que par eux-mêmes ou par la méthode exacte qui les a générés. Ce dernier mode procédural est utilisé en informatique avec un succès évidemment plus grand qu’avec les techniques analogiques. Il n’est pas rare qu’on obtienne le même résultat en rentrant les même lignes de codes, heureusement. Il est donc intéressant de créer un solfège généralisé des processus sonores et musicaux utilisant des objets informatiques à vocation sonore et musicales. C’est un des paris de Max. Pour le mener à terme, il faudrait pousser encore assez loin le vocabulaire et la grammaire de ces outils. Une fois que cela sera fait, il ne restera plus qu’à faire en sorte de rendre ces objets migrants, à les faire dialoguer entre eux pour connaître un nouveau solfège à la fois générique et génératif.

Projet de développement interdisciplinaire

Le développement d'une plateforme unique permettant de communiquer grâce aux mêmes structures de données sur une machine unique constituerait un pas important vers la réalisation de nouvelles formes de navigation sonores dans des espaces abstraits fonctionnels ou purement imaginaires.

Toutefois vu

1)la complexité des logiciels de création graphiques conçues dans une perspective visuelle

2)l’incapacité des logiciels de création graphiques à gérer correctement le son et sa relation fluide avec le visuel

3)l’impossibilité de les utiliser à niveau suffisant de pensée sonore et musicale

Nous préconisons de travailler à la mise en œuvre d’un dispositif audiovisuel à deux temps:

A) temps de développement où le créateur sonore travail avec ses outils sur sa machine en communication avec la machine graphique

B) temps d’utilisation où le programme sonore est intégré à la partie visuelle sur une seule machine.

C’est grâce à une telle configuration qu’on pu être réalisés les applications MusiqueLab (Ircam Education Nationale 2002) sous Windows.

Roland Cahen

Paris le 24/08/02

Terminologie

Quelques explications ou définitions des termes couramment utilisés dans cet article.

Noms doubles. Très riches pour l’imagination, les mots composés permettent de créer de nouveaux concepts comme celui d’espace-objet ou d’objet-espace, de goupe-sujet ou de temps-objet. Reste ensuite à ce qu’ils exprime clairement leur signification. Ici le premier terme est le nom et le second est un qualificatif du premier.

· Scène interactive : unité spatiale et fonctionnelle dans laquelle le sujet ou de l’utilisateur peut intervenir et engendrer des réactions.

· Origine : objet ou évènement qui produit le son

· Provenance : coordonnées 3D de la source ou de l’origine sonore

· Intégration : une fois un évènement sonore perçu, l’intégration est le processus par lequel le sens contenu dans le son est assimilé.

· Membres d’une scène : sujet, objets, groupes d’objets, espace, temps…

· Objet : désigne ici principalement un objet présenté dans une scène sonore : objet visuel, objet-source (sonore)…

· Source : origine et provenance d’un événement sonore dans un espace électroacoustique. On parle de source réelle pour désigner un haut-parleur physiquement présent à un endroit d’une salle (point de diffusion) et de source virtuelle pour désigner une source localisée dans un espace sonore virtuel, que se soit dans le cas d’une écoute binaurale (au casque) ou en salle dans le cas d’une source située perceptiblement entre plusieurs haut-parleurs.

· Objet-source : qualifie le fait qu’un objet émette un son. On pourra également avoir une action-source, une cause-source, un sujet source, un espace source, une direction source…

· Déplacement de la source : on parle de déplacement d’une source si la position de cette source évolue dans l’espace. On peut déplacer virtuellement la source d’un haut parleur fixe à un autre, grâce au jeu des ‘panoramiques’ comme dans le travail de diffusion électroacoustique : avec des instrument comme le Gmebaphone ou l’Acousmonium, en composant directement avec des dispositifs multipoint comme l’Octophonie (Studio DeltaP) ou comme le dispositif SoundBeat. On peut déplacer directement les haut-parleurs comme le haut parleur tournant de Kontakte de Stockhausen ou les petits Hp baladeurs des sonocanes d’Espace Musical[31]. Le plus souvent toutefois il s’agit de déplacer la source virtuelle en utilisant des outils tels le Spat~ Ircam…

· Dimension de la source : taille d’une source sonore, généralement en angle ou et unité de mesure si l’espace est mesuré.

· Groupe d’objet : un groupe d’objet est un ensemble d’objet lié par des propriété spatiales communes

· Objet sonore : un son identifiable comme une unité élémentaire de son, en le dissociant de sa cause (cf. Schaeffer)

· Présence : impression générale de volume d’une source. Cette impression dépend de la répartition spatio-temporelle de l’énergie, de la dimension, de l’évolution. On parlera de type de présence, d’états de présence, d’évolution de la présence de présence dynamique…

· Comportement sonore : les lois qui lient l’ensemble de la chaîne causale au résultat sonore produit par un objet, sujet, espace…

· Sujet : le navigateur, l’utilisateur, le joueur…. Dans le cas ou d’autres personnes sont présentes ou en relation, on peut considérer qu’il y a plusieurs sujets. Dans ce cas, l’autre est plus ou moins considéré comme un type particulier d’objet pour le sujet. La question de la valeur de l’autre dans les systèmes partagés est très intéressante de ce point de vue et l’on pourrait imaginer de nombreuses réalisations jouant sur la variabilité des modes de relations sujet-sujet, sujet-objet, objet-sujet.

· Espace de représentation : par analogie avec la notion scientifique signifiant l’ensemble dans lequel une fonction ou un élément sont projetés, j’appelle espace de représentation le lieu où la représentation audiovisuelle spatiale et temporelle d’un phénomène se produit. On peut opposer espace de représentation et réalité. Il peut s’agir de la scène d’un théâtre, ce terme y est d’ailleurs parfois utilisé, mais également en ce qui concerne le son d’un dispositif de diffusion.

· Données : les données sont l’ensemble des éléments spécifiques à une représentation. On peut les diviser théoriquement en données extérieures ; captées et données intérieures ; générées.

· Sonification : On utilise aujourd’hui la notion de sonification : fusion entre ‘son’ et ‘signification’, qui désigne des formes de langage restreints utilisant des sons qui ne sont pas des mots. Ceci concerne la signalétique sonore…mais également le monitoring et la représentation de données abstraite. J’utilise également ce terme dans le sens de sonorisation, de représentation sonore…

Bibliographie

Yacine BELLIK : Interfaces multimodales : concepts, modèles et architectures : (thèse de doctorat Univ.Paris-XI-LIMSI CNRS) (1995)

Claude Cadoz : Les realites virtuelles (1994)

Michel Chion : l’Audiovision – le promeneur écoutant - La toile trouée - La voix au cinéma -Guide des objets sonores

Genevois, Orlarey : Le Son & l'Espace -, 1995 - Actes des Rencontres Musicales Pluridisciplinaires, Grame, Lyon.

Jean-Marc Jot : Synthesizing three-dimensional sound scenes in audio or multimedia production and interactive human-computer interfaces (Ircam 1996)

Jean-Pascal Jullien , Olivier Warusfel : Technologies et perception auditive de l’espace (Ircam 1994)Pierre Schaeffer : Traité des Objets Musicaux (T.O.M.)

Curtis Roads : L’audionumérique (1998)

Iannis Xenakis :  Musique Architecture (1971)

Francis Rumsey : Spatial Audio (2001)

Octophonie  : Rapports des résidences des compositeurs au studio DeltaP. (La Rochelle 1992-94)

L’espace du son I et II : Collectif (Musiques &Recherches Ohain 1988-91)

---

[1] « La perception humaine est toujours surdéterminée par un monde d’objets – elle n’est pas seulement un monde abstrait (un monde abstrait est une image de monde, un monde imaginaire). Elle relève de ce qui a été appelé une cognition située (Conein, Cicourel, Hutchins, notamment). » Sur la question d’une organologie générale : présentation par Bernard Stiegler du RTP ArtiSTIC.

[2] « Il est remarquable que ces deux arts (peinture et musique) cherchent actuellement par leur propre cheminement à intégrer leurs physionomies logiques, la peinture en s’adjoignant la catégorie temporelle et la musique, celle de l’espace…Toutes les courbures géométriques et toutes les surfaces peuvent être transposées cinématiquement à l’aide de la définition du point sonore (dans l’espace)…, la musique s’épanouit dans un véritable « geste sonore », car non seulement elle met en liaison les durées, les timbres, les dynamiques, les fréquences qui sont inhérents à toute structure sonore, mais de plus elle est capable de régir l’espace mathématique et ses relations abstraites qui peuvent de la sorte devenir magnifiquement perceptibles à l’ouïe sans passer par la vision ou par des appareils physique de mesure. Nous constatons que, grâce aux techniques électroacoustiques, la conquête de l’espace géométrique, nouveau pas dans le domaine de l’abstraction, est réalisable. (Iannis Xenakis – « Musique Architecture » p.147 et s. 1971)

[3] Claude Cadoz définit la navigation comme « l’ensemble des actions par lesquelles un être vivant se déplace physiquement dans son environnement » (Les Réalités Virtuelles 1994) Il s’agit ici de la définition commune ou locomotion. Ici nous désignons par navigation la même chose dans un environnement interactif et immersif multimédia.

[4] Préférable à monde virtuel trop grand.

[5] C'est sur ce genre de projet que travaille depuis quelque années Sony avec le projet SoundSpace MIDISpace de François Paschet

[6] « The ear-body-brain combination correctly decodes a handful of simultaneous and possibly conflicting spatial issues, often to within a few degrees of precision and a fraction of a second. » Kimmo Vennonen, (1996)

[7] Dans « La toile trouée » Michel Chion distingue au cinéma le son dont la source est visible dans le champs (in) , le son hors champs et le son off. Le off signifie ici non spatialisé.

[8] Transmission directe à travers un corps solide, par exemple un choc transmis dans un mur.

[9] pour PS le parallèle musique/langage ne peut fonctionner que pour une langue musicale ‘pure’ comme la fugue chez JSB .

[10] le compositeur Alain Savouret en donne une magnifique illustration dans « la dictée » extrait de la « Sonate baroque »

[11] Cit. p77 à 87 du « Guide des objets sonores » de M.Chion

[12] Pour développer ce domaine, lire « Guide des objets sonores » Pierre Schaeffer et la recherche musicale de M.Chion ou le T.O.M. de P. Schaeffer.

[13] En effet, il ne semble pas qu’on puisse hiérarchiser ces formes de sensibilités auditive.

[14] Traité des Objets Musicaux

[15] Ces critères typologiques sont distincts de l’origine ou de la fonction. Une des principales motivations de Schaeffer pour ce travail était justement de nommer les sons (les objets sonores) pour ce qu’ils sont et non par la cause qui les a produite. D’une certaine façon nous allons ici en sens inverse puisque nous nous intéressons à générer des causes.

[16] Concept développé plus loin : c’est l’assimilation de la signification d’un événement sonore.

[17] Il ne faut pas entendre ici le mot ‘effet’ péjorativement comme dans l’horrible expression « effet sonore » si dépréciative pour les musiciens au théâtre et au cinéma, mais comme l’articulation cause-effet dont il se trouve fortuitement que l’effet soit ici un son.

[18] Selon Shaeffer l’allure pour un objet sonore « révèle la façon d’être de son agent énergétique, et si cet agent est vivant ou non ». Pour ma part je me permets de généraliser ce concept au comportement sonore dans l’entretien d’un objet-sonore ou d’une séquence.

[19] Correspondances entre plusieurs modes de perceptions, par exemple les notes de la gamme et les couleurs…etc

[20] Y. Bellik dans sa thèse présente 4 type de coopération multimodales (équivalence, complémentarité, redondance et spécialisation). Seuls redondance et complémentarité concernent les relations de deux modes conjoints. Nous ne souhaitons pas ici traiter des modes successifs, ni des modes en entrée, ce qui nous entraînerait trop loin pour cet article.

[21] La redondance multimodale est parfois essentielle, par exemple pour permettre aux malvoyants et aux malentendants de suivre un même propos.

[22] Michel Chion « L’audio-vision » fac Nathan (1990)

[23] Michel Chion parle ‘d‘élasticité temporelle’ pour désigner le décalage d’un point de synchro ‘pds’.

[24] Si l’évènement visuel est antécédent au sonore, il peut devenir la cause possible d’un son et le retard peut être interprété comme un effet particulier lié à la distance, à la vitesse de déplacement de l'événement….A l’inverse si le son est antécédent à un événement visuel distant, on peut imaginer un projectile qui s'éloigne. Ce genre de problématique serait à expérimenter en détail si cela n’est pas déjà fait.

[25] « l’ordinateur n’est autre qu’un moyen de représentation, le plus universel que l’homme ait élaboré. Ce qui est nouveau, c’est le degré d’intégralité de la représentation qu’il permet d’atteindre et l’usage que l’on peut en faire. Mis ce qui n’a pas changé, c’est qu’il ne s’agit que de représentation » (Claude Cadoz “Les Réalités Virtuelles » 1994)

[26] L'Ircam développe actuellement deux projets : Listen : restitution de scène audio-vidéo pour les musés et Carrouso : transmission sur réseau de scènes audio holographiques encodés en MP4. Ce format de description des sons inclut des données de spatialisation.

[27]Roland Sound Space (Roland Corp.)

[28] Multidiffusion, et multisources (réelles) sont synonymes. Ca ne dit pas combien il y a de pistes différentes à l'origine. Le terme multicanal (aux) devrait indiquer qu'il y a également beaucoup de pistes. Généralement une par source, mais pas forcément.

[29] http://www.gmeb.fr/Recherche/DossierCybernephone/Cyberfr.html

[30] On ne voit pas l’instant exact du choc, comme en témoigne l’usage du ralenti audiovisuel dans le montage au cinéma.

[31] Cf. également Leslie, Loesher (enceintes rotatives)