Les jeux vidéos, accusés de tous les maux il y a encore quelques années (désormais ce sont les réseaux sociaux qui servent de paratonnerre…), font l’objet de multiples études sous l’impulsion d’une nouvelle génération de chercheurs en sciences humaines. À la suite des pionniers de l’OMNSH (Obersvatoire des Mondes Numériques en Sciences Humaines) et de philosophe comme Mathieu Triclot (Philosophie des jeux vidéos), Julie Ruocco s’interroge sur notre subjectivité esthétique à l’épreuve du jeu vidéo

Aujourd’hui, les jeux vidéos pèsent plus lourd que l’industrie du cinéma, ce qui a considérablement changé le regard des puissances économiques et politiques sur ces nouveaux divertissements. C’est d’ailleurs par rapport au cinéma que se posent la singularité et le rapport à la modernité des jeux vidéos. Là où le cinéma enregistrait le monde pour le soustraire à sa propre déliquescence, le jeu vidéo crée des formes sans qu’aucune matérialité contingente ne leur préexiste. Cet acheminement des formes vers une existence autonome ne pouvait se faire que par le nouvel instrument de la modernité : l’ordinateur (p.64). Le tout en inversant le rapport à « la machine numérique » : les jeux vidéo réinventent des affects de vitalité et une méta-sensibilité au cœur du dispositif informatique censé les dompter (p.188).

Julie Ruocco opte pour une appréhension globale du jeu vidéo, pour en saisir les spécificités. Elle appréhende le jeu vidéo comme une expérience réifiée (le jeu vidéo est une expérience vendue comme marchandise, Mathieu Triclot), un tissu d’expériences irréductibles à leur support extérieur (p.22), une expérience vidéo-ludique qui se transcende dans un appel au code qui se fait l’écho ondoyant de notre conscience et qui « raisonne » sur les parois de l’univers virtuel. C’est cette dialectique entre servitude et anarchie qui unit le joueur au dispositif. Elle fait apparaître la double tension entre l’injonction et la multiplicité des possibles (p.169).

Partant de ce postulat, Julie Ruocco pose le questionnement suivant : Dans quelle mesure l’expérience qui se déploie entre la subjectivité du joueur et la structure numérique du médium peut être qualifiée d’artistique ? Quelles sont les propriétés du jeu vidéo qui font de cette tension une expérience esthétique unique ? Les spécialités de l’engagement vidéo-ludique ont-elles des conséquences sur la subjectivité moderne et notre rapport à l’art ? (p. 34). On observe tout d’abord que la finalité du jeu est dans la perte (p.45), tel un lapsus intrinsèque… En d’autres termes selon Mathieu Tricolt, l’expérience de l’arcade se cristallise dans l’instant qui précède la chute, le vertige ultime, l’acmé avant le Game over fatal (p.45).

Mais ce vertige change de nature, de plan plus exactement, lorsque les jeux quittent les bars et les salles pour conquérir les salons grâce aux consoles. Avec les jeux de plateformes, à commencer par celle de l’emblématique plombier Mario, on peut (en théorie du moins) aller au bout d’une structure narrative simple et explorer différents tableaux d’un univers où le regard se distille dans chaque pixel et où le mouvement se redouble d’onomatopées électroniques (p.53). Ensuite, avec l’arrivée de mondes plus développés, type GTA par exemple, l’exploration prend cette fois des allures de dérives situationnistes; l’option multi-joueur (MMORPG) ouvrant la porte à une guerre sans fin… Sachant que, dans ce type de jeu vidéo, la mort est omniprésente mais jamais définitive, elle devient un principe ludique alors qu’au cinéma ou au théâtre elle était la marque de la fatalité irrévocable (p.107).

Au fil du temps, les jeux vidéo ont vu leur graphisme évoluer jusqu’à singer le cinéma, y compris au niveau de leurs univers de plus en plus scénarisés, mais le mode d’immersion qui en résulte diffère singulièrement de celui du 7ème art. À cette magnétisation collective et anonyme, le jeu vidéo oppose un écran individuel qui s’intègre à l’espace domestique (p.92). De plus, si la fiction cinématographique s’éprouve dans la dispersion des sens et l’engourdissement de la conscience, le jeu vidéo nécessite une concentration optimale. En cela, ses modalités d’engagement diffèrent fondamentalement des autres expériences esthétiques narrativisées (p.93). […] Le surinvestissement de la perception qui caractérise l’état vidéo-ludique s’oppose donc au somnambulisme halluciné du spectateur; principalement parce qu’il substitue la question de la contemplation à celle de l’action (p.95).

Le jeu vidéo inaugure bien un rapport à soi inédit au travers des sollicitations multiples et incessantes qu’il provoque, à rebours de la contemplativité d’autres activités de divertissement comme le cinéma. À travers le gameplay, ses répétitions, le type d’émotion et la posture cognitive qu’il suscite, les jeux vidéo ont engendré un nouveau rapport à notre subjectivité (p.150). C’est dans cette sollicitation incessante que se situe la singularité du jeu vidéo. La racine radicale de la rupture avec les autres média réside dans l’engagement interactif qui se noue entre le code et notre subjectivité. Que ce soit à travers le regard performatif du joueur ou de la dialectique qu’il doit perpétuellement entretenir avec le système, l’engagement vidéo-ludique se caractérise par un état de surinvestissement cognitif et émotionnel capable de reconfigurer un espace intermédiaire inédit, modulé par une perpétuelle négociation entre notre subjectivité externalisée par la modélisation numérique et les injonctions des algorithmes (p.115).

Laurent Diouf

Julie Ruocco, Et si jouer était un art ? Notre subjectivité esthétique à l’épreuve du jeu vidéo (L’Harmattan, Ouverture Philosophique, 2016)

MNÉMOSYNE

François Boutonnet — docteur en cinéma et chercheur à l’ESVA (École Supérieure d’AudioVisuel, université de Toulouse) — s’interroge sur les arts de la mémoire, sur la manière et les artefacts que l’homme a déployés pour graver ses connaissances, s’en souvenir et les transmettre. Tout un protocole et des techniques qui s’apparentent à un « art global » dont les principes résonnent avec ceux de la création multimédia contemporaine.

Alors que nous sommes de plus en plus « assistés » (smartphone, etc.) et que nos mémoires flash sont désormais soudées, difficile d’imaginer comment les sociétés « pré-technologiques » organisaient la transmission du savoir avant même l’invention de l’écriture. Seuls des moyens mnémotechniques permettaient d’apprendre, de conserver et de restituer les connaissances religieuses, culturelles et scientifiques. Avoir vu un griot (un vrai, pas un joueur de kora pour touristes en charter…), en donne vague idée : souvenir d’un vieil homme assis en tailleur dans la pénombre d’une pièce sans fenêtre, les yeux mi-clos, dodelinant de la tête, qui entame le récit des origines pendant des heures et des heures, fruit d’un apprentissage de toute une vie… Sa technique de mémorisation passe par le chant, mais aussi par des images et des associations d’idées. C’est à cette pensée « visuelle », en images », mais au travers du prisme et de la culture occidentale, que s’intéresse François Boutonnet.

La Grèce étant l’abscisse et l’ordonnée de l’Occident, son étude part de l’Antiquité, du mythe de Mnémosyne — la déesse de la mémoire, fille de Gaia et d’Ouranos. En préambule, François Boutonnet nous rappelle que la mémoire n’est pas seulement archive et agrégat, elle est aussi instrument d’invention et de méditation. C’est bien une pensée en acte. Un média (comme support de connaissance) et aussi un multi-média dans son apprentissage et sa structuration, dans sa distribution liée à l’espace, au lieu, au mouvement et à l’image, dans ses principes d’association et de répétition, dans son protocole de fixation et révélation (au sens photographique) de la connaissance.

Avec les Grecs apparaissent des lieux dédiés à la mémoire. L’apprentissage se fait en mouvement, la fixation se fait par déambulation, selon un ordre pré-établi. Le lieu se donne comme support, les images comme écriture, la déambulation comme lecture. La figure du labyrinthe deviendra centrale dans les dispositifs de mémorisation, comme processus dialectique… Par la suite, de la Grèce au Moyen-Âge, les chemins initiatiques, les jardins ordonnés et les palais de mémoire seront les lieux ordonnancés où s’exerce la mémoire. Et dont les principes sont encore actifs à l’ère numérique. Les dispositifs nés il y a deux millénaires trouvent aujourd’hui avec Internet des développements dont la diversité et l’ampleur sont sans commune mesure avec les techniques des mnémonistes de l’Antiquité. Ce sont pourtant les mêmes principes qui sont mis en oeuvre : principes d’ordonnancement, parcours répétitif, lien image-langage (p.114).

De ce point de vue, les arts de la mémoire préfigurent bien l’arrivée des images en mouvement — de l’image-mouvement — et, au-delà, de la modernité numérique où les idées, sentiments et rapports au monde s’expriment de plus en plus par des visuels (smileys, selfies, etc.). Un état de fait qui ouvre, plus tard, sur d’autres questionnements : à la mise en mouvement des images, répond la mise en question des lieux (p.64). De même pour l’espace considéré comme produit d’une activité mentale, lieu des possibilités virtuelles de déplacement, tant dans les arts numériques de ce début du XXIe siècle que dans les scénographies médiévales.

À chaque époque les couplages lieux-pensée-image ont bouleversé le statut des lieux et des images. Le XVIIe siècle de Giordano Bruno représente certainement une sorte de climax dans ces interactions, avant que la Réforme et la montée en puissance de l’imprimerie n’ouvrent une longue parenthèse d’obscurité pour les arts de la mémoire (p.69). Après l’écriture, qui opère donc un changement de paradigme pour la mémorisation, le retour à la primauté de l’image (animée ou non) signe une nouvelle ère régie par des principes immémoriaux; l’art numérique obéissant à ces mêmes lois, ou plutôt retrouvant ces lois de manière inconsciente, non intentionnelle, en privilégiant de nouveau les interactions entre audio et visuel.

L’invention de l’imprimerie était venue interrompre, à la Renaissance, le recours à la mémoire en imposant de nouvelles règles à la communication : fixité des contenus, mise en lumière de l’auteur, passivité du lecteur. Ces règles ont largement dominé pendant trois siècles le livre, mais aussi le théâtre, la peinture, les arts graphiques, la musique, la photographie… et le cinéma. Ces règles sont aujourd’hui pulvérisées par les technologies numériques, qui ferment la parenthèse d’exclusivité Gutenberg, et replacent les Palais de Mémoire dans le jeu de la communication (p.93).

Laurent Diouf

François Boutonnet, Mnémosyne. Une histoire des arts de la mémoire de l’Antiquité à la création multimédia contemporaine (Dis Voir, 2013)

mnemosyne

une composition électroacoustique en RV de Christine Webster

Musicienne, ingénieure du son et théoricienne des nouveaux environnements sonores, Christine Webster est aussi hardcore gameuse et passionnée de mondes persistants (Second Life, l’ex-Komity, EVE Online, etc.). Avec sa composition pour réalité virtuelle Empty Room, elle est également l’une des seules artistes à proposer une immersion sonore totale, dans un acousmonium virtuel. Rencontre avec la créatrice de la musique toponymique.

Christine Webster, Empty Room, acousmonium 64 voies en interne.

Christine Webster, Empty Room, acousmonium 64 voies en interne. Photo: © Christine Webster

Il n’existe pratiquement aucun projet mêlant composition électroacoustique et réalité virtuelle. Comment est venue l’idée d’unir ses deux médiums ? Et pourquoi ?
Je fais du son depuis des années, c’est mon métier. À l’origine, je suis ingénieure du son. J’ai vécu l’apparition des nouveaux outils, ProTools, Ableton Live, etc. Par ailleurs, j’étais très impliquée dans le monde du jeu vidéo. J’ai même eu des périodes de hardcore gaming. En 2006, je suis tombé sur Second Life. Je ne connaissais pas du tout ces univers à l’époque. Le principe de se balader, de discuter, sans enjeux, sans mission, m’a perturbé. Quelques semaines après, je suis entrée en contact avec Wangxiang Tuxing, un passionné de mondes virtuels, qui est devenu mon mécène par la suite. Il avait créé une île sur Second Life et il m’a offert un espace gratuit où travailler et expérimenter. C’est aussi ça l’esprit Second Life. Un espace qui crée des connexions particulières et durables. Une vraie communauté.

Qu’est-ce que vous ne trouviez pas dans ces univers et que vous avez trouvé dans la RV ?
Second Life est un endroit libre et dynamique, un locus de croissance tourné vers la 3D. C’est renversant ! Quand j’ai compris son fonctionnement, ses lois, sa physique, j’ai réalisé que je pouvais en faire quelque chose. J’ai répertorié les outils qui étaient à la disposition des utilisateurs. Côté audio, l’environnement permettait de streamer en stéréo, ou de chatter avec des outils voice intégrés, comme dans les jeux vidéo massivement multi-joueurs. Ce qui manquait, c’était de pouvoir envoyer ou jouer du son, directement dans l’environnement. Finalement, la solution est venue en sortant du contexte. J’ai pensé que dans tous les environnements virtuels, jeux vidéo ou multivers, les bruitages sont inclus dans les objets spatialisés. On a donc un bruitage circonscrit, avec des outils de perception qui permettent de localiser le son dans l’espace, sa proximité, etc., mais ça n’a jamais été pensé pour de la musique. Je trouvais que ça manquait. Du coup, j’ai ôté les bruitages des objets, et j’y ai mis ma musique. C’est venu comme ça.

Concrètement, pouvez-vous décrire Empty Room ?
C’est un travail qui prend source au sein du groupe Spatial Média d’EnsadLab. Cela devait être à la fois un projet artistique et une recherche. J’ai donc abandonné l’outil Open Simulator et Second Life, pour Unity 5, qui a des fonctions audios plus avancées. Je me suis retrouvée avec une liberté phénoménale. Dans Empty Room, l’utilisateur se retrouve parachuté dans un environnement abstrait : un hypercube expérimenté à partir d’une plateforme de 40m2. Une dimension forcément limitée parce qu’il est difficile et coûteux, aujourd’hui, d’envoyer des êtres humains dans un espace ouvert infini. C’est aussi justement ce qui m’a conduit à travailler sur le paradoxe qui fait l’intérêt du projet, parce que même s’il y a des contraintes techniques, au niveau de la perception, c’est une sensation d’espace infini que l’on vit.
Le scénario se déroule en trois phases : tout d’abord l’utilisateur se trouve dans un espace large, avec des sensations spatiales très aériennes, avec des monolithes qui s’imposent comme des présences. Pour la suite, le sens des perspectives et de la profondeur est mis à mal, on ne sait plus ce qui est en haut ou en bas. La dernière partie est une panic room générative. Il était important que la présence au monde soit validée par les objets. La sensation d’habiter un monde se fait par la présence des autres, mais aussi par ce qui occupe cet espace. L’autre chose très importante, c’est que je voulais renverser la polarité image/son. L’agent principal ici, ça n’est pas la RV, mais le son à 99%. Dans Empty Room, sans le son, il ne se passe rien. En 1979, Georges Lucas disait le son fait 50% d’un film. En 2016, avec Empty Room, il occupe 99% de l’espace.

Christine Webster, Empty Room. Séquence 1.

Christine Webster, Empty Room. Séquence 1. Photo: © Christine Webster

Le fait que vous veniez de Second Life pose un paradoxe : Empty Room repose sur l’expérience de la solitude de la RV…
C’était à la fois mon choix, et une question de moyens. D’une part, je voulais absolument que l’expérience soit solitaire. C’est quelque chose qui n’est pas tellement abordé. La recherche se penche souvent sur la confrontation aux autres avatars, à partir du postulat selon lequel la sensation de présence serait validée par la présence d’un autre. L’idée de la solitude face à l’infini me plaît énormément. Cela me permettait aussi de travailler la création sonore dans ce sens. Pour de la musique expérimentale électroacoustique, c’était idéal.

Concrètement, est-ce que le fait de mêler réalité virtuelle et musique influence la composition de la partition musicale dédiée ?
La problématique de l’espace sonore est extrêmement complexe et intéressante. Il faut cependant être clair sur ce dont on parle. Aujourd’hui, on mixe des stems 5.1 qu’on spatialise et on appelle ça du son 3D ! C’est une supercherie. Le son 3D, de mon point de vue, c’est avant tout occuper l’espace, son par son, particule par particule. C’est à ce moment-là que l’on arrive à du son en trois dimensions, avec du son binaural qui nous restitue une démarche acoustique en 3D. Ce n’est pas en mixant juste trois couches de stems qu’on peut y arriver.

On en vient à la notion d’acousmonium virtuel…
Dans Second Life je pouvais créer des architectures de spatialisation étonnantes. Pour mon projet 55 Sounds to the Sky, par exemple, plus on avançait, plus on découvrait des dizaines de sons différents. On évoluait en partant de choses extrêmement concrètes vers des choses extrêmement abstraites. Le plateau de fin était délirant de complexité. C’était une spatialisation qui serait impossible à faire dans le réel. Puisque j’avais cette contrainte d’espace dans Unity 5, j’en ai profité pour construire un acousmonium. J’ai pu y intégrer des successions de quadriphonies. Il y a des sons en mono, de la stéréo en mouvement selon le déplacement de l’utilisateur, mais aussi autour de lui. J’ai préparé des stems quadriphoniques, ou octophonique qui s’emboîtent, avec le Spat de l’IRCAM (un des partenaires du projet, qui me donne accès a ses outils), restitués ensuite sur Unity 5 en aménageant et en réglant tout selon les critères perceptifs de cette plateforme. Empty Room bénéficie donc d’un environnement sonore de 64 voies virtuelles en interne, c’est unique !

Comment envisagez-vous son évolution ?
Cela me fait beaucoup réfléchir. Pour les besoins de médiation, j’ai donné un nom à ma démarche, je la nomme « musique topologique« . J’en ai écrit les principes, qui fixent cette pratique à l’intérieur d’une structure numérique en 3D. C’est mon projet de thèse. Je pense qu’il faut inventer de nouveaux postulats. Le sujet de ma thèse est d’ailleurs : faut-il considérer la RV comme la nouvelle tenture pythagoricienne sur lequel projeter nos univers sonores ? Par la suite, je compte augmenter l’expérience Empty Room avec un système de tracking externe et une véritable scénographie. C’est toute la partie qui se met en place avec Le Cube, centre de création numérique d’Issy-les-Moulineaux, qui est un partenaire de production très investi dans le projet.

propos recueillis par Maxence Grugier
publié dans MCD #82, « Réalités Virtuelles », juillet / septembre 2016

http://spatialmedia.ensadlab.fr/projet-empty-room/
https://soundwebster.wordpress.com/

De la sérendipité

Du conte au concept, Sylvie Catellin commencera ce chapitre en nous racontant l’histoire des trois princes de Serendip.

Un cours animé par Dominique Moulon pour le Mooc Digital Media de l’Ecole Professionnelle Supérieure d’Arts Graphiques de la Ville de Paris.
Réalisé à NUMA par Giampiero d’Angeli, en collaboration avec MCD. Décembre 2016.
> http://moocdigitalmedia.paris/cours/de-la-serendipite/

De la blockchain et du bitcoin

Si la « blockchain » est de plus en plus connue, que définit-elle véritablement ?
Qu’est-ce que le « hachage cryptographique » ?

Un cours animé par Dominique Moulon pour le Mooc Digital Media de l’Ecole Professionnelle Supérieure d’Arts Graphiques de la Ville de Paris.
Réalisé à la Maison du Bitcoin par Giampiero d’Angeli, en collaboration avec MCD. Octobre 2016.
> http://moocdigitalmedia.paris/cours/de-la-blockchain-et-du-bitcoin/

L’Ecole Professionnelle Supérieure d’Arts Graphiques de la ville de Paris (EPSAA), en accord avec sa tutelle, a décidé en 2015 de se doter d’une formation en ligne ouverte à tous, ou Massive Open Online Course (MOOC), en sollicitant les compétences et en exploitant les ressources dédiées à l’enseignement des médias digitaux dont bénéficient déjà ses étudiants pour les étendre à un plus large public. Ainsi le MOOC de l’EPSAA Ville de Paris est destiné à un public en recherche de formation initiale comme à un large réseau de professionnels et bien entendu ouvert à tous.

Les cultures et pratiques numériques sont aujourd’hui l’affaire de tous. Elles sont transversales à bien des domaines, allant des arts visuels aux arts appliqués, jusqu’au spectacle vivant. Aussi, les contenus du moocDigitalMedia.paris sont accessibles à tous. A tous ceux désireux d’améliorer leur savoir-faire en s’appropriant des connaissances inhérentes aux pratiques innovantes qui sont à la croisée des réseaux, des jeux vidéo, du design d’interaction, des nouvelles images, de la data visualisation, du mapping vidéo ou de la générativité en son.

Nous accueillons à l’EPSAA, depuis déjà dix ans, des intervenants extérieurs à l’école, à raison d’une vingtaine par an dans le domaine des médias digitaux. Nous allons donc exploiter ce réseau de compétences afin d’y solliciter les plus pertinents. Chaque mois, le spécialiste d’un domaine d’émergence, d’une pratique innovante, interviendra sur le Mooc Digital Media de l’EPSAA Ville de Paris. C’est Dominique Moulon, responsable du pôle Digital Media de l’EPSAA, qui coordonne cette plateforme. Sur ce projet, l’EPSAA collabore avec l’équipe de recherche Art & Flux de l’UMR ACTE du CNRS et l’association MCD ayant pour objectif, depuis dix ans, d’informer,promouvoir et accompagner la diffusion des cultures digitales.

infos > www.moocdigitalmedia.paris
newsletter > http://moocdigitalmedia.paris/abonnement/