La fusion des mouvements sur Smartphone

Imaginez : vous jouez à deux en additionnant  vos mouvements en temps réel. MassAffect le fait, il ajoute instantanément ces deux mouvements et ça fait un jeu !

Pourtant, si on pense un instant, ajouter deux mouvements, c’est impossible. Ça n’existe simplement pas. C’est donc une proposition irréaliste ? Oui, dans la vie courante en tous cas, et sauf en mathématiques, où manipuler cette somme conduit à jouer avec le centre de masse. Le centre de masse, ou encore barycentre, est ici le point milieu entre les positions des deux joueurs en mouvement.

Images du premier prototype programmé à partir de l’idée initiale en 2015 par Maxime Bouton. Le point à gauche du joueur 1 laisse la trace rouge. Le point à droite du joueur 2 laisse la trace verte. Le point au centre (1+2) laisse en temps réel la trace grise, il est à chaque instant le point milieu de 1 et 2. Imaginez, les combinaisons sont infinies. Elles sont aussi étonnantes.

Mais avec le jeu MassAffect, il n'est pas nécessaire de faire des maths pour jouer avec le barycentre. « Come as you are ! » Il suffit de venir comme vous êtes.

Entrez sur le terrain de jeu, en fait l’écran de votre smartphone connecté à celui de votre partenaire par Wifi, et voyons ensemble comment vous apprenez à bouger ensemble pour contrôler ce barycentre, somme de vos mouvements dans l’espace.

Deux vidéos qui permettent de voir comment est né le jeu pendant le confinement.

Pour jouer vous-même, charger l’appli MassAffect produite par Paul Peter Arslan sur Google Play. Retrouver l’appli dans Google Play. 

On peut penser à différentes réalisations de MassAffect : sur les écrans de deux smartphones ou de deux tablettes, dans l’espace réel d’un gymnase connecté, dans un espace virtuel en utilisant la réalité virtuelle VR… On peut faire varier à l’infini les règles du jeu dans MassAffect. Mais le défi proposé par MassAffect reste toujours le même : dessiner à deux, simultanément, en manipulant, en temps réel, le barycentre de deux points. La trajectoire du barycentre est le résultat d’une improvisation conjointe à deux. Le mouvement du barycentre est manipulé par les deux joueurs, chacun sur son écran. C’est simple et c’est étonnamment fascinant ! Essayons de voir pourquoi !

Introduction

On le voit dans les vidéos ci-dessus, vous contrôlez d’un doigt le mouvement du point à droite. Votre partenaire, le mouvement du point à gauche. MassAffect fait la somme de votre mouvement et de celui de votre partenaire de jeu. Le résultat visible simultanément sur les 2 écrans est le mouvement du point milieu, somme du mouvement des deux autres points. Et si la règle du jeu, que vous avez choisie, dit « le point à gauche et le point à droite se déplacent obligatoirement sur un même cercle », est-il possible de faire tracer un carré à leur point milieu ? La réponse est oui. Mais il faut bien se coordonner.

Mais revenons au départ : peut-on parler de la somme de deux mouvements ? Cela existe-il ? Est-ce courant ? Dans la vie quotidienne, nous pensons que cela n’existe pas. Les mouvements ne s’ajoutent pas. En maths, en revanche, faire la somme de deux mouvements est sinon évident, en tous cas, très clair. Si vous connaissez les maths associées, il n’y a aucune ambiguïté dans cette équation vectorielle :

A est la position du premier joueur. B celle du second. G est la position du barycentre, ici simplement le point milieu. Les concepts de barycentre ou de centre de masse sont faits pour cela. Le point G n’est pas autre chose que la représentation graphique sur l’écran du barycentre du point A, et du point B.

« Come as you are ! ». Il n’est pas besoin d’être géomètre !

Mais pour jouer avec MassAffect, il n'est pas nécessaire d'être un matheux ou un physicien fanatique. Pas du tout. C’est au contraire, peut être un avantage que de ne pas l’être. Vous nous direz si vous y jouez. Rentrez comme vous êtes tous les deux sur le terrain constitué par les écrans de vos deux smartphones. Le jeu vous accueille. Montrez-nous comment vous créer une équipe étonnante qui invente sa façon de jouer. De fait, ce jeu est original. Personne ne sait encore quelles sont les meilleures stratégies. On peut même inventer une multitude de nouveaux scénarios de jeu, ou Gameplays. Comment les joueurs vont-ils développer les meilleures stratégies pour jouer à MassAffect ? Comment coordonner les mouvements pour qu’il n’y ait pas d’erreur, de fausse route dans la trajectoire du point milieu ?

Nous avons construit MassAffect. Nous en proposons une première version avec des choix empiriques. Mais, finalement, nous avons hâte de découvrir comment vous jouez à MassAffect.

L’improvisation conjointe pour créer

Nous ne sommes pas les seuls, et pas les premiers, à nous être posé ce genre de question. MassAffect rappelle cette étude de 2011 intitulée :

“Le jeu du miroir comme paradigme pour étudier la dynamique de deux personnes improvisant ensemble un mouvement”

D’après les auteurs dans l’article mentionné : « Un jeu de miroir unidimensionnel montre des mouvements improvisés complexes et coordonnés. Dans le jeu du miroir, le mouvement des deux joueurs déplaçant des poignées sur des pistes, est échantillonné à 50 Hz et à une résolution spatiale de 0,94 mm. » Image issue de l’article. 

Ariel Lindner, chercheur INSERM, et alors directeur de la recherche au CRI Paris, nous a fait découvrir cette recherche après que nous ayons créé MassAffect. Elle a été menée par des chercheurs du Weizman Institute of Science (Israël) et de la Harvard Medical School (USA). La règle dans ce jeu est construite sur un effet miroir : les joueurs se copient l’un l’autre. C’est aussi une règle mathématique, ici basée sur une symétrie.

« L'improvisation conjointe est l'action créative de deux ou plusieurs personnes sans scénario ni chef désigné. Les exemples comprennent l'improvisation, le théâtre et la musique, et les activités quotidiennes telles que les conversations. Dans l'improvisation conjointe, une action nouvelle est créée, issue de l'interaction entre les personnes… Nous avons mesuré les mouvements des mains de deux personnes se copiant l'une l’autre, avec une haute résolution temporelle et spatiale. Nous nous sommes concentrés sur des acteurs et des musiciens experts en improvisation conjointe. Nous avons découvert que les acteurs peuvent créer conjointement des mouvements complexes inédits sans chef désigné, synchronisés à moins de 40 ms. »

Une des leçons de cette étude de l’improvisation conjointe est qu’il ne faut pas désigner un leader. Dans cette improvisation, il vaut mieux collaborer en temps réel. A priori, MassAffect met les joueurs dans des conditions similaires. En tous cas, c’est une des questions.

Bref retour en arrière. Dans leur article “The mirror game as a paradigm for studying the dynamics of two people improvising motion together” dans la revue Proceedings of the National Academy of Sciences en 2011, Lior Noy, Erez Dekel et Uri Alon commencent leur introduction par : « Joint improvisation is the creative action of two or more people without a script or designated leader. » Nous avons donc traduit “joint improvisation” par « improvisation conjointe » qui nous a paru la bonne traduction pour notre propos. Au passage, cette phrase qui démarre leur article est parfaite pour décrire le potentiel de MassAffect !

Naissance de MassAffect : un atelier Sciences&Design

Au printemps 2015, nous avions organisé un atelier avec des étudiants en design dans le cadre d’une collaboration entre l’Ecole Supérieure d’Art et de Design, l’ESAD Grenoble-Valence et l’Université Grenoble Alpes. Nous avions décidé d’explorer le mouvement et le geste à partir des capteurs des smartphones. Nos téléphones embarquent tous les capteurs nécessaires à cette mesure qu’ils effectuent toutes les 10 msec, plus vite en fait que dans l’expérience menée en Israël.

Entrer dans une collaboration science et design est toujours étonnant, voire détonnant. Sans réelle surprise si l’on suit la designer matali crasset qui a souligné en août 2020, dans l’émission de France Inter « le design est partout » :

« Le design est une capacité qui doit combiner un sens critique, une créativité et un sens pratique ».

Sur un sujet aussi large que celui que nous avions choisi, donc assez mal défini, la résonance entre science et design est forte mais la tension s'installe. Et en pratique, ça a plutôt mal démarré. Comment 5 étudiants en design et un professeur de physique pouvaient-ils se comprendre, et travailler ensemble ? En fait nous l’avions fait exprès. C’est bien plus intéressant, et aussi bien plus amusant. Mais il a quand même fallu vite préciser. Fortement. Et la combinaison des mouvements s’est installée au centre du jeu. L'un des étudiants, Maxime Bouton maintenant un designer, a fini de faire sauter le verrou avec un embryon de jeu : « je bouge le point de droite sur mon écran, tu bouges le point de gauche sur le tien. Le point milieu est le résultat, à chaque instant. Simple. Il faudra pourtant un moment au professeur de physique pour réaliser que Maxime a construit cette proposition sans référence au barycentre qu’il n'avait jamais appris, ou complètement oublié. Sans importance puisqu'il a retrouvé la notion et certaines de ses propriétés en jouant sur un écran avec un point à droite, un point à gauche et un point au milieu. Au moment de cet atelier, MassAffect ne s’appelle pas encore MassAffect ainsi mais il a été créé.

MassAffect en action !

La surprise issue de la proposition de Maxime est la découverte immédiate de l'immense espace de jeu qui s’ouvre. Quand on bouge le point de droite et le point de gauche en même temps mais indépendamment, le point du milieu dessine des formes inattendues et pas si simple à appréhender. Au passage, il nous semble évident que le point milieu peut tracer n'importe quelle frontière fermée sur l'écran quand les points de droite et de gauche sont eux astreints à se déplacer sur une frontière fermée quelconque. Il nous semble que c’est évident à partir de nombreux exemples testés. Mais aucun d'entre nous n'a regardé sérieusement si le résultat est à ce point général. Si vous avez une démonstration, nous vous en remercions !

Quel Gameplay ?

La notion de Gameplay est essentielle lorsque on travaille à la création de jeux numériques. Elle peut être définie en suivant Marc Goetzmann et Thibaud Zuppinger (2016) :

« le Gameplay est l'articulation entre le game, les structures et règles de jeu, et le play, la façon dont le joueur s'approprie les possibilités du jeu en mettant au point ses propres stratégies, pour répondre aux contraintes que les règles « constitutives » du jeu lui imposent»

Suivant cette définition, une multitude de Gameplays encadrant les mouvements du point milieu sont possibles dans MassAffect. Mais dans tous les cas, le défi central proposé par MassAffect, reste de réussir cette improvisation conjointe : dessiner à deux en temps réel, en se coordonnant avec précision pour atteindre le but proposé.

Dans ce gif, c’est la croix rouge représentée immobile ici (elle tourne en fait autour du soleil) qui est le centre de masse de la planète Pluton et de son satellite Charon. Le grand disque représente Pluton et le petit Charon. Le gameplay Pluton-Charon est très bien défini par le mouvement de cette planète et de son satellite.

Voir ici le mouvement de Platon et Charon : https://fr.wikipedia.org/wiki/Barycentre#/media/Fichier:Orbit2.gif 

Garder le barycentre fixe alors que les deux points, celui de droite et celui de gauche, bougent, est donc un des Gameplays possibles du jeu MassAffect : comment les points ici haut et bas peuvent-ils bouger sans que le point milieu ne bouge ?

MassAffect, un design épuré. On pense à Pong

Le Pong de Nolan Bushnell et Allan Alcorn est universellement connu depuis les années 70. Il est toujours resté d’un design graphique très frugal. Il apparait le plus sommaire, le plus simple et le plus immédiat possible. Cela a probablement contribué à son succès mondial. La vidéo de MassAffect plus haut dans l’article montre notre volonté d’un graphisme très épuré et d’un gameplay évident. Tout est volontairement gratuit et ouvert. Et nous sommes friands de retours, d'une part sur la façon de jouer en suivant les Gameplays développés.

Pong oppose, MassAffect associe

Le principe fondamental de Mass Affect est finalement aussi élémentaire que celui de Pong. Mais Pong est comme le tennis ou le ping-pong. Bien sûr, on y joue à deux et on collabore mais c’est d’abord à travers l’opposition que s’installe la collaboration. C’est bien plus excitant si les deux joueurs sont du même niveau et se posent des problèmes l’un à l’autre. Mais à la fin, et même avec élégance, il y a un gagnant et un perdant. Dans MassAffect, il n’y a pas de gagnant ni de perdant. On ne peut jouer qu’avec. Pas contre. On improvise ensemble à chaque instant. On découvre et on apprend ensemble. Cela nous semble une différence fondamentale. En suivant le résultat de l’étude israélo-américaine, on peut penser que jouer à MassAffect en cherchant à installer un leader et un suiveur est contreproductif notamment si le Gameplay favorise la rapidité. Cette étude soulignait en 2011 :

« Bien qu'elle soit au cœur des processus créatifs et de l'interaction sociale, l'improvisation conjointe reste largement inexplorée en raison du manque de paradigmes expérimentaux. »

MassAffect constitue un nouveau paradigme pour explorer les modalités et les conditions de l’émergence de l’improvisation conjointe. Comme pour Pong, la règle de base est évidente mais comment on en fait un jeu à la fois engageant, dans lequel on progresse à deux en collaborant et en pratiquant, est à nos yeux une question ouverte. Et terriblement excitante.

MassAffect et l’apprentissage des maths

Une autre interrogation ouverte : quand on joue à MassAffect, est-il plus intéressant de revenir à des constructions géométriques du barycentre pour étudier les meilleures stratégies de jeu, ou est-il préférable de se fier à son intuition ? Il nous semble, par expérience, que dans le cas où les deux joueurs doivent déplacer des points sur le même cercle, avoir en tête la construction géométrique associé au barycentre de deux points sur le cercle est utile pour jouer. Vite notamment. Ce Gameplay est proposé dans la version 1 de MassAffect. Mais d’autres situations pourtant aussi simples à énoncer nous laissent perplexe à cet égard. Si le point de droite et le point de gauche doivent se déplacer sur un carré, comment les joueurs les déplacent-ils pour que le point milieu trace un cercle ? Nous ne savons pas si avoir une réflexion « théorique » associée au jeu pour mieux contrôler à deux le déplacement du point milieu est un avantage ou pas. Cela doit aussi dépendre des joueurs. Faut-il préciser que, dans le cas général, à cet instant, nous n’avons aucun élément qui nous permette d’anticiper les stratégies de collaboration et d’apprentissage des joueurs en fonction du Gameplay. Nous pensons que pour tout le monde, joueurs, concepteurs, designers voire pédagogues, le mieux sera d’essayer en jouant. Un double jeu s’installera... Les joueurs sont dans la partie proposée par le Gameplay et tentent d’improviser ensemble. Les concepteurs du Gameplay observent les joueurs, scrutent leur façon d’apprendre et de collaborer. Ils jouent avec les joueurs. On pourrait même imaginer donner la liberté aux joueurs de changer complétement le jeu entre deux parties. MassAffect pourrait être seulement un jeu, ou d’abord un outil d’exploration et d’apprentissage de notions mathématiques ou bien les deux ensembles. Cela doit dépendre du design, des objectifs du Gameplay et bien sûr des joueurs…

Peut-on improviser avec le centre de masse « pour de vrai », et pas sur un écran ? Yoann Bourgeois l’a fait.

La Mécanique de l'histoire "Equilibre" au Panthéon de Yoann Bourgeois

Comment créer les conditions matérielles conduisant à cette improvisation conjointe des mouvements de deux danseurs ? Le chorégraphe et circassien Yoann Bourgeois répond en jouant avec la position du centre de masse des danseurs. Yoann Bourgeois et sa compagnie ont inventé ce dispositif il y a bien des années. Comme la règle point milieu du point de droite-point de gauche, le principe en est fort simple. Le dispositif est un vaste plateau en bois posé en son centre sur un seul point articulé comme le montre la vidéo. Laisser seul, le plateau s’immobilise avec un de ses côtés au sol. Les danseurs, une fois installés dessus, doivent en permanence chercher cet équilibre précaire dans toutes leurs évolutions : le centre de masse de l’ensemble plateau et danseurs, doit être à tout instant confondu avec l’unique point d’appui. Sinon, c’est la chute ! Des écarts sont possibles mais il faut compenser très vite par des déplacements coordonnés. C’est bien une improvisation conjointe des danseurs. Le système est si sensible, si précis qu’il n’est pas possible aux danseurs, de coordonner leurs mouvements à l’avance. Le couple sur le plateau a pour but de se trouver à la fin en équilibre, l’un à face de l’autre. Alors ils peuvent enfin se regarder.

Ce spectacle de la compagnie de Yoann Bourgeois est pour nous une source d’inspiration importante. On pourrait même voir MassAffect comme un simulateur très simplifié de ce dispositif.

L’équilibre précaire et l’interaction dans l’improvisation conjointe

Le dispositif de Yoann Bourgeois vient souligner que cette étude de l’improvisation conjointe associe une exploration des modalités de l’interaction en temps réel entre les partenaires, ici les danseurs sur le plateau. Dans ce dispositif et ce spectacle, le choix est radical. C’est la règle du jeu : ni l'un ni l'autre ne peuvent se regarder, se parler ou se toucher. Le plateau est le seul canal de communication en temps réel entre eux. C’est la proprioception qui est ici utilisée. Elle permet de détecter les très faibles déséquilibres du plateau qu’il faut en permanence corriger par des mouvements du corps. Les deux danseurs construisent leur couple et leurs évolutions à partir de cette seule information, de cette seule contrainte. A l’interrogation de l’étude israélo-américaine, la compagnie Yoann Bourgeois apporte un nouveau paradigme expérimental d’interaction grâce à ce plateau mobile. Il permet la seule mise en œuvre de la proprioception. Elle vient conditionner l’improvisation conjointe et se met au cœur des processus créatifs et de l'interaction sociale ainsi créée. Dans son documentaire « Notre véritable 6e sens », Vincent Amouroux met en perspective l’importance de la proprioception dans le travail de Yoann Bourgeois, et ses résonnances avec les recherches en cours sur le sujet dans les laboratoires universitaires.

MassAffect au-delà des écrans

Notre première version de MassAffect construit sur les écrans une représentation tangible d’une notion mathématique totalement abstraite, le barycentre. Les mathématiques permettent de construire ces images, mais, en fait par définition, elles se passent très bien de ce type de représentation. Les outils mathématiques comme les symboles, les définitions, les fonctions, les opérations logiques… sont des véhicules de partage des notions et de leur manipulation conjointe d’une rigueur absolue.

Pour le plaisir et l’illustration, si G est le barycentre de {(A,a),(B,b)} alors pour tout point M du plan, on a la relation :

On peut illustrer cette équation par un dessin avec des flèches et des points dans le plan. Ou pas. Les dessins, ou toute forme de représentation graphique, facilitent certes l’échange et la compréhension, et quelquefois grandement, mais ils ne sont pas essentiels.

Des jeux comme MassAffect permettent de jouer dans l’espace des écrans avec des règles mathématiques. A partir de ces représentations, c’est la perception humaine en temps réel qui prend le relais pour jouer. MassAffect peut ainsi être d’une part un chemin pour explorer l’improvisation conjointe sur la base de canaux de perception et de partage d’informations sélectionnés par le Gameplay (on pourrait par exemple considérer aussi le son et les vibrations), mais il peut aussi être un premier bout de chemin pour explorer dans le monde réel des notions mathématiques abstraites à partie de leur représentation sur écran. C’est aussi une autre exploration que de voir si cette démarche permet de nouvelles approches pédagogiques.

Le corps en mouvement et MassAffect

Yoann Bourgeois met le corps en mouvement au centre de l’improvisation conjointe. Pas la version beta de MassAffect présentée ici puisqu’elle est sur écran, ce qui ne met pas le corps en mouvement. Avec Renaud Bastien maintenant chercheur CNRS à Toulouse et Adrien Husson, designer ingénieur, nous avons envisagé deux autres versions de MassAffect. L’une en Réalité Virtuelle et l’autre dans un Gymnase Connecté. Dans les deux cas, l’improvisation conjointe devient mouvements des corps. Jusqu’à courir à perdre haleine.

Une dernière version que nous gardons aussi en réserve utilisera le GPS des Smartphones : quelques soient les déplacements des joueurs, le barycentre doit rester sur le parvis de Notre Dame de Paris, ou sous l’Ombrière du Vieux Port à Marseille, ou sur la Mairie d’un village. Selon le terrain, bon courage ! A Marseille, si l’un est monté jusqu’à Notre Dame de la Garde, l’autre se trouve quelque part sur le Campus Saint Charles de l’Université Aix-Marseille…

Et pour ne pas conclure : jouer à MassAffect avec une IA pour partenaire ?

Avantage immédiat : la question n’est pas de savoir qui va gagner ? Il n’y a pas de gagnant à MassAffect, mais plutôt le plaisir de l’échange et de la collaboration pour faire ensemble. Paul Peter Arslan a proposé d’associer une IA à un joueur humain. L’IA et le joueur humain apprennent ensemble et tentent de s’installer dans l’improvisation conjointe. Donc l’IA doit aussi apprendre l’improvisation avec ce joueur humain si l’on reprend le paradigme énoncé ci-dessus : « L'improvisation conjointe est l'action créative de deux ou plusieurs personnes sans scénario ni chef désigné. » avec la découverte associée : « Nous avons découvert que les acteurs peuvent créer conjointement des mouvements complexes inédits sans chef désigné, synchronisés à moins de 40 ms. »

Dans cette possible collaboration en temps réel entre une IA et un humain, qui apprennent ensemble le jeu et la façon de jouer de l’autre pour toujours progresser, il y a un champ d’exploration très excitant !

Crédits

MassAffect se construit sur une idée originale du designer Maxime Bouton à Valence en 2015.

Les développements du jeu ici présentés sont le résultat du travail de Paul Peter Arslan, un projet au DVIC pendant un des confinements Covid.

Entre le printemps 2015 et les confinements Covid, nous avons construit différentes versions de MassAffect, dont certaines très sophistiquées comme celle-ci résultat d’un projet au Centre de Recherches Interdisciplinaires (CRI Paris) de l’Université Paris Cité.