Les smartphones sont de nouveaux outils pour la rééducation des corps, l’apprentissage des sports et le développement de la motricité.

Au cours de la dernière décennie, le machine learning a permis l’invention des voitures qui roulent seules, d’une reconnaissance vocale pratique, une recherche sur le Web efficace et une compréhension grandement améliorée du génome humain (Lee Bell, Wired 2016).

La performance « Sorcières : danser ensemble avec les Smartphones » à l'ENSCI les Ateliers. YouTube

Avec le machine learning, nous pouvons aujourd’hui apprendre nos gestes à une machine à partir des données transmises par des microcapteurs. Celle-ci sait ensuite les reconnaître, les mémoriser, les interpréter et les partager. Les applications sont nombreuses dans la santé, le sport et en particulier l’éducation.

Un article du journal Le Monde annonçait « Portée par les progrès de l’intelligence artificielle et du traitement du langage naturel, la voix s’impose peu à peu comme la nouvelle interface pour atteindre l’univers numérique ». Ici nous nous posons la question du geste comme autre interface émergente pour atteindre l’univers numérique.

Apprenez à un ordinateur comment vous écrivez R, G et B en bougeant le bras. Il saura ensuite reconnaître ces gestes quand vous les répétez.

Mille milliards de capteurs

Depuis dix ans, les microcapteurs prolifèrent et envahissent nos vies. Ils détectent et mesurent nos mouvements en permanence. Nous le savons : ils comptent nos pas et analysent nos gestes, et même souvent à notre insu. Jusqu’à cent mesures par seconde pour chacun de ces milliards de capteurs dans nos vies. D’un autre côté, les interfaces numériques basées sur des écrans substituent des images au monde réel, nous immergent dans le virtuel et stoppent les mouvements du corps.

Les chutes : les canapés et les lits sont des endroits dangereux

Avec les données collectées grâce à ces microcapteurs du mouvement, traitées par le machine learning en temps réel, nous cherchons à opérer un retour au monde réel : peut-on imaginer un numérique sans écran et sans clavier ? Pourrait-on un jour communiquer par gestes avec nos mobiles ?

Bouger avec des capteurs pour communiquer ?

Un nouvel outil pour la rééducation à domicile

C’est par la rééducation que nous avons abordé la question. Comment toujours mieux accompagner un patient qui revient rapidement chez lui avec une prothèse du genou ou de la hanche ? Cette question a été au cœur d’une collaboration entre le CRI (Centre de Recherches Interdisciplinaires de l’Université Paris Descartes) qui est un centre d’expérimentation et d’innovation pédagogique, et le service de traumatologie de l’Hôpital Lariboisière à Paris.

En collaboration étroite avec le personnel soignant, nous avons conçu un environnement technologique individualisé.

L’application que nous avons créée fait le lien entre les capteurs, le traitement intelligent des données et le design de l’interface qui relie au patient. En pratique, une plaquette sur laquelle on a rassemblé capteurs de Smartphones et Wifi est cousue dans la chaussette ou le vêtement.

Reprendre la marche sous le regard de la technologie (CRI Paris)

Sous le regard d’un kinésithérapeute, le patient fait apprendre à la machine ses postures limites au-delà desquelles un signal retentit pour donner l’alerte. Il peut ainsi pratiquer dans sa vie quotidienne, sous le regard vigilant et bienveillant de cette technologie qui connaît donc ses limites. L’individualisation est un aspect essentiel de cet e-coach.

La mesure du mouvement et le traitement des données présentent un double bénéfice pour le patient. D’abord, grâce une détection très précoce d’un mouvement dangereux et à une alarme immédiate, il augmente sa zone de confiance. Ensuite, celle-ci est d’autant plus élargie que le patient sait les données transmises et analysées par ses soignants si la situation le nécessite.

Augmenter nos gestes pour mieux les apprendre ?

La vidéo ci-dessous montre comment il est possible d’associer tout type de signes ou d’informations numériques aux gestes et aux mouvements. Cet exemple s’appuie sur les travaux du groupe de Frédéric Bevilacqua à l’IRCAM (Institut de Recherche et Coordination Acoustique Musique) à Paris. Que l’IRCAM soit un des acteurs majeurs de cette recherche n’est pas une surprise. Dans la liste de nos gestes les plus fins et les plus difficiles à acquérir, les gestes imposés par les instruments de musique sont au sommet. Et si nous apprenions à faire de la musique en bougeant un Smartphone ?

Interfaces gestuelles pour la musique numérique à l’IRCAM

Avec la Web App COMO produite par l’IRCAM, vous pouvez vous essayer au dialogue avec le machine learning, apprendre vos gestes à votre Smartphone et jouer avec les sons.

Pour le CRI, une question centrale est comment apprendre aujourd’hui ? Comment apprendre à apprendre tant le monde change vite et en profondeur ? Comment construire cette société apprenante ? Réponse de François Taddei, directeur du CRI : en essayant ensemble avec bienveillance et en gardant ce regard étonné sur le monde, celui du chercheur en fait. Nous sommes ici sur ce chemin.

Rien d’étonnant alors, à ce que le CRI Paris se soit emparé de cette technologie dans son Motion Lab, un laboratoire interdisciplinaire qui explore comment l’intelligence artificielle en transformant notre gestuelle, va ouvrir de nouvelles perspectives éducatives. IRCAM et CRI s’emparent donc ici de « la question du geste comme une interface émergente pour atteindre l’univers numérique » sous l’angle des apprentissages et de l’éducation.

Utiliser ces technologies pour l’éducation tout au long de la vie dans un monde devenu massivement numérique est passionnant, mais difficile. Et en fait personne n’est expert en la matière, tant cette rupture technologique nous fait dépasser les schémas de pensée habituels. Comme nous bougeons tous, tout le monde est bienvenu dans le bateau…

Des scientifiques à la danse contemporaine

Il m’a fallu du temps pour comprendre pourquoi se rassemblent autour de l’IRCAM, du CRI et de l’école de design, l’ENSCI Les Ateliers, des chercheurs et des étudiants aux profils très divers : danse contemporaine, informatique bien sûr et robotique, design, pédagogie, textile, physique, mécanique, anthropologie, santé, sports, musique, son… J’aurais dû être plus attentif lors des ateliers, des événements comme une GameJam à Universciences, au cours desquels nous explorons comment mettre en scène ces outils fascinants mais aussi déroutants. J’ai ainsi appris un geste à mon Smartphone. Quand j’ai tenté de le reproduire, cette satanée machine a refusé de le reconnaître. Un danseur présent a refait mon geste et s’est rapidement mis d’accord avec mon Smartphone quant à « mon geste ». Frustrant, mais porteur de sens : demain, nous devrons peut-être réapprendre à bouger, bouger mieux pour mieux communiquer.

Faire attention quand on bouge

Si le geste peut devenir une interface pour atteindre l’univers numérique, c’est donc une nouvelle façon de bouger qui apparaît. Elle nous conduit à porter une attention inhabituelle à des mouvements que nous faisons tous les jours sans y penser. Mais peut-être y pensons-nous surtout, quand nous ne pouvons plus les faire… « L’acrobatie, les exercices d’équilibre, la danse matérialisent dans une large mesure l’effort de soustraction aux chaînes opératoires normales, la recherche d’une création qui brise le cycle quotidien des positions dans l’espace. » disait André Leroi-Gourhan dans Le Geste et la Parole en 1965, dans un monde alors non numérique.

Que la collaboration avec la danse contemporaine se soit rapidement établie dans ces recherches sur le geste et le mouvement, venues de la technologie et de la science, n’est pas vraiment une surprise.

Joel Chevrier, Professeur de physique, Université Grenoble Alpes

La version originale de cet article a été publiée sur The Conversation.