Réveiller votre smartphone à distance, sans le toucher, sans non plus lui parler, seulement en effleurant la table sur laquelle il se trouve. Si votre voisin n’est pas prévenu, il risque d’être surpris par ce réveil soudain et sans cause apparente. Nous avons joué de cette situation à la Cité des Sciences à Paris pour le plaisir et la surprise du public présent : un smartphone normal ne fait pas cela voyons ! On voit pourtant sur la vidéo ci-dessous que si. Essayez donc aussi à votre tour en suivant la démo décrite dans les lignes qui suivent.

Avec cet article, on est dans le « learning by doing » grâce à un numérique revendiqué « sans écran et sans clavier ». Plus de clavier, plus d'écran : le smartphone redevient un objet dans le monde réel avec toutefois une particularité de taille : il mesure en permanence son propre mouvement, nous le donne à percevoir, le mémorise précisément pour toujours et l'utilise aussi pour transmettre de l'information. C'est alors une "baguette magique", et c'est aussi le nom du projet au CRI Paris sur ces questions.

Chaque fois que nous touchons une table, elle se met à vibrer. Plus ou moins bien sûr. Cela dépend de la table. La table de bar en tôle mince est difficile à battre. Expérience faite et refaite. Avec et sans bière sur la table. Cette table est une sorte de cymbale même si on n’entend rien car la fréquence de vibration en question est bien trop basse pour être audible dans les cas courants. Essayez alors ainsi : vous posez la main gauche sur la table et avec la main droite vous grattez la table de plus en plus doucement. A partir de quel moment ne sentez-vous plus la réaction de la table avec la main gauche ? On peut échanger les mains sans conséquence au fait. Notre perception des vibrations est excellente. Dans certains cas, il suffit vraiment d’effleurer la table pour créer une vibration perceptible. Quand on essaie, on reste un peu surpris par nos performances car on y prête habituellement peu attention. En fait, comme le montre le travail de Vincent Hayward à l'Institut des Systèmes Intelligents et de Robotique, les performances de notre sens du toucher constituent toujours un champ de recherche fascinant.

Le smartphone est-il capable de faire aussi bien que nous ? Qui est le meilleur à ce jeu : lui ou nous ? Pour y jouer, des étudiants en design ont développé le projet Scorpion en utilisant les logiciels développés à l’IRCAM par le groupe {SOUND MUSIC MOVEMENT} INTERACTION. Le résultat du projet Scorpion est la web/app : https://apps.cosima.ircam.fr/scorpion qu'il faut ouvrir sur un smatphone (1). Pour y jouer, il faut reprendre la même table sur laquelle on pose le smartphone à côté de la main gauche, avec l’application Scorpion en route et recommencer à effleurer la table en observant le comportement du Smartphone. Quand on ne touche pas, il dort. Quand on touche, son écran s'allume et il émet des sons. Le jeu commence alors pour savoir qui est le meilleur. Parmi les divers testeurs depuis la création de Scorpion et jusqu’à la publication de cet article, les avis divergent. Affaire de circonstances, d’entraînement… ou de table (1) ? En tous cas le smartphone nous oblige à faire attention, à utiliser notre sens du toucher comme finalement nous le faisons rarement.

Une fois passé ce premier essai, on peut se demander que faire avec Scorpion ? La meilleure réponse est certainement « jouer et s’étonner ». Ce fut d’ailleurs le départ du projet. A côté de Good Vibrations (2/3) : Jelly Vibration, la spectaculaire observation des mêmes vibrations mécaniques sans aucune technologie, à côté des installations de Bill Fontana décrites dans Good Vibrations (1/3), où on voit cet artiste jouer avec les résonances par exemple du Millenium Bridge à Londres excité par la circulation des passants, venir jouer grâce au smartphone avec les vibrations de l'environnement et explorer leur comportement, conduit à construire des environnements vibrants. Nous sommes preneurs de toute idée nouvelle l’utilisant.

La vidéo ci-dessus montre comment nous avons mis en scène l’usage de Scorpion à la Cité des Sciences lors de la Game Jam « Mouvements et Smartphones » décrite dans cet article de Makery, J’ai bougé à la gamejam du mouvement au Carrefour numérique. Un peu à ma surprise, Hortense Kack, une danseuse que nous avions invitée, vint nous montrer toute l’élégance qu’il y a à jouer avec ce mur ayant soudainement acquis le sens du toucher grâce au Smartphone. Dialogue d’une danseuse avec ce long mur métallique frissonnant sous sa caresse… Encore plus chouette en direct.

La seconde vidéo, résultat direct du travail des étudiants en design (1), montre comment donner le sens du toucher à notre environnement en le couplant au monde digital par les capteurs de mouvement du Smartphone.

Ainsi, et très simplement, mettre le smartphone dans un bloc de mousse le rend encore plus réactif. Il suffit d’effleurer ce bloc de mousse pour que le smartphone à l’intérieur s’éclaire et crie. Tellement susceptible. L’appel de Marcel Duchamp à faire une loupe du toucher vient ici à l’esprit. On la voit citer dans la seconde vidéo. Merci à ces étudiants en Design à l’ENSCI Les Ateliers et à l’école d'art et de design de Grenoble et de Valence, l'ESAD Grenoble-Valence qui ont créé Scorpion et ont construit cette installation (2). Ils m’ont montré au cours d’un workshop que nous organisions à l’école de design, ENSCI Les Ateliers, comment on pouvait rendre ce jeu avec le monde inerte autour de nous, si vivant. Très surprenant. Fascinant même. Nous devrions refaire cette installation. Voir encore la vidéo ci dessus.

Si Hortense Kack a montré tout le parti qu’elle pouvait tirer de cette danse contre ce mur vibrant, devenu si réactif, presque vivant, Marion Voillot, jeune designeuse qui réfléchit à l’utilisation des outils numériques dans les apprentissages chez les tous petits a vu dans cette installation comment l’expérimenter avec des enfants pour un projet éducatif lors de son travail de recherche en Master à l'ENSCI Les Ateliers. C’est bien sûr encore exploratoire mais tout de même étonnant et prometteur. Les mots clés sont le toucher, les textures comme le souligne l’usage de la mousse, un smartphone qui réagit à de très faibles sollicitations qu’il faut contrôler. Surprise pour les enfants : le smartphone peut aussi faire ça ! Il devient ici un outil numérique « sans écran et sans clavier », dont l’usage dans ces conditions est paradoxal comparé à son usage quotidien habituel. Il est mis au service de la pédagogie en s’échappant de ce numérique qui irrite avec raison les enseignants en mettant ses écrans omniprésents entre des enfants passifs et le monde réel (3). Cette exploration (4) a ce mérite de remettre le monde réel au centre de notre perception, de notre vie. L'outil numérique vient augmenter notre sens du toucher en lui permettant d’associer l’expérience tactile avec du son et de la lumière en temps réel.

Et finalement, remontant des usages de Scorpion, à la création de Scorpion, je reviens finalement à la source de Scorpion : la mesure des vibrations ambiantes (5).

De cette mesure des vibrations sort Scorpion qui permet à Hortense Kack ou à Marion Voillot de construire alors des scénarios d’utilisation divers. En jouant avec Scorpion, on s’aperçoit ainsi que des trucs transmettent bien les vibrations et d’autres pas ou peu. Très vite, on fait alors de la physique : on attache le smartphone à l’extrémité d’une règle en plastique dont on bloque l’autre bout. Très vite, on revient ainsi aux données de l’accéléromètre à la source de Scorpion. Très vite, on analyse ces données : l’amplitude de vibration en fonction du temps A(t) révèle la fréquence de résonance de la règle, et le temps d’amortissement de cette vibration.

Très vite on se retrouve donc dans le chapitre « Vibrations » du cours de 1ere année d’université à sonder expérimentalement le modèle de l’oscillateur harmonique amorti, un des plus célèbres, des plus importants de toute la physique avec son équation différentielle caractéristique :

Et finalement, je me dis que le chapitre Vibration du MOOC Smartphone Pocket Lab devrait être construit suivant le plan de cet article grâce à Scorpion (5,6).

>> Notes

1- C'est grâce aux participants d'un Workshop en avril 2016 à l'ENSCI Les Ateliers autour des gestes, du mouvement et des Smartphones que le projet Scorpion a vu le jour. Ont travaillé avec les étudiants en design Alexis Boscariol, Joahn Chanéac, Cinzia Scarsi et Sarah Woodhouse, l'anthropologue et "performant artist" Anne Dubos, le designer Loic Lobet, l'artiste-développeur Florent Deloison, Frédéric Bevilacqua, Norbert Schnell, Benjamin Matuszewski, chercheurs à l'IRCAM et moi-même, professeur de physique. Et en fait, nous étions très heureux d'avoir réuni tout ce monde, toutes ces approches. Ce doit être ce que l'on appelle une démarche de projet interdisciplinaire.

Ce projet Scorpion a donc vu le jour grâce au soutien de l’Agence Nationale de la Recherche (ANR) à travers le financement de deux projets distincts : COSIMA du côté de l’IRCAM et DESCITECH de mon côté. Il est donc né lors d’un workshop d’une semaine à l’ENSCI Les Ateliers « Smartphones, geste et mouvements ». La question posée aux étudiants était : « Que faire avec un smartphone sans regarder l’écran et sans utiliser le clavier ? » Le faire bouger donc. Bien sûr. C'est à peu près ce qu'il reste à faire. Grâce aux capteurs de mouvement, ce mouvement bien réel se transmet au monde digital virtuel. Scorpion fut une des 5 propositions faites par les étudiants et que l’on peut retrouver sur la playlist Youtube Smartphones et Mouvements.

2- L'adresse sur votre Smartphone est https://apps.cosima.ircam.fr/scorpion/conductor. Vous pouvez alors régler la sensibilité du smartphone. Pas trop bas le premier seuil, qui est justement le seuil bas, sinon le bruit ambiant, cette vibration du monde toujours présente va tout noyer à moins que ne soit le bruit interne du smartphone lui-même. Dans tous les cas, si le seuil bas est trop... bas, la sensibilité est trop grande et le smartphone détecte en permanence des vibrations. Dans ces conditions, on est rapidement lassé. Il faut trouver cette valeur du seuil autour de 0,1 pour laquelle rien ne se passe quand on ne touche rien, et le Smartphone reste tranquille mais pour laquelle aussi le moindre contact le réveille. Le jeu commence alors: qui est le meilleur ?

3-Les mises en garde abondent venant de toutes parts. Citons ici comme seule référence parmi un grand nombre le récent rapport de l'académie des sciences dont j'extrais :

"Les tablettes visuelles et tactiles peuvent être utiles au développement sensori-moteur du jeune enfant, même si elles présentent aussi le risque de l’écarter d’autres activités physiques et socio-émotionnelles multiples, indispensables à cet âge. Le tout jeune enfant a, en effet, besoin de mettre d’abord en place des repères spatiaux et temporels articulés sur le réel. Il construit ses repères spatiaux à travers toutes les interactions avec l’environnement qui impliquent son corps et ses sens (toucher, voir, entendre, bouger, etc.). Il construit ses repères temporels à travers les événements qu’il vit et les histoires qu’on lui raconte. Les outils visuels et tactiles participeront d’autant mieux à l’éveil cognitif précoce du bébé que leur usage sera accompagné, sous forme ludique, par les parents, les grands-parents ou les enfants plus âgés de la famille. Dans ce cadre éducatif, les tablettes numériques – en complément des tables d’éveil multisensorielles classiques – peuvent donc être un objet d’exploration et d’apprentissage parmi les autres objets du monde réel, des plus simples (peluches, cubes en bois colorés, hochets) aux plus élaborés technologiquement."

4- Il s'agit donc d'explorer un potentiel éducatif que l'usage normal des Smartphones et des tablettes ne met pas en avant. Peut être bizarre à énoncer, mais il reste que ces appareils n'ont pas été construit d'abord pour l'éducation des enfants. On découvre les conséquences et de nouveaux usages en marchant en fait alors ces appareils ont rapidement imposé leur présence massive et incontournable sur cette planète. Marion Voillot ne fait ici que effleurer cette idée de l'usage innovant, en rupture, du numérique au service du développement des enfants. Le but de ce projet à la fois ambitieux, difficile et passionnant est bien ici de détourner ce numérique, de le hacker, pour le mettre au service des projets éducatifs. Un voyage de mille lieues commence toujours par un premier pas, n'est ce pas !

5- Car physicien un jour, physicien toujours... Pas toujours avec succès d'ailleurs... comme le montre ce Making of du MOOC Smartphone Pocket Lab. Les expériences les plus immédiates ratent aussi.

6- Au fait, Scorpion s’appelle Scorpion car il copie la stratégie de chasse des scorpions dans le désert du Moraje telle que l’ont rapporté il y a environ 15 ans, deux chercheurs Philip H. Brownell (Department of Zoology, Oregon State University Corvallis, USA) et J. Leo van Hemmen (Physik Department, TU Munich, Germany). Un documentaire de la BBC construit à partir de leur travail le montre remarquablement bien . Très surprenant.