Newtech
Quand l’IA cherche à décoder les pensées de notre cerveau
Par Xavier Biseul, publié le 12 décembre 2023
Des algorithmes ont pu reproduire, avec plus ou moins de fidélité, les photographies, les histoires ou les chansons présentées à des volontaires grâce à l’analyse de leur activité cérébrale. Ces derniers mois, les expérimentations portant sur ces « décodeurs » se multiplient. Décoder les pensées, c’est possible.
On connaît la capacité des grands modèles de langage (LLM) à générer des textes ou des images à partir d’un prompt. Et si l’étape suivante consistait à se dispenser de cette phase de formalisation d’une requête, l’IA venant directement se « brancher » à notre cerveau pour lire dans nos « pensées » ?
Mi-octobre, une équipe de chercheurs de Meta AI, basée à Paris, faisait savoir qu’elle avait mis au point des algorithmes permettant de reconstituer avec une certaine fidélité des photographies projetées à des volontaires en se fondant sur l’analyse de leur activité cérébrale.
Les jeux de données servant à cette expérimentation ont été obtenus par magnétoencéphalographie (MEG) ou par imagerie par résonance magnétique fonctionnelle (IRMf). Les données ont été soumises à un modèle de « décodage » qui interprète les champs magnétiques produits par notre cerveau et les traduit sous forme de représentations visuelles. Si la ressemblance entre la photo présentée aux volontaires et sa représentation prédictive n’est pas parfaite, l’effet waouh est réel. Comme les exemples le montrent ci-contre, l’IA a su générer des images plausibles reprenant l’essentiel de la composition des images originales.
À gauche l’image vue par les cobayes, à droite celle prédite par le système mis au point par les chercheurs. Selon Meta, le système fonctionne en temps réel, faisant apparaître progressivement l’image prédite.
L’initiative du laboratoire de recherche dans l’IA de Meta n’est pas isolée. En mars dernier, deux chercheurs japonais de l’Université d’Osaka ont réussi, eux aussi, à générer des images – nettement plus approximatives – en couplant l’IA générative de Stable Diffusion à l’analyse par IRMf (le f signifiant ici fonctionnelle cérébrale) des zones de cerveau activées lors de la présentation des photos.
Le décodage de l’activité cérébrale par l’IA se prête à d’autres domaines, dont celui de la parole. Dans une publication parue en mai dans Nature Neuroscience, une équipe de l’Université d’Austin a tenté avec son « décodeur » de retranscrire en texte le récit imaginé par les volontaires ou le visionnage par ces derniers d’une vidéo silencieuse. Il reconstruit le langage à partir « de représentations sémantiques corticales » enregistrées à l’aide de l’IRMf. Sans être aussi convaincante que dans le précédent cas d’usage, l’IA a pu retrouver le sens général du récit, ou du moins déceler des mots-clés. L’article insiste sur la nécessaire coopération du sujet, notamment pour entraîner le modèle.
Début octobre, une équipe de chercheurs français issus essentiellement de Meta AI dévoilait dans Nature Machine Intelligence les résultats d’une autre étude portant sur le décodage du langage auprès de 75 volontaires. Pendant qu’ils écoutaient des histoires courtes et des phrases isolées, leur activité cérébrale était captée par des dispositifs de magnétoencéphalographie ou d’électroencéphalographie. L’équipe a obtenu un taux de précision allant jusqu’ à 41 % pour la moyenne des participants, et même 80 % pour les meilleurs contributeurs.
Une autre IA, conçue par des chercheurs de l’université de Berkeley, est parvenue à reconstituer la rythmique et quelques mots difficilement discernables de la chanson Another Brick in the Wall, Part 1 de Pink Floyd, à partir de l’analyse de l’activité électrique cérébrale de 29 patients.
Toutes ces avancées présentent un intérêt médical prometteur. Elles pourraient à terme permettre à des personnes souffrant d’un handicap moteur ou victimes d’un AVC ou d’une maladie neurodégénérative de pouvoir communiquer de nouveau.
À LIRE AUSSI :
À LIRE AUSSI :
