Data / IA
Des réseaux de neurones dans un simple PC
Par Pierre Berlemont, publié le 30 mars 2023
En s’inspirant au plus près du fonctionnement du cerveau humain, des chercheurs de l’Université Côte d’Azur ont créé un réseau de neurones artificiels plus efficace au niveau des calculs et plus sobre en énergie.
Les réseaux de neurones artificiels ont été à l’origine de la naissance de l’intelligence artificielle, suite aux travaux dans les années 40 de Warren McCulloch et Walter Pitts. Leur objectif ultime est de reproduire avec un ordinateur le fonctionnement du cerveau humain et de ses 85 milliards de neurones, reliés entre eux par des synapses (1 000 à 10 000 pour chaque neurone du cortex) qui génèrent jusqu’à 100 000 milliards de signaux synaptiques par seconde.
Les réseaux artificiels, qui émettent à l’image de leur modèle humain des signaux pour transporter l’information entre leurs couches de neurones, ont donc des besoins de calcul considérables, ce qui s’est traduit jusqu’ici par l’utilisation de larges fermes de serveurs effectuant des calculs en parallèle, de manière synchrone.
Une des conséquences de ce choix d’architecture a priori logique, est donc une énorme consommation d’énergie, environ un million de kWh par mois par exemple pour un traitement naturel du langage comportant 10 processeurs, soit de l’ordre de 100 000 fois plus qu’avec le cerveau humain.
Le traitement parallèle requestionné
À la recherche de nouvelles options, Alexandre Muzy et Patricia Reynaud-Bouret, respectivement directeur adjoint de l’Institut NeuroMod à l’Université Côte d’Azur et directrice de recherche au Laboratoire Jean-Alexandre Dieudonné de cette même université, se sont efforcés de mieux simuler l’activité cérébrale chez l’être humain, plus précisément celle du néocortex, lequel représente 80 % du cerveau humain et est notamment en charge de la perception de l’environnement et des fonctions cognitives.
À LIRE AUSSI :
Son activité est en effet hétérogène : seulement 10 % des neurones du néocortex fonctionnent en même temps. Et il est extrêmement rare que deux neurones envoient simultanément un signal électrique. Autrement dit, du point de vue informatique, le traitement en parallèle n’est pas le plus adapté.
Les chercheurs ont alors développé un algorithme séquentiel, dénommé ATiTA(P) – Actitivity Tracking with Time Asynchrony and Procedural connectivity – avec lequel les calculs sont réalisés neurone après neurone. Les performances obtenues sont intéressantes : des calculs mettant en jeu un million de neurones artificiels connectés par un milliard de synapses ne prennent ainsi que quelques minutes sur un PC de bureau en mono threading.
Ceci est d’autant plus prometteur que la taille du réseau testé est déjà comparable à celle de l’hippocampe humain, une partie du lobe temporal du cortex cérébral qui joue un rôle crucial dans le traitement spatial et la navigation, ainsi que le stockage des souvenirs à long terme.
Ce temps de calcul avec l’algorithme mis au point croît linéairement avec le nombre de neurones, tout comme la mémoire vive nécessaire. « La prochaine étape est d’utiliser cet algorithme sur un ordinateur très puissant pour s’approcher de la simulation d’un cerveau dans son intégralité », espère Alexandre Muzy.
Les réseaux de neurones bio-inspirés
Une avancée importante des chercheurs de l’Institut NeuroMod réside dans la faible consommation énergétique de leur algorithme. C’est important dans un contexte d’émergence de l’IoT, qui génère une forte demande de capacités de calcul en edge computing, pour lesquelles les réseaux de neurones artificiels apportent des solutions, à condition d’être peu énergivores.
L’électronique neuromorphique est aussi prometteuse. Cette architecture s’inspire du cerveau humain en densifiant les synapses et en les rapprochant des éléments de calcul que sont les neurones artificiels. Elle a été testée sur le satellite OPS-SAT lancé fin 2019.
Mais ces réseaux neuronaux « bio-inspirés » n’en sont qu’à leurs balbutiements. Par exemple, il manque encore des mesures précises des gains énergétiques atteignables.
À LIRE AUSSI :
À LIRE AUSSI :
