Data / IA
Faire évaluer son IA par un laboratoire
Par Charlotte Mauger, publié le 19 juin 2024
Le Laboratoire national de métrologie et d’essais (LNE) a achevé de structurer ses compétences de mesure de l’IA au sein du laboratoire d’évaluation de l’intelligence artificielle, le LE.IA. Une plateforme pour tester des systèmes embarqués intelligents a été inaugurée.
La promulgation de l’AI Act met la pression sur les entreprises quant à leurs responsabilités vis-à-vis de la conception et de l’utilisation de systèmes à base d’IA. Si les tests correspondants peuvent être réalisés en interne ou par une ESN, ils peuvent aussi être confiés à un organisme indépendant.
Créé en 1901, le LNE évalue et certifie des systèmes et produits très variés pour le compte de l’État comme des entreprises privées. Depuis 2008, ses chercheurs se penchent sur l’évaluation de l’intelligence artificielle. « Nous avons commencé par le traitement automatique des langues et, au fil du temps, nous nous sommes emparés de l’intelligence artificielle », retrace Agnès Delaborde, cheffe du département de l’évaluation de l’IA et de la cybersécurité au LNE.
Tous les types d’intelligence artificielle sont concernés, qu’il s’agisse d’IA logicielle comme le traitement des langues ou des images, ou d’IA autonomes. Et l’évaluation porte aussi bien sur les performances que sur la fiabilité, ou encore le respect des normes en vigueur, comme celles imposées par l’AI Act.
Pour ce faire, de nouveaux protocoles sont sans cesse élaborés. Ceux-ci passent par l’évaluation des processus d’apprentissage, l’analyse des bases de données pour identifier les facteurs d’influence, la mesure des performances de l’IA par rapport à ses objectifs, son maintien dans le temps, et sa robustesse, notamment face à l’imprévu. « On définit la métrique avec l’industriel pour bien répondre à ses besoins, notamment en termes de performances par rapport à une même tâche effectuée par un humain », note Stéphane Jourdain, responsable du département Essais en environnement du LNE.
Au-delà des tests, le LNE propose aux professionnels, depuis 2021, une certification de leurs IA. Cela concerne le déploiement, les bases de données, le développement et le maintien de celles-ci. « Cela nous a surpris, mais ce sont les banques qui sont nos premières clientes sur ce processus », explique Thomas Grenon, directeur général du LNE.
Avec sa nouvelle plateforme LE.IA Immersion, le LNE peut tester des robots dans des conditions proches du réel.
Simulation, immersion, action
Désormais, les compétences IA du LNE sont réunies au sein du Laboratoire d’évaluation de l’intelligence artificielle (LE.IA), qui comprend trois branches principales. La première, la plateforme LE.IA Simulation, a été achevée en 2023. Elle évalue les performances d’un modèle d’intelligence artificielle dans un environnement simulé, par exemple une IA embarquée dans un véhicule autonome.
Depuis la mi-mai, LE.IA Immersion teste des robots en les plongeant dans un environnement virtuel. L’environnement dans lequel ils évolueront à terme est projeté autour d’eux sur des écrans à 300° – la plupart des robots n’ayant pas besoin d’une vision arrière.
Leurs réponses aux sollicitations du monde virtuel sont mesurées par plusieurs caméras pointées vers eux : elles enregistrent leurs temps de réponse et la façon dont ils réalisent les tâches qui leur sont imparties. La plateforme est pensée pour répondre à des besoins divers : des robots fonctionnant sur d’autres stimuli que la vision (lidar, capteurs infrarouge ou thermiques, etc.) ; l’influence du son ou de l’éblouissement ; l’évolution sur un terrain particulier…
Ainsi LE.IA Immersion peut aussi bien tester des robots agricoles que des robots d’intervention et de surveillance, ou des robots d’aide à la personne. « Comme il est difficile d’anticiper l’avenir, nos outils ont été conçus pour s’adapter à n’importe quel domaine », décrit Thomas Grenon.
La plateforme LE.IA Action, enfin, sera opérationnelle en 2025. Elle placera les robots dans des conditions réelles pour vérifier leur bon fonctionnement. «Nous allons continuer à travailler sur la métrologie de l’IA, notamment pour créer une métrique universelle », conclut Stéphane Jourdain.
À LIRE AUSSI :
À LIRE AUSSI :
