Data / IA
De la conformité à la résilience : repenser l’IA dans le développement logiciel
Par Laurent Delattre, publié le 19 décembre 2024
L’essor de l’IA dans le développement logiciel impose une vigilance accrue et une transformation de la culture et des pratiques en matière de gestion combinée des risques, de conformité aux normes européennes, et de qualité des données. Dans un contexte marqué par des attaques sophistiquées et des exigences réglementaires strictes, l’excellence opérationnelle devient ainsi un impératif stratégique.
Par Fred Simon, Cofondateur de JFrog
L’intégration de capacités d’intelligence artificielle et de machine learning au sein des solutions logicielles contemporaines représente un énorme avantage, mais nécessite également d’atteindre un tout autre niveau en matière de sécurité et de gestion des risques. Les organisations du monde entier assistent en effet à la prolifération des attaques ciblant aussi bien les infrastructures sous-tendant le développement de ces technologies que les individus, développeurs et data scientists inclus.
Dans ce nouvel environnement évoluant au rythme des innovations introduites par l’IA, de nombreux professionnels de la sécurité recommandent donc aux entreprises de se protéger des risques pour leur chaîne d’approvisionnement en logiciels d’intelligence artificielle en se concentrant sur trois axes clés : la conformité réglementaire, le contrôle qualité, et la gestion des risques pour la sécurité.
1- La conformité réglementaire
Selon la formule consacrée, « Un grand pouvoir implique de grandes responsabilités ». Reconnaissant les risques supplémentaires qu’une IA non gérée peut présenter pour les particuliers, organisations et États, l’Union européenne a répondu en exigeant encore plus de responsabilité et de responsabilisation.
Pour les organisations cherchant à tirer parti de l’IA pour répondre à leurs besoins et prendre l’ascendant sur la concurrence, l’entrée en vigueur de la Loi sur l’IA de l’UE et l’expansion des réglementations existantes marquent donc l’entrée dans une nouvelle ère de responsabilisation.
Cette législation donne des directives claires quant aux pratiques autorisées et interdites avec les frameworks des logiciels d’entreprises, et prévoit des sanctions sévères en cas de non-conformité, ainsi qu’un calendrier de mise en conformité. Tout manquement à cet égard est passible de lourdes amendes, et l’Union européenne a déjà démontré par le passé toute sa détermination à agir pour veiller au respect de ce type de décisions.
Aux États-Unis, la Maison-Blanche a publié plusieurs décrets sur les normes relatives à l’intelligence artificielle, dont les textes numérotés 13859 et 14110. C’est ainsi que de nouveaux standards sont actuellement en cours de développement, dont les normes NIST.AI.600-1 et AI-RMF. Ces dernières auront un impact direct sur les organisations fournissant des logiciels et services au gouvernement fédéral en exigeant d’elles qu’elles prouvent leur conformité. Tout ceci influencera inévitablement sur les secteurs des services et des conseils en informatique dans le reste du monde.
2 – Le contrôle qualité
Le développement logiciel est un domaine intrinsèquement complexe, et l’intégration de l’IA complique encore plus le tableau. Toutes les législations et décisions gouvernementales mentionnées dans la section Conformité réglementaire ci-dessus définissent des attentes quant à la gestion des logiciels et du cycle de vie de l’IA.
Face au risque d’aboutir à des résultats chaotiques et non fiables, il est essentiel de mettre en place des pratiques rigoureuses en matière d’organisation et de gestion des données. Les développeurs doivent adopter une approche méticuleuse et faire de la sécurité une priorité, afin de veiller à ce que les données intégrées à leurs modèles d’intelligence artificielle soient nettoyées, cohérentes et représentatives.
De nouvelles normes, comme l’ISO 42001 et le NIST SP 800-218A, sont de plus en plus adoptées comme cadre viable visant à réglementer l’approvisionnement en logiciels d’IA. En matière de développement de logiciels d’intelligence artificielle, l’assurance qualité représente plus qu’un défi technique : cette pratique nécessite un changement de culture afin de faire de l’excellence une priorité à chaque phase du cycle de développement.
3 – La gestion des risques pour la sécurité
L’intelligence artificielle est, à bien des égards, un moteur d’innovation révolutionnaire. Cependant, elle crée également une nouvelle surface d’attaque que les acteurs malveillants ciblent activement pour infiltrer les organisations. Les modèles de machine learning (ML) sont du code, ce qui en fait une cible facile pour l’exécution de code malveillant à distance (le fait d’exécuter du code arbitraire sur une machine chargeant ou faisant tourner des modèles de machine learning). Ces attaques peuvent potentiellement provoquer des fuites de données ou encore compromettre des systèmes.
En outre, vous avez sûrement entendu parler des incidents de sécurité majeurs et aux effets dévastateurs pour les chaînes d’approvisionnement logicielles qu’ont été la vulnérabilité affectant Apache Log4j et la récente panne de CrowdStrike. Et maintenant, imaginez que le langage de programmation le plus répandu (Python ou PyPI, utilisé par presque toutes les organisations, services, sites web et infrastructures) soit compromis. Il faudrait alors chercher une éventuelle « porte dérobée » susceptible d’infecter les plusieurs dizaines de millions de machines au cœur des systèmes bancaires, de navigation spatiale et gouvernementaux à travers le monde (un scénario infiniment plus grave que la panne CrowdStrike).
L’équipe de chercheurs en sécurité de JFrog a récemment découvert qu’un jeton GitHub utilisé par l’un des principaux référentiels Python, PyPI, avait été exposé de manière accidentelle. Un acteur malveillant aurait ainsi pu s’en servir pour accéder à plusieurs référentiels importants, y compris celui utilisé pour créer Python. L’équipe de JFrog a réagi rapidement, et s’est jointe à l’équipe de sécurité de PyPI pour résoudre le problème sans attendre. Les chercheurs de JFrog ont également découvert de grands modèles de langage malveillants contenant du code visant à compromettre les postes de travail et l’infrastructure d’intelligence artificielle des développeurs.
Il ne s’agit là que de deux parmi plusieurs centaines d’exemples soulignant la nécessité de franchir un palier en matière de vigilance et de gestion des risques pour ce qui touche à l’IA.
La complexité inhérente au développement de l’IA et des logiciels augmente au même titre que les risques. Les organisations doivent donc les surveiller régulièrement, et mettre en place des processus pour les maîtriser. En adoptant une approche proactive autour des piliers que sont les réglementations, la qualité et la sécurité, elles peuvent renforcer leurs systèmes de défense face à des menaces en pleine évolution.
L’heure est venue d’agir, afin que la conformité, la qualité et la sécurité renforcées ne constituent pas juste un avantage stratégique, mais deviennent un critère essentiel de survie pour les entreprises dans un monde de plus en plus interconnecté.
À LIRE AUSSI :
À LIRE AUSSI :
