Secu
L’IA générative, source d’inquiétude majeure pour les RSSI
Par La rédaction, publié le 13 décembre 2023
Depuis peu, l’IA générative occupe une place centrale au sein de la communauté de la cybersécurité. Alors que de nombreux employés l’utilisent déjà au quotidien pour rédiger des mails ou des articles de blog —, les RSSI appréhendent son intégration dans leur pile technologique. Leurs craintes sont justifiées : les RSSI ont besoin d’une IA générative à la fois précise, sûre et responsable. Cependant, une question se pose : la technologie actuelle est-elle prête à répondre à ces exigences élevées ?
Par Sven Krasser, Chief Scientist et Senior Vice-President de CrowdStrike
Les RSSI et les DSI ont accueilli l’arrivée de l’IA générative avec un enthousiasme teinté d’inquiétude. Au-delà de la croissance de productivité et du soutien apporté aux équipes IT et Sécurité confrontées à une pénurie de compétences, les nouveaux risques soulevés par cette technologie de rupture doivent être pris en compte.
Les responsables de la sécurité doivent en effet se poser plusieurs questions avant d’autoriser l’intégration de l’IA générative dans leurs environnements, que ce soit en tant qu’outil destiné à leurs équipes ou composant de leurs produits.
Les nouveaux outils assistés par l’IA favorisent la productivité
Soyons réalistes. Il est fort probable que vos collègues utilisent déjà des outils d’IA générative pour simplifier certaines tâches courantes. Par exemple, un représentant avant-vente peut envoyer un e-mail parfaitement rédigé à un prospect en un clin d’oeil. Une équipe support peut, sans souci, créer des explications pour la base de connaissances de l’entreprise. De la même manière, une équipe marketing peut rapidement générer des illustrations pour une nouvelle brochure en utilisant un modèle d’IA, au lieu de passer du temps à chercher l’image parfaite. Enfin, si un développeur de logiciel a besoin d’écrire rapidement du code, des modèles sont à sa disposition.
Ces différentes applications ont une chose en commun : elles montrent combien l’IA générative permet aux employés, tous services confondus, de gagner du temps, d’augmenter leur productivité et d’exécuter leurs tâches quotidiennes avec une facilité déconcertante.
À LIRE AUSSI :
Néanmoins, il y a aussi des inconvénients. Pour commencer, nombre de ces outils sont hébergés sur Internet ou s’appuient sur un composant en ligne. Ainsi, lorsque les équipes soumettent des données propriétaires ou les informations d’un client, il est possible que les conditions d’utilisation présentent un niveau de confidentialité, de sécurité ou de conformité limité.
Par ailleurs, les données soumises peuvent être utilisées pour « entraîner » l’IA, ce qui signifie que les noms et coordonnées des prospects sont intégrés de façon permanente dans les « poids du modèle ». En d’autres termes, il est essentiel d’examiner ces outils aussi attentivement que ceux proposés par d’autres éditeurs.
Autre préoccupation majeure, les modèles d’IA ont fortement tendance à « halluciner », c’est-à-dire à fournir des informations incorrectes en toute confiance. En raison du processus d’entraînement, ces modèles sont conditionnés pour donner des réponses qui semblent correctes, mais qui ne le sont pas forcément. Il suffit de penser à ces avocats qui ont reproché à ChatGPT de leur avoir fourni de fausses décisions judiciaires qu’ils ont utilisées au tribunal.
Ensuite, il y a la question des droits d’auteur. Récemment, l’agence Getty Images a accusé Stability AI d’avoir copié 12 millions d’images sans autorisation pour former son modèle d’IA. S’agissant des modèles générant du code source, il existe en effet un risque qu’ils produisent du code soumis à des licences open source par inadvertance, ce qui pourrait contraindre l’entreprise à publier également une partie de ce code en open source..
Des produits potentiellement plus puissants
Supposons que l’on souhaite intégrer l’IA générative à un produit. Quels sont les paramètres à prendre en compte ? Dans le cas d’un processus d’achats, si les ingénieurs testent des fournisseurs en utilisant leur propre carte de crédit, cela pourrait entraîner les problèmes de confidentialité évoqués précédemment. Si l’on opte pour l’utilisation de modèles ouverts, il est essentiel que l’équipe juridique soit en mesure d’examiner la licence. De nombreux modèles d’IA générative sont assortis de restrictions concernant les cas d’usage, que ce soit la manière dont le modèle peut être employé ou les opérations que l’équipe est autorisée à effectuer avec les données qu’il a produites.
Bon nombre de licences peuvent sembler, au premier abord, similaires à des produits en accès libre, mais ce n’est pas toujours le cas. Si l’on entraîne ses propres modèles, y compris la création de modèles en accès libre, il est essentiel de se poser deux questions : d’abord, quelles données seront utilisées, et ensuite, ces données conviennent-elles à l’utilisation prévue?
Ce que le modèle a observé pendant la phase d’entraînement peut avoir des implications lors de l’inférence. Cela est-il conforme à la politique de conservation des données ? En outre, si l’on entraine un modèle avec les données d’un client A et que le client B l’utilise ultérieurement pour l’inférence, il y a un risque que le client B ait accès à certaines données du client A. Ce qui revient à dire que le domaine des modèles génératifs n’est pas exempt de risques de fuites de données.
À LIRE AUSSI :
L’IA générative présente une surface d’attaque qui lui est propre. L’équipe en charge de la sécurité des produits devra donc explorer de nouveaux types de vecteurs d’attaque, comme par exemple les attaques par injection indirecte d’invite. Si un adversaire peut prendre le contrôle de tout texte d’entrée soumis à un grand modèle de langage génératif — par exemple, des données que le modèle doit synthétiser — il peut induire le modèle en erreur en lui faisant croire que ce texte représente une nouvelle instruction.
Enfin, il est essentiel de rester au fait des évolutions en matière de réglementations. Partout dans le monde, de nouvelles règles et cadres sont en cours d’élaboration pour accompagner les défis posés par l’IA générative. En Europe, cela concerne la loi sur l’intelligence artificielle (AI Act), tandis qu’aux États-Unis, des initiatives telles que le cadre de gestion des risques liés à l’IA publié par le National Institute of Standards and Technology (NIST) ou le projet de charte des droits de l’IA proposé par la Maison-Blanche sont à surveiller.
Deux choses sont sûres : primo, l’IA générative a de beaux jours devant elle ; secundo, les équipes comme les clients sont impatients d’en exploiter pleinement le potentiel. En tant que professionnels de la cybersécurité, nous avons l’opportunité d’exprimer nos préoccupations légitimes afin de favoriser une adoption responsable de cette nouvelle technologie, de sorte que l’enthousiasme que nous observons aujourd’hui ne se transforme pas en regret.
C’est pourquoi il incombe aux RSSI et aux autres dirigeants de réfléchir au rôle que joue l’IA dans leur entreprise et dans leurs produits. Une approche éclairée de l’adoption de l’IA permettra à l’industrie de progresser et d’aborder l’avenir de manière durable en réduisant considérablement les risques.
À LIRE AUSSI :
À LIRE AUSSI :
À LIRE AUSSI :
