Data / IA
Luc Julia (Renault Group) : «Avec les Large Language Models, la créativité reste de notre côté»
Par Thierry Derouet, publié le 24 mars 2023
Cette semaine, Bill Gates, Luc Julia, Sam Altman ou encore Stéphane Roder ont livré leurs visions, leurs doutes, mais aussi leurs conseils pour prendre dès maintenant la main sur le potentiel qu’offrent les LLM’s (Large Language Models). Modeste analyse.
Auteur de « L’intelligence artificielle n’existe pas » et de « On va droit dans le mur » , directeur scientifique de Renault Group et co-créateur de Siri (Apple), Luc Julia n’aime en général pas utiliser le mot « IA ». Aujourd’hui, s’il en parle, c’est au pluriel pour rappeler que s’il y a bien des « IA » ce sont d’abord et avant tout des outils. À l’occasion d’une première rencontre en 2018, Luc Julia définissait déjà l’IA comme « de l’amélioration de process et de l’automatisation de tâches qui sont plus ou moins fastidieuses. »
Luc Julia : « pour comprendre les Large Language Models, il faut s’éduquer et travailler encore et encore pour les maitriser »
Persistant dans son analyse, il précise aujourd’hui que « pour comprendre les Large Language Models, il faut s’éduquer et travailler encore et encore pour les maitriser ».
Cette éducation passe par la création d’un nouveau métier : « les prompts ingénieurs », une appellation d’autant plus logique, que « le pilotage du LLM se fait à travers ce qu’on appelle le prompt » a rappelé le DG d’AI Builders, Stéphane Roder lors d’un atelier sur les bouleversements à venir pour l’ensemble des métiers.
Les prochaines versions vont être mieux ou encore pires
Si Luc Julia est comme tout le monde impressionné par ChatGPT, « ce n’est pas magique, mais c’est très puissant », il reste lucide : « les prochaines versions, vont être encore mieux ou encore pire. Ces IA génératives sont des IA multimodales. Elles vont pouvoir prendre n’importe quel type de donnée en entrée et générer n’importe quel type de donnée en sortie (texte, son, vidéo…). »
Tout en constatant que l’intelligence (la vraie) est toujours à la bonne place : « la créativité reste de notre côté, nous les humains…/… le but du jeu, c’est d’utiliser ces IA à bon escient ».
Sur son blog, Bill Gates se veut plus enthousiaste : « pendant des décennies, la question était de savoir quand les ordinateurs seraient meilleurs que les humains dans quelque chose d’autre que les calculs. Maintenant, avec l’arrivée de l’apprentissage automatique et de grandes quantités de puissance informatique, des IA sophistiquées sont une réalité et elles vont s’améliorer très rapidement. »
Le PDG d’OpenAI inquiet des suppressions de postes à venir
Une réalité qui préoccupe le PDG d’OpenAI, Sam Altman. À l’occasion d’une interview donnée auprès d’ABC News, il s’est en effet interrogé sur les éventuelles suppressions d’emplois que ChatGPT (et ses dérivées telles Bing IA, GitHub Copilot, Microsoft/Dynamics 365 Copilot, Einstein GPT) pouvait induire à l’occasion de son déploiement massif au sein des entreprises. Tout en espérant que l’outil d’OpenAI pouvait aussi, parallèlement, contribuer à en créer. Pour Bill Gates, la cause est déjà entendue : « Il y aura une explosion d’entreprises travaillant sur de nouveaux usages de l’IA ainsi que sur des moyens d’améliorer la technologie elle-même. »
À l’occasion d’une interview qu’il a donnée auprès d’ABC News, Sam Altman, le PDG d’OpenAI, s’est interrogé sur les éventuelles suppressions d’emplois que ChatGPT pouvait induire lié à son déploiement massif au sein des entreprises.
Pour Stéphane Roder, il y a toutefois une exigence : « Il faut comprendre le spectre d’utilisation de ces IA, en comprendre leurs limites et comprendre les nouveaux usages sur les métiers, sur les process, mais aussi sur l’expérience client. »
À LIRE AUSSI :
Les LLM’s offrent des solutions argumentées à accepter ou à refuser
Mais avant, il faut revenir sur ce qu’est ou ce que n’est pas un LLM. Stéphane Roder reconnait que la bonne nouvelle est bien là : « nous passons d’un mécanisme de machine learning où l’on passe du prédictif sans explication au prescriptif où l’on obtient des solutions argumentées que l’on va être capable d’accepter ou de refuser ». Mais pour comprendre le fonctionnement des LLM’s, il faut revenir aux basiques : « aux moteurs d’inférence et à leurs règles déterministes ». Et de préciser : « Les LLM’s nous permettent de créer des moteurs d’inférence statistiques qui vont, grâce à cette capacité, traiter d’énormes jeux de données, créer automatiquement des règles que l’on va devoir trier, valider et invalider. »
Mais ce qu’il faut surtout comprendre selon Stephane Roder « c’est qu’un LLM, ce n’est pas une base de connaissances. Ça peut dire n’importe quoi, ça peut apprendre n’importe quoi. En revanche, c’est un moteur d’inférence. C’est donc capable d’inférer (NDLR un raisonnement déductif tirant ses conclusions d’une proposition admise comme vraie). On a une puissance vraiment inégalée. Avant l’arrivée de ces moteurs d’inférence, nous n’avions pas toutes les règles. »
L’intelligence générée reste donc très superficielle. Il ne faut pas oublier de dire à celles et ceux qui seraient dans l’illusion que « même si la réponse donne l’impression que c’est un humain qui l’a formulée – c’est ce qui donne ce côté un peu machine de Turing – un LLM ça produit, mais ça ne comprend pas » insiste Stéphane Roder.
Ce salarié augmenté que les LLM’s vont aider à créer
Pour Stéphane Roder, ces applications sont tellement simples à créer dorénavant que « nous voyons une explosion de solutions » avec des investissements qui s’affichent en centaines de millions de dollars (quand ce n’est pas en milliard avec Microsoft). Mais ça, ce n’est pas chez nous.
Le plus bel exemple, c’est évidemment celui de Microsoft qui a travaillé sur ses deux métiers que sont la bureautique et les développeurs. Selon Stéphane Roder, avec l’utilisation des contenus de GitHub, les développeurs seraient en mesure d’utiliser 26 % de ce que procure Copilot X. Partant de ce constat, tous les outils d’ingénierie pourraient être aussi aidés à hauteur de 26 %. « Les chiffres sont plus marquants selon les langages, si vous faites du Python c’est 40 %, si vous faites du Javascript c’est 61 %… Mais déjà 26 % serait un chiffre assez incroyable » tient à préciser Stéphane Roder.
Et ces 26 % de gains vont être applicables à tous les métiers où l’ingénierie est présente.
À LIRE AUSSI :
Et les exemples de métiers en « col blanc » qui vont pouvoir en bénéficier ne manquent pas. Pour Bill Gates, il semble aujourd’hui évident que des IA « permettront aux gens de travailler de manière plus efficace » même s’il aimerait que ces IA servent aussi à corriger bien des inégalités : « les forces du marché ne produiront pas naturellement des produits et services d’IA qui aident les plus pauvres. Le contraire est plus probable. Avec un financement fiable et les bonnes politiques, les gouvernements et la philanthropie peuvent s’assurer que les IA sont utilisées pour réduire les inégalités. Tout comme le monde a besoin de ses personnes les plus brillantes concentrées sur ses plus grands problèmes, nous devrons concentrer les meilleures IA du monde sur ses plus grands problèmes. »
Même si les Large Language Models n’en sont qu’à leurs débuts, pour Bill Gates « la période pré-IA semblera vite aussi lointaine que les jours où utiliser un ordinateur signifiait taper à une invite C:> plutôt que cliquer sur un écran ».
D’ici là, comme insiste Luc Julia, il va falloir apprendre à maitriser cette nouvelle vague. Sommes-nous repartis pour une nouvelle révolution technologique ?
Pour s’en convaincre, il faut juste ouvrir les yeux. Car rien n’a jamais été aussi rapide que l’adoption de ChatGPT.
Stéphane Roder : « GPT, c’est un moteur d’inférence, ce n’est pas une base de connaissance »
Stéphane Roder reconnait que la lecture d’une facture est devenue d’une simplicité déconcertante à obtenir, depuis un simple prompt, avec la compréhension de ce qu’est une facture avec son « TTC », son « HT » là où auparavant il lui a fallu trois ans pour développer une application similaire en utilisant du machine learning. La puissance d’inférence est selon lui « extraordinaire »… À condition de comprendre, que l’enjeu est côté « dataset de pré-entrainement ».
« La puissance de ce Generative Pre-trained Transformer (GPT) est impressionnante : un enfant ça entend 10 millions de mots par an. Au bout de 10 ans, il a entendu 100 millions de mots. Un humain, s’il lisait en permanence, lirait en un an, 130 millions de mots. GPT 3 a été entrainé sur 500 milliards de mots, c’est 50.000 années de vie d’un humain, c’est 3.800 années de lecture en continu. Cela va donc bien, au-delà, de ce que nous humains, pouvons acquérir comme savoirs.
“40% d’erreurs, c’est énorme, mais c’est normal !”
Quand on met un « dataset » de test, et que l’on fait passer un test à un LLM générique, nous constatons qu’il y a 40 % d’erreurs. C’est énorme. Mais c’est normal. C’est un moteur d’inférence. Ce n’est pas une base de connaissance. C’est le problème actuel des Google et Microsoft. Ce qu’il faut c’est l’entrainer. Et l’entrainer sur un corpus restreint dans lequel on va faire fi de sa base de connaissances. En revanche, on va utiliser sa capacité d’inférence. Ces modèles embarquent de manière native des fonctionnalités. Avec ces inférences, on va pouvoir faire de la classification, de la synthèse… Mais pour être capable d’activer ces fonctionnalités, il faut savoir piloter le LLM. Et le pilotage du LLM se fait à travers ce qu’on appelle le prompt.
Et là, on découvre une nouvelle science : le prompt engineering. Il existe deux manières d’intégrer ce prompt : soit de manière conversationnelle comme avec ChatGPT, soit en version Prompt Embedded.
On a donc des LLM’s généralistes qui sont des moteurs d’inférence. Pour le coup, ils ont des hallucinations, mais il n’y a pas de base de connaissance valide. Maintenant, nous sommes capables d’y rajouter de l’expertise ou des skills. On va l’entrainer sur une tâche de sorte à obtenir une expertise qui est validée, un corpus qui est validé : on le restreint et on lui demande juste d’inférer. L’astuce c’est de lui demander d’inférer et de ne surtout pas utiliser sa base de connaissance. On utilise la capacité du réseau de neurones pour inférer sur une nouvelle base de connaissance. On peut aller plus loin comme on le voit avec certains LLM’s en enquillant des skills pour finalement disposer d’une plateforme avec des effets d’économies d’échelles accessibles depuis une simple API.
“Des LLM’s qui devront être conforme à votre éthique”
Il va falloir faire le tri entre tous les LLM’s commerciaux en fonction de ses besoins et de ses cas d’usages. Les data scientistes vont continuer d’avoir du boulot ! Car il va falloir discuter et faire le tri dans les datasets pour qu’ils soient conformes à votre éthique, à votre politique, à votre culture afin que les réponses soient bonnes. L’humain va apprendre au dataset lorsqu’une réponse correcte : c’est du reinforcement learning. Et il y a ce ‘’fine tuning’‘, c’est l’entrainement, c’est ce que l’on rajoute dessus, c’est ce qui est dorénavant l’essentiel. »
À LIRE AUSSI :
