Data / IA
L’europe a-t-elle encore les capacités de produire des LLM « frontières »
Par Laurent Delattre, publié le 06 septembre 2024
L’une des startups européennes les mieux financées annonce se retirer de la course aux LLM frontières. Il n’y a guère d’autres acteurs que Mistral AI pour défendre l’Europe dans cette course, et c’est un problème.
Depuis 2024, la course aux IA générative s’est beaucoup focalisée sur les petits modèles de 2 à 20 milliards de paramètres, les plus petits pouvant le plus souvent être inférés en local notamment sur les machines dotées de NPU.
Ainsi, ces dernières semaines, Google a lancé ses « Gemini Flash 1.5 » et « Gemini Flash 1.5 8B », Meta son « Llama 3.1 8B », Microsoft ses modèles Phi-3.5 mini-instruct (LLM de 3,82 milliards de paramètres) et Phi-3.5-vision-instruct (modèle multimodal de 4,15 milliards de paramètres), Anthropic son Claude 3 Haiku, Mistral son NeMo (12B) alternative à ses très populaires Mistral 7B et Mistral Small, etc.
Même OpenAI s’y convertit avec son « GPT-4o mini » qui est bien évidemment beaucoup moins coûteux à exploiter pour l’éditeur et a néanmoins permis de rendre ChatGPT en version gratuite bien plus intelligent.
Une Europe spécialiste des petits modèles
En Europe, la plupart des jeunes pousses évoluent justement dans le domaine des SLM et des petits LLMs à l’instar du français LightOn dont le CEO, Laurent Daudet, nous avouait récemment « ne pas être dans la course aux gros modèles frontières ».
Logique, les SLMs se sont montrés extrêmement capables (souvent bien meilleurs que les LLMs sortis il y a un an) tout en étant à la fois bien moins onéreux à entraîner, exécutables sur des infrastructures locales sans exploser les budgets mais aussi bien plus simples et moins onéreux à personnaliser que ce soit via du fine-tuning (affinage de modèle), du PEFT (parameter efficient fine tuning), ou un réentraînement partiel.
La course aux modèles frontières se poursuit
Pour autant, les très grands LLM, appelés « LLM frontières » (parce que chaque nouvelle version repousse un peu plus les frontières du territoire de l’IA), restent très importants. C’est par eux que nous progressons vers l’AGI (Intelligence Artificielle Générale) et par eux que nous explorons de nouveaux potentiels multimodaux. Récemment Google a lancé son Gemini 1.5 Pro, Meta son Llama 3.1 405B, Anthropic son Claude 3.5 Sonnet, Mistral son « Large 2 » pour concurrencer le plus frontière de tous les modèles, le célèbre GPT-4o d’OpenAI en attendant GPT-5.
D’autres acteurs essayent aussi de s’imposer sur ce marché, à commencer par les acteurs Chinois avec le modèle AliceMind d’Alibaba ou le ERNIE de Baidu voire le PanGu-Alpha de Huawei mais aussi des acteurs comme Cohere (avec Command), AI21 Labs (avec son Jurassic-1), Microsoft (avec Turing), Amazon (avec Titan), la startup xAI d’Elon Musk (avec Grok2) ou encore Hugging Face (au travers du projet international Bloom).
Le problème c’est que les LLM sont de plus en plus coûteux à entraîner. Il y a un an, Sam Altman dévoilait que l’entraînement du modèle GPT-4 avait coûté plus de 100 millions de dollars. Récemment, Meta a confirmé que son modèle LLama 3.1 405B avait été entraîné sur une infrastructure comportant 16.000 GPU Nvidia H100 (compter 10.000 dollars par GPU).
Une course aux modèles frontières perdue d’avance ?
Cette course à l’inflation des paramètres est aussi une course à l’inflation des dollars pour l’entraînement.
Et les acteurs capables de poursuivre cette course se font de plus en plus rares. Même OpenAI est en quête d’un nouveau tour de table record pour poursuivre ses ambitions.
Et l’Europe va avoir beaucoup de mal à suivre. Preuve en est, Aleph Alpha, l’une des startups de l’IA les mieux financées avec Mistral AI vient d’annoncer changer de stratégie. Dans une interview accordée à Bloomberg, le PDG Jonas Andrulis explique que « le monde a changé. Avoir un LLM européen n’est plus un modèle Business pertinent. Le Business qui en résulté ne justifie pas l’investissement. »
L’éditeur se cherche désormais une nouvelle voie dans les outils d’IA et vient de lancer PhariaAI, une petite IA pour aider les organisations à utiliser l’IA.
Il ne reste guère en Europe plus que Mistral AI à se battre encore sur le terrain des modèles frontières. Comment l’Europe peut-elle espérer conserver son autonomie numérique sans disposer de modèles IA frontières entraînés selon ses principes et sa pensée ?
Il va falloir forcer les investissements. Bien sûr Mistral AI en à peine un an a réussi à lever 1 milliard d’euros. Un montant qui n’est qu’une goutte d’eau face aux 13 milliards de dollars d’OpenAI, aux 7,3 milliards d’Anthropic ou aux 6 milliards de xAI. La startup a jusqu’ici pu se battre grâce à un remarquable et remarqué savoir-faire qui lui permet de limiter les dépenses. Mais si l’on veut continuer en Europe d’avoir des LLM frontières, il va falloir faire des efforts plus remarquables encore.
À LIRE AUSSI :
À LIRE AUSSI :
À LIRE AUSSI :
