Data / IA
La dure quête du prochain LLM frontière
Par Laurent Delattre, publié le 14 novembre 2024
La course à l’IA et aux prochains LLM frontières se heurterait-elle au mur du passage à l’échelle supérieure ? La révolution de l’IA générative, construite sur la conviction que “plus c’est gros, mieux c’est”, semble atteindre ses limites. Deux ans après le lancement de ChatGPT, les grands de l’IA semblent désormais rencontrer d’importants obstacles dans la création des successeurs à GPT-4, Gemini 1.5 et Claude 3.5…
Il y a un an, Bill Gates estimait que le successeur de GPT-4 décevrait probablement la plupart des utilisateurs estimant que le saut ne serait pas aussi spectaculaire entre GPT-5 et GPT-4 qu’il ne l’a été entre GPT-4 et GPT-3. Il estimait que les technologies IA actuelles (style GPT) atteignaient une sorte de plateau et qu’il faudrait peut-être des technologies radicalement différentes pour assister à un nouveau saut significatif. Il reconnaissait néanmoins qu’il avait peut-être tort et que bien des gens très compétents chez OpenAI étaient convaincus que GPT-5 serait très significativement meilleur.
Une série de rumeurs et commentaires anonymes publiés ces derniers jours remettent en perspective les propos oubliés de Bill Gates.
Des progrès mineurs et bien trop coûteux
Ainsi, selon Bloomberg, le prochain modèle phare d’OpenAI, connu sous le nom de code Orion et supposé être GPT-5, ne montrerait pas les améliorations spectaculaires attendues. Un revers pour Sam Altman, CEO d’OpenAI, qui estimait que l’apprentissage des modèles s’améliorait de façon prévisible avec une montée d’échelle.
Et OpenAI ne serait pas la seule spécialiste de l’IA générative à se heurter à une sorte de plafond technologique. Anthropic semble aussi rencontrer d’importants retards dans la conception de Claude 3.5 Opus, son modèle phare, alors que Claude 3.5 Sonnet et Claude 3.5 Haiku sont disponibles depuis plusieurs semaines. Les références à une sortie « en fin d’année » de Claude 3.5 Opus ont même été retirées du site de l’éditeur.
Selon plusieurs sources citées par Bloomberg, « Anthropic aurait constaté après l’entraînement d’Opus 3.5 que le modèle fonctionnait mieux que l’ancienne version Opus 3.0 mais pas autant qu’il le devrait, étant donné sa taille, son coût d’apprentissage et son coût d’exploitation ».
Et, toujours selon Bloomberg, Google affronterait aussi des difficultés similaires, citant une source au fait du sujet affirmant que « la prochaine itération de Gemini ne répond pas pour l’instant aux attentes internes ».
Dit autrement, les modèles actuels semblent bien avoir atteint une sorte de plateau dans leur évolution. Les améliorations obtenues sur ces modèles gigantesques ne justifient pas les ressources informatiques et les sommes investies pour les former et plus encore pour les exploiter.
Des défis grandissants et multiples
Margaret Mitchell, scientifique en chef de l’éthique chez Hugging Face, affirmait il y a quelques jours que « la bulle de l’AGI (Intelligence Artificielle Générale) est un peu en train d’éclater ». Selon elle, il va falloir « différentes approches d’entraînement » et d’autres innovations pour faire fonctionner significativement mieux les IA sur tout un ensemble de tâches complexes.
Typiquement, un nouveau Benchmark mathématique créé par Epoch AI montre que les modèles actuels n’arrivent à résoudre que 2% des problèmes complexes qu’il propose. Preuve que les IA doivent encore considérablement progresser en raisonnement.
Trois obstacles semblent désormais expliquer – au moins en partie – les difficultés rencontrées par les leaders de l’IA générative :
1- La rareté des données : ces leaders de l’IA ont déjà utilisé la plupart des données de qualité disponibles, souvent sans droits légaux clairs. Il va falloir alimenter les modèles avec des données plus difficilement accessibles, de meilleure qualité et probablement plus onéreuses.
2- Les coûts prohibitifs : Selon Dario Amodei, CEO d’Anthropic, les leaders de l’IA doivent désormais dépenser plus de 100 millions de dollars pour entraîner un modèle frontière en 2024, un montant qui pourrait atteindre 100 milliards de dollars dans les années à venir.
3- La consommation d’énergie et de ressources : Les modèles actuels consomment une quantité considérable d’électricité et de ressources IT, or ces ressources ne sont pas infinies et ne peuvent croître avec la même vitesse que les besoins des modèles.
Déjà la fin des modèles de type GPT ?
Face à ces défis, l’industrie commence à explorer de nouvelles voies. Comme l’explique Lila Tretikov, responsable de la stratégie IA chez New Enterprise Associates, « il s’agit moins de quantité que de qualité et de diversité des données. Nous pouvons générer de la quantité synthétiquement, mais nous avons du mal à obtenir des ensembles de données uniques et de haute qualité sans guidance humaine. »
Or les volumes nécessaires pour alimenter ces modèles n’ont plus une taille « humaine ».
L’industrie se trouverait donc à un tournant, contrainte de repenser ses approches pour continuer à progresser. Le patron de l’IA chez Meta, Yann LeCun, estime depuis plusieurs mois déjà que les modèles « Transformer » (comme GPT) ne nous mèneront pas beaucoup plus loin et qu’il va falloir de nouvelles technologies, comme l’« Objective Driven AI » pour s’approcher du Graal de l’IA générale (ce que Meta désigne par AMI pour Ambiant AI).
Il n’est d’ailleurs pas le seul à estimer qu’il va falloir de nouvelles innovations majeures pour permettre à l’IA de réellement progresser au-delà de ses limites actuelles. Comme le résume Ilya Sutskever, cofondateur d’OpenAI démissionnaire devenu fondateur de Safe SuperIntelligence (SSI) : « Les années 2010 étaient l’ère de la mise à l’échelle, maintenant nous sommes de retour dans l’ère des interrogations et de la découverte. »
Une sorte de retour à la case « R&D fondamentale » pour renouer avec des courbes de progression comme celles rencontrées ces trois dernières années.
À LIRE AUSSI :
À LIRE AUSSI :
