Data / IA
Mistral NEXT : Quand l’Europe rattrape son retard
Par Laurent Delattre, publié le 23 février 2024
Mistral AI, cette startup française, qui défie les géants américains de l’IA et fait beaucoup parler d’elle en étant devenu Licorne en moins de 12 mois d’existence, prépare un nouveau modèle LLM, dénommé Mistral NEXT, déjà mis en test sur le service LMSYS.
Florilège : “L’énigmatique ChatGPT à la française“, “Meilleur que GPT4“, “Mistral NEXT impressionne“… Le prochain modèle de la startup française Mistral AI n’est pas encore officiellement sorti qu’il fait déjà les grands titres de l’actualité. Mis à disposition en avant-première au travers du portail open source LMSYS Chat, les curieux peuvent déjà juger du potentiel du nouveau modèle. D’autant que LMSYS permet des comparaisons directes (c’est même la raison d’être de ce site).
On ne sait pas exactement en quoi ce « Mistral NEXT » diffère de « Mixtral » et autres variantes du modèle « Mistral 8x7B ». Il faudra pour cela attendre les publications techniques de l’éditeur.
À l’essai, loin des titres dithyrambiques lus ici et là, le nouveau modèle est, bien sûr, loin d’atteindre la perfection présentée par certains. Et ce n’est pas étonnant. GPT-4 Turbo et Gemini Ultra sont — eux aussi — très loin du talent que certains leur attribuent. S’ils peuvent souvent vous débloquer face à une page blanche ou apporter une réponse à ce que vous ignorez, et parfois vous surprendre par une fulgurance, leurs résultats sont la plupart du temps très prévisibles, plats et — il faut bien le reconnaître — plutôt médiocres. Et comme souvent avec ces modèles, l’effet “Whaouu” des premiers tests s’évapore rapidement face aux limites qui apparaissent après un usage plus intensif dans un contexte bien réel.
À LIRE AUSSI :
Néanmoins, il paraît déjà évident que la qualité globale des réponses délivrées par ce Mistral NEXT est similaire à celle d’un Gemini Pro 1.0 ou d’un GPT-4 (ce qui est déjà énorme si le modèle consomme infiniment moins de ressources que ces illustres prédécesseurs). Les trois modèles jouent finalement dans une même catégorie.
Ses progrès en matière de logique sont indéniables par rapport à Mistral 7B ou GPT-3.5, mais ne nous ont pas semblé si probants que certains l’affirment sur Twitter ni supérieurs à GPT-4 Turbo. Et sa fenêtre contextuelle paraît encore assez réduite.
En attente d’une meilleure interface
Bien évidemment, l’un des problèmes posés par tout essai au quotidien de Mistral NEXT réside ailleurs que dans le modèle en lui-même, mais bien dans l’interface très limitée de LMSYS Chat qui se contente d’envoyer la requête au modèle sans offrir le degré d’interaction et d’extension d’un ChatGPT Plus par exemple. Ce qui limite ce que l’on peut actuellement faire avec ce modèle.
Néanmoins, Mistral NEXT se démarque selon nous sur trois points qui méritent toute l’attention des DSI : – son expression française nous paraît souvent plus fluide et moins ampoulée que celle de GPT-4 :
— le modèle a une vraie faculté à produire des réponses d’une grande concision tout en restant clair dans son propos,
— et son « mode de pensée » (sa façon d’appréhender une réponse à une question) nous a semblé plus aligné sur l’esprit européen et moins empreint de certaines « tournures » américaines.
En tout cas, Mistral NEXT offre largement de quoi contredire tous ceux qui pensaient que l’Europe ne pourrait jamais rattraper l’avance américaine en matière de LLM.
À LIRE AUSSI :
À LIRE AUSSI :
À LIRE AUSSI :
