Data / IA
Patrick Pérez (Kyutai) : « la science ouverte partage le processus de création des modèles, y compris l’expertise en algorithmique et le code »
Par Thierry Derouet, publié le 25 janvier 2024
En plein cœur du troisième arrondissement de Paris, nichée dans l’intimité d’un hôtel particulier chargé d’histoire, se trouve la fondation Kyutai, un écrin conçu pour cultiver une intelligence artificielle résolument française. C’est dans ce lieu, où se mêlent le charme historique et la vision d’avenir, que Patrick Pérez, le directeur de la fondation, nous a accueillis pour un entretien.
Sous la houlette de Patrick Pérez, Kyutai émerge comme un pilier de l’innovation dans le domaine de l’intelligence artificielle, soutenu par un budget impressionnant de près de 300 millions d’euros. Des entités de renom telles qu’Iliad et CMA CGM, ainsi que la fondation d’Eric Schmidt (ex CEO de Google), ont chacune investi 100 millions d’euros, affirmant ainsi leur confiance dans la mission de la fondation : positionner la France comme leader de l’IA tout en attirant et retenant les talents nationaux qui pourraient être tentés par l’étranger.
La fondation Kyutai s’est fixé une mission ambitieuse : endiguer la fuite des cerveaux en IA et revaloriser le génie français au sein de l’Hexagone. Avec des conditions de travail conçues pour rivaliser avec les meilleures offres internationales, Kyutai ne se contente pas de retenir les talents locaux ; elle les attire.
La fondation se distingue par une équipe de recherche de stature mondiale. Trois éminents scientifiques issus de Fair Paris, le laboratoire de recherche en IA de Meta/Facebook — Alexandre Défossez, Edouard Grave, et Hervé Jégou —, apportent leur expertise, aux côtés de deux anciens de Google DeepMind, Laurent Mazaré et Neil Zeghidour. Ces recrutements de haut niveau témoignent de l’attrait et de la compétitivité de Kyutai dans l’arène mondiale de l’intelligence artificielle.
En ralliant ces esprits brillants sous son aile, Kyutai s’affirme comme un acteur incontournable, déterminé à façonner et à enrichir l’écosystème de l’IA en France. C’est une démarche audacieuse qui promet de positionner le pays comme une référence dans la recherche et l’innovation en IA. Rencontre.
IT for Business : « Précédemment, vous pilotiez l’équipe de recherche en IA chez Valéo sur la voiture autonome. Pourriez-vous nous éclairer sur l’ambition de Kyutai et sur la manière dont vont se dessiner les recherches au sein de votre fondation ? »
Patrick Pérez : « La quête centrale de Kyutai est de conduire une recherche ouverte et à but non lucratif, dont les résultats seront généreusement partagés avec toute la communauté, s’étendant de l’écosystème scientifique à la société dans son ensemble. En tant que laboratoire de recherche, notre premier engagement est envers la communauté scientifique, à laquelle nous offrons les découvertes issues de nos travaux. Mais notre vision va au-delà, incluant les développeurs, les entrepreneurs et jusqu’aux grands groupes. Nous visons à une redistribution équitable des connaissances et des avancées générées, tout en restant ancrés dans la recherche fondamentale. Nous nous concentrons sur le développement de modèles généraux, utiles et adaptables, qui nécessitent l’analyse de vastes ensembles de données et, par conséquent, de ressources considérables.
Notre ambition est de faire émerger un acteur de premier plan basé en France, avec une portée européenne et mondiale. La communauté scientifique est internationale. Pour illustrer cette universalité, la plus grande conférence de notre domaine s’est tenue aux États-Unis en décembre, réunissant plus de 13 000 participants du monde entier. Cette communauté a connu une croissance exponentielle : elle est dix fois plus importante qu’il y a 30 ans. Les défis que nous relevons sont donc à la fois locaux et globaux, et cette dualité a été soulignée lors de l’événement de lancement par des figures telles que Xavier Niel, Jean-Noël Barrot et même le président de la République. »
IT for Business : « On parle souvent de souveraineté technologique en Europe. Est-ce un des objectifs de Kyutai ? »
Patrick Pérez : « Absolument, l’enjeu de souveraineté est crucial, mais il ne s’arrête pas là. Il est particulièrement pertinent, car les leaders actuels dans le domaine des technologies de pointe sont principalement américains ou chinois. Étant donné que nous nous confrontons à des technologies qui redéfinissent fondamentalement le monde du travail et la planète entière, et qui touchent à la connaissance et au langage, il est vital d’avoir des acteurs basés en Europe. Cela apporte non seulement des valeurs différentes, mais aussi une diversité dans les données et les réglementations, ce qui est capital.
Néanmoins, la portée de notre mission dépasse la question de souveraineté. L’intelligence artificielle est une affaire globale qui concerne toute la communauté scientifique.
Si je me concentre sur l’échelle locale, il est très excitant de voir ce qui se passe à Paris. Depuis quelques années, et plus particulièrement depuis un ou deux ans, nous observons une effervescence particulière. Paris est devenu un écosystème IA très dynamique, enrichi par des chercheurs formés non seulement en France, mais aussi à l’international. C’est gratifiant de voir la place que Paris occupe, déjà significative dans le domaine de l’IA grâce à des laboratoires académiques, et qui se renforce et se diversifie encore plus avec des laboratoires de grands groupes, des start-ups, et maintenant, avec Kyutai, un laboratoire d’un type nouveau. »
IT For Business : « Yann Lecun a-t-il rejoint votre équipe ? »
Patrick Pérez : « Yann Lecun nous a fait l’honneur d’accepter un rôle au sein de notre conseil scientifique. Il est l’un de nos trois conseillers scientifiques. »
IT for Business : « Avec les importantes ressources mobilisées pour Kyutai, pensez-vous qu’une initiative de cette envergure aurait pu être portée par le secteur académique de la recherche ? »
Patrick Pérez : « La forme et l’ampleur des ressources que Kyutai réunit proviennent de donateurs privés et sont, en effet, considérables. Il est difficile de voir comment un tel projet aurait pu être développé uniquement dans le cadre de la recherche publique. Cependant, nous tenons à collaborer étroitement avec elle, notamment en co-encadrant des thèses avec des laboratoires publics. Beaucoup d’entre nous, moi y compris, avons des expériences antérieures dans la recherche publique. J’ai passé une partie de ma carrière à l’INRIA, par exemple. Cette perméabilité entre le public et le privé, je la trouve essentielle, surtout pour les chercheurs en IA. Les allers-retours entre les deux secteurs sont enrichissants à la fois pour les individus et les institutions. »
IT for Business : « Neil Zeghidour, l’un des membres de votre équipe, a mentionné l’importance de développer des modèles IA uniques à Kyutai, soulignant le désir de ne pas dépendre des technologies élaborées hors de nos frontières. Comment cela se reflète-t-il dans votre approche, notamment en comparaison avec Mistral AI ? »
Patrick Pérez : « Effectivement, notre objectif est de créer des modèles qui reflètent nos spécificités, en prenant en compte les données qui sont souvent biaisées ou déséquilibrées dans leur représentation des langues et cultures, un défi particulier avec les modèles de langage. Avec Mistral AI, bien que nous partagions tous deux l’objectif de l’ouverture, il y a une nuance cruciale : un modèle ouvert permet à tous d’utiliser et de modifier les poids du modèle, ce qui est en soi remarquable. Cependant, la science ouverte va plus loin en partageant également le processus de création des modèles, y compris l’expertise en algorithmique et le code, qui sont essentiels pour l’entraînement des modèles. »
IT for Business : « Quand vous parlez d’ouverture et de transparence chez Kyutai, cela implique-t-il une volonté de démystifier la ‘boîte noire’ de l’IA ? »
Patrick Pérez : « Exactement. Notre démarche repose sur la transparence totale. Il existe, bien sûr, une ‘recette secrète’, notamment dans la sélection et le traitement des données, ainsi que dans les techniques d’apprentissage. Le partage du modèle final est une chose, mais le savoir-faire développé pour y parvenir est une autre histoire. Chez Kyutai, nous allons partager ce savoir-faire, en détaillant dans nos publications scientifiques les techniques et les méthodologies utilisées. L’idée est de permettre à d’autres équipes, qu’elles soient scientifiques ou composées de développeurs, de comprendre pleinement le modèle, au-delà de sa simple version finale. »
IT for Business : « Donc c’est une démarche de science ouverte que vous adoptez, allant au-delà de ce que d’autres, comme Meta, font déjà dans le domaine de l’open IA ? »
Patrick Pérez : « Oui, tout à fait. Alors que certains acteurs comme Meta ont opté pour une IA ouverte, partageant leurs modèles, d’autres ne le font pas. Même au sein des grands joueurs du secteur, les approches diffèrent. Nous apprécions les efforts de partage, mais chez Kyutai, nous poussons l’engagement un peu plus loin. Nous ne nous contentons pas de partager les modèles, mais nous œuvrons pour une recherche ouverte et désintéressée, sans les contraintes économiques habituelles. »
IT for Business : « Cette philosophie influence-t-elle également vos choix de sujets de recherche ? »
Patrick Pérez : « Absolument. Notre mission principale est la recherche, pas seulement la production de modèles. Cela nous permet d’explorer des domaines prospectifs et de prendre des risques, caractéristiques de la recherche indépendante. Contrairement à des laboratoires ou des entreprises qui se concentrent sur la production rapide de modèles, nous avons la liberté d’explorer des voies qui peuvent ne pas aboutir immédiatement à des applications concrètes, mais qui sont essentielles pour faire avancer le champ de l’IA. »
IT for Business : « Pouvez-vous nous en dire plus sur les nouvelles directions de recherche que Kyutai a commencé à explorer ? »
Patrick Pérez : « Oui, il y a plusieurs thèmes qui nous passionnent en tant qu’équipe de recherche. L’un des principaux est la multimodalité, l’idée d’intégrer et de générer différents types de données comme le texte, les images et l’audio dans un modèle unique. Cela enrichit l’utilité des modèles et profite de la diversité de notre équipe, qui a une expérience variée couvrant plusieurs de ces modalités. Nous sommes particulièrement intéressés par la façon dont la multimodalité peut rendre les modèles plus robustes et polyvalents.
Un autre domaine d’intérêt est l’efficience : rendre les modèles plus faciles à entraîner et à utiliser. Cela inclut le travail avec moins de données, l’accélération de l’apprentissage et la réduction de la taille des modèles pour qu’ils puissent fonctionner sur des appareils moins puissants. La consommation énergétique, l’empreinte mémoire et le coût de calcul sont des aspects essentiels ici. Nous nous penchons sur des techniques comme la compression de modèles et l’efficacité de l’entraînement.
Nous explorons également la fiabilité des modèles. Pour maximiser les avantages de ces technologies, en particulier dans des contextes où la sécurité est critique, il est crucial que les modèles soient fiables. Actuellement, il est complexe de garantir la factualité des grands modèles de langage, notamment lorsqu’ils sont utilisés pour interroger des bases de données ou répondre à des questions. Nous étudions donc des approches pour améliorer la fiabilité des réponses fournies par ces modèles.
Dans ce domaine en rapide évolution, il est passionnant pour nous, en tant que chercheurs, de voir notre travail avoir un impact presque immédiat. Cependant, cela nécessite aussi de rester constamment à jour avec les avancées scientifiques pour répondre aux défis de recherche actuels. C’est cette rapidité et l’excitation de contribuer à des solutions pratiques qui rendent la discipline particulièrement stimulante. »
IT for Business : « Cette vision implique une veille technologique constante. Est-ce que cela ne devient pas épuisant à force ? »
Patrick Pérez : « C’est vrai que rester à l’avant-garde demande beaucoup d’énergie. Mais c’est une nécessité pour saisir les opportunités et les défis à venir. L’excitation de voir des progrès rapides dans le domaine de l’IA, comme la capacité de répondre à des questions de manière fiable et naturelle, justifie cet effort. Kyutai aspire à être un catalyseur de changement, offrant une transparence et explorant de nouvelles voies que nous n’aurions pas osé envisager auparavant. C’est juste le début de l’histoire. Les modèles actuels de l’IA ne sont que les précurseurs de ce qui est à venir, et chez Kyutai, nous sommes passionnés par l’idée de contribuer à cette prochaine génération de technologies. »
IT for Business : « Pour explorer ces nouvelles pistes de recherche en IA, la taille de l’équipe est-elle un facteur déterminant ? »
Patrick Pérez : « Pas nécessairement. Il n’est pas essentiel d’avoir une grande équipe, mais plutôt une équipe soudée, variée et complémentaire. Dans d’autres organisations, on peut réaliser de grandes choses avec de grandes équipes. Cependant, dans une équipe de recherche en démarrage comme la nôtre, la complémentarité et la cohésion sont cruciales. Nous aspirons à rester modestes en taille, avec environ 15 membres d’ici à la fin de l’année, y compris des doctorants. »
IT for Business : « Parmi les sujets de recherche, vous abordez également le ‘désapprentissage’ dans les modèles d’IA ? Est-ce un défi particulier pour Kyutai ? »
Patrick Pérez : « Le désapprentissage est une question fascinante et complexe, liée à la gestion de très grands modèles préentraînés sur d’énormes corpus. L’enjeu est de savoir comment évaluer et, si nécessaire, modifier ce que le modèle a intégré. Cela concerne les mises à jour pour des raisons légales, de sécurité ou simplement pour corriger des erreurs factuelles. Identifier et ajuster spécifiquement les informations dans un modèle de plusieurs milliards de paramètres est un véritable défi de recherche. »
IT for Business : « La mise à jour des connaissances est-elle aussi un sujet d’intérêt pour vous ? »
Patrick Pérez : « Nous devons être capables d’actualiser les modèles pour refléter les connaissances actuelles et les changements conjoncturels, comme les changements de leadership dans les entreprises ou les gouvernements. Cela implique de réviser et d’affiner constamment les modèles pour s’assurer qu’ils restent précis et pertinents. »
IT for Business : « Si nous envisageons de mettre à disposition de tous les avancées actuelles de l’IA, les ressources énergétiques et matérielles seraient-elles suffisantes ? Comment cette considération influence-t-elle la recherche, notamment dans un contexte de Green IT ? »
Patrick Pérez : « C’est une question complexe. Je ne suis pas spécialiste des prompts en production, mais pour ce qui est de l’entraînement des modèles, nous connaissons la consommation des GPU et la durée d’utilisation. L’impact énergétique dépend de l’échelle à laquelle l’IA est déployée. Servir des millions d’utilisateurs est évidemment plus gourmand que l’entraînement initial. Cependant, une partie importante de la recherche, y compris chez Kyutai, se concentre sur la durabilité de ces technologies : comment créer des modèles plus petits et spécialisés, qui apprennent avec moins de données et plus rapidement. Je suis confiant dans les avancées de la recherche pour optimiser ces aspects.
En outre, bien que ces technologies soient énergivores, elles promettent des améliorations significatives dans d’autres secteurs tels que le climat, l’énergie et les transports, contribuant ainsi à une plus grande efficacité globale. Il est essentiel de prendre en compte le coût et le retour sur investissement de l’IA, y compris les économies qu’elle pourrait engendrer dans d’autres domaines. Les avancées récentes montrent que l’IA peut améliorer la prédiction des changements climatiques, plaçant ainsi ces technologies au cœur des enjeux actuels. »
IT for Business : « En matière de régulation, quelle est votre position ? »
Patrick Pérez : « L’Europe joue un rôle crucial dans la réglementation du numérique. Les initiatives comme le DMA sont des exemples de réglementations qui semblent pertinentes. En tant que citoyen européen, je trouve qu’il est essentiel de disposer d’une réglementation qui évalue les technologies selon leur niveau de risque, notamment dans le domaine de l’intelligence artificielle.
Le travail sur l’IA Act, qui a commencé il y a trois ou quatre ans, adopte une approche centrée sur les usages et leur niveau de risque. C’est une démarche sensée qui impose une réglementation plus stricte pour les applications présentant des risques élevés. Toutefois, définir les systèmes d’IA et les niveaux de risque est un exercice délicat.
La situation devient plus complexe avec l’avènement de l’IA générative et des assistants conversationnels. L’adaptation rapide de la législation à ces évolutions technologiques s’est révélée être un défi. L’ajout tardif de directives concernant ces nouvelles formes d’IA dans le texte législatif initial semble avoir porté davantage sur la technologie en elle-même que sur ses applications pratiques, ce qui pourrait indiquer une certaine précipitation face à la rapidité des avancées technologiques. Des actions sont déjà entreprises, comme l’interdiction de certains usages de l’IA, par exemple le scoring social, ce que je trouve, en tant que citoyen européen, tout à fait justifié.
Cependant, le débat public semble souvent trop binaire, opposant des vues extrêmes sans nuance nécessaire. Il est crucial que la puissance publique et les législateurs soient informés techniquement. Les chercheurs, en particulier ceux travaillant dans le public ou dans des fondations comme la nôtre, ont la responsabilité de vulgariser et d’informer les citoyens et les décideurs.
Éduquer les décideurs, notamment ceux qui n’ont pas de formation scientifique, est essentiel pour qu’ils saisissent ce que l’IA peut et ne peut pas faire, démystifiant certains mythes et guidant ainsi la réglementation de manière éclairée. »
IT for Business : « Alors que nous concluons, j’aimerais aborder un sujet plus personnel. Quels sont les rêves qui vous guident ? »
Patrick Pérez : « Les rêves sont le moteur de la recherche. Personnellement, je suis fasciné par l’idée que nous puissions un jour avoir dans notre poche un dispositif capable de rassembler la connaissance collective de l’humanité. Je rêve d’une IA qui non seulement détient cette connaissance, mais sait aussi la communiquer de manière adaptée à chacun, du plus jeune enfant à l’expert chevronné, indépendamment de leur statut économique ou culturel. »
IT for Business : « En tant que décideurs IT, comment devrions-nous aborder l’évolution rapide de l’IA ? »
Patrick Pérez : « Il est crucial d’adopter une approche de curiosité éclairée, se formant non seulement pour assimiler l’information, mais aussi pour la décrypter. L’IA a le potentiel de nous aider à mieux comprendre le monde qui nous entoure, et c’est là un rêve qui, je crois, est à notre portée. »
À LIRE AUSSI :
