Data / IA
Re:Invent 2023 : Comment AWS répond à Microsoft et Google sur l’IA
Par Laurent Delattre, publié le 01 décembre 2023
La puissance de l’IA générative a pris par surprise les utilisateurs, les DSI et… Amazon. L’hyperscaler a profité de sa conférence « AWS Re:Invent 2023 » pour refaire son retard et proposer sa vision d’une IA générative calibrée pour l’entreprise. Voici ce que les DSI doivent en retenir.
Dépassé par l’adoption surprise et populaire de ChatGPT et par la course soudaine livrée par Microsoft et Google, AWS a pris du retard sur l’IA. Tout le monde le sait. Et les dirigeants d’AWS ne l’ignorent pas… loin de là. Et Amazon s’agite en interne pour innover en IA générative et trouver sa place sur le marché. Car depuis le début de l’année, on a vu Microsoft faire un énorme forcing sur les modèles (et notamment ceux d’OpenAI) pour forger leur suprématie, et Google – conscient des limites de ses propres modèles – faire le forcing sur les outils avec notamment un Gen App Builder et un VertexAI qui ont su convaincre nombre de DSI pourtant peu emballés par les modèles Google. Depuis, Microsoft a, à son tour, multiplié les outils (Copilot Studio, Azure AI Studio, Windows AI Studio…), et Google travaille activement à de nouvelles générations de modèles.
Pas facile, même pour AWS, de se faire une place dans cette course de rouleaux-compresseurs.
Comme le dévoile Business Insider – dans une longue analyse sur la difficulté pour AWS de se réinventer quand on est le leader historique d’un marché – les employés d’AWS sont soumis depuis le début de l’année à une énorme pression de l’équipe dirigeante. Avec trois mots d’ordre : innover coûte que coûte, systématiquement minimiser les concurrents et souligner leurs faiblesses, vendre les IA propres à AWS à toutes les sauces. Vite, vite, vite…
Et selon Business Insider, AWS en oublierait même au passage ses principes de leadership et forcerait à une adoption massive de son CodeWhisperer que le client le demande ou non.
« Toutes les conversations de notre direction tournent autour de gênai, toutes les conférences parlent de GenAI, toutes les formations sont sur GenAI… c’est trop » explique un employé d’AWS dans un coup de gueule interne publié sur le Slack interne auquel Business Insider a eu accès, canal rejoint par 21 000 employés.
Et s’il semble y a avoir en interne une certaine « fatigue de l’IA » engendrée par cette pression permanente, force est de reconnaître que le marché, que les clients eux-mêmes, mettent la pression à AWS.
À l’occasion de sa grande conférence annuelle Re:Invent 2023, qui s’est tenue cette semaine, AWS a une nouvelle fois démontré sa capacité à innover et répondre vite face à la pression. À la vue du nombre d’annonces IA faites cette semaine, on comprend bien la pression ressentie en interne. AWS avait en effet beaucoup de choses nouvelles à dévoiler. Voilà ce que les DSI doivent absolument retenir pour bien comprendre la stratégie IA de l’hyperscaler :
1. Amazon Q, la réponse d’AWS à Copilot et Duet AI
S’il faut ne retenir qu’une annonce de cette édition 2023 de Re:Invent, c’est sans doute « Amazon Q ». La nouveauté illustre à elle seule la volonté d’AWS de répondre aux défis de l’IA Générative en se focalisant sur les besoins spécifiques des entreprises.
« Ce que les premiers fournisseurs dans ce domaine ont fait est vraiment excitant et est vraiment très utile pour les consommateurs. Mais dans de nombreux cas, ces applications ne fonctionnent pas vraiment au travail. Leur connaissance générale et leurs capacités sont excellentes, mais ils ne connaissent pas votre entreprise, ils ne connaissent pas vos données, vos clients ou vos opérations, » explique ainsi Adam Selipsky, le CEO d’AWS avec une certaine mauvaise fois. Azure OpenAI Services, Bing Chat Enterprise (devenu Microsoft Copilot), Microsoft 365 Copilot, Duet AI for Workplaces sont autant d’IA centrées sur les entreprises et leurs données.
« Nous savions donc que nous devions combler ces lacunes lorsque nous avons entrepris de construire des applications d’IA génératives », ajoute Adam Selipsky. « Cela doit être intégré dès le départ. Q vous permet de répondre rapidement aux questions, avec des interactions en langage naturel, et vous pouvez facilement discuter, générer du contenu et prendre des mesures. Et tout cela est informé par une compréhension de vos systèmes, de vos dépôts de données et de vos opérations. »
IA conversationnelle dopée aux LLMs, Amazon Q adopte une approche un peu différente puisqu’elle doit – le plus souvent – être personnalisée pour être utilisée. En gros, on commence par la connecter aux bases d’information de l’entreprise et définir des personnalisations pour obtenir ensuite une Web App « Amazon Q » personnalisée. Dit autrement « Q » peut être vu comme un générateur d’IA conversationnelle un peu à la manière des GPTs d’OpenAI ou de Microsoft Copilot Studio.
À LIRE AUSSI :
AWS la présente comme un « Assistant Expert » qui propose aujourd’hui 4 visages différents :
– Amazon Q « Expert Entreprise » : connectée au patrimoine informationnel de l’entreprise (40 connecteurs pour les services AWS, Microsoft 365, Salesforce, ServiceNow, Dropbox, Google Drive, etc. sont déjà disponibles), l’IA peut être interrogée pour rechercher des informations ou résoudre des problèmes métier. Selon AWS, elle le fait en précisant les citations et documentations ayant forgé ses réponses. Mais Amazon Q ne se contente pas de répondre aux questions et discuter. L’IA assistante peut aussi générer ou résumer du contenu (blog, communiqués, emails, etc.) et même réaliser des actions pour le compte de l’utilisateur par le biais de plugins configurables.
– Amazon Q « Expert BI » : Amazon Q est désormais directement intégré à Amazon QuickSight. Chacun peut ainsi interroger les données en s’exprimant en langage naturel. Selon AWS, grâce à Amazon Q, les utilisateurs peuvent créer des tableaux de bord et des rapports en quelques minutes, en demandant simplement à Q de visualiser ce qu’ils souhaitent voir. L’IA assistante génère des diagrammes que vous pouvez ajouter facilement à votre tableau de bord. Elle peut aussi formuler des recommandations, suggérant d’autres analyses ou d’autres formes de visualisation. Typiquement Amazon Q peut analyser les résultats de vos campagnes marketing et fournir automatiquement des rapports récapitulatifs comme en raffolent les comités de direction.
– Amazon Q « Expert AWS » : Et quitte à disposer d’une IA conversationnelle, autant qu’elle serve aussi les propres besoins d’AWS. « Nous avons formé Amazon Q sur 17 ans de connaissances AWS afin que l’IA puisse transformer la façon dont vous concevez, optimisez et exploitez les Workloads sur AWS » explique Selipsky. Directement intégré dans la console d’AWS, l’IA évite d’avoir à plonger dans les documentations AWS pour obtenir des réponses, informe les utilisateurs sur les derniers services, aide à gérer le cycle de vie des applications, suggère de bonnes pratiques, priorise les actions à mener, etc. « Q » peut aussi dialoguer avec CodeWhisperer pour aider à créer des scripts, corriger des bugs dans des lignes de codes, aider à moderniser du vieux code, etc.
Bien sûr, tout ceci évoque furieusement ce que Microsoft essaye de faire avec Microsoft 365 Copilot et Google avec Duet AI for Workspaces. Alors, quitte à rentrer en guerre, autant le faire aussi sur le terrain des prix. Si Microsoft et Google se sont alignés sur 30$ par utilisateurs et par mois, AWS lance Amazon Q à 20$ par utilisateurs et par mois.
2. De nouveaux modèles pour Bedrock
En avril dernier, AWS annonçait Amazon Bedrock, un service simplifiant à l’extrême l’accès à différents modèles fondation depuis une API universelle.
À Re:Invent 2023, AWS a évidemment annoncé de nombreuses nouveautés autour de Bedrock. Tout d’abord, l’API s’enrichit pour permettre de mieux personnaliser les modèles existants. Mais surtout de nouveaux modèles apparaissent.
« Aucun modèle n’est idéal pour tous les cas d’utilisation. Les modèles varient en termes de capacités, de prix et de performances. Les clients ont besoin d’un accès facile à une variété de choix de modèles, afin qu’ils puissent essayer différents modèles, passer de l’un à l’autre et combiner les meilleurs modèles pour leurs besoins » rappellent les responsables d’AWS. C’est pourquoi Amazon Bedrock permet d’accéder aux dernières versions des grands modèles fondation du marché depuis une même API : Anthropic Claude 2.1, Meta Llama 2 70B, Cohere Command Light, Cohere Embed English, Cohere Embed multilingual, Meta Llama 2 13B, Stability AI Stable Diffusion XL 1.0.
Mais Amazon développe aussi ses propres modèles. En plus des modèles Amazon Titan Text Embeddings et Amazon Titan Text déjà disponibles, l’hyperscaler lance deux nouveaux modèles fondation :
– Amazon Titan Image Generator : disponible en Preview, ce générateur d’images marche sur les platebandes de Dall-E, StableDiffusion, Midjourney ou Adobe Firefly. Il permet de créer de nouvelles images à partir d’une description textuelle ou de retoucher/transformer/compléter des images existantes. On notera que le modèle ajoute automatiquement un marquage visuel à toute image qu’il génère.
– Amazon Titan Multimodal Embeddings : un modèle qui améliore l’exactitude et la pertinence des expériences de recherche ou de recommandations multimodales. Il suffit de soumettre des requêtes d’invite combinant une demande en langage naturel et des images.
L’une des grandes originalités de Bedrock, c’est que le service ne se contente pas d’exposer de grands modèles fondation. Il veut aussi aider à les maîtriser et mieux encore à les comparer.
Dans cet esprit, AWS a lancé deux nouvelles fonctionnalités :
– Model Évaluation on Amazon Bedrock est un service d’évaluation de modèles qui aide les clients à évaluer, comparer et sélectionner les meilleurs modèles pour leur cas d’utilisation spécifique. Il offre deux options : des évaluations automatiques, basées sur des critères prédéfinis (comme la précision, la robustesse, la toxicité) et des évaluations humaines pour des contenus plus subjectifs ou nuancés. Les clients peuvent utiliser leurs propres ensembles de données de test ou en choisir parmi des options publiques.
– Knowledge Bases for Amazon Bedrock permet aux organisations de compléter les modèles avec des données propriétaires pour générer des réponses plus pertinentes et précises. La fonction utilise la technique de génération augmentée de récupération (RAG) pour personnaliser les réponses d’un modèle en y intégrant des informations issues de diverses sources, comme des dépôts de documents, des bases de données et des API.
À LIRE AUSSI :
3. AWS Clean Rooms ML
Autre nouveauté phare de ce Re:Invent 2023, AWS lance un service de préservation de la vie privée, AWS Clean Rooms ML, permettant aux équipes IA de collaborer sans partager de données propriétaires, facilitant la création et le déploiement de modèles d’IA. L’idée est de permettre à des équipes d’entités différentes de collaborer sur des modèles ML dans un même environnement sans partager leurs données réelles.
En pratique, ce service permet aux datascientists de prendre un petit échantillon de données privées pour générer un ensemble élargi de données similaires à confier à ses partenaires sans dévoiler les données de départ, créant ainsi un modèle d’IA de type “lookalike”. Clean Rooms ML offre des contrôles pour ajuster les résultats du modèle en fonction des besoins commerciaux spécifiques. Dans un avenir proche, AWS prévoit d’ajouter des paramètres pour des secteurs verticaux comme la santé par exemple.
4. Neptune Analytics
Neptune Analytics est un nouveau service BI dopé à l’IA qui combine la recherche vectorielle et l’analyse de données graphes pour permettre d’analyser de grandes quantités de données organisées en graphe rapidement et efficacement. “Neptune Analytics facilite la découverte de relations dans votre graphe avec la recherche vectorielle en stockant vos données de graphe et de vecteur ensemble”, explique Swami Sivasubramanian, vice-président des données et de l’apprentissage automatique chez AWS.
Et puisque l’on parle de recherche vectorielle, on signalera également que le moteur vectoriel pour Amazon OpenSearch Serverless est passé en GA (General Availability), tout comme la recherche vectorielle pour Amazon DocumentDB (avec compatibilité MongoDB). Une recherche vectorielle pour Amazon MemoryDB pour Redis a également été annoncée en preview.
5. SageMaker HyperPod
AWS n’oublie pas sa plateforme « Data & ML » Sagemaker. Amazon SageMaker HyperPod est une nouvelle infrastructure (et un nouveau service associé) spécialement pensée et assemblée pour l’entraînement et le réglage fin des modèles LLM, optimisant leur long processus de formation.
SageMaker HyperPod permet de rapidement bénéficier d’un cluster distribué équipé d’instances accélérées spécialement conçues pour l’entraînement intensif des modèles génératifs.
6. Nouvelles Puces pour l’IA
AWS a été le premier hyperscaler à percevoir l’intérêt économique pour un cloud comme le sien de développer ses propres processeurs. Depuis, on a vu Google développer ses propres accélérateurs IA, les Google TPU, mais aussi plus récemment Microsoft annoncer son propre processeur ARM 128 cœurs pour Azure (le Cobalt-100) et son propre accélérateur (le Maïa-100). Face à ces récentes annonces concurrentes, AWS réagit et révèle la dernière génération de ses puces visant à améliorer les performances et l’efficacité énergétique, notamment des machines dédiées aux workloads IA.
– Graviton4 : La gamme Graviton continue d’évoluer. La quatrième génération de processeurs ARM conçus sur mesure par Amazon se veut 30% plus performante et offre 50% plus de cœurs et 75% de bande passante supplémentaire comparée au Graviton3. Il sera dans un premier temps utilisé pour les instances « R8g » d’Amazon, optimisées pour la mémoire et adaptées à des charges de travail telles que les bases de données hautes performances, les caches en mémoire et l’analyse de grandes volumétries de données.
– Trainium2 : La seconde génération de l’accélérateur d’IA est spécialement conçue pour l’apprentissage des grands modèles de langage (LLMs) et des modèles fondation des IA génératives. Comparé au Trainium1, il offre des performances en apprentissage quatre fois supérieures, avec trois fois plus de capacité mémoire et une efficacité énergétique doublée. Il permet de bâtir des clusters jusqu’à 100.000 puces au sein d’UltraClusters EC2, capables de former un LLM de 300 milliards de paramètres en quelques semaines seulement (au lieu de plusieurs mois).
À LIRE AUSSI :
7. Des Agents IA pour Amazon Bedrock
Copilot Studio et Gen App Builder ont de la concurrence. Agents for Amazon Bedrock permet de créer des chatbots de support en mixant les capacités de dialogue des IA génératives avec le concept traditionnel des chatbots de support aux échanges scriptés et capables d’exécuter des tâches multi-étapes en s’appuyant sur les systèmes et données de l’entreprise.
Avec Agents pour Amazon Bedrock, les clients peuvent facilement créer un agent en définissant un modèle et en rédigeant des instructions en langage naturel. Ces agents planifient et exécutent des tâches commerciales, comme répondre à des questions sur la disponibilité des produits ou prendre des commandes. Ils analysent automatiquement les demandes, déterminent les informations nécessaires, appellent les API appropriées et extraient des informations de sources de données propriétaires pour fournir les réponses les plus précises possibles.
8. GuardRails pour Amazon Bedrock
Comment faire confiance aux IA génératives ? Pour répondre à cette question qui hante bien des DSI et dirigeants d’entreprise, AWS dégaine « GuardRails for Bedrock ». Le service permet d’implémenter des mesures de sécurité personnalisées au-dessus des modèles fondation exposés par Bedrock.
Dit autrement, le service permet aux entreprises d’ajouter des règles comportementales aux IA conformément à leurs exigences spécifiques et aux principes d’une IA responsable afin de proposer des expériences utilisateur pertinentes et sûres.
Typiquement Guradrails permet de configurer les modèles LLMs de Bedrock pour éviter certains sujets, aligner les interactions sur leurs politiques d’entreprise, et limiter les contenus nuisibles. Guardrails permet également de filtrer le langage offensant et de personnaliser les seuils pour divers types de contenus indésirables, tels que les discours haineux, les insultes, le langage sexualisé ou violent.
À partir de début 2024, GuardRails s’enrichira de fonctionnalités propres à la protection de la confidentialité et des données privées. Il sera possible de masquer les informations personnelles figurant dans les réponses des modèles, d’ajuster des filtres personnalisés et de bloquer des mots spécifiques (comme les noms des projets confidentiels de l’entreprise). Guardrails évalue automatiquement les requêtes des utilisateurs et les réponses des modèles pour détecter et prévenir le contenu restreint. Les entreprises peuvent créer plusieurs garde-fous pour différents cas d’utilisation et les appliquer de manière cohérente sur plusieurs modèles.
Au final, ce Re:Invent 2023 marque la véritable entrée d’AWS sur le marché devenu critique en à peine quelques mois de l’IA générative. Désormais, AWS a des modèles, des services, des outils à aligner face au portfolio de Google Cloud et Microsoft Azure. Et AWS martèle un positionnement « entreprise » qu’il veut différenciant de ses concurrents ce qui n’est pas très réaliste. Mais ces annonces témoignent quand même d’une bonne compréhension des besoins réels des entreprises pour basculer des expérimentations menées cette année à des outils qui peuvent être déployés et apportent une vraie valeur aux métiers. Reste désormais à toutes ces nouvelles IA à faire leurs preuves.
À écouter : 3 questions posées à AWS
Podcast réalisé pendant l’évènement avec Sébastien Stormacq, Principal Developer Advocate pour AWS
Q1 : “Récemment, Microsoft s’est concentré sur le développement de modèles d’IA, tandis que Google a mis l’accent sur la création d’outils pour faciliter le déploiement et la gestion de l’IA. En quoi la stratégie d’AWS se distingue-t-elle de celles de ses concurrents dans ce domaine ?“
Q2 : “AWS a été un précurseur dans le développement de processeurs dédiés à l’IA. Pensez-vous qu’à l’avenir, il sera possible pour AWS de fonctionner exclusivement avec ses propres processeurs dans le cloud ?“
Q3 : “L’IA est réputée pour sa consommation importante de ressources. Quelles initiatives AWS a-t-il prises pour promouvoir une approche plus écologique et durable de l’IA, ce que l’on appelle le ‘Green AI’ ?“
À LIRE AUSSI :
