Cloud
AWS:REINVENT 2020 : Ce que les DSI doivent retenir du tsunami d’annonces et innovations…
Par Laurent Delattre, publié le 30 décembre 2020
Comme à chaque conférence « Re:Invent », AWS a multiplié les annonces et lancements de nouveaux services comme si, en 2020, ses équipes n’avaient pas été affectées par la pandémie, comme si finalement rien ne pouvait freiner l’accélération du cloud public.
« Si vous regardez l’histoire du cloud, vous constaterez que la pandémie a accéléré l’adoption du cloud de plusieurs années » a déclaré Andy Jassy, le CEO d’AWS en ouverture de la conférence. Durant cette crise, « toutes les entreprises du monde, y compris Amazon, ont essayé et essayent encore d’économiser de l’argent de toutes les façons possibles. Mais ce que nous avons vu — et cela arrive souvent quand vous avez une période de discontinuité comme une pandémie — c’est que les entreprises prennent du recul. Elles repensent ce qu’elles font et ce qu’elles veulent arrêter de faire ». Passer au cloud public est l’une de ces choses qu’elles hésitaient parfois à faire et ont sans conteste massivement faites en 2020.
Et même si la pandémie a forcément aussi eu un impact sur les équipes d’AWS, ce « Re: Invent 2020 » démontre qu’aujourd’hui bien des grandes innovations se font dans le cloud et particulièrement le cloud public. Une tendance qui n’est pas près de ralentir. Virtualisée pour cause de coronavirus et étendu sur 3 semaines, AWS Re:Invent 2020 a fourmillé de nouveaux services et de nouvelles idées dont certaines préfigurent l’informatique de la prochaine décennie.
Au passage, Andy Jassy, le CEO d’AWS a rappelé qu’il était inutile de comparer les taux de croissance d’AWS avec ceux de ses concurrents tout simplement parce que les parts de marché sont sans aucune commune mesure. Le chiffre d’affaires d’AWS en 2020 dépasse en effet les 46,4 milliards de dollars.
Et il a tenu à rappeler que l’adoption du cloud en entreprise et l’adoption d’AWS en particulier étaient toujours en forte accélération : alors qu’il a fallu 10 ans à AWS pour afficher un chiffre d’affaires annuel de 10 milliards de dollars, il n’a fallu que 23 mois pour franchir la barre des 20 milliards de dollars, 13 mois pour franchir celle des 30 milliards et moins de 12 mois pour atteindre les 40 milliards de dollars.
Le cloud continue d’être adopté et AWS continue d’accélérer. Comme souvent, faire la liste exhaustive des annonces « AWS Re:Invent » est mission impossible. Mais de ce flot d’annonces émergent quelques nouveautés clés qui définissent les tendances du moment et que les DSI devraient connaître et garder à l’esprit…
Toujours plus d’hybride
Le cloud hybride n’est pas un frein à l’expansion du cloud public. C’est même tout l’inverse. Il permet de concrétiser des scénarios sur le cloud public qui n’existeraient pas sans l’aspect hybride.
Mais jusqu’ici AWS a rarement cherché à favoriser les approches hybrides. AWS Outposts (qui consiste à embarquer dans son datacenter des appliances AWS managées par AWS) avait été la première incursion véritable d’Amazon sur le marché du cloud hybride.
Cette fois, AWS propose de nouvelles approches plus aisément concrétisables et moins coûteuses. ECS Anywhere et EKS Anywhere rendent les outils d’orchestration de containers ECS & EKS du cloud AWS désormais déployables sur les infrastructures internes des entreprises. AWS vient ainsi directement se placer en compétition de Google Anthos mais également d’Azure AKS (sur Azure Stack HCI). Dans tous les cas l’idée reste la même : offrir aux entreprises une couche logicielle d’infrastructure leur permettant de gérer leurs conteneurs avec la même logique, les mêmes APIs et la même console d’administration que ce qu’ils ont dans le cloud public.
Autre annonce importante relative aux containers, AWS Proton. On le sait la gestion des différentes configurations d’infrastructures et des ressources nécessaires pour accueillir les différents Workloads ne cessent de se complexifier. La multiplication des containers et la gestion de leurs cycles de vie tournent vite au cauchemar. S’inscrivant dans une philosophie « d’outils de construction automatisée d’infrastructure » assez proche de Terraform, AWS Proton est un service de déploiement d’infra pour les applications en container et serverless. Il peut être utilisé par les équipes d’infrastructure pour connecter et coordonner tous les outils nécessaires au provisioning d’infrastructure, aux déploiements de code, à la surveillance et aux mises à jour. Avec AWS Proton, les équipes d’infrastructure peuvent définir des modèles de gestion standardisés, les centraliser et les mettre à la disposition des développeurs de leur organisation au travers d’une interface self-service.
Et pour en finir avec les containers, signalons qu’AWS a officialisé son entrepôt public « Amazon ECR Public » pour accueillir les images de containers communautaires à partager ouvertement. C’est une extension publique aux entrepôts privés « Amazon Elastic Container Registry » qui permettait à une entreprise de stocker, gérer et partager aisément des images de containers entre ses équipes de développement.
À retenir : Concurrent de Google Anthos et de Azure AKS pour Azure Stack, ECS Anywhere et EKS Anywhere permettent de retrouver les services ECS et EKS sur sa propre infrastructure interne avec une console d’administration unique et dans le cloud. AWS Proton est un nouveau service « d’infrastructure as code » qui permet d’unifier CodeDeploy, EKS, CloudFormation et Lambda.
Optimiser les coûts du Serverless
L’informatique « sans serveur » est une tendance qui se généralise aussi bien dans le cloud public que dans les clouds privés. Avec cette volonté de permettre aux développeurs de simplement « déposer » leurs codes (Function as a Service) ou leurs containers (Container as a Service) sur l’Infrastructure avec un grand « I » sans se soucier de ressources, serveurs, montée en charge.
Deux annonces importantes ont marqué l’univers Serverless « Lambda » d’AWS durant cette édition de « Re:Invent ». La première est que désormais l’exécution des « Functions Lambda » est facturée à la milliseconde et non plus par tranche de 100 ms. Une granularité qui permettra d’économiser sur les coûts Lambda pour toutes les entreprises qui font intensément appel à de petites fonctions ultra-rapides. Parallèlement, Lambda permet désormais d’exploiter jusqu’à 10 Go de mémoire pour les fonctions les plus gourmandes et de supporter une exécution jusqu’à 6 vCPUs.
Mais l’annonce la plus importante est sans conteste le support des containers dans Lambda. Jusqu’ici, dans un pur esprit FaaS, Lambda absorbait en entrée des codes sources. Il est désormais possible de packager et déployer vos fonctions Lambda sous forme de containers de sorte à mieux intégrer l’approche Serverless Lambda dans Lambda dans des chaînes DevOps basées sur les containers et à bénéficier d’une gestion des codes sources des fonctions « Lambda » dans son environnement DevOps traditionnel. C’est aussi un moyen de créer des Functions plus élaborées à condition de rester dans les nouvelles limites de Lambda : 10 Go de RAM et 6 vCPU max.
À retenir : AWS cherche à intégrer son approche serverless Lambda au cœur des chaînes DevOps basées sur les containers pour fluidifier la transition vers un monde serverless FaaS/CaaS plus unifié.
Continuer de réinventer le IaaS…
Apple n’autorise toujours pas la virtualisation de son OS ce qui complexifie les tests des applications cross-plateformes pour les entreprises. Pour contourner cette limitation, AWS lance des Apple Mac Mini « à la demande » et devient le premier et seul hyperscaler à proposer des instances Mac dans le cloud. Ces Macs en « bare-metal » sont gérés par l’infrastructure EC2 et permettent aux développeurs d’accéder à des Mac Mini pour construire, tester et publier des applications macOS, iOS, iPadOS, tvOS et watchOS.
Une offre pensée pour des besoins très occasionnels. Car à raison de 25,99$ la journée d’allocation d’instance, l’acquisition d’un vrai mac mini serait rentabilisée en 2 mois s’il ne faut équiper qu’un développeur à temps complet !
Mais AWS continue également d’étendre son offre IaaS et de multiplier les différents types d’instances proposées. L’hyperscaler a ainsi lancé durant « Re:Invent 2020 » de nouveaux types d’instances EC2 basés sur différents types de processeurs : de nouvelles instances Intel Xeon M5zn (basées sur la haute sécurisation AWS Nitro System et offrant jusqu’à 48 vCPU et 192 Go de RAM sur un réseau 100 Gb/s), les instances C6gn à bas coûts à base de processeurs ARM maison Graviton2 (proposant un rapport prix/performance 40% supérieur à des instances x86 équivalentes selon AWS), des instances G4ad à base de processeurs AMD Epyc Gen 2 et de GPU AMD V50 (jusqu’à 64 vCPUs et 4 GPUs).
À ces dernières viennent s’ajouter de nouvelles instances de stockage ultra-dense qui viennent compléter voire remplacer les anciennes instances HS1 et D2. Les instances D3 et D3en reposent sur un stockage HDD à bas coût et offrent jusqu’à 48 To d’espace disque (pour D3) ou 336 To (pour les D3en pensées pour les systèmes Lustre, BeeGDS et GPFS).
Et puisque l’on parle de ressources de stockage dans le cloud, les DSI retiendront également deux annonces importantes :
– un nouveau type de volumes « gp3 » pour EBS (le stockage blocs d’EC2) qui permet d’économiser 20% sans avoir à transférer les données et simplement en ordonnant une conversion des volumes.
– des améliorations importantes sur le stockage objet S3 avec une meilleure fiabilité des « lectures après écritures » ainsi que l’apparition d’une réplication dans les deux sens entre régions et d’une réplication sur de multiples « buckets » de destination.
À retenir : Les Mac débarquent dans le cloud public pour aider les développeurs des entreprises à tester et à publier sur Apple Store leurs apps cross-plateformes. Les utilisateurs d’EBS ont tout intérêt à basculer le plus vite possible sur le nouveau format « gp3 ».
La data, toujours la data…
L’informatique est désormais ancrée dans l’ère du DBaaS (DataBase as a Service). Et les offres se multiplient tout azimut sur AWS.
On retiendra principalement les annonces suivantes :
– le lancement d’Aurora Serverless v2 : l’implémentation maison et serverless de MySQL 5.7 se muscle pour support des centaines des milliers de transactions par seconde et promet une économie de 90% par rapport à une implémentation classique de MySQL à même de supporter une telle volumétrie.
– le lancement de Babelfish pour Aurora, une nouvelle couche de traduction pour Amazon Aurora PostgreSQL qui permet tout simplement à Aurora de comprendre les commandes conçues pour Microsoft SQL Server (T-SQL). Avec Babelfish, AWS veut imposer Aurora PostgreSQL comme la solution universelle pour migrer vos applications Oracle et SQL Server à moindre coût dans le cloud.
– le lancement d’AWS Glue Elastic Views, un nouveau mécanisme serverless pour matérialiser des vues qui combinent ou répliquent les données à travers de multiples « data stores » (DynamoDB, S3, RedShift, ElasticSearch, Amazon RDS, Aurora) en utilisant une syntaxe SQL. Un moyen simple d’unifier ses espaces de données sans rien déplacer.
À retenir : AWS continue d’œuvrer pour encourager les entreprises à penser “database in the cloud first” et à abandonner progressivement leurs serveurs ‘on-prem’ Oracle et SQL Server pour des approches plus modernes.
Simplifier l’accès au Machine Learning
Sans surprise, l’intelligence artificielle et le Machine Learning ont tenu une place prépondérante durant la conférence.
SageMaker a été la grande attraction de ces semaines « Re:Invent 2020 » avec une volonté marquée d’étoffer le potentiel de la plateforme MLaaS (Machine Learning as a Service) d’Amazon et d’en faire l’une des plateformes de data science dans le cloud les plus complètes.
La plateforme gagne en ouverture avec de nouvelles API qui permettent notamment à Tableau, Qlik, SiSense et autre Domo de s’intégrer à SageMaker Autopilot pour enrichir les tableaux de bord des utilisateurs BI de données prédictives en toute simplicité.
Mais surtout, la galaxie SageMaker s’enrichit d’une pléthore de nouveaux services dont voici les principaux :
– SageMaker Feature Store : un puissant référentiel, entièrement managé, conçu pour stocker, mettre à jour, récupérer et partager des fonctionnalités d’apprentissage machine.
– SageMaker Clarify : un nouveau service de compréhension des prédictions et de détection des biais.
– SageMaker Debugger : un service de surveillance en temps réel des métriques d’entraînement des modèles avec une surveillance complète des ressources, une détection des goulots d’étranglement et des mécanismes d’alerte.
– SageMaker Managed Data Parallelism : pour simplifier l’entraînement sur de larges ensembles de données.
– SageMaker Model Parallelism qui permet de fractionner un modèle entre plusieurs nœuds (plusieurs instances à GPUs).
Parallèlement à SageMaker, AWS multiplie les initiatives pour proposer des implantations pratiques et clé en main du Machine Learning dans des scénarios métiers ou des secteurs bien identifiés. Plusieurs annonces vont en ce sens :
– Amazon Monitron est un nouveau service de surveillance de l’état des équipements de vos installations qui facilite la mise en œuvre d’un programme de maintenance prédictive.
– Amazon Lookout for Equipments s’appuie sur des API de Machine Learning pré-programmées pour détecter des comportements anormaux sur des équipements afin d’anticiper les pannes, d’améliorer l’efficacité opérationnelle et la sécurité. Les entreprises soumettent l’historique des données issues de leurs capteurs et obtiennent au final une IA adaptée à la reconnaissance des anomalies liées à leurs équipements.
– Amazon Lookout for Vision est une solution Machine Learning prête à l’emploi pour réaliser du contrôle qualité par analyse visuelle de la présence de défauts de fabrication sur une chaîne industrielle.
– AWS Panorama est une nouvelle appliance pour réaliser et héberger rapidement des applications basées sur la reconnaissance d’images à l’Edge. Les entreprises peuvent ainsi rapidement développer un modèle de vision par ordinateur à l’aide d’Amazon SageMaker et le déployer sur les sites en périphérie à l’aide d’une appliance AWS Panorama qui peut exécuter le modèle sur des flux vidéo de plusieurs caméras réseau et IP.
Pour terminer, on retiendra également qu’AWS développe également un nouveau processeur spécialement conçu pour accélérer l’entraînement des IA. Dénommé AWS Trainium, il est le pendant du processeur AWS Inferencia lancé l’an dernier pour accélérer les inférences.
À retenir : en l’espace de deux ans, Amazon a fait de SageMaker une puissante et complète plateforme de Data Science orientée Machine Learning. Mais la volonté de rendre le ML accessible à tous, via SageMaker AutoML, s’estompe avec la complexité introduite par tous ces nouveaux services avancés. D’où l’importance de services spécialisés comme les « Amazon Lookout » et les appliances « Panorama » qui permettent de passer rapidement de l’idée à la concrétisation en production.
Saupoudrer le tout d’un peu d’IoT
En 2017, AWS introduisait la première version de son IoT Greengrass, un logiciel destiné aux objets connectés permettant d’exécuter des fonctions Lambda (via un module Edge Runtime), de synchroniser des données dans le cloud et de communiquer de façon sécurisée entre plusieurs appareils connectés même lorsqu’ils n’étaient pas connectés à Internet. AWS a annoncé Greengrass 2.0 qui se démarque de la précédente édition par la publication en open source du « Edge Runtime », une conception plus modulaire permettant de sélectionner les modules que l’on veut ou non embarquer (comme le module d’analyse de stream de données Stream Manager), l’apparition d’un CLI, et un logiciel de gestion de flotte de devices pour gérer les déploiements massifs.
Autre nouveauté, IoT SiteWise, le service destiné à simplifier la collecte, l’organisation et l’analyse de données en provenance d’équipements industriels (IIoT) est désormais décliné en version « on premises » dans une pure approche Edge Computing. IoT SiteWise Edge permet d’implémenter les services de collecte, organisation et analyse des données IoT directement au sein d’une usine. Il suffit d’un simple serveur Linux avec un processeur x86 quadri cœur, 16 Go de RAM et 256 Go de SSD.
Toujours dans le domaine de l’IoT, AWS distribue sa propre édition de FreeRTOS, le système d’exploitation open source temps réel pour microcontrôleurs, enrichi d’interactions avec AWS IoT Core et AWS IoT SiteWise. Sa version AWS FreeRTOS voit son gestionnaire de communication cellulaire LTE s’enrichir du mode ‘Cat-M’ spécialement pensé pour l’IoT.
Encore plus dans sa formule virtuelle longue durée, AWS Re:Invent s’impose comme un rendez-vous incontournable non seulement pour suivre l’actualité d’AWS mais également comprendre comment Cloud Public, Cloud Hybride et Edge Computing vont évoluer dans les prochains mois et prochaines années. L’édition 2020 est venue rappeler à tous la formidable richesse et capacité d’innovation d’AWS, un hyperscaler qui domine largement les débats et continuera sans aucun doute de le faire dictant ses rythmes infernaux à une concurrence farouche mais toujours distancée.
