Cloud

Total s’offre le plus puissant des supercalculateurs industriels

Par Laurent Delattre, publié le 18 juin 2019

energie

Avec Pangea III, créé par IBM, Total s’offre le plus puissant supercalculateur de France et devient le seul industriel à disposer d’une machine dans le Top 15 des plus puissants HPC mondiaux. Mais pour quels usages ?

Les supercalculateurs ne sont pas uniquement réservés aux grands organismes gouvernementaux ou de recherche. De grands industriels y ont aussi recours. « Chez Total, nous faisons du calcul haute performance depuis le milieu des années 80. Ces 20 dernières années, nous avons multiplié par 10.000 la puissance de calculs de nos systèmes, à raison d’un facteur 10 tous les 5 ans environ » rappelle ainsi François Alabert, directeur Geo-Technology Solutions à l’Exploration-Production de Total.
Avec ses Pangea I et II, l’entreprise disposait déjà d’une puissance de calcul figurant dans le Top 50 des ordinateurs les plus puissants de la planète. L’arrivée du nouveau superordinateur porte désormais à 31,7 Pétaflops la puissance de calcul du groupe.

Une puissance multipliée, une consommation divisée

Conçu par IBM, Pangea III est basé sur la même architecture que celle des supercalculateurs Summit et Sierra du DoE (Department of Energy) américain qui squattent les deux premières places du TOP500 depuis l’an dernier. Moins puissant, il figure quand même à la 11 ème place de ce célèbre et prestigieux classement.
Surtout, il est le seul supercalculateur privé industriel du TOP 15, tous les autres HPC présents dans la liste appartenant à des organismes d’état ou académiques.
Il est, par la même occasion, le plus puissant des supercalculateurs français et figure dans le Top 3 européen.
Au-delà de la puissance pure, Pangea III entre aussi à la septième place du « Green 500 », classement des supercalculateurs les moins consommateurs d’énergie. Basé sur le site du Centre Scientifique et Technique Jean Féger à Pau, il est en effet cinq fois plus performant que ses prédécesseurs (qui restent en activité) mais consomme trois fois moins d’énergie (1, 5 MW contre 4,5 MW pour Pangea I et II, soit une consommation par pétaflop divisée par 11).

Au cœur de Pangea III

Quelques uns des 558 noeuds
@CreavCommunication

Le développement de Pangea III a été réalisé en deux phases. Entre octobre et novembre 2018, les équipes d’IBM, de NVidia et de Mellanox ont construit un démonstrateur sur le site d’excellence technique d’IBM à Montpellier afin que Total puisse vérifier que les promesses pouvaient être tenues. L’assemblage de Pangea III sur le site de Pau a démarré en janvier 2019 et s’est poursuivi sur 4 mois. La machine est opérationnelle depuis fin mai.
Elle se compose de 558 nœuds (2U) dotés de 2 processeurs Power9 de 18 cœurs (à 3,45 GHz) associés à 6 GPU NVIDIA Volta GV100. Embarquant chacun deux interfaces Infiniband 100 signées Mellanox, les nœuds n’intègrent aucun disque ou SSD mais communiquent entre eux et avec la baie de stockage à un débit de 200 Gb/s. Chaque nœud contient 512 Go de RAM, chaque GPU disposant de 16 Go de mémoire propre de type HBM (High Bandwidth Memory).
Réparti sur une surface de 120 m2, l’ensemble est réfrigéré par un mécanisme de refroidissement liquide en circuit fermé élaboré par IBM.
Le stockage est, lui, placé dans une salle plus classique à refroidissement par air. Il est signé DDN (DataDirect Networks) et ajoute une baie de 50 Po au stockage existant des Pangea I & II. Cette nouvelle baie se compose de 7000 disques rotatifs interconnectés.
De façon traditionnelle, une console centrale présente l’ensemble des nœuds comme un tout uni et offre différents tableaux de bord de surveillance et d’alerting. Elle assure aussi le pilotage du scheduling, autrement dit la réservation des nœuds, la gestion des nœuds, le déploiement des OS (du RedHat Linux) et des bibliothèques MPI, etc. Cette console s’appuie sur des outils open source tels que InfluxDB, Grafana et Icinga.

Adapter l’existant à Pangea III

L’architecture de Pangea III basée sur des Power9 et des GPU diffèrent profondément de celles des anciens Pangea I et II à base x86. Elle implique donc de repenser et réécrire les outils et codes existants. Les équipes d’informaticiens de Total anticipent depuis plus d’un an l’arrivée de cette architecture et s’évertuent à adapter leurs bibliothèques de codes pour tirer profit des GPU et de l’architecture du nouveau supercalculateur. Des compilateurs C et Fortran IBM XL sont essentiellement utilisés avec du Scuda pour exploiter les GPU et des API OpenMP pour la gestion de la mémoire partagée. « Le travail de portage a commencé bien avant la mise en place du système. La machine est aujourd’hui opérationnelle même si d’autres optimisations seront progressivement insufflées aux différents codes utilisés », précise François Alabert.

Les usages de Pangea III

Pangea III servira principalement à l’imagerie sismique. « Les champs de gaz et de pétrole se situent à des milliers de mètres sous terre. Avant de forer les puits d’exploration et de production, nous avons besoin de déterminer les emplacements optimaux sachant que les champs peuvent s’étendre de quelques kilomètres carrés à des centaines de kilomètres carrés » explique François Alabert.
Au travers des milliers de sondes sismiques (points de tir) qui génèrent des vibrations et de capteurs (géophones) qui captent les échos, il est possible d’imager le sous-sol. Les campagnes de relevés durent plusieurs mois et peuvent se faire à terre comme en mer. Un peu à la manière d’une échographie médicale, grâce à des algorithmes qui modélisent la physique de la propagation des ondes acoustiques dans le sol, les ingénieurs de Total sont capables d’analyser les échos, de les comprendre, et de les transformer pour reconstruire une image 3D du sous-sol avec ses différentes strates géologiques. On peut ainsi découvrir et localiser précisément de nouvelles sources d’hydrocarbures. Les efforts ne se limitent cependant pas à l’obtention d’une première image statique des champs d’hydrocarbures : « Nous réalisons également des campagnes répétitives avec les mêmes sources et capteurs, pour mesurer l’évolution de la vie du champ et réimplanter les puits aux endroits les plus appropriés » ajoute François Alabert.
Au-delà de l’imagerie sismique utilisée pour l’exploration (la découverte de nouveaux champs) et le développement (pour optimiser l’exploitation), Pangea III sera aussi utilisé pour simuler la vie du réservoir d’hydrocarbures au fil du temps : « On construit un digital twin (jumeau numérique) du champ et on anticipe ce qui va se passer dans le réservoir au fur et à mesure de son exploitation. On simule ainsi la production future de chaque puits ».

Pourquoi une telle puissance ?

Pourquoi le groupe Total a-t-il besoin d’un supercalculateur dans le Top 15 pour générer de telles images ? Parce que leur construction nécessite une puissance de calcul pharaonique. L’imagerie sismique s’appuie sur l’enregistrement des signaux issus des milliers de points de tir avec une résolution au millième de millisecondes. Chaque point de tir génère des échos sur des centaines de capteurs (points d’écoute). « Il en résulte une quantité de données énorme à traiter » constate François Alabert. « Une campagne de relevés fait aisément 30 To de données. Nous avons non seulement une très grande volumétrie à traiter en simultané mais les traitements sont eux-mêmes très lourds. »
Car pour exploiter ces données, il faut modéliser les équations de propagation, par nature très complexes, mais aussi procéder à de nombreuses opérations itératives afin d’affiner peu à peu les résultats, un peu comme un chercheur ajuste la molette d’un microscope petit à petit pour améliorer la clarté de l’image.
Des calculs qui nécessitent une infrastructure hautement parallélisée mais aussi un nombre d’I/O très élevé que seuls des supercalculateurs massivement parallèles peuvent aujourd’hui procurer.
La simulation du cycle de vie des champs d’hydrocarbures nécessite également de très lourds calculs. « Nous disposons de modèles maillés de l’écoulement des hydrocarbures du début à la fin de vie du champ. Il y a trente ans nos modèles étaient très grossiers avec à peine quelques milliers de mailles représentant chacune des centaines de milliers de mètres cubes. Aujourd’hui, les modèles sont riches de dizaines de millions de mailles, chacune représentant des espaces de roches de moins de 100 mètres cubes » rappelle François Alabert.

Un supercalculateur 100% privé

La plupart de ces modélisations ont été et sont toujours imaginées, créées et codées en interne par les chercheurs géophysiciens et les développeurs de Total. « Un des intérêts à disposer de tels supercalculateurs est justement de se montrer plus compétitif que nos concurrents et d’être plus précis, plus performants et plus rapides qu’eux » explique François Alabert. « Pangea III est utilisé à 100% par Total, 100% du temps. Il n’y a aucun temps mort ».

Des besoins de performance qui ne sont pas près de s’estomper. De nouvelles techniques d’acquisition voient sans cesse le jour, procurant toujours davantage d’informations à analyser. Or pour doubler la résolution des images sismiques, il faut multiplier par 50 les opérations de calcul. « Si, aujourd’hui, nous avions à disposition dix Pangea III, ils seraient déjà occupés à 100% » note François Alabert.

Certains s’étonneront peut-être de voir Total acquérir de tels monstres de calcul forcément longs à rentabiliser alors qu’il est communément admis dans l’opinion publique que « l’on n’aura bientôt plus d’hydrocarbure ». Pour François Alabert, « l’inquiétude dite du “Peak Oil” s’est répandue au début des années 2000. Mais aujourd’hui, nous sommes plutôt revenus à une phase d’abondance. Il n’y a plus d’inquiétude. Tous les ans, nous découvrons de nouvelles réserves représentant quelques dizaines de milliards de barils ». En outre, les champs pétrolifères ne sont en moyenne exploités qu’au tiers de leur capacité, le reste étant souvent trop cher à exploiter. « Des supercalculateurs comme Pangea nous aident à mieux exploiter les champs d’hydrocarbures et à imaginer de nouvelles solutions afin de produire des ressources de la manière la plus économique et la plus durable possible. »

A lire également :
Cocorico… la France se dote d’un nouveau supercalculateur !
Avec Summit, les Etats-Unis récupèrent leur trône dans le HPC