Newtech
IBM lance Benchpress, un nouveau benchmark quantique
Par Laurent Delattre, publié le 02 octobre 2024
L’informatique quantique est un domaine encore très ancré dans la recherche fondamentale. Mais les premières machines existent et de nouvelles sont en préparation. Reste qu’il est difficile, en l’absence de benchmarks universels, de comparer les performances de ces machines et de mesurer les progrès réalisés. IBM s’est penché sur le sujet et nous propose son Benchpress. Décryptage…
Le calcul quantique est en passe de révolutionner le monde de l’informatique, promettant de résoudre des problèmes complexes bien au-delà des capacités des ordinateurs classiques. Cependant, mesurer les performances des ordinateurs quantiques et des logiciels qui les accompagnent demeure un défi majeur. Les benchmarks, ou tests de performance, sont essentiels pour évaluer les progrès et comparer les différentes technologies. Mais dans un domaine aussi novateur, déterminer ce qu’il faut tester n’est pas une tâche aisée.
Une quête indispensable
Jusqu’à présent, des benchmarks comme le Quantum Volume (QV) développé par IBM ont permis d’évaluer la qualité interne des systèmes quantiques, en se concentrant sur des aspects tels que la fidélité des portes quantiques, la vitesse d’exécution et la cohérence des qubits.
En 2020, les chercheurs du Oak Ridge National Laboratory (ORNL) avaient déjà tenté d’imposer un benchmark de leur cru, basé sur une simulation chimique quantique, pour évaluer la performance des machines quantiques. Atos a développé son Q-Score notamment pour comparer la performance des machines réelles face aux simulateurs, le bench Linpack dispose d’une déclinaison « quantum », Super.Tech a développé une suite de tests dénommée SupermarQ, et le QED-C (Quantum Economic Development Consortium) a lui aussi élaboré une sorte de suite applicative.
Toutefois, aucun de ces benchmarks n’est universel ni unanimement reconnu. En outre, les mesures qui découlent de nombre d’entre eux ne reflètent pas toujours la performance réelle des applications ou des algorithmes sur ces systèmes.
Benchpress teste autant les machines que leurs kits quantiques
C’est dans ce contexte qu’IBM vient de présenter Benchpress, un nouvel outil destiné à évaluer les différents kits de développement logiciel (SDK) et les piles logicielles des ordinateurs quantiques. Selon le document publié par IBM, Benchpress offre une suite de plus de 1 000 tests mesurant des métriques de performance clés pour une large gamme d’opérations sur des circuits quantiques pouvant comprendre jusqu’à 930 qubits et des millions de portes à deux qubits. Soit bien plus que le potentiel actuel des machines quantiques disponibles.
L’une des forces de Benchpress réside dans son cadre commun qui permet de tester trois domaines clés : la construction, la manipulation et l’optimisation des circuits quantiques. Il utilise des collections de tests appelées “workouts” qui permettent d’exécuter l’ensemble de la suite de tests sur n’importe quel SDK quantique. Si un test n’est pas pris en charge par un SDK spécifique, il est simplement ignoré, ce qui offre une grande flexibilité.
Parmi les SDK évalués avec Benchpress figurent Braket (le kit de dev d’AWS), BQSKit (Berkeley Quantum Sunthesis Toolkit de l’université de Berkeley), Cirq (la bibliothèque Python de manipulation de circuits quantique de Google), Qiskit (le SDK quantique le plus populaire au monde, signé IBM), l’extension Qiskit Transpiler Service (QTS), Staq (le compilateur quantique open source de l’université canadienne de Dalhousie) et Tket (le compilateur quantique de Cambridge Quantum Computing).
Sans surprise, Qiskit, développé par IBM et désormais open source, a obtenu de bons résultats lors de ces tests. IBM a également publié un blog détaillant les performances de Qiskit avec Benchpress. Il en résulte que non seulement Qiskit tire le meilleur parti des machines quantiques sur lesquelles il a été évalue en terme de performances mais aussi se révèle le kit quantique le plus complet et abouti.
Nombre de tests réussis sur 1 066 tests dans la suite Benchpress. La différence de taux de réussite est principalement liée aux fonctionnalités de chaque SDK. En particulier, Staq ne dispose pas d’un support significatif pour la manipulation de circuits, tandis que Cirq et Braket manquent de fonctionnalités pour la synthèse et la transpilation de circuits.
Outre sa capacité à mesurer la performance des machines et la richesse fonctionnelle des machines et de leurs kits de développement, Benchpress se distingue également par sa capacité à mesurer la consommation mémoire des SDK pour chaque cas de test grâce à l’outil Memray, bien que cette analyse puisse entraîner une surcharge substantielle. De plus, en tirant parti de l’interopérabilité de Qiskit, Benchpress offre un environnement de test uniforme, quelle que soit la fonctionnalité spécifique de chaque SDK.
Il reste à voir dans quelle mesure Benchpress sera adopté par la communauté du calcul quantique. Le Quantum Volume d’IBM a déjà une influence significative dans l’industrie et est utilisé par des concurrents. Mais Benchpress est autrement plus technique et complexe à mettre en œuvre et exécuter. IBM espère néanmoins tenir là un outil transparent et vérifiable pour évaluer les performances des logiciels quantiques, susceptible d’être universellement adopté, contribuant ainsi à accélérer la recherche et la mise en application de l’informatique quantique.
À LIRE AUSSI :
À LIRE AUSSI :
