Hololens 2 et la révolution du spatial computing

Interagir de façon naturelle avec des objets virtuels… Disposer d’un environnement de travail où que l’on soit… Créer des espaces de collaboration instantanément sans se déplacer… Avec Hololens 2, Microsoft fait du Spatial Computing une réalité…

En associant la numérisation de tous les documents et la réalité mixte, l’environnement de travail n’est plus figé et n’est plus restreint à un espace physique unique. Il peut être virtuellement « reconstruit » où que l’on soit et utiliser le mobilier ou les murs physiques comme supports aux éléments virtuels. Votre table de cuisine se transforme en bureau, votre assistante virtualisée est toujours à vos côtés, les objets personnels comme un cadre photo, un calendrier, ou une peluche qui ornaient jusqu’ici votre bureau physique agrémentent votre bureau virtuel 3D où que vous le fassiez apparaître.

Réalité physique et réalité virtuelle fusionnent. Les espaces physiques qui vous entourent servent de support aux interactions virtuelles. Les objets virtuels peuvent être manipulés avec les doigts, déplacés, tournés, observés avec une totale liberté. De nombreux éléments matériels de votre bureau disparaissent au profit de leur version virtualisée (de leur jumeau numérique) comme l’écran mais aussi le clavier, la souris ou même le téléphone.
Mieux encore, le monde virtualisé affiché devant vos yeux peut s’affranchir des limites physiques. Votre espace de travail n’est plus limité par l’écran informatique mais s’étend tout autour de vous. Les fenêtres de vos applications vous entourent. Votre bureau n’est plus restreint à la planche de bois devant vous mais occupe tout l’espace tridimensionnel autour de vous. Et les salles de réunion accueillent des centaines d’avatars s’affranchissant des limites physiques.

L’ère du spatial computing

Cette nouvelle réalité, mélangeant réalité augmentée, réalité virtuelle, et des interactions homme-machine s’affranchissant d’objets physiques au profit d’objets holographiques porte un nom : le Spatial Computing.

Et depuis quelques jours, cette informatique multidimensionnelle n’est plus de la science-fiction. Cette vision a été en partie initiée par les lunettes Hololens de Microsoft avec leur « Mixed Reality Portal » et par les lunettes Magic Leap One de Magic Leap qui a embauché les designers d’Argodesign pour développer des interfaces permettant d’implémenter des briques ergonomiques dans cet esprit. Avec, l’idée, au final, de disposer d’un environnement de travail augmenté et très largement virtualisé pour être transposé aisément n’importe où.

Cette semaine, au MWC 2019 (Mobile World Congress), le spatial computing a fait un grand bond en avant. En annonçant ses Hololens 2, Microsoft n’a pas seulement lancé un casque plus léger, plus confortable et plus autonome. L’éditeur s’est surtout évertué à créer l’ergonomie et l’écosystème de services permettant de concrétiser cette vision d’une informatique affranchie des réalités physiques.

Microsoft réinvente Hololens

Alors que Hololens 1 et Magic Leap One sont avant tout des « POC » (proof of concept) destinés aux développeurs pour leur permettre de comprendre et imaginer les applications de la réalité mixte, Hololens 2 est un véritable produit B2B, un outil d’entreprise qui s’enfile comme une casquette et ne nécessite aucun paramétrage préalable, complexe et long. Le confort du casque a été entièrement repensé afin qu’il puisse être porté sur de longue durée sans fatigue. Plus léger, plus équilibré, plus stable, il propose une expérience utilisateur bien plus agréable. Le champ de vision de l’image holographique a été multiplié par 2 pour dépasser les 55° par œil. C’est beaucoup mieux que précédemment (30°) mais cela reste encore un peu limité quand on sait que les casques de réalité virtuelle offrent généralement un champ de vision monoculaire de 90°. Enfin, le casque, qui rappelons-le est totalement autonome (pas le moindre câble), embarque désormais un processeur ARM SnapDragon de Qualcomm plutôt qu’un processeur Intel ce qui améliore son autonomie pour dépasser les 3 heures de travail ininterrompu.

Une ergonomie naturelle

Mais au-delà des spécifications techniques, ce qui démarque réellement les Hololens 2 c’est l’ergonomie générale de l’appareil qui permet enfin des interactions extrêmement naturelles avec les objets holographiques virtuels. Le casque est en effet équipé à la fois d’un mécanisme de suivi des pupilles et d’un mécanisme de reconnaissance des mouvements des doigts de la main. Dès lors, l’objet sur lequel est focalisé le regard devient automatiquement actif et on peut le saisir et le manipuler avec les doigts comme on le ferait avec un objet physique. Il n’y a pas de gestuelle spéciale à apprendre pour interagir avec le monde virtuel. Mieux encore, lorsque vous lancez une application, celle-ci peut vous « suivre » et rester toujours devant vous-même si vous tournez la tête. Ce qui permet par exemple à un chirurgien de garder à l’œil des informations capitales tout en opérant, ou à un technicien d’intervenir sur un chantier tout en conservant un plan devant les yeux. Ainsi, avec Hololens 2, Microsoft révolutionne avant tout l’ergonomie de la réalité mixte. Soudain, le spatial computing devient tangible. Pour être totalement réel et pratique, il lui faudra aussi un écosystème de services. Et là encore, l’éditeur a fait quelques annonces phares en s’appuyant sur son cloud Azure.

Des services AR multi-plateformes

Deux nouveaux services viennent étendre le potentiel de ce « spatial computing » pour l’étendre au-delà du casque Hololens et permettre des interactions virtuelles quels que soient les appareils utilisés.
Azure Spatial Anchors permet de créer des expériences de réalité mixte partagées entre des personnes en immersion totale (via Hololens) et des collaborateurs simplement dotés de smartphones ou tablettes iOS ou Android. Le service permet de créer des applications en réalité augmentée qui partagent les mêmes hologrammes que l’on ait sur la tête un casque hololens ou devant les yeux son smartphone.
Azure Remote Rendering permet de compenser le manque de puissance 3D des appareils mobiles et des casques de réalité mixte autonomes dans un contexte de CAO qui nécessitent des représentations 3D ultra détaillées. Le rendu des objets virtuels 3D est ici réalisé dans le cloud et « streamé » vers le périphérique mobile en réalité augmentée qu’il s’agisse de lunettes hololens ou de terminaux Windows, Android ou iOS.

Au final, l’annonce d’Hololens 2 marque une étape clé dans la concrétisation du « spatial computing » et la vulgarisation du potentiel de la réalité augmentée/mixte dans les scénarios d’entreprise. L’appareil n’est désormais plus un savant jouet pour développeurs et expérimentateurs mais un outil d’entreprise destiné à concrétiser des scénarios métiers à grande échelle.

D’autant que Microsoft a également annoncé un programme « Microsoft Hololens Customization » qui permet à des partenaires et des constructeurs de complètement personnaliser Hololens 2 pour leurs environnements de travail. On sait ainsi que l’armée américaine travaille sur un casque militaire intégrant Hololens 2 et Trimble a durant le MWC2019 annoncé un casque de chantier (le Trimble XR10) embarquant les technologies Hololens 2.

Il ne s’agit pas là simplement d’accrocher des lunettes Microsoft sur des casques ou dispositifs de sécurité existants mais bien de fondre la technologie Hololens au sein des équipements imposés par les réglementations ou les conditions environnementales. Au passage, cela permet aussi la conception de casques dotés de batteries de plus longue durée (mais plus lourdes) pour étendre l’autonomie les lunettes.

La concurrence – à l’instar de Magic Leap – travaille également sur de nouvelles générations de lunettes à venir dans les prochaines années et promet d’aller encore au-delà. Car les axes d’améliorations – en matière de puissance, d’autonomie et de champ de vision notamment mais aussi d’enrichissements ergonomiques – sont nombreux. Reste que le « spatial computing » n’est désormais plus de la science-fiction…

---

Pour en savoir plus :
Albert Hwang – Spatial Computing, Designing physically present digital media
Spatialcomputing.org – Space-Oriented Computation
VR-Lens Lab – Field of view for virtual reality headsets
Microsoft – Hololens 2, a new vision for computing
Magic Leap – John C. Gaeta on the future of spatial computing