Hololens, une fenêtre ouverte sur le futur (2016)

English

Il est arrivé chez nous ! Nous avons la chance d’avoir reçu un kit de développement Hololens (moyennant cependant des frais de 3000 USD…). Microsoft a commencé une première vague d’envoi d’Hololens Édition Développement au début de ce mois, à des développeurs et partenaires commerciaux sélectionnés. L’opération est pour le moment limitée aux États-Unis et au Canada.

Hololens n’est pas un casque de réalité virtuelle immersive comme le sont Oculus Rift et HTC Vive. C’est une paire de lunettes de réalité augmentée, en quelque sorte un lointain et bien plus évolué descendant des Google Glasses. Vous n’êtes pas isolé visuellement de votre environnement, ce sont les éléments 3D qui viennent s’incruster dans votre vision du réel.

Le dispositif est encombrant et vous donne un air de Robocop quand vous le portez. Mais vous avez sur votre tête un ordinateur aux puissantes capacités graphiques, tournant sous une version modifiée de Windows 10, des batteries, et un dispositif de projection sophistiqué. L’Hololens est cependant bien plus léger qu’on ne pourrait le penser à première vue, un peu moins de 600 grammes et est assez confortable une fois que vous l’avez correctement réglé à votre tête.

La zone d’affichage ne couvre pas tout votre champ de vision, seulement une portion, qui correspondrait à regarder un moniteur 16:9 d’environ 15 pouces de diagonale, ce qui est un peu décevant. On est parfois à tourner la tête en tout sens pour retrouver un objet égaré dans l'espace virtuel, les lunettes n'offrant qu'une fenêtre trop modeste sur cet univers. Comme de vraies lunettes, chaque œil dispose d’un “verre”, qui est en fait un genre d’écran où sont projetées les images (1268 x 720 pixels pour chaque œil). Ces fragiles écrans sont protégés à l’intérieur une grande coque en plastique, teintée dans sa partie frontale. La résolution de l’affichage paraît suffisante et les objets sont lumineux et bien définis, si ce n’est occasionnellement des bogues de rendu qui ne sont pas le fait des afficheurs.

Sur le bandeau supérieur à l’avant, on voit sur chaque côté une paire de caméras qui sont dédiées à la reconnaissance de l’environnement. Au milieu, il y a une caméra de 2 mégapixels pour la vidéo, ainsi qu’un senseur, baptisé depth sensing camera, ce dernier permettant de détecter les mouvements et distances ; c’est une sorte de Xbox Kinect miniature. C’est ce senseur qui permet de capter les mouvements de vos mains, lorsque vous pointez du doigt un objet virtuel par exemple, ou encore que vous ouvrez la main paume en l’air, ce qui est le mouvement signifiant que vous souhaitez revenir au menu “Démarrer”. L’ensemble des 4 caméras latérales et du senseur central travaillent de concert pour permettre le calcul en temps réel d’une représentation 3D de l’environnement, ce qui est une belle performance. Au chapitre des senseurs, l’Hololens possède également une centrale à inertie (IMU) en interne et un capteur de lumière ambiante. Les images fournies par la caméra centrale permettent d’enregistrer ce que vous voyez avec incrustation des éléments 3D. C’est ce flux vidéo de réalité augmentée qui est utilisé dans les démonstrations par exemple. Lorsque la caméra est en fonction, l’affichage de l’Hololens passe de 60 à 30 fps.

À l’intérieur, si vous aviez l’idée de le démonter, vous y trouveriez un ordinateur PC complet, ce qui différencie Hololens des casques de réalité virtuelle qui ont besoin d’un ordinateur externe pour toute la partie calcul. Hololens n’est pas un périphérique d’ordinateur ou de console, mais bel et bien un appareil complètement indépendant.

La carte mère porte un processeur 32 bits Intel (CPU), sans autre précision, un processeur graphique (GPU) et un processeur développé spécialement par Microsoft, appelé Holographic Processing Unit (HPU). Cette dernière unité est entièrement dédiée au traitement de l’important flot de données issu des différents senseurs consacrés à la reconnaissance spatiale. Sur la petite carte mère, on trouve également la mémoire vive (RAM, 2 Gb), la mémoire Flash (64 Gb), une puce Wi-Fi et une Bluetooth. Les batteries sont constituées de 3 modules (modèle non spécifié à l’heure actuelle) dans chaque branche de l’appareil, soit 6 modules en tout. La durée de vie d’une charge est de 2 h 30 en utilisation intensive, d’un maximum de 5 heures 30 et de deux semaines en veille. La charge se fait via un câble Micro-USB.

Avec ce premier modèle, certains développeurs rencontreront une limite : une application ne peut se voir allouer plus de 900 mégaoctets de RAM, ce qui est cohérent avec une mémoire vive totale de 2 gigaoctets. Aussi, afin de protéger le matériel qui est refroidi passivement, Windows a la mission de tuer sans préavis tout programme qui ferait trop chauffer le processeur.

L’appareil est livré avec un accessoire de navigation, dénommé le “cliqueur”. Apparié via Bluetooth, doté d’une petite boucle pour l’attacher au majeur, il permet des interactions avec les interfaces virtuelles : sélectionner, cliquer et déplacer, faire défiler verticalement et horizontalement, zoomer.

Analyse

Alex Kipman, développeur de Kinect, puis superviseur du projet Baraboo devenu par la suite Hololens, a déclaré que le produit serait proposé au public seulement quand le marché serait prêt. On a un peu l’impression que Microsoft a développé Hololens sans trop savoir vraiment ni son avenir ni ses usages, comme un exercice de style, et comme si cette “édition développeur” était une partie de pêche : lançons l’hameçon, on verra bien ce qu’on ramènera. Le message est clairement “Amis développeurs, on vous aime, on a fait un machin amusant, on est bien curieux de savoir ce que vous pourriez imaginer avec”. Je ne doute pas, d’ailleurs, que des idées brillantes vont ainsi surgir.

La réalité virtuelle totalement immersive va faire un carton dans le grand public, j’en suis persuadé. Alors que pour la seule réalité augmentée, je doute beaucoup, tout du moins dans un avenir proche. Je ne pense pas qu’il y ait un marché grand public pour des lunettes de réalité augmentée à 3000 $, et même à 2000 $. Une fois passé l’amusement de la découverte des pseudo-hologrammes, la réalité augmentée peut vite lasser à défaut d’application vraiment révolutionnaire. Pour les jeux, tout le monde n’a pas forcément envie de voir toujours la même réalité, parfois pas très gaie, généralement sa maison, en toile de fond. On notera également que les casques de VR pourraient aussi proposer l’expérience réalité augmentée, via des caméras reproduisant le monde environnant. L’avenir d’Hololens est à mon avis probablement à chercher dans l’éducation et les applications professionnelles. Je ne cache pas mon scepticisme à l’égard du produit en l’état, mais il ouvre indéniablement des perspectives d’avenir. Au sein de Spiria, il y a bien des gens bien plus enthousiastes pour Hololens. Je vois des développeurs excités qui tournent autour, trépignant d’impatience de tester l’objet et imaginant déjà des applications parfois inattendues… On vous promet aussi très prochainement, ici même, des articles explorant plus en profondeur les possibilités et la programmation d’Hololens.

L’objet que nous avons entre les mains est encore expérimental. Je pense qu’il faut encore le considérer comme un prototype. Il est difficile de lui voir, avec les mêmes spécifications, un avenir commercial, principalement en raison des limitations de son affichage et de son coût. Cela dit, il sera très intéressant de voir évoluer cette technologie prometteuse, mais encore embryonnaire, et comment elle sera recyclée dans des produits futurs. La principale qualité d’Hololens est finalement de vous faire toucher du doigt l’avenir, de rendre plus concrètes des technologies qui relevaient jusqu’à peu de la science-fiction. Hololens met en appétit, mais peut laisser un peu sur sa faim dans cette version 1.

Les plus

• Appareil autosuffisant, ne nécessite pas un PC.
• Facilité d’apprentissage.
• Excellent son spatialisé (sons binauraux).
• Qualité de fabrication.
• Donne un aperçu du futur.

Les moins

• Champ d’affichage restreint.
• Autonomie des batteries modeste.
• Analyse et reconstruction 3D de l’environnement parfois déficiente.
• Fatigue oculaire et physique en cas d’utilisation prolongée.

Déballage “Development Edition”.

HoloLens, A Glimpse of the Future

We’ve got one! We were able to get our hands on a HoloLens, though not before we parted with US $3,000. At the beginning of the month, Microsoft shipped the first wave of Development Edition HoloLens to selected developers and business partners. For the time being, shipping is restricted to the United States and Canada.

Unlike Oculus Rift or HTC Vive, HoloLens is not an immersive virtual reality headset but rather a pair of augmented-reality glasses, much like a far more evolved descendent of Google Glasses. In other words, these glasses do not isolate you from your environment; they embed 3D elements into your perception of your environment.

The glasses are bulky, making the wearer look like Robocop. This is forgivable, however -- after all, you are wearing a full-fledged computer with powerful graphic capabilities running on a modified version of Windows 10, as well as batteries and a sophisticated projection device. That being said, the HoloLens is much lighter than it looks, weighing in at just under 600 grams, and is rather comfortable once adjusted for size.

The display does not encompass the entire field of vision, covering just the equivalent of a 16:9, 15-inch monitor, which is somewhat disappointing. Wearers end up swivelling their head madly to try to find an object lost in virtual space, since the glasses offer too small a window on this universe. Just like traditional glasses, there are two separate lenses, or screens, onto which images are projected (1268 x 720 pixels per eye). These delicate screens are protected by a plastic shell that is tinted on the outside. Display resolution seems sufficient and objects are bright and crisp, though sometimes marred by rendering bugs that are not due to the displays.

On either side of the forehead there is a pair of cameras dedicated to spatial analysis. In the middle is a 2-megapixel video camera, as well as a sensor, called a depth-sensing camera, to detect movement and distance (sort of like a miniature Xbox Kinect). This camera senses the movement of your hands, for example when you point a finger at a virtual object, or when you open your hand palm-up, which is the signal to go back to the Start menu. All four side-cameras and the centre sensor work together to calculate 3D representations of the environment in real-time, which is quite a feat. The HoloLens contains another, internal sensor (the inertial measurement unit, IMU), as well as an ambient-light sensor. Images supplied by the centre camera, along with the 3D virtual additions, are recorded to make an augmented reality video like the one used in the demonstrations. When the camera is in use, the HoloLens switches from 60 to 30 fps.

If you were to take the HoloLens apart, you would find a complete PC on the inside, which sets HoloLens apart from virtual reality headsets, since they rely on a separate computer to perform calculations. HoloLens is not a peripheral to a computer or a console; it is a computer in itself.

The motherboard holds a 32-bit Intel processor (CPU), a graphics processor (GPU) and a processor that was custom-developed for Microsoft, called Holographic Processing Unit (HPU). The HPU processes the masses of data generated by the various sensors performing spatial analyses. The small motherboard also holds 2 Gb of RAM, 64 Gb of Flash memory, a Wi-Fi chip and Bluetooth. Batteries (model unknown) are grouped in 3 modules per side, or 6 modules in total. Fully-charged batteries have a lifespan of 2.5 hours under intense use or 5.5 hours maximum and two weeks on standby. Batteries are recharged via Micro-USB cable.

With this introductory model of the HoloLens, some developers will hit the ceiling of 900 megabytes of RAM per application, which is to be expected with a total RAM of 2 gigabytes. Also, in order to protect passively-cooled components, Windows summarily shuts down any program that overheats the processor.

The HoloLens comes with a navigational aid, called the “clicker”. It attaches to the middle finger and communicates with the headset via Bluetooth, enabling user interaction with virtual interfaces to select, click and move, scroll vertically and horizontally and zoom.

Analysis

Alex Kipman, the developer of Kinect, then supervisor of the Baraboo project, which evolved into HoloLens, has announced that the glasses will have a consumer release only when the market is ready for it. We get the feeling that Microsoft developed the HoloLens without really knowing what exactly it would do, or how it would be used. It’s as though this “developer edition” were in fact a fishing expedition, a testing of the waters. The message seems to be, “Developers, we like you, we’ve created this fun toy for you, let’s see what novel uses you find for it”. And I have no doubt that it will indeed be put to brilliant use.

Totally immersive virtual reality is going to take the public by storm. But I wouldn’t say as much for augmented reality, at least for the foreseeable future. In fact, I don’t think there will be much of a market for 3000-dollar augmented reality glasses, or even 2000-dollar ones. Once the novelty of pseudo-holograms wears off, these glasses are going to be set aside, unless someone comes up with a truly revolutionary application for augmented reality. As for gaming, people don’t really want to always game in a familiar environment, usually their own home, even if it is augmented. Besides, virtual reality headsets can also provide the augmented reality experience with built-in cameras. HoloLens may have a future in educational and professional applications. Though I am skeptical about this product as it currently stands, it does have potential for the future. Here at Spiria, some of our developers are very excited by the HoloLens, lining up to try it and thinking up novel applications for it. Watch this space for further articles on HoloLens’ capabilities and programming potential.

HoloLens as it stands is still at the experimental phase, a mere prototype. With its current specifications, it is difficult to imagine a commercial future for it, especially due to its relatively limited display and high cost. This said, it will be very interesting to see how this fledgling but promising technology grows and evolves, and how it will be repurposed in future applications. HoloLens’ main quality is to put the future within our reach, to give us a taste of these technologies which until recently belonged to science fiction. HoloLens version 1 is a tasty morsel that has us asking, “where’s the beef?”.

What’s Hot

• Autonomous device not linked to a PC.
• Ease of use.
• Excellent spatial sound (binaural sound).
• High-quality fabrication.
• Window on the future.

What’s Not

• Limited display field.
• Mediocre battery life.
• 3D reconstruction of the environment sometimes “off”.
• Eye strain and fatigue under prolonged use.

 

Unpacking of the “Development Edition”.