Windows 10 : API d’HoloLens ?

Beaucoup de nouveautés en Windows 10.  Plusieurs sont surprenantes, d’autres sont intriguantes.  J’ai pris un peu de temps pour analyser rapidement ce que j’ai pu trouver grâce à l’installation de la dernière version de Windows 10 (build 9926) et en analysant quelques fichiers WinMD présents sur le système.  Voyons ce que ça nous réserve…

ATTENTION ATTENTION : IL S’AGIT D’INFORMATION QUE J’AI TROUVÉ EN ANALYSANT CE QUE MICROSOFT A PUBLIÉ LA SEMAINE PASSÉ AVEC LE DÉVOILEMENT DE WINDOWS 10 ET HOLOLENS. IL NE S’AGIT EN RIEN D’UNE DOCUMENTATION TECHNIQUE ET TOUT LE CONTENU EST ISSU EXCLUSIVEMENT DE MON INTERPRÉTATION DE CE QUE J’AI TROUVÉ. J’AI CHOISI DE VOUS PARTAGER MES DÉCOUVERTES ET MON EXCITATION ENVERS CE QUE VA NOUS OFFRIR WINDOWS 10.

Windows.Human & Windows.World.winmd – HoloLens ?

Ces fichiers sont les premiers à avoir attiré mon attention.  Je ne vous cacherai pas que la première chose que je cherchais était des allusions à HoloLens et je crois que c’est dans ces modules que qu’il y a un début de réponse sur comment fonctionne HoloLens.

Voyons ce que nous semblent nous réserver ces modules :

• Windows.Human semble être dédié à « comprendre » ce que fait le porteur :
  • IPerson … je suppose que c’est pour représenter le porteur de l’appareil.  Est-ce que ça peut identifier d’autres personnes présentes à la manière d’un KINECT ?
    • Détection des mains (detected, lost, moved)
    • Activation des doigts (pressed / released)
    • Gestion de la sélection (??)
  • IPose … semble contenir l’ensemble de la position corporelle d’une personne.  À savoir :
    • La position de ses mains
    • La position de ses yeux (!!)
  • Gestures … un namespace pour reconnaître des gestures spatialisées :
    • GestureRecognizer qui produit les événements suivants :
      • Scroll
      • Select
      • Zoom
    • Les gestures peuvent avoir plusieurs « sources », soit « None« , « Hand » ou « Speech« ;
• Windows.World … semble être relié à l’environnement autour du HoloLens
  • Un concept de ILocatable.  Je n’ai pas bien compris ce que ça représente.  Je suppose que ce sont des objets physiques ?  (une table, un frigo…)
  • Un concept de Lightning.  Je n’ai pas compris si c’était pour comprendre l’éclairage de la pièce ou si c’est plutôt pour « créer » des éclairages virtuels.
  • Des « Sensors ».  Là, c’est mystère.  Dans ce namespace, il y a des videos, des frames…  Je n’ai pas compris à quoi ça sert.
  • Des « Surfaces ».  Je suppose que ce sont des surfaces exploitables pour les applications… surtout qu’il y a un « SurfaceAnalyzer » qui semble donner de l’information sur la « room ».

Bon… c’est très théorique, mais je crois qu’il est permit de croire les affirmations suivantes (je vous rappelle qu’il s’agit d’interprétation tout à fait personnelles, que ça n’émane en rien de documentation que Microsoft pourra publier) :

1. Le HoloLens va analyser la position des yeux du porteur. La présentation que Microsoft a fait semblait proposer que les doigts étaient utilisés pour faire une sélection, un peu comme on fait avec la KINECT. J’en comprends que ce n’est pas du tout le cas sur HoloLens : ce serait les yeux pour sélectionner et les mains pour faires les opérations. Le problème de la KINECT où il faut déplacer les mains pour à la fois pointer et « clicker », ça frustre car il faut déplacer la main pour clicker. Donc ça devrait être plus efficace que la KINECT et, surtout, vous ne serez pas obligé de garder les mains dans les airs pour faire quelque chose !
2. Les mouvements de base seront « Scroll », « Select » et « Zoom ». Si on regarde les vidéos, je ne suis pas sûr qu’ils y sont bien représentés.
3. On peut supposer qu’il sera nécessaire de faire une pré-analyse de la pièce. Quelque chose me dit que ce n’est pas du tout prévu pour être utilisé à des endroits publics comme les Google Glass. Ici, c’est d’abord et avant tout une nouvelle interface pour votre ordinateur personnel ou professionnel.  Ce n’est pas un assistant personnel qui vous suit partout et analyse tout ce que vous faites. Du moins, c’est ce que j’en comprends.

Bref, tout ça pour dire que j’ai très très hâte d’en savoir davantage sur cette technologie.