Hololens et IA : enjeux et opportunités pour la formation

Le développement des technologies de réalité mixte et de réalité augmentée apporte de nouvelles possibilités pour le développement d'applications de formation grâce à l'ajout de plus en plus de capteurs dans les appareils utilisés par les utilisateurs.


Les Hololens pour la formation en réalité augmentée

Ainsi, en se basant sur les fonctionnalités du casque Hololens 2 de Microsoft, nous sommes capables de recréer plus précisément l'environnement virtuel basé sur l'environnement réel entourant l'utilisateur du casque et également de suivre de manière plus précise les mouvements effectués par cet utilisateur.



L'évolution des technologies permet également de fournir une meilleure expérience aux utilisateurs finaux par l'augmentation du champ de vision des casques de réalité mixte (on passe de 30° à 52° de champ de vision entre les casques Hololens 1 et 2), sans compter les différentes améliorations susceptibles d'améliorer les performances globales des casques. Ces améliorations technologiques en matière de réalité mixte offrent donc de nouvelles opportunités pour créer de meilleures expériences, encore plus immersives que jamais.


Contraintes technologiques de l'intelligence artificielle

Par exemple, OHRIZON combine les capacités des Hololens 2 et la puissance de l’intelligence artificielle pour détecter et analyser les objets présents autour de l’utilisateur. Ainsi, la solution est capable de donner différentes instructions à l’utilisateur en fonction d'un scénario préalablement défini. Du flux vidéo de la caméra frontale des Hololens 2 sont extraites les images une par une l’intelligence artificielle les traite et détecte les objets présents sur ces images.


C’est ici que les choses se compliquent :

  1. L’image tirée du flux de caméra est en 2D alors que nous cherchons un environnement 3D

  2. Les outils de développement de scanne de l’environnement fournis par Microsoft pour récupérer la dimension manquante ne sont pas compréhensible à l'heure actuelle par des intelligences artificielles

  3. Les capacités de calcul des Hololens sont limitées, obligeant à déporter ces calculs sur des serveurs distants, car les Hololens doivent prendre en plus en charge la gestion des capteurs, le suivi des mouvements de l'utilisateur ou encore l'affichage sur les lunettes

Pour résumer, les améliorations apportées aux technologies de réalité mixte permettent de proposer du contenu de plus en plus immersif. Cependant, on observe toujours certaines limites technologiques. Certaines de ces limites peuvent être contournées assez facilement, mais d'autres nécessitent un travail de recherche et d’innovation complémentaire pour obtenir un résultat souhaité, sans compromettre l'expérience utilisateur.




De nouvelles opportunités pour la formation professionnelle

Une fois ces contraintes levées, la détection d'objets permet alors de travailler sur la détection de contexte qui est la partie majeure des applications d’assistance des personnes dans un contexte professionnel comme ludique.


Ainsi, avec l’assistance à la tâche intelligente, les métiers deviennent accessibles à un plus grand nombre, les temps de formation sont réduits et la rétention des gestes à effectuer améliorée. On le voit, dans ce contexte, l’intelligence artificielle ouvre de nouvelles opportunités pour toutes celles et ceux qui veulent exercer un nouveau métier ou encore approfondir leurs connaissances et savoir-faire.