FlyVIZ : un casque qui permet de voir dans toutes les directions

L’idée originale mise en œuvre dans ce projet consiste à associer une caméra panoramique et un visiocasque. L’utilisateur porte un casque sur lequel est fixée la caméra panoramique, qui filme simultanément dans toutes les directions de l’espace. L’image panoramique filmée est ensuite traitée pour être « dépliée » puis « projetée » dans le visiocasque. Le visiocasque affiche, en temps-réel, cette image panoramique qui correspond à l’environnement immédiat de l’utilisateur, sur 360°. L’utilisateur voit ainsi dans le visiocasque, en temps-réel, tout ce qui se passe autour de lui.

Quelles applications pour ce système ?

Le système permet de surveiller ce qui se passe « dans son dos » afin de réagir à la situation. Un exemple tiré de la vidéo de démonstration est illustré ci-dessous. L’utilisateur est capable d’attraper un bâton tendu par quelqu’un situé en dehors de son champ de vision « naturel ».

Scénario d’utilisation : attraper un bâton en dehors de son champ de vision naturel.

Il existe de multiples situations concrètes dans lesquelles un champ de vision étendu est nécessaire. On peut penser à un professeur qui écrit au tableau et veut vérifier que ses élèves arrivent à suivre dans la classe. Plus sérieusement, cela peut être intéressant pour la surveillance en situation d’urgence ou dans un contexte militaire. Des applications sont aussi à envisager dans le domaine du divertissement, car l’expérience sensorielle vécue est très ludique.

Enfin, étudier l’adaptation de l’utilisateur à ce dispositif nouveau ouvre aussi tout un champ de recherches originales en neurosciences ou en psychologie, sur la perception visuelle, ou encore l’apprentissage et la plasticité cérébrale.

Comment ça marche ?

Prototype du système FlyVIZ.

Le système FLyVIZ est composé de 3 éléments matériels :

1. une caméra panoramique pour l’acquisition des images sur 360°,
2. un casque de support pour équiper l’utilisateur,
3. et un visiocasque (head mounted display ou HMD en anglais) pour l’affichage de l’image panoramique.

Un visiocasque est un système d’affichage mono ou stéréoscopique sur deux petits écrans situés devant les yeux. Celui du prototype présenté ici est le système HMZ-T1, aujourd’hui commercialisé par Sony. Une caméra panoramique permet d’acquérir une image de l’environnement sur 360°. Plusieurs techniques peuvent être utilisées pour construire une telle caméra.

Pour ce prototype, une caméra standard (CCD IDS μEye 2210) a été adaptée. Elle filme à travers une lentille de 6mm un miroir de forme hyperbolique renvoyant une image très déformée de l’environnement. Les calculs et les traitements sur les images sont effectués sur un PC portable standard, embarqué dans un sac à dos qui est porté par l’utilisateur. L’ensemble pourrait être miniaturisé à l’avenir.

Séquence de traitement de l’image

Les images sont d’abord capturées par la ou les caméras (dans notre cas, une seule caméra panoramique). Elles sont ensuite traitées puis présentées à l’utilisateur.

Le traitement de l’image capturée par la caméra panoramique implique deux projections mathématiques.

Une première projection caractérise la représentation de l’environnement. Des techniques très anciennes ont déjà été proposées pour ce problème. Elles sont utilisées dans le domaine de la cartographie depuis des centaines d’années. Plusieurs choix sont donc possibles parmi celles-ci : projection cylindrique, azimutale, conique, et toutes leurs variantes.

En cartographie, il est commun de « déplier » une sphère vers un plan grâce aux projections. Le résultat de la projection donne une représentation compréhensible de l’ensemble de la surface. C’est ce type de projection qui est utilisé ici pour donner une vue finale interprétable par l’utilisateur.

Le prototype utilise une projection cylindrique de type équirectangulaire dite « plate carrée », qui est probablement l’une des plus faciles à interpréter pour les cartographes.

Image initialement fournie par la caméra panoramique.

Une deuxième projection correspond au modèle de la caméra utilisée. Il modélise l’objectif et le miroir utilisés, ici un miroir hyperbolique. Cette projection associe une direction de l’espace à chaque pixel de l’image capturée. Elle est déterminée par un procédé de calibration avant l’utilisation du système.

Ces deux projections ont été implémentées pour s’exécuter directement sur des processeurs graphiques actuels (cartes graphiques d’ordinateur standard), ce qui garantit de très bonnes performances et donc une compatibilité avec une utilisation en « temps-réel ».

Image calculée et affichée dans le visiocasque.

Performances

Ce système a été conçu pour atteindre des performances temps-réel. Sur ce premier prototype a été mesurée la latence globale, c’est-à-dire le décalage temporel entre l’acquisition par la caméra panoramique et l’affichage de l’image recalculée dans le visiocasque. Elle est égale à 83 ms, les images sont donc calculées et affichées à une fréquence supérieure à 20 images par seconde (seuil de la vision humaine) sur un ordinateur portable standard. Cette fréquence pourrait facilement dépasser plusieurs centaines de hertz en utilisant une machine haut de gamme.

Que reste-t-il à faire ?

Il faut maintenant mieux comprendre comment les utilisateurs peuvent interpréter et apprendre cette nouvelle vision à 360 degrés. Ceci permettra notamment d’améliorer l’affichage des images panoramiques, en proposant des restitutions encore plus en accord avec les capacités de la perception humaine.

Il faut également améliorer le système, en particulier le casque : réduire et miniaturiser certains de ses composants, augmenter la précision des images en augmentant notamment la résolution des caméras.

Des aides virtuelles pourraient également être incrustées dans l’image, pour faciliter la compréhension de la vision panoramique. On peut imaginer un horizon virtuel, ou bien encore un boussole virtuelle, comme sur des équipements de bord aéronautiques.

L’objectif visé à terme est de proposer un système portable, le plus léger et le moins encombrant possible, avec des images de haute résolution, et des techniques d’affichage plus perfectionnées et adaptatives.

Pour en savoir plus : article scientifique (en anglais).