Les Newsletters Interstices
    Niveau facile
    Niveau 1 : Facile

    FlyVIZ : un casque qui permet de voir dans toutes les directions

    Culture & Société
    Avez-vous déjà rêvé d’avoir des yeux derrière la tête ? D’être capables de voir dans toutes les directions, comme une mouche ou un caméléon ? C'est ce que permet ce dispositif imaginé par des chercheurs, qui en ont réalisé un prototype.

    L’idée originale mise en œuvre dans ce projet consiste à associer une caméra panoramique et un visiocasque. L’utilisateur porte un casque sur lequel est fixée la caméra panoramique, qui filme simultanément dans toutes les directions de l’espace. L’image panoramique filmée est ensuite traitée pour être « dépliée » puis « projetée » dans le visiocasque. Le visiocasque affiche, en temps-réel, cette image panoramique qui correspond à l’environnement immédiat de l’utilisateur, sur 360°. L’utilisateur voit ainsi dans le visiocasque, en temps-réel, tout ce qui se passe autour de lui.


    Visionner la démonstration en vidéo (film muet).

     

    Le dispositif FlyVIZ a été conçu et mis au point dans le cadre d’une collaboration entre plusieurs partenaires académiques : l’Inria, l’ESIEA, l’Université de Rennes 1 et l’INSA de Rennes.

    Le système a été inventé et mis au point par Anatole Lécuyer (Directeur de recherche Inria), Jérôme Ardouin (Enseignant à l’ESIEA et Doctorant à l’INSA/Inria), Maud Marchal (Maître de conférences à l’INSA de Rennes), et Éric Marchand (Professeur à l’Université de Rennes 1).

    Ces travaux ont donné lieu au dépôt d’un brevet et font l’objet d’un article présenté à la conférence ACM Symposium on Virtual Reality Software and Technology à Toronto en décembre 2012.

    Quelles applications pour ce système ?

    Le système permet de surveiller ce qui se passe « dans son dos » afin de réagir à la situation. Un exemple tiré de la vidéo de démonstration est illustré ci-dessous. L’utilisateur est capable d’attraper un bâton tendu par quelqu’un situé en dehors de son champ de vision « naturel ».


    Scénario d’utilisation : attraper un bâton en dehors de son champ de vision naturel.

     

    Il existe de multiples situations concrètes dans lesquelles un champ de vision étendu est nécessaire. On peut penser à un professeur qui écrit au tableau et veut vérifier que ses élèves arrivent à suivre dans la classe. Plus sérieusement, cela peut être intéressant pour la surveillance en situation d’urgence ou dans un contexte militaire. Des applications sont aussi à envisager dans le domaine du divertissement, car l’expérience sensorielle vécue est très ludique.

    Enfin, étudier l’adaptation de l’utilisateur à ce dispositif nouveau ouvre aussi tout un champ de recherches originales en neurosciences ou en psychologie, sur la perception visuelle, ou encore l’apprentissage et la plasticité cérébrale.

    Comment ça marche ?

    Prototype du système FlyVIZ.

    Le système FLyVIZ est composé de 3 éléments matériels :

    1. une caméra panoramique pour l’acquisition des images sur 360°,
    2. un casque de support pour équiper l’utilisateur,
    3. et un visiocasque (head mounted display ou HMD en anglais) pour l’affichage de l’image panoramique.

    Un visiocasque est un système d’affichage mono ou stéréoscopique sur deux petits écrans situés devant les yeux. Celui du prototype présenté ici est le système HMZ-T1, aujourd’hui commercialisé par Sony. Une caméra panoramique permet d’acquérir une image de l’environnement sur 360°. Plusieurs techniques peuvent être utilisées pour construire une telle caméra.

    Pour obtenir une image panoramique, on peut utiliser une caméra catadioptrique. Celle-ci est constituée d’un miroir (catoptrique) et d’une lentille (dioptrique : la caméra). Dans la famille des systèmes catadioptriques, outre les caméras omnidirectionnelles qui nous intéressent ici, on retrouve les télescopes.


     
    N’importe qui peut construire sa propre caméra catadioptrique ! Il suffit de disposer d’un miroir pour réfléchir la lumière provenant de la scène vers la caméra. Le plus simple est d’utiliser une sphère réfléchissante comme une boule de Noël, une feuille de carton et une webcam. Percer la feuille de carton en son centre en y découpant un disque de rayon égal à celui de la sphère. Glisser la sphère dans le carton.

    Placer la caméra juste en dessous, alignée avec la sphère. Vous êtes prêt…

    Pour ce prototype, une caméra standard (CCD IDS μEye 2210) a été adaptée. Elle filme à travers une lentille de 6mm un miroir de forme hyperbolique renvoyant une image très déformée de l’environnement. Les calculs et les traitements sur les images sont effectués sur un PC portable standard, embarqué dans un sac à dos qui est porté par l’utilisateur. L’ensemble pourrait être miniaturisé à l’avenir.

    Séquence de traitement de l’image

    Les images sont d’abord capturées par la ou les caméras (dans notre cas, une seule caméra panoramique). Elles sont ensuite traitées puis présentées à l’utilisateur.

    Le traitement de l’image capturée par la caméra panoramique implique deux projections mathématiques.

    Une première projection caractérise la représentation de l’environnement. Des techniques très anciennes ont déjà été proposées pour ce problème. Elles sont utilisées dans le domaine de la cartographie depuis des centaines d’années. Plusieurs choix sont donc possibles parmi celles-ci : projection cylindrique, azimutale, conique, et toutes leurs variantes.

    En cartographie, il est commun de « déplier » une sphère vers un plan grâce aux projections. Le résultat de la projection donne une représentation compréhensible de l’ensemble de la surface. C’est ce type de projection qui est utilisé ici pour donner une vue finale interprétable par l’utilisateur.

    Le prototype utilise une projection cylindrique de type équirectangulaire dite « plate carrée », qui est probablement l’une des plus faciles à interpréter pour les cartographes.

    Image initialement fournie par la caméra panoramique.

    Une deuxième projection correspond au modèle de la caméra utilisée. Il modélise l’objectif et le miroir utilisés, ici un miroir hyperbolique. Cette projection associe une direction de l’espace à chaque pixel de l’image capturée. Elle est déterminée par un procédé de calibration avant l’utilisation du système.

    Ces deux projections ont été implémentées pour s’exécuter directement sur des processeurs graphiques actuels (cartes graphiques d’ordinateur standard), ce qui garantit de très bonnes performances et donc une compatibilité avec une utilisation en « temps-réel ».

    Image calculée et affichée dans le visiocasque.

    Performances

    Ce système a été conçu pour atteindre des performances temps-réel. Sur ce premier prototype a été mesurée la latence globale, c’est-à-dire le décalage temporel entre l’acquisition par la caméra panoramique et l’affichage de l’image recalculée dans le visiocasque. Elle est égale à 83 ms, les images sont donc calculées et affichées à une fréquence supérieure à 20 images par seconde (seuil de la vision humaine) sur un ordinateur portable standard. Cette fréquence pourrait facilement dépasser plusieurs centaines de hertz en utilisant une machine haut de gamme.

    Que reste-t-il à faire ?

    Il faut maintenant mieux comprendre comment les utilisateurs peuvent interpréter et apprendre cette nouvelle vision à 360 degrés. Ceci permettra notamment d’améliorer l’affichage des images panoramiques, en proposant des restitutions encore plus en accord avec les capacités de la perception humaine.

    Il faut également améliorer le système, en particulier le casque : réduire et miniaturiser certains de ses composants, augmenter la précision des images en augmentant notamment la résolution des caméras.

    Des aides virtuelles pourraient également être incrustées dans l’image, pour faciliter la compréhension de la vision panoramique. On peut imaginer un horizon virtuel, ou bien encore un boussole virtuelle, comme sur des équipements de bord aéronautiques.

    L’objectif visé à terme est de proposer un système portable, le plus léger et le moins encombrant possible, avec des images de haute résolution, et des techniques d’affichage plus perfectionnées et adaptatives.

    Pour en savoir plus : article scientifique (en anglais).

    Newsletter

    Le responsable de ce traitement est Inria. En saisissant votre adresse mail, vous consentez à recevoir chaque mois une sélection d'articles et à ce que vos données soient collectées et stockées comme décrit dans notre politique de confidentialité

    Niveau de lecture

    Aidez-nous à évaluer le niveau de lecture de ce document.

    Si vous souhaitez expliquer votre choix, vous pouvez ajouter un commentaire (Il ne sera pas publié).

    Votre choix a été pris en compte. Merci d'avoir estimé le niveau de ce document !

    Anatole Lécuyer

    Directeur de recherche Inria, responsable de l'équipe de recherche Hybrid.

    Voir le profil

    Jérome Ardouin

    Enseignant à l’ESIEA et Doctorant à l’INSA/Inria.

    Voir le profil

    Éric Marchand

    Professeur à l’Université de Rennes 1.

    Voir le profil

    Maud Marchal

    Maître de conférences à l’INSA de Rennes.

    Voir le profil