Réalité virtuelle : une expérience à la première personne

Simulation de dépose de cordons d’étanchéité sur la carrosserie d’une voiture.
© INRIA / Photo Jim Wallace – Données : PSA Peugeot Citroën

Cette expérience peut être la simulation d’une tâche, réelle ou non, à des fins de formation, d’évaluation, de conception, d’analyse, de divertissement… ou même de thérapie. Parmi les tâches réelles simulées, citons à titre d’exemples le prototypage virtuel, la simulation de conduite, de visite de sites culturels, d’opérations chirurgicales ou encore d’environnements anxiogènes pour le traitement des phobies. Il peut aussi s’agir de tâches n’existant pas dans le monde réel comme l’exploration de données complexes (résultats de calculs scientifiques ou données expérimentales) ou la simulation d’incohérences sensori-motrices pour des études théoriques sur le comportement et la perception humaine.

Par opposition aux simulations de phénomènes physiques ou naturels (prévision météorologique, résistance des matériaux, croissance des plantes, évolution des galaxies, fusion thermonucléaire, etc.), la réalité virtuelle s’intéresse à des simulations intégrant l’être humain, en étudiant plus particulièrement l’interface entre l’homme et son environnement.

On pourrait envisager d’employer la même démarche que pour simuler les phénomènes physiques ou naturels, c’est-à-dire modéliser non seulement la tâche, mais aussi l’opérateur, et utiliser ce modèle pour la simulation. Mais cette approche soulève deux problèmes. D’une part, la complexité de la modélisation du comportement humain rend cette approche difficile dans de nombreux cas. D’autre part, lorsque l’homme est intégré dans la boucle, l’objectif de la simulation est souvent l’étude de la perception que l’opérateur a de l’expérience. Il peut s’agir d’études ergonomiques ou psychologiques sur le comportement ou la perception humaine.

C’est la raison pour laquelle une approche différente doit être adoptée. Celle-ci consiste à intégrer l’homme réel, « en chair et en os », dans la simulation, ce qui dispense d’une modélisation du comportement humain, complexe et souvent non pertinente. Par contre, l’intégration d’une personne dans la simulation suppose une gestion suffisamment fidèle de l’interface entre l’opérateur et la tâche.

1. Un aperçu de la réalité virtuelle

De façon générale, la réalité virtuelle vise à faire vivre, à la première personne, une expérience interactive simulée dite « virtuelle », qui donne à l’utilisateur l’impression d’« y être ». Pour traduire cette sensation de réalité, la littérature scientifique emploie souvent les termes de présence ou d’immersion. L’interactivité de l’expérience — au sens de la communication entre l’application et l’utilisateur — doit être la plus riche possible, ce qui suppose que l’application interprète les actions de la personne (geste, regard, parole, posture…) — on parlera alors de modalités de communication — et stimule les sens de l’opérateur — on parlera de restitutions sensorielles.

Cependant, il n’est pas rare de voir seulement un nombre limité de modalités et de retours sensoriels intégrés dans les applications de réalité virtuelle. En effet, si chacun d’entre eux fait l’objet de recherches poussées en fonction de son importance, leur intégration dans une même application constitue un défi supplémentaire.

Pourquoi cette nécessité d’avoir le sentiment d’« y être » ? Au-delà de l’image fixe ou de l’animation de synthèse, assimilables aux photos ou au reportage audiovisuel que l’on rapporte d’un voyage pour les montrer à ses amis, la réalité virtuelle vise à donner le sentiment d’être du voyage. Cette sensation est favorisée par l’intégration d’un certain nombre de facteurs d’immersion, dont l’interaction à la première personne et la mise à disposition de plusieurs modalités de communication et de plusieurs retours sensoriels (de type visuel et tactile par exemple).

Concernant la restitution visuelle, outre le réalisme et l’aspect temps-réel de la simulation graphique, qui relèvent de l’informatique graphique, les principaux facteurs d’immersion caractéristiques de la réalité virtuelle sont une visualisation à la première personne, une visualisation stéréoscopique et un grand champ de vision.

Dans le cas présent, nous nous intéresserons donc principalement aux aspects de visualisation des configurations de réalité virtuelle. D’autres technologies de base spécifiques à la réalité virtuelle seront abordées dans d’autres documents. Par ailleurs, la réalité virtuelle fait aussi appel à de nombreuses technologies étudiées dans d’autres thématiques telles que l’informatique graphique (techniques de visualisation, modélisation, simulation du comportement d’entités, etc.), la vision (enregistrement des mouvements, etc.), la robotique, les systèmes distribués, les réseaux…

Principe de la visualisation et de l’interaction à la première personne

Une visualisation à la première personne suppose de connaître la position exacte de la tête de l’utilisateur, de façon à fournir une visualisation du monde virtuel en fonction de cette position. Pour ce faire, on utilise des systèmes de suivi de positions qui indiquent la position de la tête. À chaque instant, la scène est visualisée en adoptant comme point de vue la position de la tête (plus précisément de l’œil). Plusieurs technologies sont disponibles pour le suivi de positions, les plus utilisées étant celles de type électromagnétique, combinaison inertiel ultrasons, ou optique.

Proposer une visualisation à la première personne permet non seulement d’observer un objet sous différents angles par de simples mouvements de tête comme on le fait naturellement dans le monde réel, mais aussi d’interagir grâce à une superposition des espaces virtuel et réel, l’espace réel étant lui aussi tout naturellement vu à partir de l’œil. On parle également de co-location. En l’absence de celle-ci, toute manipulation s’apparente à de la télé-opération (manipulation à distance). L’espace réel de manipulation n’est plus superposé à l’espace virtuel de visualisation et les objets réels (la main de l’utilisateur par exemple) doivent être représentés par des avatars (modèles virtuels représentant une entité réelle) pour être vus à leur place.

Principe de la visualisation stéréoscopique

La vision binoculaire humaine intègre une perception du relief. Chaque œil voit une image légèrement différente, et c’est à partir de ces deux images correspondant à des points de vue légèrement décalés que le cerveau reconstruit une information de profondeur. En réalité virtuelle, l’information de profondeur liée à la vision binoculaire est restituée, de la même façon, en calculant une images différente pour chaque œil, avec comme point de vue la position exacte de l’œil. Cependant, le caractère stéréoscopique de la vision n’explique pas à lui seul la perception du relief. Elle est en effet renforcée par l’effet de perspective, qui attribue une taille plus petite aux objets éloignés, les occlusions et les ombres, ou encore la parallaxe lors des mouvements de tête.

Principe d’un grand champ de vision

Un grand champ de vision peut être obtenu soit par une visualisation sur grands écrans (dans le cas de configurations de réalité virtuelle – ou environnements virtuels – à base de projections sur grands écrans), soit par l’utilisation de casques permettant, par un simple mouvement de tête, d’explorer tout l’espace entourant la personne.

Continuum des principaux systèmes de visualisation

Intégration des facteurs d’immersion des principaux systèmes de visualisation.
OUI/NON signifie technologiquement possible mais généralement non réalisé.

Après avoir détaillé ces quelques principes de la réalité virtuelle, passons en revue les principales configurations de réalité virtuelle qui les mettent en œuvre.

2. Configurations de réalité virtuelle

Pour mettre en œuvre les principes de la réalité virtuelle et offrir les conditions nécessaires à l’immersion et à l’interaction, divers dispositifs matériels ont été mis au point, appelés configurations de réalité virtuelle ou environnements virtuels. Le rôle majeur du visuel tend souvent à identifier une configuration de réalité virtuelle à son dispositif de visualisation. Ici, cinq des principales configurations seront donc présentées en se restreignant à l’aspect visuel. Elles sont classées en deux catégories : les visiocasques (opaques ou semi-transparents) d’une part et les configurations à base de projections sur grands écrans (CAVEs^®, murs et plans de travail virtuels) d’autre part.

Les visiocasques

Visiocasques (opaques)

Chronologiquement, les visiocasques ont été la première et quasiment la seule configuration de réalité virtuelle existante jusqu’au début des années 1990. Bien que les applications militaires aient longtemps été déterminantes pour faire progresser cette technologie, aujourd’hui, elle donne aussi lieu à des applications civiles variées. La visualisation s’effectue sur deux petits écrans placés chacun devant un œil.

Visiocasques semi-transparents

Exemple de visiocasque semi-transparent vidéo.
© INRIA / Photo Jim Wallace

Les visiocasques semi-transparents sont beaucoup plus récents. Pour ces versions de visiocasques, deux technologies sont disponibles : l’optique ou la vidéo.

Les visiocasques semi-transparents vidéo sont des visiocasques opaques munis de deux petites caméras vidéo, une positionnée devant chaque œil. Ces caméras capturent le flux vidéo du monde réel vu à partir de la position de chaque œil. Chacun de ces flux est mixé informatiquement avec le monde virtuel vu à partir de la même position et affiché sur l’écran du casque lui correspondant. Contrairement aux environnements virtuels à base de projections sur grands écrans, ce type de casque offre potentiellement un mixage à volonté du réel et du virtuel.

Les visiocasques semi-transparents de technologie optique proposent quant à eux une superposition du virtuel sur le réel grâce à un système optique qui permet de voir le réel par semi-transparence. À l’inverse des environnements virtuels à base de projections, le réel est ici forcément derrière le virtuel et par conséquent, il ne peut cacher le virtuel. Ces casques sont aujourd’hui peu diffusés.

Les environnements virtuels à base de projections sur grands écrans

Apparus au début des années 1990, les environnements virtuels à base de projections sur grands écrans ont très vite partiellement supplanté les casques « opaques » par leur confort d’utilisation, leur caractère non invasif, et aussi par le fait d’intégrer les utilisateurs dans l’environnement (contrairement au casque opaque, un utilisateur de ce type de configuration voit son propre corps ainsi que celui de ses collaborateurs). Ces configurations ont cependant aussi leurs propres limitations, comme l’impossibilité de positionner un objet réel (par exemple la main) derrière un objet virtuel. Une conséquence en est une plus grande difficulté à intégrer certains retours sensoriels comme le retour haptique (renvoi de forces, au contact d’une surface par exemple).

CAVEs^®

Exemple de CAVE.
© Center for Innovative Computer Applications, Indiana University.

Le CAVE — Cave Automatic Virtual Environment — est un système de projection sur les murs d’une pièce sensiblement cubique. Le nombre de murs sur lesquels la visualisation s’effectue varie généralement de 3 (soit 2 murs et le plancher) à 6 (soit 4 murs, le plancher et le plafond). La visualisation est réalisée par rétro-projection ou projection directe lorsque cela est possible.

Plusieurs technologies de projecteurs existent pour fournir une visualisation stéréoscopique :

• Les projecteurs CRT (à tubes cathodiques)
  Dans ce cas, la stéréoscopie est générée en doublant la fréquence d’affichage et en affichant successivement l’image de chaque œil. Des lunettes à cristaux liquides dites lunettes à volets, obturent successivement le verre de chacun des yeux, de façon à ce que chaque œil ne voie que l’image lui étant destinée. La fréquence d’affichage élevée rend continue la perception des images.
• Les projecteurs LCD (à cristaux liquides)
  Meilleur marché, cette technologie est souvent employée dans les configurations d’entrée de gamme. La stéréoscopie est obtenue en doublant le nombre de projecteurs et en polarisant chacun de façon différente. L’utilisation de lunettes polarisées de façon symétrique permet à chacun des yeux de ne voir que l’image lui étant destinée.
• Les projecteurs DLP (à micro-miroirs)
  Plus récents, ces projecteurs présentent l’avantage d’offrir une meilleure luminosité. La stéréoscopie est obtenue grâce à un système de filtres sur les lunettes et sur les projecteurs.

Murs

Modélisation du geste sportif. Enregistrement et analyse des mouvements d’un gardien de but de handball, face à un joueur 3D. Le gardien est muni de capteurs de mouvements et de lunettes pour voir son adversaire numérique.
© INRIA / Photo J.-C. Moschetti – REA

Les murs sont de grands écrans plats ou cylindriques que l’on pourrait comparer à un CAVE à un seul écran. Principales différences, on adopte souvent la projection directe plutôt que la rétro-projection, et ces systèmes ne proposent pas toujours une visualisation stéréoscopique et rarement une visualisation à la première personne. Moins immersifs que les CAVEs, les murs sont particulièrement appréciés pour les revues de projets ou les présentations relativement passives destinées à un groupe de personnes.

Voir aussi le CAT, un exemple de périphérique adapté à cette configuration.

Notons l’apparition récente de murs haute définition qui intègrent une matrice de projecteurs (souvent en rétro-projection). La haute définition est particulièrement utile pour les applications de visualisation scientifique et d’exploration de données complexes.

Plans de travail virtuels

Exemple de plan de travail virtuel haptique.
© INRIA / Photo Jim Wallace

Le plan de travail virtuel (ou workbench) est une des plus légères configurations à base de projections sur grands écrans. Idéale pour la manipulation interactive, cette configuration propose une visualisation semi-immersive qui présente l’avantage de permettre à l’utilisateur de conserver ses repères réels. Le plan de travail virtuel vient en effet s’insérer dans l’environnement de travail comme une table à dessiner ou une paillasse. Les technologies de projection, de stéréoscopie et d’enregistrement des mouvements de la tête sont les mêmes que pour les CAVEs.

Les exemples d’utilisation du plan de travail virtuel sont de plus en plus nombreux : simulation de pose de mastic, étude géologique du site du château de Saumur (projet Géobench), étude de l’héminégligence, etc.

Limitations communes aux configurations de réalité virtuelle

Outre les limitations propres à chacune des configurations de réalité virtuelle présentées, il existe des limitations communes, de façon plus ou moins sévère, à toutes ces configurations.

La latence ou « lag » en anglais

On appelle latence le temps de réponse du système à une action de l’utilisateur : par exemple, le temps écoulé entre le moment où la personne bouge la tête et le moment où cette nouvelle position est prise en compte pour la visualisation. Ce temps réductible mais non supprimable — il est souvent de 2 ou 3 images, avec une fréquence d’affichage environ égale à 60 Hz — peut provoquer une sensation de mal-être chez certaines personnes.

L’accommodation

Quand on observe une cible, l’œil accommode sur la surface de cette dernière (cette accommodation est d’ailleurs aussi une source d’informations de profondeur). Pour vous en convaincre, fermez un œil et levez un doigt face à vous dans votre champ de vision et devant un fond situé à une certaine distance en profondeur. Lorsque vous regardez le doigt, vous voyez le fond flou. Inversement, lorsque vous regardez le fond, vous voyez le doigt flou. Cette observation est liée à un phénomène d’accommodation de l’œil. Quelle que soit la configuration de réalité virtuelle choisie, l’œil accommode sur l’écran qui se situe à une distance fixe et non à la distance des objets visualisés. Les informations de profondeur perçues par l’accommodation de l’œil sont donc erronées.

Pour conclure

Malgré toutes les difficultés de mise en œuvre pour l’époque, le brevet du premier ancêtre des casques de réalité virtuelle remonte à 1960 et est dû à Heilig. Ce n’est que vingt ans plus tard, dans les années 80, que le terme « Réalité Virtuelle » a été proposé par Jaron Lanier de VPL. C’est enfin au début des années 90 que l’on a vu apparaître les premiers environnements virtuels à base de projections sur grands écrans : le CAVE ^TM, conçu à l’Université d’Illinois par Carolina Cruz Neira et des collègues, puis le Plan de travail virtuel (Workbench) en Allemagne par Wolfgang Krüger.

Jusqu’au début des années 90, la réalité virtuelle a pâti de l’inconfort et de certaines limitations (faible résolution, faible champ de vision) des casques. L’arrivée des environnement virtuels à base de projections sur grands écrans, plus confortables et moins limités, a revitalisé et donné une nouvelle dynamique à la réalité virtuelle. Aujourd’hui, les deux types de configurations co-existent et leurs performances évoluent. Elles sont toutes les deux à la base de nombreux travaux de recherche aussi bien théoriques que plus appliqués et le nombre d’applications industrielles augmente.