Quand la réalité virtuelle rencontre les surfaces tactiles

Les systèmes informatiques offrent d’immenses possibilités pour concevoir et créer de nouveaux objets, étudier des objets existants qui ont été numérisés, communiquer avec d’autres personnes, ou se divertir. Pour interagir au mieux avec ces systèmes, et ainsi en tirer le meilleur parti, il est essentiel de concevoir de bonnes interfaces utilisateur qui permettent d’agir sur le monde numérique, mais aussi de percevoir efficacement les données concernées.

Au-delà des écrans d’ordinateur classiques et des systèmes claviers / souris que nous connaissons, d’autres interfaces ont été explorées. En particulier, des interfaces de réalité virtuelle ont été mises au point pour augmenter l’immersion d’un utilisateur dans un monde 3D simulé. Pour cela, des technologies dédiées, telles que l’affichage stéréoscopique ou la mise en correspondance des images affichées avec la position de la tête de l’observateur (head-tracking), favorisent l’immersion du participant. (Pour comprendre le head-tracking et la stéréo, voir la vidéo Bien plus que de la 3D… !).

Avec ce type d’approche, la réalisation de certaines tâches interactives devient très aisée, car proche de ce que nous avons appris à faire dans le monde réel. Par exemple, il suffit de se pencher sur le coté pour voir le coté d’un objet virtuel, comme nous le ferions avec un objet réel.

En revanche, d’autres tâches d’interaction, que nous avons appris à réaliser dans le monde numérique, deviennent beaucoup plus délicates à effectuer dès lors que nous n’avons plus accès à des interfaces de bureau classiques ou à des surfaces tactiles. Par exemple, comment accéder au contenu d’une page web ou modifier la couleur d’un objet lorsque l’on est immergé dans un espace 3D stéréoscopique ? Ces opérations qui posent problème en réalité virtuelle sont pourtant très simples à réaliser sur un ordinateur, notamment à partir d’écrans tactiles.

L’idée de Toucheo est d’allier la puissance des technologies de réalité virtuelle avec le potentiel interactif des surfaces tactiles multitouch, des écrans qui sont capables de détecter plusieurs points de contact en même temps. Nous avons conçu un nouveau système qui tire parti de ces différents contextes d’interaction, en mélangeant une visualisation immersive et un affichage 2D standard, et en offrant des méthodes d’interaction avancées qui restent simples d’utilisation. Pour cela, nous avons dû faire face à plusieurs défis.

Au niveau des facteurs humains, nous avons mené des études utilisateur préliminaires, pour comprendre comment un affichage 3D stéréoscopique et un affichage 2D monoscopique pouvaient être combinés afin d’offrir à l’utilisateur une bonne perception des données observées. Nous nous sommes aussi intéressés aux gestes qui semblaient les mieux adaptés à la manipulation d’objets 3D.

Le dispositif Toucheo. © Inria / Photo H. Raguet.

À partir de ces tests, nous nous sommes concentrés sur un aspect lié à de l’ingénierie matérielle, afin de mettre au point plusieurs prototypes. Ces travaux ont donné lieu au dispositif Toucheo, où un écran semi-transparent permet à l’observateur de voir, en même temps, le reflet d’images 3D provenant d’un écran stéréoscopique situé au-dessus du miroir, et un écran 2D multitouch situé en dessous du miroir. De cette manière, l’observateur a l’impression que les objets 3D flottent au-dessus de l’écran tactile et au-dessus de ses mains.

Nous nous sommes ensuite concentrés sur le design de techniques d’interaction. Comment manipuler un objet 3D stéréoscopique au-dessus d’une surface tactile à partir de gestes sur un écran 2D ? Pour cela, nous avons conçu des métaphores d’interaction 3D basées sur des éléments graphiques 2D (widgets) permettant de manipuler un objet en contrôlant 3 rotations, 3 translations, et 3 facteurs d’échelles, à partir de gestes simples sur la surface tactile.

Enfin, nous nous sommes intéressés à la composante liée à l’usage et l’évaluation de cette nouvelle interface. Pour cela, nous travaillons avec Cap Sciences, un centre de médiation scientifique à Bordeaux. Il s’agit de comprendre comment ce nouveau dispositif peut être utilisé par le grand public. Après avoir été utilisé pour une exposition dédiée à la grotte de Lascaux, Toucheo a été installé dans le Living Lab de Cap Sciences. Les visiteurs peuvent ainsi manipuler virtuellement divers objets impossibles à manipuler dans la vie réelle (ces objets étant trop fragiles ou trop gros).

Toucheo est le fruit d’une collaboration entre l’équipe Inria Potioc, commune avec l’Université de Bordeaux et le CNRS (LaBRI), et la société Immersion. Ce travail a été réalisé dans le cadre du projet ANR InSTInCT dont l’objectif est de concevoir des « Interfaces dédiées aux Surfaces Tactiles pour de l’Interaction avec des Contenus Tridimensionnels ». Avec ce nouveau type de dispositifs, nous essayons de repousser les limites des interfaces numériques pour permettre à chacun de mieux s’approprier le monde numérique 3D.