OpenViBE : un logiciel pour les interfaces cerveau-ordinateur

Le logiciel OpenViBE permet aujourd’hui de concevoir, tester et utiliser facilement des interfaces cerveau-ordinateur. Il offre un outil simple d’accès et d’utilisation, qui s’adresse aussi bien à un public de chercheurs que de cliniciens ou encore de développeurs de jeux vidéo.

Qu’est-ce qu’une interface cerveau-ordinateur ?

Visionner la vidéo – Durée : 10 min 56 s.

Une interface cerveau-ordinateur ou ICO (en anglais Brain-Computer Interface ou BCI) permet à son utilisateur d’envoyer des commandes à un ordinateur ou à une machine directement à partir de son activité cérébrale. On peut mesurer l’activité cérébrale à l’aide de systèmes électroencéphalographiques (ou EEG), qui utilisent des électrodes situées à la surface du crâne pour capter l’activité électrique du cerveau. Pour utiliser une interface cerveau-ordinateur, il suffit d’enfiler un casque EEG doté d’électrodes relié à un boîtier facilitant la mise en relation du cerveau avec l’ordinateur. Le nombre d’électrodes varie selon les fonctions du cerveau sollicitées et le type d’application recherché. Une fois cet équipement prêt et installé, l’application peut démarrer.

Principales étapes d’une interface cerveau-ordinateur.

Plus précisément, une interface cerveau-ordinateur peut être décrite comme un système en boucle fermée, composé de six étapes principales :

1. Mesure de l’activité cérébrale (avec les machines d’acquisition de type EEG),
2. Pré-traitement et filtrage des signaux cérébraux (souvent très bruités),
3. Extraction de caractéristiques des signaux (pour ne conserver que des informations utiles),
4. Classification des signaux (pour identifier l’activité mentale et lui attribuer une classe),
5. Traduction en une commande (envoyée à l’ordinateur ou à la machine)
6. Retour perceptif (l’utilisateur voit ainsi le résultat de sa commande mentale et va progressivement apprendre à mieux contrôler le système).

Les applications principales des interfaces cerveau-ordinateur sont l’assistance à des personnes handicapées motrices (en particulier les personnes entièrement paralysées souffrant du locked-in syndrome), le multimédia (pour le jeu vidéo ou la réalité virtuelle), et de manière plus générale l’interaction avec tout système automatisé (en robotique, en domotique…).

Un domaine de recherche très actif

Le nombre de laboratoires travaillant sur les interfaces cerveau-ordinateur est maintenant très élevé et les publications scientifiques augmentent de manière exponentielle dans ce domaine. Les défis scientifiques posés par les interfaces cerveau-ordinateur peuvent être décomposés en quatre axes de recherche :

• Mettre au point des capteurs électroencéphalographiques plus efficaces : une recherche axée sur le matériel d’acquisition des données cérébrales, de manière à minimiser le nombre d’électrodes utilisées et à augmenter au maximum le rapport signal/bruit, tout en réduisant globalement le coût des dispositifs.
• Identifier et valider les « bons » marqueurs électrophysiologiques : une recherche neurophysiologique, pour découvrir et valider des activités mentales qui sont à la fois facilement contrôlables par l’utilisateur du système et détectables par le système dans l’EEG.
• Extraire les marqueurs de l’utilisateur en temps-réel : une recherche en traitement du signal, pour optimiser et rendre plus rapides et plus fiables l’extraction et l’analyse en temps-réel des activités mentales de l’utilisateur.
• Optimiser les usages possibles des interfaces cerveau-ordinateur : une recherche en interface homme-machine et en réalité virtuelle, pour améliorer l’utilisation des interfaces et l’exploitation du nombre réduit d’états mentaux qu’il est actuellement possible d’extraire. La recherche est également orientée sur le type de retour (ou feedback) visuel, auditif ou tactile afin d’optimiser l’apprentissage de l’interface cerveau-ordinateur.

OpenViBE : premier projet français multipartenaires sur les interfaces cerveau-ordinateur

En 2005, la recherche sur ce nouveau type d’interface était pratiquement inexistante en France. Des chercheurs français se sont alors mobilisés pour élaborer le projet OpenViBE. Leur objectif était à la fois de mener une recherche innovante sur les interfaces cerveau-ordinateur et de développer un logiciel, gratuit, pour ces interfaces. Le projet, financé par l’Agence Nationale de la Recherche, a rassemblé six partenaires, chacun intervenant dans un domaine scientifique spécifique : l’INRIA (équipe BUNRAKU, coordinateur du projet), l’INSERM, le CEA, l’Association Française contre les Myopathies, le GIPSA Lab et France Télécom R&D. Résultant aujourd’hui de ce projet, le logiciel OpenViBE propose un outil simple d’accès, mis au service d’applications dans les domaines du multimédia et de la santé. Il s’adresse aussi bien à un public d’initiés (laboratoire de recherche en traitement du signal pouvant l’utiliser pour réaliser des prototypes et tester des prototypes d’interfaces cerveau-ordinateur) que de non-spécialistes : cliniciens (souhaitant simplement utiliser une telle interface dans une application thérapeutique) ou entreprises (développeurs de jeu vidéo utilisant OpenViBE comme périphérique d’interaction). Les utilisateurs programmeurs peuvent développer leur propre code, tandis que les non-programmeurs peuvent se contenter d’utiliser l’interface graphique.

Interface et programmation graphique d’un scénario d’interface cerveau-ordinateur dans le logiciel OpenViBE.

Visualisation 3D d’activité cérébrale dans OpenViBE.

Plus d’informations sur le site du logiciel OpenViBE (en anglais).

Quelques exemples d’applications développées avec OpenViBE

L’écriture par la pensée désormais possible ?

Écriture par la pensée.
La personne équipée d’un casque EEG focalise son attention sur la lettre qu’elle veut épeler. Lorsque cette lettre est flashée, une onde cérébrale particulière est générée ; elle est ensuite récupérée, détectée et interprétée par la machine.

Grâce à la technologie OpenViBE, les chercheurs ont imaginé une interface conviviale qui offre la possibilité d’écrire des phrases en sélectionnant, simplement par la pensée, des lettres présentées sur un écran. Cette « écriture par la pensée » est rendue réalisable en focalisant son attention sur la lettre de son choix. Dans ce système, appelé « P300 Speller », des lignes et des colonnes de lettres sont successivement surlignées sur l’écran. Il est alors demandé à l’utilisateur de focaliser son attention sur une lettre à épeler. Lorsque la ligne ou la colonne contient la lettre choisie, une réponse cérébrale particulière est générée. Cette réponse est déclenchée quand l’individu a détecté un stimulus attendu qui apparaît de manière imprévisible. Elle est connue des chercheurs sous le nom de P300, car il s’agit d’une onde positive qui survient environ 300 ms après la stimulation. Grâce à cette réponse, on peut donc savoir sur quelle lettre la personne focalisait son attention.

Des jeux vidéos par la pensée ?

Alors que l’exemple d’éditeur de texte ci-dessus nécessite une stimulation externe (ici, le flash lumineux), une autre famille d’interfaces cerveau-machine exploite les activités cérébrales que l’individu peut générer lui-même. C’est le cas par exemple de l’imagerie mentale du mouvement. La personne imagine bouger sa main droite ou sa main gauche. Cette activité mentale va modifier l’amplitude d’activités cérébrales au niveau de l’hémisphère gauche ou droit du cerveau en fonction de la main utilisée. Après une série de traitements, on peut savoir quelle était la main utilisée pour le mouvement imaginé. Après un peu d’entraînement, cette application permet de déplacer un curseur à l’écran : intéressant pour tous les logiciels de bureautique, mais aussi pour les jeux vidéos ! Les exemples d’applications détaillés ci-dessous correspondent à ceux présentés dans la vidéo associée à ce document.

Exemple d’application dans un jeu vidéo : « Utiliser-la-force : êtes-vous un Jedi ? »

Capable d’être « maîtrisée » par la plupart d’entre nous dès les premiers essais, cette application ludique, inspirée du célèbre film La Guerre des Étoiles, illustre une utilisation simple du logiciel dans un jeu de réalité virtuelle. Il s’agit d’utiliser notre imagination motrice, c’est-à-dire imaginer des mouvements de pieds ou de mains. Le but de la démonstration est d’arriver à faire décoller un vaisseau spatial par le seul biais de la pensée, en imaginant un mouvement répétitif des pieds. Dès que le sujet cesse de penser à ce geste, il se produit un pic d’activité cérébrale que le logiciel détecte aussitôt. Cet événement provoque le décollage immédiat du vaisseau.

Imaginer un mouvement répétitif des pieds.

Exemple pour un jeu vidéo sportif : « Handball virtuel »

Cette application est basée sur deux commandes mentales de type imagination de mouvement. Deux buts sont placés de chaque côté d’un terrain de handball et une balle se trouve entre eux, au centre de l’écran. Les joueurs doivent contrôler la balle pour marquer des buts d’un côté ou de l’autre. Pendant les phases de contrôle, un signal à l’écran prévient les joueurs au moment où ils doivent déplacer mentalement la balle pour marquer. Pour ce faire, les joueurs doivent arriver à imaginer mentalement des mouvements de la main gauche ou droite afin de faire bouger la balle dans la direction choisie.

Navigation par la pensée : « Musée virtuel »

Le « Musée virtuel » est une application qui permet à l’utilisateur de se déplacer dans un musée « par la pensée » en utilisant trois commandes mentales : mouvements imaginaires des pieds, de la main droite, ou de la main gauche. Pour exploiter ce petit nombre de commandes, cette application innovante met en œuvre une nouvelle approche, de façon à ce que l’utilisateur envoie des « ordres » de haut niveau. Avec cette technique, l’utilisateur peut sélectionner progressivement sa destination finale par un enchaînement de choix binaires gauche/droite. En plus de ces deux commandes, il peut annuler n’importe lequel de ses choix à l’aide de mouvements imaginés des pieds. Une fois qu’un point de navigation a été sélectionné, l’application se charge d’emmener automatiquement l’utilisateur jusqu’à sa destination, et il peut profiter pleinement de la visite.

Navigation dans un musée virtuel.

Avancées scientifiques du projet

Dans le domaine du traitement du signal, le projet OpenViBE a débouché sur de nouvelles techniques d’analyse et de filtrage des données et des signaux cérébraux, qui permettent d’améliorer globalement les performances des interfaces cerveau-ordinateur. Ces nouvelles techniques ont démontré qu’elles amélioraient fortement les taux de reconnaissance des activités mentales. Autre nouveauté : le passage d’une approche traditionnellement en deux dimensions (analyse des courants électriques à la surface 2D du crâne) à une approche 3D qui propose désormais de reconstruire en temps-réel toute l’activité cérébrale à l’intérieur du crâne. Cette nouvelle approche 3D facilite la localisation des diverses sources et types d’activité dans le volume cérébral, qui permet de déduire plus aisément ce à quoi le sujet est en train de penser. Dans le domaine de la réalité virtuelle, des techniques d’interaction ont été développées afin d’optimiser l’usage du très faible nombre de commandes disponibles (peu de classes ou d’activités mentales contrôlables en même temps par le sujet). Ainsi, l’utilisateur n’a plus besoin de se concentrer en permanence pour aller à gauche, à droite ou devant lui. Pour se déplacer « par la pensée » dans un monde virtuel, il peut simplement choisir sa destination finale parmi un ensemble de points de navigation possibles, et une fois qu’il s’est décidé, le système le transporte automatiquement, en évitant les obstacles, jusqu’à sa destination finale. Pendant ce temps, l’utilisateur peut tranquillement profiter de sa navigation. Le projet OpenViBE a également permis d’améliorer les temps d’apprentissage des technologies d’interfaces cerveau-ordinateur. Plusieurs études ont été menées avec des utilisateurs, pour déterminer combien de personnes étaient capables de contrôler rapidement une telle interface. Résultat probant : environ 30 % d’entre elles pouvaient instantanément et sans aucun entraînement contrôler un objet virtuel en ne faisant intervenir que l’activité cérébrale. Enfin, les chercheurs envisagent maintenant d’améliorer l’ergonomie des systèmes existants. Il s’agit par exemple de mettre au point pour ces interfaces des méthodes de saisie automatique de texte par la pensée utilisant des techniques de prédiction de langage similaires à celles employées pour les textos. Les scientifiques approfondissent également la possibilité d’utiliser les propriétés de l’ouïe et de la latéralisation de l’attention pour piloter par exemple un curseur à l’écran.