salle de presse INSERM salle de presse INSERM

Salle de Presse

synthese

Communiqués et dossiers de presse

A+ I A- I

OpenViBE2 : les interfaces Cerveau-Ordinateur appliquées aux jeux vidéo

22.01.2013 - Dossier

Neurosciences, sciences cognitives, neurologie, psychiatrie

OpenViBE2 (2009-2013) est un projet de recherche collaborative soutenu par le financement de l’ANR, et qui porte sur le potentiel des technologies dites d’ « interface cerveau-ordinateur » (ICO) dans le domaine des jeux vidéo. Ce projet a réuni l’ensemble des expertises scientifiques requises au sein d’un consortium pluridisciplinaire de 9 partenaires rassemblant des laboratoires académiques pionniers dans le domaine (Inria, Inserm, CEA, GIPSA-Lab), des industriels du jeu vidéo reconnus (UBISOFT, BLACKSHEEP STUDIO, KYLOTONN GAMES) et des spécialistes des usages et du transfert (LUTIN, CLARTE). Après plus de 3 ans de travaux, et l’obtention d’avancées scientifiques nombreuses, associées à la mise au point de prototypes industriels innovants, OpenViBE2 permet de mieux maîtriser l’avenir de ces technologies sur le marché français et international.

© Inserm / Hirsch, Philippe

  • Agir par la pensée grâce aux interfaces cerveau-ordinateur (ICO)

[break]Une interface cerveau-ordinateur permet à ses utilisateurs d’envoyer des commandes à un ordinateur en utilisant uniquement leur activité cérébrale. Les ICO utilisent des dispositifs électroencéphalographiques (EEG) basés sur des électrodes disposées à la surface du crâne, et qui enregistrent des signaux électriques correspondant aux échanges de courant électrique entre les neurones. L’activité électrique émise par le cerveau est analysée en temps-réel et traduite en commande pour un ordinateur, ou tout autre système automatisé, permettant ainsi de piloter un curseur vers la droite ou la gauche, simplement en imaginant les mouvements de sa main.

Initié en 2005 par l’Inria et l’Inserm, le premier projet OpenViBE (2005-2009) également soutenu par l’ANR, a abouti en 2009 à la mise au point d’un logiciel en open-source permettant de concevoir, développer et tester facilement des interfaces cerveau-ordinateur (http://openvibe.inria.fr). C’est aujourd’hui un logiciel reconnu et utilisé dans le monde entier. Le projet OpenViBE2 fait suite à ce premier projet, et vise à explorer plus en avant ces technologies en les étudiant dans un contexte applicatif particulièrement complexe : celui des jeux vidéo. Il s’agit d’un domaine d’application relativement nouveau pour les ICO. Mais l’arrivée de casques EEG à bas coût a ouvert la porte à ces applications.

L’objectif d’OpenViBE2 est donc d’améliorer les capacités actuelles de ces ICO et de tester leur utilisation et leur potentiel dans le domaine des jeux vidéo.

  • Les jeux vidéo: un marché en pleine expansion

[break]Après la commande « gestuelle » (joystick, souris, gamepad), la commande « mentale » est une nouvelle voie très prometteuse dans le domaine des jeux vidéo. Depuis le début des années 2000, les scientifiques ont abordé la question scientifique de l’intégration des technologies ICO pour interagir avec des environnements virtuels.

Dans ce contexte, le but du projet OpenViBE2 est d’identifier et d’utiliser l’état mental et les réponses cérébrales de l’utilisateur pour interagir avec le jeu et/ou adapter le contenu du jeu vidéo lui-même. Une approche très originale proposée dans le projet a été de considérer les ICO non plus comme une technique de substitution des interfaces traditionnelles (joystick, souris, gamepad) mais plutôt de voir dans les ICO un moyen de jouer d’une nouvelle façon, complémentaire aux techniques traditionnelles. Ainsi, le joueur peut continuer à utiliser son joystick et en parallèle ou à quelques moments clé du jeu, il pourra mobiliser également son activité cérébrale pour jouer.

  • Les avancées scientifiques du projet openvibe2

[break]Maladies et syndromes neurologiques, monde du divertissement ou encore vie quotidienne, OpenViBE2 ouvre la porte à des technologies innovantes et d’intérêts majeurs pour l’être humain. Au cours du projet OpenViBE2, des avancées scientifiques importantes ont été obtenues dans trois domaines:

En Neuroscience : identification de nouvelles activités mentales liées aux processus attentionnels.

Dans le premier volet d’OpenViBE, l’équipe Inserm « Dynamique Cérébrale et Cognition (Dycog) » du Centre de recherche en neurosciences de Lyon (Inserm/CNRS) avait participé au développement du logiciel capable d’ « écrire par la pensée », facilitant la communication des personnes handicapées motrices. OpenViBE2 offre de nouvelles avancées dans le domaine des neurosciences qui permettent d’utiliser les interfaces cerveau-ordinateur à des fins thérapeutiques pour améliorer certains déficits neurologiques comme les troubles de l’attention.

Grâce au dispositif, les chercheurs ont pu analyser:
- l’attention portée vers le monde extérieur en mesurant en temps réel et de manière sélective le niveau d’engagement du réseau cérébral chargé de rechercher une information précise dans une scène visuelle.
- l’attention accordée par l’utilisateur à une représentation interne, c’est-à-dire le niveau d’engagement du réseau cérébral chargé de maintenir une représentation mentale.
- Le niveau de distraction d’une personne en déterminant en temps réel à quel moment une personne est distraite, et pendant combien de temps.

Le principe de la réalité virtuelle, utilisé notamment dans le serious game ADHD développé grâce à OpenViBE2, a permis aux chercheurs d’obtenir des résultats sur les déficits attentionnels. L’environnement virtuel ressemble à l’environnement réel et l’utilisateur doit se concentrer pour réaliser une tache qu’il connait dans la réalité. Cet entrainement virtuel fait appel au processus de NeuroFeedback où l’utilisateur est amené à autoréguler son activité cérébrale.

« Associé à la réalité augmentée, le serious game a un effet rééducateur positif qui perdure au-delà de la séance d’entrainement dans l’environnement réel », souligne Jean Philippe Lachaux, directeur de recherche à l’Inserm.

Des progrès sont néanmoins nécessaires dans le dispositif pour qu’il puisse être accessible à chacun.

Dans le traitement des signaux

Les chercheurs du CEA et du GIPSA-Lab ont trouvé de nouvelles techniques pour mieux filtrer et interpréter les signaux électriques du cerveau. Celles-ci permettent notamment d’éliminer les bruits parasites (notamment liés aux activités
musculaires : muscles faciaux, clignements des yeux, serrements de mâchoire), et d’extraire l’activité cérébrale pertinente de manière plus précise et plus focalisée. Ces techniques sont très utiles dans le contexte du jeu, où les joueurs peuvent être très mobiles.

En réalité virtuelle et interaction homme-machine

OpenViBE2 a permis aux chercheurs d’Inria d’inventer de nouveaux concepts pour interagir avec des jeux vidéo de manière plus originale et efficace, et de proposer plusieurs premières mondiales :
- Interface cerveau-ordinateur « multi-joueurs » : Les chercheurs de l’Inria ont conçu la toute première application ludique collaborative ou compétitive dans laquelle les activités cérébrales de deux joueurs sont analysées en même temps. Les deux joueurs peuvent jouer ensemble, ou l’un contre l’autre, dans un jeu vidéo de football simplifié.
- Intégration naturelle des ICO dans les mondes virtuels : les chercheurs ont étudié comment mieux intégrer les stimulations nécessaires à certaines interfaces cerveauordinateur basées sur des réponses cérébrales en intégrant les stimuli visuels directement dans le monde virtuel. Par exemple certaines ICO nécessitent des « flashs
visuels » reconnus dans le cerveau de l’utilisateur. Ceux-ci peuvent être intégrés dans le jeu vidéo par exemple sous la forme de papillons qui battent des ailes à différentes fréquences.
- Adaptation automatique du monde virtuel à l’état mental du joueur : Enfin, les chercheurs ont proposé des approches radicalement nouvelles où des éléments de l’environnement virtuel sont modifiés automatiquement en fonction de l’état mental. Dans un jeu de labyrinthe virtuel des guides sont ainsi automatiquement activés si l’utilisateur présente une charge mentale trop élevée. Ces travaux ont été primés au niveau international par plusieurs prix scientifiques (best paper award Eurohaptics 2012, BCI Award 2012 nominee).

  • La salle de jeu du futur

[break]Le projet OpenViBE2 a permis de développer de nombreuses preuves de concept académiques et des prototypes de jeu vidéo industriels tous pilotés par l’activité cérébrale. Les industriels du jeu vidéo ont travaillé directement avec des laboratoires académiques de l’Inria, de l’Inserm, du CEA et GIPSA-Lab, pour mettre au point des jeux vidéo basés sur l’activité cérébrale. Cette collaboration a permis de mieux spécifier les actions de recherche scientifique tout au long du
projet et de converger vers des solutions plus adaptées aux contraintes technologiques du domaine d’application.
Au cours du projet, les partenaires ont mis en place une vaste campagne d’expérimentations sur « les interfaces cerveau-ordinateur et les jeux vidéo » menée à la Cité des Sciences par CHART durant laquelle près de 400 testeurs ont pu tester les prototypes. Les résultats de ces expérimentations ont permis de mettre en avant l’attractivité de ces technologies pour un large public, et de fournir au consortium de partenaires de très nombreux retours d’expérience d’utilisateurs. Un projet de standardisation a par ailleurs été piloté par UBISOFT pour définir le casque « idéal » afin
de mieux correspondre au marché du jeu vidéo.

Exemples de preuves de concept développés par les laboratoires académiques:

MindShooter (Inria) : Dans ce jeu, l’utilisateur contrôle un vaisseau spatial représenté en bas de l’écran et doit détruire des vaisseaux ennemis situés en haut de l’écran. Il dispose de trois commandes : aller à droite, aller à gauche, et tirer. Pour les activer, il doit se concentrer sur la zone du vaisseau correspondant à l’action qu’il souhaite déclencher.

Brain Invaders (GIPSA-LAb): Ce jeu est inspiré du jeu japonais « Space Invaders ». Il faut également détruire les vaisseaux situés à l’écran grâce à une réponse cérébrale qui se produit dès qu’un évènement rare et attendu surgit.

Brain Arena (Inria) : Ce jeu « multi-joueurs » de football simplifié permet à deux utilisateurs de jouer ensemble ou l’un contre l’autre avec leur activité cérébrale.

Trois prototypes industriels de jeux vidéo basés sur l’activité cérébrale ont également été développés par le consortium:

Cocoto Brain (Kylotonn Games) : Un « Casual game » basé sur l’activité cérébrale, Entertainment pour la console Wii de Nintendo. Le joueur doit protéger une fée en empêchant tous les ennemis de s’approcher d’elle. Le joueur doit se concentrer sur les cibles situées au-dessus des ennemis pour les neutraliser.

BCI Training Center (Black Sheep Studio), un jeu de type « entraînement cérébral » utilisant l’EEG développé par Black Sheep Studio. Le jeu permet au joueur de pratiquer des activités ludiques d’entraînement cérébral (recherche visuel, trouver un mot dans une grille) associées à une adaptation du jeu en temps-réel en fonction de son état mental mesuré par le dispositif EEG (relaxation et concentration).

Un serious game pour le traitement des déficits attentionnels (CLARTE) : un prototype est destiné aux enfants atteints de troubles de déficit de l’attention/hyperactivité (TDAH) a été développé par CLARTE. L’environnement virtuel de cette plateforme est une salle de classe dans laquelle l’enfant TDAH est par exemple invité à regarder une vidéo sur un écran dans la classe, dont la qualité perçue est directement liée à son activité cérébrale. Ainsi, s’il souhaite continuer à regarder cette vidéo dans de bonnes conditions, il doit maintenir son activité dans les conditions indiquées par le thérapeute. Plusieurs mini-jeux sont également proposés pour améliorer ses capacités attentionnelles en exploitant l’EEG.

©Lachaux/Inserm

En conclusion, le projet OpenViBE2 a permis d’acquérir une expertise scientifique et un savoir-faire technologique unique au monde sur l’utilisation de cette technologie très prometteuse dans un marché porteur. Des avancées  scientifiques importantes ont été obtenues dans de multiples domaines tels que les neurosciences, le traitement des signaux électriques cérébraux, ou les interfaces homme-machine et la réalité virtuelle. Des prototypes ont permis d’illustrer les nombreux résultats scientifiques du projet dans des cadres industriels concrets.
Les résultats du projet sont capitalisés sous la forme de savoir-faire, de méthodes et de logiciels tels que le logiciel libre OpenViBE, qui doivent permettre de mieux maîtriser à l’avenir l’arrivée sur le marché du grand public de ces technologies ICO. Des discussions sont notamment en cours actuellement pour la commercialisation des prototypes dans un avenir proche avec la start-up française MENSIA TECHNOLOGIES.

Plus de 50 articles scientifiques dans des conférences ou des revues de référence.

Voir les photos sur Sérimedis, la banque d’images de l’Inserm

POUR CITER CETTE PAGE :
Dossier –
Salle de presse de l’Inserm – OpenViBE2 : les interfaces Cerveau-Ordinateur appliquées aux jeux vidéo


Lien :
http://presse-inserm.fr/openvibe2-les-interfaces-cerveau-ordinateur-appliquees-aux-jeux-video/6251/

À lire dans la même catégorie :

Neurosciences, sciences cognitives, neurologie, psychiatrie