InmersIA

Réalité virtuelle, eye tracking, et intelligence artificielle pour l'apprentissage des langues

Réalité virtuelle, Eye tracking, et IA pour l'apprentissage des langues

InmersIA est un projet financé par le programme européen de coopération transfrontalière POCTEFA, créé pour promouvoir le développement durable du territoire frontalier de l’Espagne, de la France et de l’Andorre. InmersIA cherche à exploiter le potentiel de la réalité virtuelle et de l’intelligence artificielle pour améliorer les compétences de communication en langues étrangères des deux côtés de la frontière.

Dans un monde du travail de plus en plus exigeant et internationalisé, ce projet transfrontalier propose, grâce à un outil numérique de pointe, l’intelligence artificielle, de fournir aux étudiants actuels des compétences linguistiques, de promouvoir le multilinguisme et d’améliorer leur employabilité à l’avenir.

Un projet Européen regroupant 5 partenaires

InmersIA compte cinq partenaires de part et d’autre de la frontière : le Centro Navarro de Aprendizaje Integral (CNAI), le gouvernement de Navarre, l’entreprise navarraise Nautilus Experiencias Digitales, l’entreprise française Immersalis Consulting et la Chambre de Métiers et de l’Artisanat Nouvelle-Aquitaine. Ces entités coopéreront pendant trois ans pour créer une méthodologie qui servira de base au développement d’une plateforme d’apprentissage des langues axée sur les compétences orales des utilisateurs. Entre autres activités, InmersIA propose deux exercices pilotes au cours desquels les étudiants et les enseignants de la formation professionnelle de Navarre et de la région française de Nouvelle-Aquitaine auront l’occasion d’expérimenter les avancées didactiques et technologiques dans le domaine de l’intelligence artificielle pour l’apprentissage des langues. Par la suite, la plateforme et l’apprentissage du projet seront étendus à d’autres entités dans les deux territoires afin de parvenir à une société plus équitable dans laquelle les citoyens disposent d’opportunités égales en matière d’apprentissage des langues et d’alphabétisation numérique, réduisant ainsi la fracture numérique.

Le rôle d'Immersalis dans le projet

Immersalis a été sollicité dans ce projet pour intégrer l’usage de l’eyetracking au sein du projet, sur deux axes principaux :

  • La création et mise en oeuvre d’interactions visuelles, notamment au niveau des avatars, afin de faciliter et fluidifier la communication entre les enseignants en apprenants ;
  • La mesure, grâce à l’eye tracking, de la charge cognitive des apprenants, pour aider à la mise en place d’exercices adéquats ainsi que leur évaluation.

3 défis relevés

Intégrer des interactions oculaires au sein des univers virtuels

L'interaction par le regard étend et fluidifie drastiquement l'interaction en réalité virtuelle. En capturant le regard, on capture l'intention de l'utilisateur : manipuler un objet ne nécessite plus qu'un coup d'oeil.

immersalis-realite-virtuelle-mobile

Fluidifier la communication entre avatars

Le regard joue un rôle prépondérant dans la communication: il dirige la prise de tours de parole, renseigne sur l'attention... Grâce à l'eye tracking, il devient possible de réintégrer cette modalité essentielle dans la communication au travers d'avatars en réalité virtuelle, pour une communication encore plus fluide.

immersalis-nous-choisir

Mesure temps réel de la charge cognitive

Les informations oculaires, et notamment le diamètre pupillaire, sont des indicateurs naturels de la charge cognitive que peut expérimenter un apprenant. En mesurant cette charge cognitive au cours de l'apprentissage, il devient possible d'adapter les contenus pour maintenir l'engagement des apprenants, et faciliter l'évaluation des compétences acquises.

Le projet InmersIA a été cofinancé à 65% par l’Union européenne à travers le Programme Interreg VI-A Espagne-France-Andorre (POCTEFA 2021-2027). L’objectif de POCTEFA est de renforcer l’intégration économique et sociale de la zone frontalière Espagne-France-Andorre.