Domaine d’activité

Les recherches de l’équipe IRA2 (Interaction, Réalité virtuelle & Augmentée, Robotique Ambiante) ont pour objectif d’améliorer les interactions entre des personnes et des systèmes complexes artificiels (virtuels, augmentés, robotisés, applications informatiques). La diversité, la complexité, l’imprévisibilité des tâches à réaliser et l’hétérogénéité technologique, rendent nécessaire la conception, la réalisation et l’évaluation d’outils numériques d’assistance adaptés.

Pour atteindre cet objectif, les activités sont organisées autour de deux axes de recherche :

  • Axe 1 : Perception, Interprétation & Décision (PID)
  • Axe 2 : Interaction-Homme-Système (IHS)

Axe 1: Perception, Interprétation & Décision (PID)

L’objectif de cet axe est d’apporter à ces systèmes artificiels des capacités :

1) de perception de l’environnement (réel ou virtuel), de capture des utilisateurs, et ce, en temps réel et à partir de sources variées de données issues des capteurs embarqués, des objets communicants, des interfaces de RV/RA;

2) d’interprétation, voire de compréhension des données perçues ainsi que des algorithmes d’adaptation dynamique à un contexte évolutif et  d’aide à la décision.

Perception de l’environnement réel ou virtuel :

  • Objectifs : Permettre au système artificiel d’améliorer, de compléter, de restaurer, de prédire la réalité en procurant des assistances sensorielles à un utilisateur (groupe d’utilisateurs) ou à un robot dans son monde réel (dans le cas de la réalité augmentée) ou virtuel (dans le cas de la simulation en réalité virtuelle).
  • Problématique : Lever les verrous : 1) de la mise en conformité en temps réel des mondes réel et virtuel; 2) de détection, de localisation, de cartographie d’environnements et du suivi robuste multi capteurs de cibles (objets, utilisateurs ou robots);
  • Approches : approches basées descripteurs, analyse/synthèse d’images basées modèles, SLAM basé sur l’ajustement de faisceaux et sur la modélisation planaire.
  • Mots clés : Réalité augmentée, réalité virtuelle, calibration de capteurs, modélisation et recalage 3D, prédiction, appariement 2D/3D, suivi hybride robuste, localisation.

 

Interprétation & décision :

  • Objectifs : Permettre au système artificiel d’analyser et d’interpréter les données reçues et de construire des algorithmes d’aide à la décision facilitant l’exploitation des données par un utilisateur (ou un groupe d’utilisateurs) ou par un robot.
  • Problématique: Lever les verrous : 1) de l’adaptabilité de l’Interaction Homme-Machine en fonction du contexte; 2) de la reconnaissance de gestes et d’émotions par un robot; 3) de l’adaptation au contexte pour l’assistance ambiante et à la personne.
  • Approches : Traitement et fusion de données hétérogènes, classification, coopération multi-agents, mécanismes de coalition et de négociation, modèles de présence.
  • Mots clés : Réalité augmentée, réalité virtuelle, apprentissage automatique, context-aware, systèmes multi-agents, cobotique.

Axe 2: Interaction-Homme-Système (IHS)

L’objectif de cet axe est de formaliser des concepts et de développer des techniques d’interaction et de communication en réalité virtuelle, en réalité augmentée, ou en robotique qui soient multimodales et adaptées à l’humain dans son environnement (réel ou virtuel), mais également adaptées à un robot assistant évoluant dans son environnement. Ce dernier, peut être un espace intérieur (indoor) ou bien extérieur (outdoor).

Interaction en environnement réel augmenté ou virtuel :

  • Objectifs : Proposer à l’utilisateur (ou groupe d’utilisateurs) des techniques d’interaction 3D (navigation, sélection, manipulation, contrôle d’application) qui soient naturelles et multimodales afin d’améliorer les performances des tâches et des utilisateurs (notamment en réduisant les courbes d’apprentissage et en assurant la cohérence multisensorielle).
  • Problématique : Lever les verrous : 1) du maintien de la cohérence sensorielle dans l’espace et dans le temps entre l’action d’un utilisateur et la réaction des systèmes de RA/RV; 2) des limites des interfaces caractéristiques de RA/RV et les contraintes de la tâche ; 3) de l’amélioration de l’utilisabilité des interfaces et de la motivation des patients; 4) de la fidélité des interactions 3D dans les simulateurs virtuels; 5) de prototypage rapide d’applications de RA mobiles.
  • Approches : Conception centrée sur l’utilisateur, approches basées sur les mécanismes d’adhésion/motivation (les théories de la motivation), mécanismes de guides virtuels, modèle du trèfle fonctionnel des collecticiels, modèles de présence, architecture basée composants.
  • Mots clés : Réalité augmentée, réalité virtuelle, interaction 3D, interaction naturelle, interfaces tangibles, facteurs humains, travail collaboratif, architecture logicielle.

 

Interactions humain-Robot & cobotique :

  • Objectifs : Permettre des interactions (distantes ou physiques) homme-robot qui soient naturelles et multimodales.
  • Problématique: Lever les verrous : 1) de la téléopération en présence de délais; 2) de la reconnaissance de gestes et d’émotions par un robot; 3) de la malléabilité des systèmes collaboratifs homme-robot; 4) de la co-perception homme-robot (partage des sens et du savoir entre l’homme et le robot pour construire une perception mutuelle et augmentée)
  • Approches : modélisation des interactions homme-robot, modèle de coprésence, apprentissage et adaptation aux changements (environnement/utilisateur).
  • Mots clés : Interaction homme-robot, réalité augmentée, réalité virtuelle, téléopération, apprentissage, cobotique.

Domaines d’application : Santé & Industrie

  • Médecine personnalisée
  • Mobilité intelligente, durable et coopérative

 

widget_cartohal

Documents avec texte intégral

297

Références bibliographiques

330

Mots-clés

Virtual environment Real-time tracking Robotics Deep learning Interaction 3D Telerobotics Alzheimer disease Tailorability Regression Cognitive stimulation Synthesized face Rehabilitation Neural Network SLAM Robot Control Motion capture Gesture tracking Modélisation Outdoor augmented reality Classification Autism Humanoid Robot Modelling Manipulability Timed automata Neural Architecture Search Mixed reality Simulation Augmented Reality Réalité Virtuelle Teleoperation Réalité Augmentée Machine learning Empirical evaluation Human computer interaction 3D interaction techniques 3D visualization Feature extraction Cameras Mentorship Object detection Coopération Virtual Reality Collaborative interaction Interaction techniques Deep Learning Humanoid robot Artificial intelligence Virtual reality Computer Vision Collaborative virtual environments Estimation Underwater Human performance Pose estimation Interval analysis Tracking Agent architecture Argumentation 3D face tracking Computer vision Omnidirectional camera Calibration Cooperation Réalité virtuelle 3D gesture recognition Facial expression recognition Evaluation tool 3D Interaction Collaborative work Convolutional neural networks Context-awareness 3D pose tracking Virtual reality VR Kinect Camera pose estimation Depth image Non-rigid tracking Distortion Surgical training Augmented reality Apprentissage automatique Architecture 3D interaction Coordination CSCW Réalité augmentée ROV Collaboration Adaptation Human tracking Rigid tracking Localization CNN Particle filter Face matching Emotion recognition Machine Learning Web services