Apprentissage automatique de modèles de comportements
Apprentissage automatique de modèles de comportements interactifs pour des robots sociaux! Thèse financée par une allocation doctorale de recherche de la région Rhône Alpes! Alaeddine Mihoub Introduction/Motivation Modélisation Gerard Bailly Résultats expérimentaux Christian Wolf! Travaux en cours 1! Interaction face à face! - Processus complexe et bidirectionnel! - En continue : perception, interprétation et génération de messages et signaux verbaux et non-verbaux! - - - - - - Pose du corps! Gestes des bras / mains! Mouvements de la tête! Expressions faciales! Direction du regard! Mouvement du nez, des lèvres etc.! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 2! Robotique « sociale »! - Robots intelligents, capables de reconnaitre les intentions de leurs partenaires humains ! - Demande de capacités cognitives importantes (Social embodiment)! - Le robot s’adapte aux capacités physiques et psychologiques des partenaires humains! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 3! Perception-Action! Boucles perception-action! Analyse de l’interaction! Génération de comportement! Méthodologies : machine learning (intelligence artificielle)! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 4! Travaux annexe : IHM! Problème différent : interfaces homme-robot, commande d’un robot par gestes! Projet « Interabot » avec Awabot! Natalia Neverova, Christian Wolf, Giulio Paci, Giacomo Sommavilla, Graham W. Taylor, Florian Nebout. A multi-scale approach to gesture detection and recognition. In ICCV Workshop on Understanding Human Activities: Context and Interactions, 2013. ! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 5! Objectif : modèle d’attention mutuelle! Gestion de l’attention et de la communication verbale et co-verbale dans des tâches collaboratives. ! Rendre un robot capable de maintenir une attention mutuelle et une communication verbale et gestuelle fluide avec son partenaire humain dans une tâche spécifique.! ! Problématiques: Engagement, coordination et synchronisation, actions réactifs & délibératifs… ! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 6! Interaction face à face : étude, exemple! - Lecture d’une phrase peu compréhensible et l’autre répète.! - 7 états cognitifs (lire, se préparer, parler, attendre, écouter, réfléchir, autre)! - Activité vocale de chacun : (activité, absence d’activité)! - Regard de chacun : 5 régions d’intérêt (visage, œil droit, œil gauche, bouche, autre)! - Objectif : estimer l’état cognitif de l’autre et puis génération de notre regard ! Dispositif expérimental! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 7! Modélisation par « HMM »! Chaque interaction : séquence d’états cognitifs! ! Chaque état cognitif : séquence d’états sensorimoteurs! ! Chaque état sensori – moteur est lié à un vecteur d’observations! ! Modèle probabiliste Hidden Markov Model (HMM)! - Transitions entre états! - Emissions d’observations! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 8! Perception ... et action! Introduction/Motivation Modélisation Modèle de reconnaissance • Observations de perception! Modèle généra0f • Observations d’action! Résultats expérimentaux Travaux en cours 9! Apprentissage automatique! (hors ligne)! Modèle de reconnaiss ance! Apprentissage automatique! Données d’apprentissage! Modèle génératif! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 10! Test/interaction (en-ligne) ! Modèle de reconnaiss ance! Synthèse! Reconnaissance! Nouvelles données :! perception! (L’autre/partenaire)! v1,g2,v2! Introduction/Motivation Modélisation Synthèse :! action ! g1! Etat cognitif conjoint! Modèle génératif! Résultats expérimentaux Travaux en cours 11! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 12! IDHMM! - Incremental Discrete Hidden Markov Models" - Le décodage correct peut nécessiter toutes la séquence (aussi des observations de l’avenir)! - On regarde aussi quelques observations de l’avenir (introduction d’une latence)! - compromis entre latence et taux de reconnaissance! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 13! Comparaison avec des modèles classiques! Deux types de classifieur : ! - SVM! - Abre de décision! ! Deux classifieurs sont entrainés :! - un premier classifieur pour estimer l’état cognitif! - un deuxième pour générer le regard ! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 14! IDHMMs, SVMs, Arbres de décision : ! étude comparative! Ajout des mêmes attributs, mais pour un instant précédant (attributs de mémoire):! Le meilleur décalage T enregistré est égal à 55 Frames(~ 2 secondes)! On injecte cette mémoire aussi pour le IDHMM et on compare les trois modèles et les deux configurations! (Taux calculés sans alignement)! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 15! Résultats avec et sans mémoire pour les SVMs! Résultats avec et sans mémoire pour les IDHMMs! Pour les classifieurs traditionnels, on obtient une nette amélioration (p<0.05) pour la reconnaissance et aussi pour la génération.! ! Pour le IDHMM, pas de différence significative pour la reconnaissance; ! Meilleure génération.! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 16! Travaux en cours! Nouvelle expérimentation : interactions verbales et co-verbales entre deux personnes en train de travailler sur une tâche collaborative (co-manipulation).! Alaeddine Mihoub – LIRIS 2014 Introduction/Motivation Modélisation Résultats expérimentaux 23 Travaux en cours 17! Aspects « vision par ordinateur »! Reconnaissance automatique des signaux venant du manipulateur.! Vision egocentrique : la caméra est montée sur la tête de l’instructeur.! Le regard doit être dirigé pour guider la perception (« vision active).! Alaeddine Mihoub – LIRIS 2014 Introduction/Motivation Modélisation Résultats expérimentaux 23 Travaux en cours 18! Conclusions! Nous avons proposé un modèle de reconnaissance et de génération de comportement multimodal conjoint qui vise à donner les robots/agents sociaux des compétences de perception-action.! Modèle divisé en reconnaissance et génération.! Inclusion de mémoire augmente la performance du modèle! La modélisation séquentielle par HMM est plus robuste que la classification par SVM ou arbres de décision.! Alaeddine Mihoub, Gerard Bailly and Christian Wolf. Social behavior modeling based on Incremental Discrete Hidden Markov Models. Dans International Workshop on Human Behavior Understanding (HBU), 2013. ! ! Alaeddine Mihoub, Gérard Bailly, Christian Wolf. Modeling Perception-Action loops: Comparing sequential models with frame-based classifiers. Soumis à International Conference on Image Processing, 2014.! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 19! Perspectives (1)! Robot humanoïde « ICUBE 2 « ! Nouvelle expérimentation : ! - nouvelle modélisation! - Capture+estimation des observations (par vision)! - algorithmes d’apprentissage! - validation! Implémentation sur le robot iCub « Nina » au Gipsalab! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 20! Perspectives (2)! - Beaming : l’utilisateur interagit avec un robot piloté par un humain! - Objectif : étudier le comportement des humains face à un robot! Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 21!
© Copyright 2024