LogoLogo

Sallami, Yoan. Modèles inspirés de la psychologie du développement pour le raisonnement physique et social dans le cadre de l'action jointe humain-robot

Sallami, Yoan (2021). Modèles inspirés de la psychologie du développement pour le raisonnement physique et social dans le cadre de l'action jointe humain-robot.

[img]PDF - nécessite un logiciel de visualisation PDF comme GSview, Xpdf or Adobe Acrobat Reader
2843Kb

Résumé en francais

Dans le but de réaliser une tâche collaborative avec une personne, un robot a besoin de raisonner à propos des objets et des personnes qui l'entourent. La psychologie développementale donne de bons indices à propos de comment les enfants développent leurs modèles du monde, ce qui peut aider à concevoir de nouvelles architectures robotiques pour des interactions efficientes et robustes. Dans un premier temps nous présenterons une architecture basée sur une data-structure hybride qui combine informations géométriques et relationnelles avec des représentations neurales. Cette architecture a pour but de bénéficier des avancées récentes en vision artificielle et en traitement de la parole, tout en permettant un raisonnement 3D efficace en construisant un modèle 3D cohérent qui permet de calculer le rendu d'une image depuis n'importe quel point de la scène. Ensuite nous explorons deux modalités clés dans le contexte de l'action conjointe entre un humain et un robot: le raisonnement physique et le raisonnement sur les croyances. Le raisonnement physique permet au robot d'utiliser la physique Newtonienne dans le but de raisonner sur les objets hors du champ de vue, tout en analysant ce qui est physiquement plausible dans le but d'inférer des actions. Dans cette thèse nous présenterons un travail inspiré par la psychologie développementale dans lequel on se sert d'un simulateur physique pour inférer la position des objets qui sont hors du champ de vue du robot, permettant au robot de calculer des relations géométriques entre les objets. De plus l'algorithme présenté permet d'inférer les actions de l'humain en analysant la divergence entre le modèle physique et les informations de perception. Le raisonnement sur les croyances est une autre capacité clé pour pouvoir assister/aider des personnes. Ce raisonnement est basé sur la prise de perspective: la capacité de raisonner depuis le point de vue d'une autre personne. Dans cette thèse nous soulignons la modularité des structures de données utilisées en intégrant le système développé et des logiciels de raisonnement basé sur des ontologies. Cette intégration permet de faire des requêtes SPARQL à propos des entités générés par le système physique et perceptuel. La pertinence de cette synergie est ensuite discutée avec un travail préliminaire sur l'intégration de modèles de langage profonds utilisant l'expressivité du SPARQL.On conclut avec une discussion sur les limites du système et une ouverture sur des travaux futurs pouvant être intéressant pour la recherche dans ce domaine.

Sous la direction du :
Directeur de thèse
Alami, Rachid
Ecole doctorale:Mathématiques, informatique, télécommunications de Toulouse (MITT)
laboratoire/Unité de recherche :Laboratoire d'Analyse et d'Architecture des Systèmes (LAAS) - CNRS
Mots-clés libres :Raisonnement physique - Prise de perspective visuelle - Collaboration humain-robot
Sujets :Informatique
Déposé le :17 Nov 2021 13:08