LogoLogo

Burger, Brice. Fusion de données audio-visuelles pour l'interaction Homme-Robot

Burger, Brice (2010) Fusion de données audio-visuelles pour l'interaction Homme-Robot.

[img]PDF - nécessite un logiciel de visualisation PDF comme GSview, Xpdf or Adobe Acrobat Reader
5Mb

Résumé en francais

Dans le cadre de la robotique d'assistance, cette thèse a pour but de fusionner deux canaux d'informations (visuelles et auditives) dont peut disposer un robot afin de compléter et/ou confirmer les données qu'un seul canal aurait pu fournir, et ce, en vue d'une interaction avancée entre homme et robot. Pour ce faire, nos travaux proposent une interface perceptuelle pour l'interaction multimodale ayant vocation à interpréter conjointement parole et geste, notamment pour le traitement des références spatiales. Nous décrivons dans un premier temps la composante parole de nos travaux qui consiste en un système embarqué de reconnaissance et d'interprétation de la parole continue. Nous détaillons ensuite la partie vision composée d'un traqueur visuel multi-cibles chargé du suivi en 3D de la tête et des deux mains, ainsi que d'un second traqueur chargé du suivi de l'orientation du visage. Ces derniers alimentent un système de reconnaissance de gestes par DBNs décrit par la suite. Nous poursuivons par la description d'un module chargé de la fusion des données issues de ces sources d'informations dans un cadre probabiliste. Enfin, nous démontrons l'intérêt et la faisabilité d'une telle interface multimodale à travers un certains nombre de démonstrations sur les robots du LAAS-CNRS. L'ensemble de ces travaux est fonctionnel en quasitemps réel sur ces plateformes robotiques réelles.

Sous la direction du :
Directeur de thèse
Ferrané, Isabelle
Lerasle, Frédéric
Ecole doctorale:Systèmes
laboratoire/Unité de recherche :Institut de Recherche en Informatique de Toulouse (IRIT), UMR 5505 ; Laboratoire d'Analyse et d'Architecture des Systèmes (LAAS) - CNRS
Mots-clés libres :Interaction multimodale - Fusion multimodale - Robotique d'assistance - Suivi d'objets multiples - Filtrage particulaire - Reconnaissance et interprétation de la parole
Sujets :Sciences de l'ingénieur
Déposé le :01 Dec 2010 11:28