Présence

• Ce projet vise à établir un dialogue entre un usager et un agent communiquant faisant référence à des objets réels et/ou virtuels et ceci de manière intuitive (c'est-à-dire sans utiliser les interfaces homme/machine traditionnels tels que souris/clavier...). La manière intuitive pour désigner, indexer des objets (deixis) est d'utiliser la coordination bras/tête/yeux (où) et la voix (quoi). De plus, l'agent doit faire savoir à l'usager qu'il calcule effectivement le focus de l'attention de l'usager. Les saccades occulaires, les mouvements des divers segments doivent donc concourir à donner une véritable présence à l'agent communiquant et donner ainsi plus de crédibilité et d'efficacité à l'information qu'il délivre!
• Fait partie de la plateforme MICAL de l'ICP.

Verrous

• Vision par ordinateur, suivi des gestes: tête, visage, lèvres...
• Localisation multimodale de l'interlocuteur (voix, visage...) et des objets réels (texture, forme, couleur...)
• Deixis multimodale: analyse et synthèse

Données/démos

• Démo présentée à sOc'2003 utilisant le système de suivi du regard Tobii: FR3 Rhones-Alpes, 16 mai, 19:00-20:00
• Etude des mouvements occulaires en situation de communication face-à-face. Dispositif - Video - Traitement

Pour en savoir plus...

• Bailly, G., F. Elisei and S. Raidt (2006). Virtual talking heads and ambiant face-to-face communication. The fundamentals of verbal and non-verbal communication and the biometrical issue. A. Esposito, E. Keller, M. Marinaro and M. Bratanic. Amsterdam, IOS Press BV.
• Bailly, G., F. Elisei, S. Raidt, A. Casari and A. Picot (2006). Embodied conversational agents : computing and rendering realistic gaze patterns. Pacific Rim Conference on Multimedia Processing, Hangzhou: accepted.  (.pdf)
• Raidt, S., G. Bailly and F. Elisei (2006). Does a virtual talking face generate proper multimodal cues to draw user's attention towards interest points? Language Ressources and Evaluation Conference (LREC), Genova - Italy: 2544-2549. (.pdf)
• Raidt, S., Elisei, F., and Bailly, G. (2005) Face-to-face interaction with a conversationnal agent: eye-gaze and deixis. in International Conference on Autonomous Agents and Multiagent Systems. Utrecht University, The Netherlands. (.pdf)
• Raidt, S., Elisei, F., and Bailly, G. (2005) Basic components of a face-to-face interaction with a conversational agent: multual attention and deixis. in Smart Objects and Ambient Intelligence, Grenoble-France, 247-252. (.pdf)
  
• Raidt, S., G. Bailly and F. Elisei (2005). Eye gaze in face-to-face interaction with a talking head. European Conference on Eye Movements, Bern, Switzerland.
• Bailly, G., Elisei, F., and Raidt, S. (2005) Multimodal face-to-face interaction with a talking face: mutual attention and deixis. in Human-Computer Interaction International. Las Vegas. (.pdf)