Parole augmentée

De nombreux travaux ont établi que la vision des articulateurs typiquement visibles (lèvres, mâchoire, visage, partie antérieure de la langue, dents) facilite la compréhension de la parole par les humains, et augmente significativement le taux de reconnaissance. Pour autant, tout ne peut être « lu » sans ambiguïté avec la seule vue du visage. En particulier, la langue porte une part importante de l'information articulatoire mais n'est généralement pas visible. La Langue française Parlée Complétée (LPC) utilisée par une partie de la communauté des malentendants vise justement à compléter l'information labiale par des signes de la main et des doigts qui donnent des informations en particulier sur la langue, organe qui porte une part importante de l’information articulatoire. Ce codage, même s'il est efficace selon la théorie de l'information, est arbitraire et sans lien naturel avec la forme de la langue. Nous avons donc voulu tester l'hypothèse que la vision directe et complète de la langue – information a priori plus intuitive – peut être utilisée par les sujets. Pour cela, nous avons donc utilisé la tête parlante virtuelle audiovisuelle du laboratoire, qui permet d'afficher tous les articulateurs de la parole, y compris la langue. Le mode de réalité augmentée choisi est un écorché de profil.
Amélioration significative de la lecture linguale après un rapide apprentissage et bénéfice en intelligibilité aux faibles RSB:

Données/démos

Séquences VCV animées à partir d'enregistrements EMA et jouées avec divers niveaux de bruits et rendus: PB_ibi.avi (visage synthétique de profil), PB_ada.avi (écorché sans langue) et PB_phrm6.avi (écorché avec langue animée).

Retour à l'index de l'ICP / Département Parole et Cognition de GIPSA-lab

Retour à l'index de Pierre Badin

Retour à l'index de Frédéric Elisei

Retour à l'index de Gérard Bailly