Artus

• Projet RNRT
• Animation Réaliste par Tatouage Audio à l'Usage des Sourds.
• Partenaires : les laboratoires LIS, ICP, Heudiasyc et ENST associé à Thalès, Attitude-studio et Arte.
• Durée: Mars 2002 à Février 2005
• Le projet vise à utiliser des informations cachées par des méthodes de tatouage dans la vidéo ou l'audio d'un programme télévisé pour animer un clone sur le récepteur afin de reproduire les gestes du Langage Parlé Complété

Verrous

• Etude du LPC: acquisition de données réelles, modèles articulés des segments (main, visage), phasage des mouvements
• Synthèse du LPC: prosodie spécifique, méthode de synthèse multimodale

Données/démos

• Capture des mouvements du LPC à Attitude Studio
• Clonage des mouvements faciaux de la codeuse LPC à l'ICP
• Reproduction des données par modèles: mod_LPC.avi (5.7Mo)
• main: 50 points, 12 paramètres pour l'articulation, 5 pour le mouvement (erreur moyenne = 1mm)
• visage: 63 points, 7 paramètres pour l'articulation, 5 pour le mouvement (erreur moyenne = 0.5mm)
• Modèle de forme et d'apparence du visage
• Modèle de forme et d'apparence de la main
• Animation des modèles de forme du visage et de la main pilotés par mouvements capturés: yb_caid_HD_wire.avi (5.3 Mo)
• Animation des modèles Basse et Haute Definition avec textures videoréalistes:  yb_magie_256_q80.avi (3.6 Mo)
• Historique des exemples de synthèse à partir du texte:
• "Dans le cadre du projet ARTUS, je dois remplacer le télétexte." Film (film.mov; 5.7 Mo) & Son (film.wav; 5.7 Mo)
  ATTENTION: on visualise ici la synthèse de mouvements capturés: les points de lèvres sont sur le contour externe des lèvres!
• Rendu vidéorealiste du clone ARTUS. Film (intro_synLPC.avi; 9.3 Mo). Synthèse de la phrase "Grâce aux gestes de ma main et aux mouvements de mes lèvres, un mal-entendant connaissant cette méthode peut comprendre tout ce que je dis.".
• Démonstrateur final:
• Présentation du LPC par le clone ARTUS: Film (video_presentation.avi; 26.7 Mo)
• Extrait du doublage par une codeuse (karambolage_yb.avi; 24.3 Mo) et par le clone ARTUS (karamb_short.avi; 38 Mo) d'une émission d'ARTE.