Communication multimodale

Objectifs

Introduction au domaine de la communication multimodale : parole audio et visuelle, gestes, émotions, expressions faciales. Cette UE aborde les aspects perceptifs et de production mis en œuvre pour une communication aussi bien parlée que non parlée (gestuelle) du point de vue informatique.

Prérequis

Master M1 en Informatique ou niveau équivalent.

Contenu pédagogique de l’UE

  • Perception multimodale (parole acoustique, visuelle, gestes, émotions, expressions faciales)
  • Production multimodale (synthèses : acoustique, articulatoire, visuelle, gestuelle)
  • Intelligibilité du message :
  • Synchronisation et fusion des modalités,
  • Techniques d’évaluation
  • Exemple d’application : agent conversationnel intelligent