LIGLaboratoire d'Informatique de Grenoble

Jean Caelen

Dernière mise à jour : avril 2012

Domaines de recherche :

 

Dialogue homme-machine & Interfaces Multimodales et Tangibles

Conception et évaluation des systèmes interactifs : aspects usage et ergonomie

Aspects scientifiques et objectifs de recherche :

 

Mes activités de recherche de base portent sur le dialogue homme-machine et l'interaction multimodale. Mes recherches appliquées portent sur les processus de conception et évaluation des systèmes interactifs

A- Dialogue homme-machine et interaction multimodale

Le dialogue homme-machine et l’interaction multimodale

o      La modélisation du dialogue homme-machine s’appuie sur une théorie logique de l’interaction fondée sur une extension de la logique illocutoire de Vanderveken, elle-même héritière du courant logique de la philosophie analytique des actes de langage (Austin, Searle). Les éléments de cette théorie sont constitués par les buts dialogiques, les stratégies des jeux de langage et les conditions de succès des actes. La modélisation est une formalisation d’une logique épistémique et d’une logique de l’action par la mise en place de règles de conduite du processus de dialogue selon l’atteinte et la satisfaction des buts. L’apport principal du travail porte sur les stratégies de dialogue.
Des développements récents ont été faits autour de l'interprétation pragmatique (avec une extension de la SDRT au dialogue), la compréhension sémantique et la génération d'énoncés.

     

o     L’interaction multimodale a pour caractéristique essentielle de prendre en compte non seulement les actes langagiers comme la parole, mais également la gestuelle ou d'autres modalités sensorielles dans la communication homme-machine. Il est de fait que l'on attend de la synergie parole+geste+vision, une meilleure fiabilité des systèmes, un confort d'usage amélioré et surtout  une problématique plus enrichissante, visant à faire coopérer tous les modes d'interaction. On compte ainsi en particulier améliorer la robustesse de la reconnaissance de la parole en tenant compte de toutes les informations sensorielles. Ce champ d’étude pose de nouveaux problèmes (fusion des informations, redondance, complémentarité des modes, etc.) et de sérieux espoirs de débouchés pour les futures interfaces homme-machine.

 

Des résultats ont été obtenus et des maquettes ont été démontrées (ICPdraw, HALPIN). Actuellement l’effort porte sur l’évaluation de ces systèmes afin de leur donner la robustesse suffisante pour pouvoir les utiliser en situation réelle et pour de multiples scénarios sémantiques. Le projet PVE (Portail Vocal d’Entreprise) du RNRT (partenaires = Neurosoft, IBM, Novadis, CLIPS) vise un champ d’application de services vocaux dans l’entreprise, à l’aide d’un système de dialogue générique. La généricité pose le problème de l’indépendance dialogue/tâche. Pour le résoudre une architecture a été proposée.

Le système ICPdraw : un logiciel de dessin à commande multimodale

Le système HALPIN : un système de recherche d’information multimodal

Le projet PVE : un système générique de dialogue homme-machine

Principale publication : J. Caelen, A. Xuereb (2007). Interaction et pragmatique : jeux de dialogue et de langage. Hermès éditeur, Paris, 332p.

B-  Conception participative

La conception participative est une méthode de type "centrée utilisateur". Elle fait intervenir tous les acteurs d'un projet d'innovation dès la phase amont pour la conception des systèmes interactifs. Cette méthode s'appuie des disciplines telles que la sociologie, l'économie, l'ergonomie du côté des sciences humaines et du génie logiciel, du design graphique du côté de l'informatique. Des situations réelles nous sont nécessaires pour expérimenter les réalisations et ceci à tous les niveaux : pour la conception des systèmes en partant des usages et des observations, pour la réalisation (incrémentale dans bien des cas) et enfin pour l'évaluation de ces systèmes avec des sujets. Par expérimentation on entend donc aussi bien l’acquisition de corpus ou de traces d’activité à partir de techniques aussi sophistiquées que le Magicien d'Oz que de test de systèmes en phase finale d'évaluation : cela nécessite une maîtrise complète des critères et des protocoles de test.

L'expérimentation constitue la base méthodologie de la recherche pour concrétiser des systèmes de dialogue homme-machine et valider leur pertinence dans divers domaines d'application. Ces domaines d'application sont actuellement :

- la demande de renseignements (documentation, tourisme, e-commerce, entreprise),

- l'aide à la navigation dans les documents hypermédias,

- le dialogue du traducteur,

- la domotique vocale et l'aide aux handicapés.

Dans ce contexte j’ai travaillé et encadré des recherches sur des méthodologies d’évaluation de systèmes de dialogue et plus généralement sur les systèmes interactifs, ce qui m’a amené à créer l’équipe MultiCom.

La conception participative : présentation générale

La méthode DQR pour l’évaluation de systèmes de dialogue homme-machine

L'oculométrie photo de l'oculomètre

  Principale publication : J. Caelen (2004). Le consommateur au coeur de l'innovation. CNRS éditions, Paris. 212 p.

C-  Une plate-forme d'expérimentation et une équipe : MultiCom

     La plateforme MultiCom a été créée en 1995 et apermis de développer de nombreux projets en partant de l'usage et des utilisateurs.

 

    Selon l’étape du processus de conception du système à laquelle les informations sont recueillies, celles ci permettent :
    - l’analyse des activités des utilisateurs, par exemple à des fins de modélisation
    - la validation des choix de conception du système aux principales étapes de l’itération
    - l’évaluation ergonomique du système afin d’identifier les principaux problèmes et d’y apporter des solutions

 J’ai mis au point une méthode de conception participative fondée sur les moments de conception. Cette méthode est mise en œuvre dans le projet COUCOU (plate-forme labellisée par le RNRT).

   Les projets réalisés :

SHIVA : évaluation de sites Web par oculométrie

SIRLAN : analyse d’usages en domotique

COUCOU : instrumentation d’une plate-forme de conception participative

STYLOCOM : stylo communicant

ACE : agents conversationnels expressifs

ADAMOS : usage en informatique proactive

TOAMUTU : traçabilité d'objets communicants

D-  Le bâtiment intelligent

   

    Le rythme d’introduction des technologies de l’information et de la communication dans le bâtiment va s’accélérer dans les années à venir, compte tenu de la demande croissante de la société en moyens de communication, de loisirs numériques, de santé, de sécurité, mais aussi d’optimisation énergétique ou de développement durable. Le « Bâtiment Intelligent » de demain prendra non seulement en compte l’infrastructure du bâtiment (enveloppe, énergie, réseaux, équipements), mais aussi ses différents utilisateurs et leurs besoins individualisés de communication et de services dans les trois sphères vie privée, vie sociale et vie professionnelle.

 

    Le concept de « Bâtiment Intelligent » concerne l’ensemble des bâtiments, qu’ils soient neufs, en cours d’utilisation ou à rénover, qu’ils soient résidentiels, tertiaires, industriels ou hospitaliers. Ce marché à venir concernera donc aussi bien les acteurs du bâtiment (maîtres d’ouvrages privés et sociaux, architectes et bureaux d’études, entreprises de construction, gestionnaires, …) que les industriels, fabricants de matériaux, de composants et systèmes énergétiques, les fournisseurs d’énergie, et les acteurs de « l’espace privé » : télécommunications, multimédia, logiciel, micro et nanotechnologies, de la santé et de la sécurité, nouveaux services aux usagers, etc. Ces thématiques du « Bâtiment Intelligent » vont se retrouver à l’interface entre deux mondes et deux marchés qui aujourd’hui se recouvrent peu : celui des occupants des bâtiments, que ce soit dans le cadre de leur vie privée ou professionnelle, et celui du bâtiment (construction, infrastructure,…). Ces deux mondes – et leurs marchés respectifs – sont amenés à se rencontrer via le développement de technologies, qui doivent devenir communes.

 

    Sur le plan industriel, la plus grande difficulté est dans l’intégration des nouveautés technologiques et des nouveaux produits vis-à-vis de l’ensemble des acteurs intervenant sur le bâtiment. En particulier une infrastructure commune, en grande partie de nature informationnelle, sera nécessaire pour permettre à des acteurs apparemment distants dans le processus d’interagir, et pour ouvrir les marchés de ces nouveaux produits.