Deux axes de recherche mobilisant l’analyse linguistique interactionnelle et multimodale dans une perspective appliquée.

1) Linguistique appliquée à la formation professionnelle en santé

analyse conversationnelle, multimodalité, rapportabilité, santé, compétences non techniques

Depuis une vingtaine d’années, le monde de la santé a sérieusement entrepris de s’intéresser à l’impact de la communication sur la bonne prise en charge du patient et les risques pour sa santé. Les professionnels de santé ont alors désigné des compétences dites non techniques qu’il resterait à acquérir par la formation professionnelle (dont la simulation) afin de maîtriser ces risques. Ce contenu didactique a en réalité été transposé du secteur de l’aviation dont la santé s’est inspirée sur le plan de l’institutionnalisation de ces thématiques. Ce faisant, les compétences et les problèmes de communication recherchés ont été pensés comme étant transversaux, génériques, ce qui a eu pour effet de les décontextualiser du travail de soin tel qu’il se fait. La problématique qui se pose est la façon avec laquelle nous pouvons recontextualiser ces compétences et en identifier des nouvelles qui sont véritablement propres au travail de soin.

Notre recherche propose d’appliquer l’approche théorique et méthodologique de l’analyse conversationnelle multimodale (parole et gestes) pour rendre compte des compétences mobilisées en temps réel par les équipes de soin afin d’effectuer leur travail dans sa dimension interactionnelle et émergente. Nous avons observé et enregistré plusieurs formations au cours desquelles les apprenants accomplissent leur travail mais également l’observent et le problématisent au cours d’un débriefing. Dans l’approche des sciences du langage, rendre compte d’une compétence interactionnelle est une démarche qui n’est pas directement orientée vers la contribution à la construction d’un contenu didactique spécifique. C’est pourquoi nous avons établi une méthodologie de recherche appliquée particulière. Nous avons effectué des analyses dites « par trajectoires » qui reconstruisent toutes les étapes de problématisation du travail depuis la simulation jusqu’à son débriefing. Nous expliquons en quoi la réalisation linguistique et gestuelle du travail en interaction a pu être observée et débriefée tel que cela s’est produit sur le terrain de la formation. En procédant ainsi, nous avons pu mettre en avant la rapportabilité du travail tel qu’il est accompli, ce qui permet de partager cet objet linguistique avec la didactique professionnelle. En effet, nous avons par exemple montré comment des formats linguistiques spécifiques accomplissent deux activités majeures de la prise en charge d’un patient : la réalisation des examens et la tâchification verbale des activités. Ces objets identifiés sont des arguments pour attester que ces pratiques linguistiques et multimodales sont normativement accomplies et attendues telles quelles en temps réel, ce qui change les conceptualisations existantes. En choisissant pour objet central la rapportabilité du travail dans un contexte où celui-ci est observé et débriefé, nous avons aussi pu montrer des nouveaux biais de la simulation : le travail simulé n’est pas tant biaisé par son caractère factice que par le fait qu’il est voué à être discuté, ce qui configure la façon dont les apprenants donnent à voir leurs comportements. Nous avons par exemple montré comment un schéma prosodique participait à construire une mémoire de l’interaction en différenciant ce qu’il faut retenir du reste. Ces résultats permettent de penser des façons de faire évoluer ces formations, sur le plan du contenu didactique (définir de nouveaux identifiables) et de son organisation.

Nous poursuivons ce travail qui permet aux professionnels de secteurs à risque de s’émanciper des grilles interprétatives importées d’autres disciplines en considérant comme primordiale l’interprétation que les travailleurs ont de leur travail quand ils l’effectuent. De cette façon nous espérons faire contribuer la linguistique de façon appliquée à la didactique professionnelle.

Une thèse de doctorat, des actions de formation et plusieurs publications sont issues de ce travail de recherche.

2) Interactions humain-robot : l’analyse conversationnelle pour l’intelligence artificielle

analyse conversationnelle, multimodalité, turn-taking, modélisations, robotique sociale

Projet Peppermint (2021-2024), financé par le Labex ASLAN, en collaboration avec le LIRIS (UMR 5205) et l’Université d’Oulu (Gen-Z).

Les applications ciblant l’utilisation des robots et agents conversationnels dans la vie quotidienne sont de plus en plus populaires, et se déploient dans différents domaines : les services à la personne, le tourisme, la santé, l’éducation, etc. Dans ce contexte, comprendre le fonctionnement linguistique et multimodal de l’Interaction Humain-Robot (IHR) est d’une importance capitale et les recherches et développements d’ingénierie dans le domaine de la robotique sociale gagnent en intérêt. PepperMint propose l’étude des pratiques incarnées (parole et gestes) du turn-taking dans l’IHR pour améliorer les compétences sociales du robot, en utilisant des résultats en analyse conversationnelle, basée sur des interactions authentiques. L’objectif final est alors de proposer des modèles d’apprentissage automatique innovants. L’Analyse Conversationnelle adopte la perspective des participants et met en avant l’émergence de structures interactionnelles en temps réel. Elle permet l’analyse de la progression des interactions en termes séquentiels et fournit ainsi des modélisations et schémas qui serviront à alimenter l’apprentissage du robot. Cette approche sera combinée avec l’apprentissage développemental qui permet au programme de construire les schémas de pratiques de tour de rôle réussies à partir de l’expérience d’interaction du robot avec les humains.

Nous adoptons une approche pas-à-pas basée sur des données authentiques, afin de comprendre, d’étayer et d’utiliser les attentes et les adaptations des humains vis-à-vis d’une interaction avec un robot. En délimitant un cas d’étude particulier (le robot Pepper oriente et informe les utilisateurs d’une bibliothèque), la focalisation de ce projet collaboratif est sur les pratiques multimodales permettant l’accomplissement de la coordination temporelle de la prise de tours de paroles et la progressivité de l’interaction (par le biais des reformulations, des réparations, des pré-séquences, des accounts). Nous avons développé une première version du programme à l’aide des API du constructeur en tenant compte des phénomènes d’organisation séquentielle des interactions de service entre humains et en ethnographiant le terrain d’accueil. Nous avons placé le robot dans l’entrée d’une bibliothèque universitaire et nous avons laissé les étudiants interagir librement avec lui. Cette première version, tout à fait ad-hoc, nous a permis de collecter un premier jeu de données afin de préparer l’étape suivante. Nous avons déjà collecté 500 interactions. Les données sont ensuite transcrites et analysées afin de comprendre comment des ressources linguistiques et multimodales permettent d’implémenter de façon émergente et contingente une structure séquentielle pour cette interaction de service humain-robot. Nous identifions ces ressources et établissons ainsi une méthode d’annotation systématique de l’ensemble du corpus. Par la suite, ces données annotées (qui comprennent la vue à la première personne du robot) sont utilisées par les chercheurs en intelligence artificielle afin de proposer de nouveaux modèles de fonctionnement et d’apprentissage par une approche développementale.

Au niveau théorique, les résultats contribueront à une meilleure compréhension de la complexité du turn-taking au sein de l’IHR, notamment de son caractère émergent et co-constructif. Au niveau pratique et expérimental, le corpus annoté, les schémas d’interaction identifiés et les modèles conçus seront partagés avec la communauté en IA et IHR.