Dysfluences, exclamations et rires dans le dialogue – DUEL

Le travail a été divisé en trois domaines principales: E (base empirique): ce domaine fournit un soutien empirique ciblé pour le projet. Les données d'interaction spontanée ont été recueillies et annotées pour les phénomènes pertinents; T (théorie) Dans ce domaine, une théorie existante de la sémantique du dialogue, KoS, a été étendue pour couvrir les dysfluences, les rires et les exclamations. Cela a nécessité la construction et l'intégration d'un nouveau modèle de construction de sens mot-à-mot («sémantique incrémentale»); C (modélisation computationnelle): Ce domaine a été consacrée à la mise en œuvre d'outils de traitement de la dysfluence, de la sémantique incrémentale et du rire pour un système de dialogue spontané. L'approche de traitement a été informée par les données recueillies dans E, en l'utilisant si possible pour évaluer le modèle computationnel et / ou pour en apprendre les paramètres; on tente également de rester aussi proche que possible de la théorie construite en T.

De nouvelles preuves de la nature fondée sur des règles des dysfluences ont été obtenues par des études interlinguistiques de phrases d'édition (par exemple, «I mean» (Eng), «(en)fin» (Fr), «ja» (Ger)) et questions auto-adressées (par exemple « What is the word? » (Eng), «comment dire?«(Fr)). De nouvelles généralisations sur le placement du rire par rapport à la parole ont été obtenues et il a été démontré que le rire peut et doit être intégré dans le processus de construction du sens d'un énoncé. Des algorithmes de pointe pour détecter les dysfluences et pour la construction de sens en tant que processus mot à mot ont été développés.

Dans l'ensemble, le projet a atteint ses objectifs: un important corpus multilingue et multimodal avec des annotations de disfluence, d'exclamation et de rires a été compilé et est librement accessible au monde de la recherche; de nouvelles généralisations empiriques concernant ces phénomènes ont été découvertes; des analyses formelles des phénomènes ont été développées --- la possibilité même de telles analyses pour le rire n'était pas claire avant ce projet (voir la discussion de notre travail sur le blog populaire néerlandais Sargasso sargasso.nl/lachen-als-taal/ et la référence à notre travail dans (Schlenker et al, 2017) un débat sur l'étendue des analyses sémantiques formelles); des progrès substantiels ont été réalisés dans le traitement informatique incrémental de la disfluence, de la composition sémantique, de le grounding, toutes les composantes clés de tout système de dialogue parlé qui peut comprendre et générer des énoncés contenant les phénomènes en question. Les aspects théoriques et computationnels du projet ont conduit à reconsidérer des hypothèses de longue date concernant la nature de la grammaire et la composition sémantique, comme discuté dans plusieurs publications à fort impact.

En partie grâce à leurs contributions au projet, les deux post-doctorants ont obtenu des postes permanents, Hough (Bielefeld) en tant que MdC à QMUL, Londres, Tian en tant que chercheuse à Amazon, et Ginzburg a devenu membre senior de l'Institut Universitaire de France.

Les ressources et outils développées dans le projet ouvrent plusieurs perspectives: élargir la perspective pour considérer le sourire. fronçant les sourcils, et clignotant, ainsi que les emojis; le développement de systèmes de dialogue oral et d'ECAs peut comprendre et générer des énoncés contenant les phénomènes en question; tester la réalité neuronale des nos classifications proposées.. Nous avons déjà initié des collaborations sur ces fronts avec des collègues à Paris, Göteborg et Londres.

Le projet a compilé un corpus de conversations naturelles, en face-à-face, librement orientées vers les tâches, en français, en allemand et en chinois (mandarin). Les conversations en trois langues ont été enregistrées en utilisant des configurations techniques presque identiques et le corpus comprend des données de suivi audio, vidéo et corporelle et est transcrit et annoté pour la dysfluence, les rires et les exclamations. Les publications comprennent quatre articles dans des revues internationales de renom, un chapitre de’ouvrage et plus de vingt articles de conférence dans des conférences de premier plan en informatique, en linguistique théorique et en psycholinguistique.

Jonathan Ginzburg and Robin Cooper 2014 `Quotation via Dialogical Interaction' Journal of Logic, Language, and Information, 23(3): 287-311, doi:10.1007/s10849-014-9200-5
Julian Hough, Casey Kennington, David Schlangen and Jonathan Ginzburg 2015 `Incremental Semantics for Dialogue Processing: Requirements, and a Comparison of Two Approaches' In: Proceedings of IWCS 2015.
Jonathan Ginzburg 2015 `The Semantics of Dialogue' To appear in: Maria Aloni and Paul Dekker (eds) Cambridge Handbook of Semantics, Cambridge University Press

Les phénomènes de disfluence, bien que très fréquents dans le dialogue, n'ont fait l'objet que de très peu d'études
théoriques ou formelles. On assimile souvent les disfluences à de simples erreurs de production, sans aucune
signification. La plupart des travaux sur ce sujet ont été menés soit par des psychologues s'intéressant à la production et
à la compréhension de la parole, soit par des informaticiens cherchant à améliorer les performances d'applications
vocales. On dispose depuis peu de nombreuses données permettant de montrer que les disfluences ne sont pas du bruit
vide de sens, mais véhiculent au contraire des informations que les interlocuteurs exploitent pour guider leurs interactions
et évaluer leurs états de connaissances respectives. De plus, les dysfluences démontrent des régularités à tous les niveaux
linguistiques (y compris phonologie, syntaxe, sémantique)
Le but du projet DUEL est de proposer une analyse précise des disfluences dans plusieurs langues (le français,
l'allemand, l'anglais, et le chinois), en utilisant les outils des grammaires formelles. L'élaboration d'une grammaire formelle des
disfluences servira au développement de systèmes de dialogue robustes, qui exploiteront l'information véhiculée par ces
disfluences, au lieu de se contenter de les filtrer pour les éliminer, comme c'est le cas aujourd'hui. Le second objectif du
projet DUEL est de rendre compte d'un autre phénomène qui a été laissé de côté par les grammaires formelles : le rire.
Des études récentes ont montré l'importance quantitative des rires dans la conversation, rires qui, le plus souvent,
n'apparaissent pas dans des énoncés humoristiques. Dans la conversation, le rire a une contribution sémantique propre :
il peut servir à indiquer que l'énoncé prononcé ne doit pas être pris au sérieux ; il peut aussi être utilisé pour faire passer
"en douceur" un énoncé difficile, un énoncé qui, sans le rire, pourrait être jugé offensant. Notre but est donc d'étudier le
rôle du rire dans l'émergence du sens et de mettre en place un système de dialogue qui puisse à la fois comprendre les
rires et y répondre.
Les outils développés dans le projet DUEL pour traiter à la fois des disfluences et du rire permettront d'analyser une
grande variété de phénomènes dialogiques considérés jusqu'à présent comme des phénomènes marginaux, tels que les
exclamations, les tag questions et les particules correctives comme 'non'. Le projet DUEL, tant dans son versant théorique
que dans son versant informatique, prendra appui sur un ensemble de données
trlingues parallèles (en allemand, en français, et en chinois) qu'on va recueillir en utilisant des protocoles soigneusement concçues
et aussi sur quelques études expérimentales. Cet ensemble de données devraient permettre de décrire à la fois ce qu'il y a de
commun aux niveaux linguistiques et culturelles et les différences subtiles qui existent entre eux.