Structure du discours

et reconnaissance de plans

dans le traitement du

dialogue homme-machine

Cécile BalkanskiLIMSIFévrier 2003

2

Présentation de 4 articles "Intention, Attention and the Structure of Discourse",

Grosz et Sidner, Computational Linguistics 1986 "Plans for discourse", Grosz et Sidner 1990

"Intentions in Communication", Cohen, Morgan et Pollack (eds)

"Collaborative Plans for Group Activities", Grosz et Kraus, IJCAI-93

"Using Collaborative Plans to Model the Intentional Structure of Discourse", K. Lochbaum, Thèse Ph.D., Université d’Harvard,1994

3

Si assez de temps Deux applications

COLLAGEN (for COLLaborative AGENt) Rich and Sidner, 1996 )

http://www.merl.com/projects/collagen/ "Cooperative requests and replies in a collaborative

dialogue model" Balkanski et Hurault-Plantet, International Journal of Human-Computer Studies,

vol 53, 2000

4

Prémisses Comprendre un énoncé exige de reconnaître les intentions et

croyances de la personne qui a produit cet énoncé. Donc, plus globalement: participer à un dialogue de reconnaître les intentions et croyances des personnes qui participent à ce

dialogue.

Tout dialogue est structuré : D ≠ e1 + e2 + e3 + ...Un dialogue n’est pas juste une séquence d’énoncés.

Donc, le sens d’un dialogue comprend plus que le sens de chaque énoncé

La reconnaissance de cette structure est indispensable pour l'interprétation comme pour la génération.

Mais … (voir transparent 7 et suite)

5

Dialogue de la boite à outils, Grosz, 1981.

Utilisateur : La boîte à outils est fermée.

Système :(Pourquoi me dit-il cela? Je sais déjà que la boîte à outils est fermée ...

Je sais que l'utilisateur a besoin d'avoir accès au contenu de la boîte à outils. Peut-être me dit-il que la boîte à outils est fermée parce qu'il pense que je peux l'aider d'une manière ou d'une autre ...

Pour ouvrir la boîte, il faut avoir une clef. L'utilisateur sait cela, et il sait que je le sais également. La clef est dans le classeur. Si l'utilisateur le savait, il ouvrirait simplement la boîte. Donc, c'est qu'il ne le sait pas.

Je peux le lui faire savoir en disant : "La clef est dans le classeur". Mon rôle est de l'aider. Je vais donc le dire.)

La clef est dans le classeur.

6

Autres exemples Contexte du réceptionniste :

A: Connaissez vous le numéro de téléphone de Mr. Dupont?B: Non, mais son email est dupont@paris.fr

Contexte de la cafétéria :A: T’as l’heure?B: T’en fais pas, la prof est toujours en retard.

Contexte d’un système d’aide : A: Mon imprimante est en panne.B: D’accord, fait enregistré.

Un client qui parle à un psychiatre lacanien :Client: May I ask you three questions?Psychiatrist: Yes, but that will cost you $1000Client: Isn't that rather expensive?Psychiatrist: Yes. What's the third question?

7

Exemple de l’importance de la structure de dialogue:U: A fire's been reported near Lexington Reservoir. Show me the area east of there.S: [displays map]U: The fires are here [pointing with mouse] S: By the way, some of the equipment from Station 3 is

being used for a kitchen fire in town.U: Can you tell me what equipment is left?S: All the big trucks, the water tank trucks, and the bulldozersU: OK. Then we're in good shape. The fire isn't too big yet. S: I suggest a firebreak here. [pointing with mouse] U: Isn't the area too steep? 

8

Questions : Sur quoi repose la structure d’un discours ? Comment la déterminer ? Quelles infos sont pertinentes ? Quelles sont les relations entre les segments de cette

structure?

Questions de fond : Quelle est la nature de la cohérence d'un discours? Comment expliquer le rôle d'un segment du discours par

rapport au discours en entier?

9

Quelques approches Relations rhétoriques

Cohérence du discours repose sur un ensemble fini de relations rhétoriques. Par ex. purpose, enablement, circumstance, background, motivation

"discourse", "rhetorical", "coherence" relations Ex: Hobbs (79,83), Lehnert (81), Reichman (81), Mann et

Thompson (86), McKeown (85) parmi les premiers Mais :

• choix et définition des relations? (comment sait-on qu'on les a toutes, et qu'elles sont toutes bonnes?)

• diversité des intentions sous-jacentes aux discours par opposition à un ensemble fini de relations

10

Quelques approches (suite)

Grammaires Cohérence du discours repose sur un ensemble fini de règles de

décomposition (grammaire; type d'information à la base des règles varie selon les modèles)

ex : "story grammar", Rumelhart (1975)• story setting episodes• setting state-desc• setting state-desc setting• episodes episode• episodes episode episodes• episode events reactions• events event-desc• events event-desc events

11

Quelques approches (suite)

Grammaires (suite) ex : « argument grammar", Reichman (1984)

• argument claim support • support authority citation • support narrative • support proposition

Mais :• choix des règles? • notion de structure correcte ou incorrecte? • comment choisir quelle règle appliquer?

12

Approche de Grosz et Sidner Cohérence (structure) du discours repose sur un

ensemble infini d'intentions et un petit ensemble de relations entre intentions

"intentional relations are the root of discourse structure" (1986)

“the natural segmentation of a discourse reflects intentional behavior" (1990)

Problème subsidiaire : comment reconnaître les intentions reconnaissance de plans

13

“Attention, Intentions and the Structure of Discourse”Grosz et Sidner (1986)Un modèle de dialogue en trois composantes interdépendantes : structure linguistique : segmentation du discours

"linguistic structure" : discourse segments and an embedding relationship between them

structure intentionnelle : intentions et relations "intentional structure": discourse segment purposes (DSPs) and the relationships of dominance and satisfaction-precedence

état attentionnel : segments de discours, entités et intentions "attentional state " : an abstraction of the discourse participants' focus of attention as their discourse unfolds, containing the entities that are salient to the segment, as well as its DSPs.

14

Discourse Structures (GS86)

segments purposes

focus spaces

linguistic intentional

attentional- Segmentation- Focus of attention- Plans underlying discourse

15

Structure linguistique Structure hiérarchique composée d'énoncés

regroupés en segments ("discourse segments"), Interaction bidirectionnelle entre la structure

linguistique et les énoncés: la structure linguistique permet de contraindre

l'interprétation des énoncés (cf. la référence). les expressions linguistiques (intonation, "cue phrases",

"tense shift") peuvent communiquer des informations concernant la structure linguistique

"In essence, the OCP must judge for each utterance whether it start a new segment, ends the current one (and possible some of its embedding segments), or contributes to the current one."

16

Etat attentionnel Structure dynamique composée d'informations contextuelles

concernant les objets, propriétés, relations et intentions qui sont les plus pertinents à un moment donné.

Permet de limiter l'information contextuelle disponible pour l'interprétation et la génération d'énoncés (cf. référence) 

Modélisation: une pile de "focus spaces", un par segment de discours encore ouvert, contenant, chacune, les entités mentionnées dans le segment correspondant (« quoi? ») et une représentation du "discourse segment purpose" (« pourquoi? »)

"The focusing structure is the central repository for the contextual information needed to process utterances at each point in the discourse. It distinguishes those objects, properties, and relations that are most salient at that point and, moreover, has links to relevant parts of both the linguistic and intentional structures."

17

Structure intentionnelle Structure composée d'intentions ("discourse segment

purpose", DSP), reliées entre elles par les relations de "dominance" et de "satisfaction-precedes".

"Discourse segment purpose": (DSP) la raison pour laquelle les locuteurs engagent le segment de discours en question ne sont pas nécessairement explicitement formulés dans un énoncé n'existent pas en nombre fini doivent être reconnus

"A rather straightforward property of discourse, namely, that they (or, more accurately, those who participate in them) have an overall purpose, turns out to play a fundamental role in the theory of discourse structure. In particular, some of the purposes that underlie discourse, and their component segments, provide the means of individuating discourses and of distinguishing discourse that are coherent form those that are not".

18

Structure intentionnelle (suite)

RelationsRelations "dominance" : DSP1 domine DSP2 si DSP2 contribue

une partie de la satisfaction de DSP1 "satisfaction-precedes": DSP1 "satisfaction-precedes"

DSP2 si DSP1 doit être satisfaite avant DSP2

"These relations represent respectively, the fact that satisfaction of one intention contributes to the satisfaction of a second, and the fact that one intention needs to be satisfied before another. (...)

Determination of discourse segment purposes depends in part on recognition of these relationships, in part on domain knowledge, and in part on other features of the discourse context."

19

Segments de discours,état attentionnel et structure intentionnelle

Figure 1 p.181 Exemple : dialogue dirigé par la tâche

Dialogue en fig.5 p.186 Structure linguistique sur même figure Etat attentionnel fig.7 p.191 Structure intentionnelle fig.6 p.187

20

Reconnaissance des DSPs"The OCP must identify both the intention that serves as the discoursesegment purpose and its relationship to other discourse-level intentions."

si l'énoncé débute un nouveau segment : " OCP must recognize the DSP of that segment, as well as its relationship to the other DSPs underlying the discourse and currently in focus."

si l'énoncé termine le segment en cours :" OCP must come to believe that the DSP of that segment has been satisfied."

si l'énoncé contribue segment en cours : " OCP must determine the effect of the utterance on the segment's DSP."

21

Reconnaissance des DSPs (suite)

"Two issues that are central to the recognition problem are what information the OCP can utilize in effecting the recognition and at what point in the discourse that information becomes available."

L'information disponible pour la reconnaissance des DSP inclut : des marqueurs linguistiques ( "cue phrases", par ex. "by the way";

intonation; changement de temps "tense shifts" ) les intentions an niveau des énoncés (les DSP peuvent combiner les

intentions de plusieurs énoncés) les connaissances générales, partagées entre les interlocuteurs, sur les objets

et les actions du domaine du discours   

"It remains an open research question what inferences are needed and how complex it will be to compute supports and generates relationships if the dominancerelationship is not directly indicated in a discourse."

22

Importance des marqueurs linguistiques « that reminds me »

new discourse segment, that is embedded with respect to the previous one new DSP that is dominated by previous one new PS that is pushed onto the stack

« First, … then » two discourse segments that follow each other two DSPs, with a «Satisfaction-Precede» relation between them one FS that is popped off the stack before the second is pushed onto it.

« but anyway », « in any case » no new segment, nor FS, nor DSP FS : pop to some other space back in the stack return to an old DSP, no change in intentional structure

23

Importance de l’intonation Hirschberg & Litman (1987)

I’m 58 now and [uh] they forced me off the job … [deictic]

My husband retired and [uh] this is the first year, now what’s this about [uh] quarterly income tax …

[cue phrase new discourse segment]

So in other words I will have to pay the full amount of the [of the uh] tax now what about PA state tax?

[Mary told Jane she won the prize.]

24

Importance des intentions au niveau des énoncés Le DSP d’un segment peut être

identique à l’intention au niveau de l’énoncé de l’un des énoncés du segment

ou bien il peut combiner les intentions de plusieurs énoncés

« I want you to arrange a trip for me to Palo Alto.

It will be for two weeks.

I only fly on TWA »

« the process can be quite complex »

25

Importance des connaissances sur le domaine Les relations qui existent entre les actions mentionnées dans

le segments de discours peuvent permettre de dériver une relation entre les deux DSPs correspondants.

Exemple : une relation de “génération” entre actions (Goldman 1970) peut induire une relation de dominance entre les DSPs correspondants. DSP1 : l’intention d’apprendre sa leçon (A1) DSP2 : l’intention de lire ses notes (A2) DSP3 : l’intention de lire les articles mentionnés (A3) génération((A2,A3), A1) Alors : dom(DSP1,DSP2) et dom(DSP1, DSP3)

26

Conclusion GS 86 Deux limitations principales

structure intentionnelle peu développée pas de proposition de modèle de traitement ("computational

mechanism") pour reconnaître la structure d’un discours (malgré la présentation d’infos utiles à cette reconnaissance)

Grosz et Sidner 1990 (86-87): "Plans for Discourse" introduction du modèle des plans partagés ("Shared Plans", SP), dans le

but de mieux spécifier la composante intentionnelle de la structure du discours.

Lochbaum 1994 (thèse): "Using Collaborative Plans to Model Intentional Structure in Discourse" présentation d'un modèle de reconnaissance de la structure intentionnelle

d'un discours et specification du rôle des SP dans ce processus.

27

"Plans for Discourse"Grosz et Sidner (1990) Prémisses

Le dialogue est une instance de comportement collaboratif

"Discourses are fundamentally examples of collaborative behavior. The participants in a discourse work together to satisfy various of their individual and joint needs."

La collaboration ne peut pas être modélisée par la simple juxtaposition de plans individuels

Les plans sont des attitudes mentales complexes plutôt que des structures de données abstraites 

28

Introduction Constat :

Inadéquation des travaux existants dans le domaine de la planification et de la reconnaissance de plans pour le traitement du dialogue ("discourse situations")

Conséquence : cet article, qui présente les caractéristiques de la "situation du discours" évalue et critique les travaux précédents sur la planification

et la reconnaissance de plans dans le domaine du TAL propose un nouveau type de plans, et montre comment

celui-ci peut servir à contraindre le processus de reconnaissance de plans.

29

Idée centrale

Pour qu'une collaboration réussisse, les participants à un dialogue doivent avoir des croyances mutuelles concernant les buts à atteindre, les actions à exécuter, ainsi que les capacités, intentions, et engagements des participants. La représentation formelle de ces aspects des états mentaux des participants est appelé un plan partagé.

30

Le modèle des Plans Partagés : «Shared Plans» ensemble de croyances et d'intentions nécessaires à la

collaboration (Pollack 1986) au départ : un plan partagé partiel, puis complété au fur et à

mesure du dialogue, avec des intentions et croyances exprimées dans les énoncés.

processus de compréhension et de génération : définis par rapport à la contribution de chaque énoncé au plan partagé partiel

les interlocuteurs sont perçus comme cherchant à établir, à travers leurs énoncés, les attitudes mentales requises pour une collaboration.

31

Particularités des plans dans le domaine du discours

La reconnaissance de plans repose sur des informations partielles Les plans ont pour but d'être reconnus (cf. Grice, 1969) Des marqueurs linguistiques fournissent des informations

explicites au sujet des intentions Les participants à un dialogue sont à la fois acteurs et agents

inferrants Ils ont des croyances privées, qui ne sont pas nécessairement

complètes, ni parfaites, ni identiques

"Thus, the plan recognition process for discourse entails incremental recognition on the basis of partial information, accomodation ofuncertainty, and strategies for resolving inconsistencies in beliefs among participants."

32

Insuffisances des modèles de planification existants l'hypothèse du maître et de l'esclave ("the

master/slave assumption" ) l'hypothèse de connaissances complètes et correctes

(de l’agent inferrant) l'hypothèse d'un domaine limité à un seul agent

(représentation des plans) formalismes de représentation de type STRIPS

(difficultés à raisonner au sujet du temps, des actions multi-agents, de différentes relations entre actions; sémantique et utilisation variées)

33

Rappel : formalisme STRIPS(Fikes & Nilsson, 1971) Actions modélisées par des opérateurs États spécifiés par des conjonctions de formules atomiques Schéma d’opérateur :

• Entête (nom de l’action)• Liste de préconditions• Liste d’effets (« add and delete lists »)• Corps (pas toujours)

Exemple : actes de langage de Allen et Perrault 1980) INFORM(speaker, hearer, P)

• Precondition : KNOW(speaker, P)• Effect : KNOW(hearer, P)

34

Pollack (1986, 1990)"There are plans and there are plans. There are the plans that an agent "knows": essentially recipes for performing particular actions or for achieving particular goal states. And there are the plans that an agent adopts and that subsequently guide his action. This distinction is between knowing that a plan for assassinating the president is shooting him, and actually planning to assassinate the president by shooting him."

A: I want to talk to Kathy, so I need to find out the phone number of St.Eligius.

B: St. Eligius closed last month. Kathy was at Boston General, but she's already been discharged. You can call her at home. Her number is 555-1238.

35

Qu’est-ce qu’un plan? Travaux antérieurs :

Une « recette » indiquant comment exécuter une action, ou bien comment atteindre un but.

« I know that a way to assasinate the president is to shoot him. » Importance accordée aux données du plan.

Pollack : L’état mental d’un agent (intentions et croyances) « John Hinckley intends to assasinate Reagan by shooting him » Importance accordée aux états mentaux associés à un plan.

« The definition of a plan must account for the ways in which the intentions of the agent who is (about) to perform the actions and his beliefs about those actions affect the appropriateness and success of the plan ».

36

Les plans individuels «simples» (Pollack)

Simple Plan(G, n, [1, …, n-1], t2, t1) Agent G has at time t1 a simple plan to do n,, consisting of doing the set of acts {1, …, n-1} at t2

1) BEL(G, EXEC(i,G, t2), t1), for i = 1, …, n belief that the agent can perform each of the i

2) BEL(G, GEN(i, i+1,G, t2), t1), for i = 1, …, n-1 belief that the performance of the set of i entails the performance of

3) INTEND(G, i, t1, t2), for i = 1, …, n intentions to do each of the i

4) INTEND(G, by(i, i+1) t2 , t1), for i = 1, …, n-1 intention to do A by doing the i

37

Les plans individuels (suite) Importance du rôle des intentions et croyances

Croyances au sujet des relations entre actions Croyances au sujet de l’exécutabilité des actions Intentions concernant ces actions

« mental state view of plans »

« Pollack’s definitions of intentions and of the simple plan of an agent provide a much richer and cleaner model of an agent’s plan to achieve some desire on the basis of a simple action or sequence of actions. The richenesss originates with the addition of intentions, and beliefs about execution and generation among actions. Her model clearly distinguishes among believing that actions fit together in certain regular ways, believing that one can execute those actions, and actually intending to act. »

38

Que veut donc dire« avoir un plan » ?

J’ai un plan qui consiste à obtenir une thèse (A) en étudiant le domaine associé (B1), développant une solution à un problème donné (B2), rédigeant un document (B3), et présentant mon travail devant un jury (B4).

Croyances : Je crois que je peux exécuter B1, B2, B3 et B4. Je crois que l’exécution de B1, B2, B3 et B4 aboutira à l’obtention de

ma thèse (A).

Intentions : J’ai l’intention d’exécuter B1, B2, B3 et B4. J’ai l’intention d’obtenir ma thèse en exécutant de B1, B2, B3 et B4.

39

Les Plans Partagés : but un formalisme de représentation de plans multi-

agents dans des situations de collaboration, utile pour le langage (actions et plans linguistiques) ainsi que pour d'autres formes de comportement

collaboratif (actions et plans non-linguistiques).

"In a more practical vein, the concept of shared plans providesa foundation for theories of collaborative behavior that couldprovide for more flexible and fluent interactions betweencomputer systems and users undertaking joint problem-solvingactivities."

40

Les Plans Partagés : définitionShared Plan(G1, G2, A) Agents G1 and G2 have a shared plan to do A ,consisting ofdoing the set of acts {1, …, n}

1) MB(G1, G2, EXEC(i,Gi), for i = 1, …, n

2) MB(G1, G2, contr(i,A)), for i = 1, …, n-1

3) MB(G1, G2, INTEND(Gi, i )), for i = 1, …, n

4) MB(G1, G2, INTEND(Gi, by(i, A))), for i = 1, …, n

5) INTEND(Gi, i )), for i = 1, …, n

6) INTEND(Gi, by(i, A))), for i = 1, …, n

41

Les Plans Partagés :définition (suite)

1) la croyance mutuelle que l'agent de i peut effectuer I (pour tous les i)

2) la croyance mutuelle que l'exécution de l'ensemble des i entraîne l'exécution de A

3) la croyance mutuelle que l'agent de i a l'intention d’exécuter i

(pour tous les i)

4) la croyance mutuelle que l'agent de i a l'intention d’exécuter i

dans le but d’exécuter A (pour tous les i)

5) l'intention individuelle de l'agent de i d’exécuter i (pour tous les i)

6) l'intention individuelle de l'agent de i d’exécuter i dans le but d’exécuter A (pour tous les i)

42

Les Plans Partagés : utilisation Croyances mutuelles :

"multiple agents cannot act with any assurance unless there is such mutual beliefs.

Pertinence : les énoncés pertinents sont ceux qui contribuent aux intentions et croyances faisant partie du plan partagé.

les plans partagés constituent donc un contexte essentiel pour le traitement de la langue, permettant de guider le dialogue à la fois pour l'interprétation : les énoncés produits contribuent des intentions et

croyances au plan partagé et la génération : les énoncés à produire doivent adresser les croyances et

intentions "manquantes"

43

Démarrage d’un plan partagé : CDR1 Les participants d'un dialogue viennent à démarrer un plan partagé par le

biais d'une règle conversationnelle par défaut similaire aux principes conversationnels de Grice.

CDR1 : If the participants believe that one of them, say G1, has a particular

desire, say to achieve a state in which P holds (or to perform action A) and they are cooperative and they are communicating about the desire to achieve P (perform A)

Then they mutually believe that G1 has a desire for them to construct a

SharedPlan to achieve P (or perform A)

44

Du plan partagé partiel (PSP) au plan partagé

CDR1 est une règle par défaut, n'établissant que la croyance mutuelle du désir de l'un d'entre eux (G1) d'accomplir un plan partagé

Pour démarrer ce plan, les autres agents doivent acquiescer, explicitement ou implicitement, au désir du premier.

Quand l'ensemble des agents ont le désir d'accomplir le plan partagé, mais n'ont pas encore établi ce plan, on dit qu'ils ont un plan partagé partiel

La reconnaissance de plans consiste alors à « remplir » ce PSP, chaque énoncé contribuant des intentions et croyances nécessaires à l’élaboration du plan partagé complet

45

Exemple : actions simultanées

1) S1. I want to lift the piano.

2) S2. OK.

3) I will pick up this [deictic to keyboard] end.

4) S1. OK.

5) I will pick up this [deictic to foot] end.

6) S2. OK.

7) Ready?

8) S1. Ready.

46

Exemple : analyseHypothèse: une analyse comme celle de Perrault's, utilisant des règles pardéfaut pour déterminer les conséquences immédiates de chaque énoncé.

(1’) MB(S1, S2, Desire(S1, lift(piano))) à partir de (1’), CDR1 et des hypothèses de coopération

MB(S1, S2, Desire (S1, Achieve (SP (S1, S2, lift(piano)))))

(2) S2 exprime le fait qu’il est d’accord MB(S1, S2, Desire (S1, S2, Achieve (SP (S1, S2, lift(piano)))))

(3’) MB(S1, S2, INT(S2, lift(keyboard-end))) expression des intentions mentionnées dans clauses (3) et (5) du SP pour

l’un des i

implicite: la croyance (individuelle) de S2 que S2 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’un des i)

47

Exemple : analyse (suite)

(4) S1 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’un des i

croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’un des i

croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’un des i

(5) MB(S1, S2, INT(S1, lift(foot-end))) Analogue à (3) : expression des intentions mentionnées dans clauses (3) et

(5) du SP pour l’autre i

implicite: la croyance (individuelle) de S1 que S1 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’autre i)

48

Exemple : analyse (suite)

(6) S2 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’autre i

croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’autre i

croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’autre I

(7) et (8) confirmation croyance mutuelle que les actions prévues sont suffisantes pour réaliser

leur but : clause (2) du SP

49

Exemple : analyse (suite)

SharedPlan(S1, S2, lift(piano))1) MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2))

2) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano)))

3) MB(S1, S2, INT(S1, lift(foot-end))) & MB(S1, S2, INT(S2, lift(kb-end)))

4) MB(S1, S2, INT(S1, BY(lift(foot-end), lift(piano)))) & MB(S1, S2, INT(S2, BY(lift(kb-end), lift(piano))) )

5) INT(S1, lift(foot-end)) & INT(S2, lift(kb-end))

6) INT(S1, BY(lift(foot-end), lift(piano))) & INT(S2, BY(lift(kb-end), lift(piano)))

50

Plan Partagé : remarque Problèmes avec l’opérateur INT (Grosz et Kraus 1993)

intention d’exécuter une action : INT-TO intention qu’une proposition tienne : INT-THAT

Rectification définition SP : 1) MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2)) 2) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano))) 3) MB(S1, S2, INT-TO(S1, lift(foot-end))) &

MB(S1, S2, INT-TO(S2, lift(kb-end)))4) MB(S1, S2, INT-THAT(S1, contr(lift(foot-end), lift(piano)))) &

MB(S1, S2, INT-THAT(S2, contr(lift(kb-end), lift(piano))) ) 5) INT-TO(S1, lift(foot-end)) & INT-TO(S2, lift(kb-end))6) INT-THAT(S1, contr(lift(foot-end), lift(piano))) &

INT-THAT(S2, contr(lift(kb-end), lift(piano)))

51

Reconnaissance de plans :en résumé

"The recognition process for SPs as sketched in this paper proceeds essentially as follows: the initial utterances put on the table a proposal that there be a SP developed and carried out to satisfy the initiating conversational participant's desire; the subsequent utterances must somehow address this proposal, either accepting or denying it; assuming the proposal is accepted, subsequent utterances can provide information about any of the beliefs or intentions embedded in the definition of a SP."

Travail futur spécification de relations plus complexes entre actions détails sur le processus de reconnaissance 

52

"Collaborative Plans for Group Activities" Grosz et Kraus, 1993

 Revised and expanded version of SP: 1990 version of SP: - accommodates actions involving treated only actions which directly

groups of agents as well as complex decomposed into actions by single actions that decompose into multi-agent agents

  actions

- allows for contracting out certain situation not accounted for actions

- describes the mental states of agents did not specify in any detail the notionwho do not know a complete recipe for of a partial SharedPlan which was accomplishing their joint action intended to represent this kind of

partiality

53

Comparaison (suite)

 Revised and expanded version of SP : 1990 version of SP : - provides a model with the features for ex.: did not account for the

required in Bratman's account of commitment of an agent to the successshared cooperative activity (1992). of a collaborative partner's actions.

- presents a reformulation of the model of individual plans that corresponds to the definition of SPs. 

Remarque: important débat philosophique sous-jacent : existe-il une notion "d'intention mutuelle" comme on a des croyances mutuelles?

54

Grosz et Kraus :Formalisme Intention and belief

INT.TO and INT-TH BEL and MB

Executability CBA (can bring about) and BCBA (belief that one can bring

about) individual plans (IP)

PIP (partial) and FIP (full) shared plans (SP)

PSP (partial ) and FSP (full)  Axioms and/or theorems for all of the above

55

FSP(GR, , Tp, T, R, C)A group of agents GR have a full shared plan at time Tp to perform act at time T using recipe R in context C

1. GR has a recipe for

2. For each single-agent constituent act i of the recipe, there is an agent Gi GR, such that

a) Gi intends to perform i and there’s a recipe Ri for i such that

i. Gi believes that it can perform i according to the recipe

ii. Gi has a FIP for i according to the recipeb) The group GR mutually believe (2a)

c) The group GR is committed to GI’s success

3. For each multi-agent constituent act i of the recipe, there is a subgroup of agents GRi GR such that

a) There is a recipe Ri for i such that

i. GRi mutually believe that they can perform i according to the recipe

ii. GRi has a FSP for i according to the recipeb) The group GR mutually believe (3a)

c) The group GR is committed to GRI’s success

56

Travail futur « interesting new problems »

The need to develop more flexible methods for reasoning about resources and resource conflicts in the context of collaborative activity, and to examine the tradeoffs among them.

The need to develop more complex methods for groups to construct and agree on recipes.

The need to understand more fully the ways in which communication supports collaboration and to develop a more complete set of communication axioms.

Fuller specification of certain aspects of the formalization Reasoning mechanisms that individual agents utilize for elaborating partial

shared plans Axioms for the attitude of intending-that Mechanisms for reconciling intentions Formalism of commitment

57

“A Collaborative planning model of intentional structure”, Lochbaum 1994, 1998 (C.L.)

Bases théoriques model du discours : Grosz and Sidner 1986

• mais pas de proposition de modèle de traitement du modèle de structure proposé

planification : Shared Plans (Grosz/Sidner 1990, Grosz/Kraus 1993) • mais n'indique pas de connection entre SP et la structure du discours

Contribution principale de ce travail: un modèle de reconnaissance de la structure intentionnelle d'un discours

reposant sur les plans partagés. Ces plans sont utilisés• pour représenter les composantes de la structure intentionelle • pour raisonner au sujet de cette structure intentionnelle lors de

l'interprétation et la génération d'énoncés. de plus : un travail sur la formalisation des "préconditions de

connaissance » 

58

Idées principales Chaque segment du discours est modélisé en utilisant un plan partagé. Le but de chaque segment (DSP) est interprété comme une intention

(tenue par l'initiateur du segment) des interlocuteurs à former ce plan Les énoncés faisant partie du segment sont interprétés à travers leur

contribution au plan partagé correspondant. Les interlocuteurs sont donc perçus comme cherchant à établir, à travers

leurs énoncés, les attitudes mentales requises pour une collaboration. Les relations entre les DSP reposent sur des relations subsidiaires entre

les plans partagés correspondants. (Un plan, SP1, est subsidiaire à un autre, SP2, si la réalisation de SP1 contribue à la réalisation de SP2, c’est à dire, si SP1 établit une des croyances ou intentions nécessaires à l’établissement de SP2.)

59

Interprétation G1 interprète les énoncés de G2 par le biais de la contribution de ces

énoncés à leur PSP. Cette interprétation peut prendre une des 3 possibilités suivantes : indication de l'initiation d'un SP subsidiaire de la fin du SP courant ou d'une contribution au SP courant.

Ces trois cas correspondent au problème de déterminer si un énoncé débute un nouveau segment de discours, complète le segment courant, ou bien y contribue.

Dans chaque cas, G1 commence par attribuer une attitude mentale à G2 à partir de son énoncé, puis raisonne au sujet de la pertinence de cette attitude mentale par rapport à leur PSP.

60

Génération Les croyances et intentions de G1 et G2 nécessaires à l’établissement de

leur SP, mais manquantes à leur PSP sont maintenues dans un "agenda". Les énoncés de G1 sont formés à partir de cet agenda, et peuvent à leur

tour, résulter en de nouvelles croyances ajoutées à l'agenda. Chez Lochbaum, l'organisation de cet agenda, ainsi que la procédure de

sélection d'un élément de l'agenda à poursuivre, ne sont pas traitées. La mise en oeuvre fait appel à un "oracle" .

61

Le «R-Graph»:arbre de planificationune représentation dynamique résultant de la composition et de l'instantiation de recettes représentation concrète de croyances mutuelles et intentions faisant partie

du plan partagé des interlocuteurs et concernant les actions mentionnées dans le dialogue

utilisée pour la modélisation du processus de raisonnement par lequel l'agent détermine la contribution d'un énoncé (interprétation ou génération) au plan partagé partiel des interlocuteurs.

construit par le "Rgraph construction algorithm"

62

Préconditions de connaissance Pour pouvoir exécuter une action, l’agent doit satisfaire à la fois

les préconditions physiques (par ex. la main du robot doit être vide pour qu’il puisse ramasser un objet)

et les préconditions de connaissance (le robot doit savoir comment ramasser un objet)

Révision des opérateurs de «capabilité » de Grosz et Kraus

63

Balkanski et Hurault-Plantet (2000) A computational model of dialogue

which supports the representation of, reasoning about and execution of communicative and non-communicative actions.

and allows for cooperative human-machine communication in written dialogues

Theoretical fondations  Grosz and Sidner's theory of collaborative discourse + Shared Plans  Lochbaum's computational model for discourse processing

Research objective : modelling cooperative behavior To allow the agent being modelled to interpret and manifest a type of

cooperative behaviour which follows Grosz and Kraus’s formalization of the commitment of each collaborative agent towards the actions of the other collaborative agents.

64

Diagramme schématique du modèle de dialogue

USER

DIALOGUE CONTEXT

Planification Graph

Focus Stack

DIALOGUE MANAGER

KNOWLEDGE BASE

Actions Recipes

Entities

PLAN REASONER

INTERPRETATION

Parser/Semantic Interpreter

Speach Act Identification

Pragmatic Interpretation

Planification

Speach Act Generator

Surface Generator

GENERATION

SYSTEM

65

Exemple de recette

complex action

name of recipe

TalkToPerson (G1, G2)

talkToPerson

EstablishCommunication (G1, G2)

Speak (G1)

complex or basic actions

talkToPerson recipe

66

Exemple de mise à jour du graphe de planification

A1(P1, P2)

R1

B1(P1, P3) B2(P2, P3)

+ C1 where C1 R(B1)

+ D1 where D1 enables C1

A1(P1, P2)

R1

B1(P1, P3) B2(P2, P3)

R2

C1(P3) C2(P1)D1(P3, P4)

contributes

enables

67

Etude de corpus Corpus

Transcription of human-human task-oriented dialogues (Castaing 1993) setting: telephone switchboard in an industrial setting

Exemple de dialogue1. L : <appel>2. S: CNRS3. L: bonjour Mme euh je voudrais le Mr A svp4. S: Mr A. $oui$$ quel est son poste5. L: c'est euh il travaille avec Mme Muzeu6. S: Mme7. L: MUZEU8. S: A. j'connais pas Muzeu ça m'dit vous savez où elle se trouve dans quel…9. L: hou la la la la c'est au LEI mais 10. $ah oui effectivement$$11. S: 22-26 j'vous la passe hein

68

Exemples de recettes

EstablishCommunication (G1, G2)

RequestCommunication (G1, PhoneNumber)

AcceptCommunication (G2)

establishCommunication constraint PhoneNumber = phone number (G2)

establishCommunication recipe

69

Recettes (suite)

EstablishCommunication (G1, G2)

Accept- Communication (G2)

establishCommByIntermediary

Establish- Communication (G1, G3)

TransferPerson (G3, G1, G2)

establishCommByIntermediary recipe

70

Recettes (suite)

transferPerson

LookUpPhNb (G1, G3, PhNb)

RequestCommunication (G1, PhNb)

TransferPerson (G1, G2, G3)

Connect (G1, G2, PhNb)

constraint G3 Entities 

transferPerson recipe

71

Actions communicatives

AchieveHaveValue (G1, P)

RequestValue (G1, G2, P)

InformValue (G2, G1, P)

achieveHaveValueByRequest

AchieveHaveValue (G1, P:V)

CheckValue (G1, G2, P:V)

ConfirmValue (G2, G1, P)

achieveHaveValueByConfirm

achieveHaveValueByRequest achieveHaveValueByConfirm recipe recipe

72

Exemple de dialogue

1) <telephone call>

2) System: Hello.

3) User: Hello. I would like to speak to Mr. B.

4) System: Mr. B?

5) User: No, Mr. D.

6) System: OK, here he is.

73

Planification Graph:Action statuses1. the agents have not discussed the act, but the

system believes that it will be part of their joint recipe (action projetée)

2. the agents have discussed the act and agree that it is an element of their joint recipe

3. the act is basic and the agents have agreed to its performance

4. the act is complex and the agents have agreed to a particular recipe for the act

5. the act has been performed

74

Planification Graph after the interpretation of the phone call in (1)

EstablishCommunication (User, System)

RequestCommunication (User, PhoneNumber)

AcceptCommunication (System)

establishCommunication

status = 5 status = 1

status = 4

(1) phone call (2) "Hello"  (3) "Hello, I would like to speak to Mr.B"

75

Partial view of the Planification Graph after the interpretation of utterance (3)

TransferPerson (System, User, Mr.B)

EstablishCommunication (User, System)

EstablishCommunication (User, Mr.B)

establishCommByIntermediary

talkToPerson

Speak (User)

TalkToPerson (User, Mr.B)

status = 4

status = 4

status = 5

status = 1 status = 1

status = 1

AcceptCommunication (Mr.B)

76

(suite)

transferPerson

LookUpPhNb (System, Mr.B, PhNb)

RequestCommunication (System, PhNb)

TransferPerson (System, User, Mr.B)

status = 1 status = 1

status = 4

Connect (System, User, PhNb)

status = 1

77

Partial view of the Planification Graph before the generation of utterance (4)

status = 3 status = 1

status = 4

status = 1 status = 1

status = 4

AchieveHaveValue (System, Person:Mr.B)

CheckValue (System, User, Person:Mr.B)

ConfirmValue (User, System, Person)

achieveHaveValueByConfirm

transferPerson

LookUpPhNb (System, Mr.B, PhNb)

RequestComm. (System, PhNb)

TransferPerson (System, User, Mr.B)

Connect (System, User, PhNb)

status = 1

(4) "Mr.B?" (5) "No, Mr.D"

78

Conclusion A model for interpreting and generating both communicative and non-

communicative actions in the context of task-oriented dialogues ; Interpretation and Task Advancement algorithms allowing for cooperative

human-machine communication in written dialogues ; cooperative behaviour of the agent being modelled rests on the use of

communicative actions allowing agents to share additional knowledge and assist each other in performing their actions

Extensions to Lochbaum’s work Interpretation algorithm that allows for a more extensive search through the

Rgraph, and for the treatment of a wider range of dialogues, algorithm of Task Advancement that allows for the interleaving of execution

and planning, and that handles generation

79

COLLAGENRich et Sidner (1997) Goal:   allow a human user and an artificial agent to collaborate on a task

following the rules and conventions of human discourse. Theoretical foundations

discourse structure: Grosz and Sidner 86 collaboration: SharedPans: Grosz/Sidner 90, Grosz/Kraus 93, Lochbaum 93

Important note: no natural language understanding (!) practical point of view: difficult problem in its own right theoretical point of view: "discourse theory addresses the content of

collaborative communicationt a very fundamental level, regardless of what language is used".

language used:  an artificial language developped by Sidner (AAAI'94) communication between agent and user is by English sentences,generated

from this artificial language using simple string templates

80

Implementation a prototype toolkit called Collagen (for Collaborative Agent)

application-independent component: underlying discourse structures and processing

application-specific component: domain specific knowledge an air travel application using it

direct-manipulation interface to an airline schedule database, and a simple constraint checker.

typical problem to be solved: "You are a Boston-based sales representative planning a trip to visit  customers in Dallas, Denver, and San Francisco next week. You would prefer to leave on Wednesday morning, but can leave on Tuesday night if necessary. Your customer in Denver is only available between 11a.m. and 3p.m. on Thursday. You would prefer to fly as much as possible on American Airlines, as you have almost enough frequent-flyer miles to qualify for a free trip this summer. You absolutely must be home by 5p.m. on Friday in order to attend you son's piano recital.

81

Agent's internal discourse state Focus Stack: contains open segments

mutually believed info 

Recipe Tree: a concrete representation of some of the mutual beliefs in SPs mutually believed info (Fig 4, IUI'97) composed of alternating act and recipe nodes, each having

associated bindings and constraints  

History List: contains toplevel segments that have been popped off the stack

82

Algorithmes

Discourse interpretation algorithm :

reimplementation of Lochbaum's rgraph augmentation algorithm

Discourse generation algorith   the inverse of the interpretation algorithm

83

System:3-way interaction: Communication between user and agent : via home-window

agent to user: printing English text in the agent's home window user to agent: by the user selecting from a dynamically-changing"user

communication menu", appearing in user's home page [more below]  Observation between user and agent

user observes agent's actions by watching the agent's cursor agent observes user's actions by virtue of a layer in the application 

Interaction between user/agent and shared application user and agent both have a cursor, and can both use the same

graphical interface to modify the state of the application note: state of the application may also be queried and modified using

the application's programming interface