Structure du discours
et reconnaissance de plans
dans le traitement du
dialogue homme-machine
Cécile BalkanskiLIMSIFévrier 2003
2
Présentation de 4 articles "Intention, Attention and the Structure of Discourse",
Grosz et Sidner, Computational Linguistics 1986 "Plans for discourse", Grosz et Sidner 1990
"Intentions in Communication", Cohen, Morgan et Pollack (eds)
"Collaborative Plans for Group Activities", Grosz et Kraus, IJCAI-93
"Using Collaborative Plans to Model the Intentional Structure of Discourse", K. Lochbaum, Thèse Ph.D., Université d’Harvard,1994
3
Si assez de temps Deux applications
COLLAGEN (for COLLaborative AGENt) Rich and Sidner, 1996 )
http://www.merl.com/projects/collagen/ "Cooperative requests and replies in a collaborative
dialogue model" Balkanski et Hurault-Plantet, International Journal of Human-Computer Studies,
vol 53, 2000
4
Prémisses Comprendre un énoncé exige de reconnaître les intentions et
croyances de la personne qui a produit cet énoncé. Donc, plus globalement: participer à un dialogue de reconnaître les intentions et croyances des personnes qui participent à ce
dialogue.
Tout dialogue est structuré : D ≠ e1 + e2 + e3 + ...Un dialogue n’est pas juste une séquence d’énoncés.
Donc, le sens d’un dialogue comprend plus que le sens de chaque énoncé
La reconnaissance de cette structure est indispensable pour l'interprétation comme pour la génération.
Mais … (voir transparent 7 et suite)
5
Dialogue de la boite à outils, Grosz, 1981.
Utilisateur : La boîte à outils est fermée.
Système :(Pourquoi me dit-il cela? Je sais déjà que la boîte à outils est fermée ...
Je sais que l'utilisateur a besoin d'avoir accès au contenu de la boîte à outils. Peut-être me dit-il que la boîte à outils est fermée parce qu'il pense que je peux l'aider d'une manière ou d'une autre ...
Pour ouvrir la boîte, il faut avoir une clef. L'utilisateur sait cela, et il sait que je le sais également. La clef est dans le classeur. Si l'utilisateur le savait, il ouvrirait simplement la boîte. Donc, c'est qu'il ne le sait pas.
Je peux le lui faire savoir en disant : "La clef est dans le classeur". Mon rôle est de l'aider. Je vais donc le dire.)
La clef est dans le classeur.
6
Autres exemples Contexte du réceptionniste :
A: Connaissez vous le numéro de téléphone de Mr. Dupont?B: Non, mais son email est [email protected]
Contexte de la cafétéria :A: T’as l’heure?B: T’en fais pas, la prof est toujours en retard.
Contexte d’un système d’aide : A: Mon imprimante est en panne.B: D’accord, fait enregistré.
Un client qui parle à un psychiatre lacanien :Client: May I ask you three questions?Psychiatrist: Yes, but that will cost you $1000Client: Isn't that rather expensive?Psychiatrist: Yes. What's the third question?
7
Exemple de l’importance de la structure de dialogue:U: A fire's been reported near Lexington Reservoir. Show me the area east of there.S: [displays map]U: The fires are here [pointing with mouse] S: By the way, some of the equipment from Station 3 is
being used for a kitchen fire in town.U: Can you tell me what equipment is left?S: All the big trucks, the water tank trucks, and the bulldozersU: OK. Then we're in good shape. The fire isn't too big yet. S: I suggest a firebreak here. [pointing with mouse] U: Isn't the area too steep?
8
Questions : Sur quoi repose la structure d’un discours ? Comment la déterminer ? Quelles infos sont pertinentes ? Quelles sont les relations entre les segments de cette
structure?
Questions de fond : Quelle est la nature de la cohérence d'un discours? Comment expliquer le rôle d'un segment du discours par
rapport au discours en entier?
9
Quelques approches Relations rhétoriques
Cohérence du discours repose sur un ensemble fini de relations rhétoriques. Par ex. purpose, enablement, circumstance, background, motivation
"discourse", "rhetorical", "coherence" relations Ex: Hobbs (79,83), Lehnert (81), Reichman (81), Mann et
Thompson (86), McKeown (85) parmi les premiers Mais :
• choix et définition des relations? (comment sait-on qu'on les a toutes, et qu'elles sont toutes bonnes?)
• diversité des intentions sous-jacentes aux discours par opposition à un ensemble fini de relations
10
Quelques approches (suite)
Grammaires Cohérence du discours repose sur un ensemble fini de règles de
décomposition (grammaire; type d'information à la base des règles varie selon les modèles)
ex : "story grammar", Rumelhart (1975)• story setting episodes• setting state-desc• setting state-desc setting• episodes episode• episodes episode episodes• episode events reactions• events event-desc• events event-desc events
11
Quelques approches (suite)
Grammaires (suite) ex : « argument grammar", Reichman (1984)
• argument claim support • support authority citation • support narrative • support proposition
Mais :• choix des règles? • notion de structure correcte ou incorrecte? • comment choisir quelle règle appliquer?
12
Approche de Grosz et Sidner Cohérence (structure) du discours repose sur un
ensemble infini d'intentions et un petit ensemble de relations entre intentions
"intentional relations are the root of discourse structure" (1986)
“the natural segmentation of a discourse reflects intentional behavior" (1990)
Problème subsidiaire : comment reconnaître les intentions reconnaissance de plans
13
“Attention, Intentions and the Structure of Discourse”Grosz et Sidner (1986)Un modèle de dialogue en trois composantes interdépendantes : structure linguistique : segmentation du discours
"linguistic structure" : discourse segments and an embedding relationship between them
structure intentionnelle : intentions et relations "intentional structure": discourse segment purposes (DSPs) and the relationships of dominance and satisfaction-precedence
état attentionnel : segments de discours, entités et intentions "attentional state " : an abstraction of the discourse participants' focus of attention as their discourse unfolds, containing the entities that are salient to the segment, as well as its DSPs.
14
Discourse Structures (GS86)
segments purposes
focus spaces
linguistic intentional
attentional- Segmentation- Focus of attention- Plans underlying discourse
15
Structure linguistique Structure hiérarchique composée d'énoncés
regroupés en segments ("discourse segments"), Interaction bidirectionnelle entre la structure
linguistique et les énoncés: la structure linguistique permet de contraindre
l'interprétation des énoncés (cf. la référence). les expressions linguistiques (intonation, "cue phrases",
"tense shift") peuvent communiquer des informations concernant la structure linguistique
"In essence, the OCP must judge for each utterance whether it start a new segment, ends the current one (and possible some of its embedding segments), or contributes to the current one."
16
Etat attentionnel Structure dynamique composée d'informations contextuelles
concernant les objets, propriétés, relations et intentions qui sont les plus pertinents à un moment donné.
Permet de limiter l'information contextuelle disponible pour l'interprétation et la génération d'énoncés (cf. référence)
Modélisation: une pile de "focus spaces", un par segment de discours encore ouvert, contenant, chacune, les entités mentionnées dans le segment correspondant (« quoi? ») et une représentation du "discourse segment purpose" (« pourquoi? »)
"The focusing structure is the central repository for the contextual information needed to process utterances at each point in the discourse. It distinguishes those objects, properties, and relations that are most salient at that point and, moreover, has links to relevant parts of both the linguistic and intentional structures."
17
Structure intentionnelle Structure composée d'intentions ("discourse segment
purpose", DSP), reliées entre elles par les relations de "dominance" et de "satisfaction-precedes".
"Discourse segment purpose": (DSP) la raison pour laquelle les locuteurs engagent le segment de discours en question ne sont pas nécessairement explicitement formulés dans un énoncé n'existent pas en nombre fini doivent être reconnus
"A rather straightforward property of discourse, namely, that they (or, more accurately, those who participate in them) have an overall purpose, turns out to play a fundamental role in the theory of discourse structure. In particular, some of the purposes that underlie discourse, and their component segments, provide the means of individuating discourses and of distinguishing discourse that are coherent form those that are not".
18
Structure intentionnelle (suite)
RelationsRelations "dominance" : DSP1 domine DSP2 si DSP2 contribue
une partie de la satisfaction de DSP1 "satisfaction-precedes": DSP1 "satisfaction-precedes"
DSP2 si DSP1 doit être satisfaite avant DSP2
"These relations represent respectively, the fact that satisfaction of one intention contributes to the satisfaction of a second, and the fact that one intention needs to be satisfied before another. (...)
Determination of discourse segment purposes depends in part on recognition of these relationships, in part on domain knowledge, and in part on other features of the discourse context."
19
Segments de discours,état attentionnel et structure intentionnelle
Figure 1 p.181 Exemple : dialogue dirigé par la tâche
Dialogue en fig.5 p.186 Structure linguistique sur même figure Etat attentionnel fig.7 p.191 Structure intentionnelle fig.6 p.187
20
Reconnaissance des DSPs"The OCP must identify both the intention that serves as the discoursesegment purpose and its relationship to other discourse-level intentions."
si l'énoncé débute un nouveau segment : " OCP must recognize the DSP of that segment, as well as its relationship to the other DSPs underlying the discourse and currently in focus."
si l'énoncé termine le segment en cours :" OCP must come to believe that the DSP of that segment has been satisfied."
si l'énoncé contribue segment en cours : " OCP must determine the effect of the utterance on the segment's DSP."
21
Reconnaissance des DSPs (suite)
"Two issues that are central to the recognition problem are what information the OCP can utilize in effecting the recognition and at what point in the discourse that information becomes available."
L'information disponible pour la reconnaissance des DSP inclut : des marqueurs linguistiques ( "cue phrases", par ex. "by the way";
intonation; changement de temps "tense shifts" ) les intentions an niveau des énoncés (les DSP peuvent combiner les
intentions de plusieurs énoncés) les connaissances générales, partagées entre les interlocuteurs, sur les objets
et les actions du domaine du discours
"It remains an open research question what inferences are needed and how complex it will be to compute supports and generates relationships if the dominancerelationship is not directly indicated in a discourse."
22
Importance des marqueurs linguistiques « that reminds me »
new discourse segment, that is embedded with respect to the previous one new DSP that is dominated by previous one new PS that is pushed onto the stack
« First, … then » two discourse segments that follow each other two DSPs, with a «Satisfaction-Precede» relation between them one FS that is popped off the stack before the second is pushed onto it.
« but anyway », « in any case » no new segment, nor FS, nor DSP FS : pop to some other space back in the stack return to an old DSP, no change in intentional structure
23
Importance de l’intonation Hirschberg & Litman (1987)
I’m 58 now and [uh] they forced me off the job … [deictic]
My husband retired and [uh] this is the first year, now what’s this about [uh] quarterly income tax …
[cue phrase new discourse segment]
So in other words I will have to pay the full amount of the [of the uh] tax now what about PA state tax?
[Mary told Jane she won the prize.]
24
Importance des intentions au niveau des énoncés Le DSP d’un segment peut être
identique à l’intention au niveau de l’énoncé de l’un des énoncés du segment
ou bien il peut combiner les intentions de plusieurs énoncés
« I want you to arrange a trip for me to Palo Alto.
It will be for two weeks.
I only fly on TWA »
« the process can be quite complex »
25
Importance des connaissances sur le domaine Les relations qui existent entre les actions mentionnées dans
le segments de discours peuvent permettre de dériver une relation entre les deux DSPs correspondants.
Exemple : une relation de “génération” entre actions (Goldman 1970) peut induire une relation de dominance entre les DSPs correspondants. DSP1 : l’intention d’apprendre sa leçon (A1) DSP2 : l’intention de lire ses notes (A2) DSP3 : l’intention de lire les articles mentionnés (A3) génération((A2,A3), A1) Alors : dom(DSP1,DSP2) et dom(DSP1, DSP3)
26
Conclusion GS 86 Deux limitations principales
structure intentionnelle peu développée pas de proposition de modèle de traitement ("computational
mechanism") pour reconnaître la structure d’un discours (malgré la présentation d’infos utiles à cette reconnaissance)
Grosz et Sidner 1990 (86-87): "Plans for Discourse" introduction du modèle des plans partagés ("Shared Plans", SP), dans le
but de mieux spécifier la composante intentionnelle de la structure du discours.
Lochbaum 1994 (thèse): "Using Collaborative Plans to Model Intentional Structure in Discourse" présentation d'un modèle de reconnaissance de la structure intentionnelle
d'un discours et specification du rôle des SP dans ce processus.
27
"Plans for Discourse"Grosz et Sidner (1990) Prémisses
Le dialogue est une instance de comportement collaboratif
"Discourses are fundamentally examples of collaborative behavior. The participants in a discourse work together to satisfy various of their individual and joint needs."
La collaboration ne peut pas être modélisée par la simple juxtaposition de plans individuels
Les plans sont des attitudes mentales complexes plutôt que des structures de données abstraites
28
Introduction Constat :
Inadéquation des travaux existants dans le domaine de la planification et de la reconnaissance de plans pour le traitement du dialogue ("discourse situations")
Conséquence : cet article, qui présente les caractéristiques de la "situation du discours" évalue et critique les travaux précédents sur la planification
et la reconnaissance de plans dans le domaine du TAL propose un nouveau type de plans, et montre comment
celui-ci peut servir à contraindre le processus de reconnaissance de plans.
29
Idée centrale
Pour qu'une collaboration réussisse, les participants à un dialogue doivent avoir des croyances mutuelles concernant les buts à atteindre, les actions à exécuter, ainsi que les capacités, intentions, et engagements des participants. La représentation formelle de ces aspects des états mentaux des participants est appelé un plan partagé.
30
Le modèle des Plans Partagés : «Shared Plans» ensemble de croyances et d'intentions nécessaires à la
collaboration (Pollack 1986) au départ : un plan partagé partiel, puis complété au fur et à
mesure du dialogue, avec des intentions et croyances exprimées dans les énoncés.
processus de compréhension et de génération : définis par rapport à la contribution de chaque énoncé au plan partagé partiel
les interlocuteurs sont perçus comme cherchant à établir, à travers leurs énoncés, les attitudes mentales requises pour une collaboration.
31
Particularités des plans dans le domaine du discours
La reconnaissance de plans repose sur des informations partielles Les plans ont pour but d'être reconnus (cf. Grice, 1969) Des marqueurs linguistiques fournissent des informations
explicites au sujet des intentions Les participants à un dialogue sont à la fois acteurs et agents
inferrants Ils ont des croyances privées, qui ne sont pas nécessairement
complètes, ni parfaites, ni identiques
"Thus, the plan recognition process for discourse entails incremental recognition on the basis of partial information, accomodation ofuncertainty, and strategies for resolving inconsistencies in beliefs among participants."
32
Insuffisances des modèles de planification existants l'hypothèse du maître et de l'esclave ("the
master/slave assumption" ) l'hypothèse de connaissances complètes et correctes
(de l’agent inferrant) l'hypothèse d'un domaine limité à un seul agent
(représentation des plans) formalismes de représentation de type STRIPS
(difficultés à raisonner au sujet du temps, des actions multi-agents, de différentes relations entre actions; sémantique et utilisation variées)
33
Rappel : formalisme STRIPS(Fikes & Nilsson, 1971) Actions modélisées par des opérateurs États spécifiés par des conjonctions de formules atomiques Schéma d’opérateur :
• Entête (nom de l’action)• Liste de préconditions• Liste d’effets (« add and delete lists »)• Corps (pas toujours)
Exemple : actes de langage de Allen et Perrault 1980) INFORM(speaker, hearer, P)
• Precondition : KNOW(speaker, P)• Effect : KNOW(hearer, P)
34
Pollack (1986, 1990)"There are plans and there are plans. There are the plans that an agent "knows": essentially recipes for performing particular actions or for achieving particular goal states. And there are the plans that an agent adopts and that subsequently guide his action. This distinction is between knowing that a plan for assassinating the president is shooting him, and actually planning to assassinate the president by shooting him."
A: I want to talk to Kathy, so I need to find out the phone number of St.Eligius.
B: St. Eligius closed last month. Kathy was at Boston General, but she's already been discharged. You can call her at home. Her number is 555-1238.
35
Qu’est-ce qu’un plan? Travaux antérieurs :
Une « recette » indiquant comment exécuter une action, ou bien comment atteindre un but.
« I know that a way to assasinate the president is to shoot him. » Importance accordée aux données du plan.
Pollack : L’état mental d’un agent (intentions et croyances) « John Hinckley intends to assasinate Reagan by shooting him » Importance accordée aux états mentaux associés à un plan.
« The definition of a plan must account for the ways in which the intentions of the agent who is (about) to perform the actions and his beliefs about those actions affect the appropriateness and success of the plan ».
36
Les plans individuels «simples» (Pollack)
Simple Plan(G, n, [1, …, n-1], t2, t1) Agent G has at time t1 a simple plan to do n,, consisting of doing the set of acts {1, …, n-1} at t2
1) BEL(G, EXEC(i,G, t2), t1), for i = 1, …, n belief that the agent can perform each of the i
2) BEL(G, GEN(i, i+1,G, t2), t1), for i = 1, …, n-1 belief that the performance of the set of i entails the performance of
3) INTEND(G, i, t1, t2), for i = 1, …, n intentions to do each of the i
4) INTEND(G, by(i, i+1) t2 , t1), for i = 1, …, n-1 intention to do A by doing the i
37
Les plans individuels (suite) Importance du rôle des intentions et croyances
Croyances au sujet des relations entre actions Croyances au sujet de l’exécutabilité des actions Intentions concernant ces actions
« mental state view of plans »
« Pollack’s definitions of intentions and of the simple plan of an agent provide a much richer and cleaner model of an agent’s plan to achieve some desire on the basis of a simple action or sequence of actions. The richenesss originates with the addition of intentions, and beliefs about execution and generation among actions. Her model clearly distinguishes among believing that actions fit together in certain regular ways, believing that one can execute those actions, and actually intending to act. »
38
Que veut donc dire« avoir un plan » ?
J’ai un plan qui consiste à obtenir une thèse (A) en étudiant le domaine associé (B1), développant une solution à un problème donné (B2), rédigeant un document (B3), et présentant mon travail devant un jury (B4).
Croyances : Je crois que je peux exécuter B1, B2, B3 et B4. Je crois que l’exécution de B1, B2, B3 et B4 aboutira à l’obtention de
ma thèse (A).
Intentions : J’ai l’intention d’exécuter B1, B2, B3 et B4. J’ai l’intention d’obtenir ma thèse en exécutant de B1, B2, B3 et B4.
39
Les Plans Partagés : but un formalisme de représentation de plans multi-
agents dans des situations de collaboration, utile pour le langage (actions et plans linguistiques) ainsi que pour d'autres formes de comportement
collaboratif (actions et plans non-linguistiques).
"In a more practical vein, the concept of shared plans providesa foundation for theories of collaborative behavior that couldprovide for more flexible and fluent interactions betweencomputer systems and users undertaking joint problem-solvingactivities."
40
Les Plans Partagés : définitionShared Plan(G1, G2, A) Agents G1 and G2 have a shared plan to do A ,consisting ofdoing the set of acts {1, …, n}
1) MB(G1, G2, EXEC(i,Gi), for i = 1, …, n
2) MB(G1, G2, contr(i,A)), for i = 1, …, n-1
3) MB(G1, G2, INTEND(Gi, i )), for i = 1, …, n
4) MB(G1, G2, INTEND(Gi, by(i, A))), for i = 1, …, n
5) INTEND(Gi, i )), for i = 1, …, n
6) INTEND(Gi, by(i, A))), for i = 1, …, n
41
Les Plans Partagés :définition (suite)
1) la croyance mutuelle que l'agent de i peut effectuer I (pour tous les i)
2) la croyance mutuelle que l'exécution de l'ensemble des i entraîne l'exécution de A
3) la croyance mutuelle que l'agent de i a l'intention d’exécuter i
(pour tous les i)
4) la croyance mutuelle que l'agent de i a l'intention d’exécuter i
dans le but d’exécuter A (pour tous les i)
5) l'intention individuelle de l'agent de i d’exécuter i (pour tous les i)
6) l'intention individuelle de l'agent de i d’exécuter i dans le but d’exécuter A (pour tous les i)
42
Les Plans Partagés : utilisation Croyances mutuelles :
"multiple agents cannot act with any assurance unless there is such mutual beliefs.
Pertinence : les énoncés pertinents sont ceux qui contribuent aux intentions et croyances faisant partie du plan partagé.
les plans partagés constituent donc un contexte essentiel pour le traitement de la langue, permettant de guider le dialogue à la fois pour l'interprétation : les énoncés produits contribuent des intentions et
croyances au plan partagé et la génération : les énoncés à produire doivent adresser les croyances et
intentions "manquantes"
43
Démarrage d’un plan partagé : CDR1 Les participants d'un dialogue viennent à démarrer un plan partagé par le
biais d'une règle conversationnelle par défaut similaire aux principes conversationnels de Grice.
CDR1 : If the participants believe that one of them, say G1, has a particular
desire, say to achieve a state in which P holds (or to perform action A) and they are cooperative and they are communicating about the desire to achieve P (perform A)
Then they mutually believe that G1 has a desire for them to construct a
SharedPlan to achieve P (or perform A)
44
Du plan partagé partiel (PSP) au plan partagé
CDR1 est une règle par défaut, n'établissant que la croyance mutuelle du désir de l'un d'entre eux (G1) d'accomplir un plan partagé
Pour démarrer ce plan, les autres agents doivent acquiescer, explicitement ou implicitement, au désir du premier.
Quand l'ensemble des agents ont le désir d'accomplir le plan partagé, mais n'ont pas encore établi ce plan, on dit qu'ils ont un plan partagé partiel
La reconnaissance de plans consiste alors à « remplir » ce PSP, chaque énoncé contribuant des intentions et croyances nécessaires à l’élaboration du plan partagé complet
45
Exemple : actions simultanées
1) S1. I want to lift the piano.
2) S2. OK.
3) I will pick up this [deictic to keyboard] end.
4) S1. OK.
5) I will pick up this [deictic to foot] end.
6) S2. OK.
7) Ready?
8) S1. Ready.
46
Exemple : analyseHypothèse: une analyse comme celle de Perrault's, utilisant des règles pardéfaut pour déterminer les conséquences immédiates de chaque énoncé.
(1’) MB(S1, S2, Desire(S1, lift(piano))) à partir de (1’), CDR1 et des hypothèses de coopération
MB(S1, S2, Desire (S1, Achieve (SP (S1, S2, lift(piano)))))
(2) S2 exprime le fait qu’il est d’accord MB(S1, S2, Desire (S1, S2, Achieve (SP (S1, S2, lift(piano)))))
(3’) MB(S1, S2, INT(S2, lift(keyboard-end))) expression des intentions mentionnées dans clauses (3) et (5) du SP pour
l’un des i
implicite: la croyance (individuelle) de S2 que S2 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’un des i)
47
Exemple : analyse (suite)
(4) S1 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’un des i
croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’un des i
croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’un des i
(5) MB(S1, S2, INT(S1, lift(foot-end))) Analogue à (3) : expression des intentions mentionnées dans clauses (3) et
(5) du SP pour l’autre i
implicite: la croyance (individuelle) de S1 que S1 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’autre i)
48
Exemple : analyse (suite)
(6) S2 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’autre i
croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’autre i
croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’autre I
(7) et (8) confirmation croyance mutuelle que les actions prévues sont suffisantes pour réaliser
leur but : clause (2) du SP
49
Exemple : analyse (suite)
SharedPlan(S1, S2, lift(piano))1) MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2))
2) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano)))
3) MB(S1, S2, INT(S1, lift(foot-end))) & MB(S1, S2, INT(S2, lift(kb-end)))
4) MB(S1, S2, INT(S1, BY(lift(foot-end), lift(piano)))) & MB(S1, S2, INT(S2, BY(lift(kb-end), lift(piano))) )
5) INT(S1, lift(foot-end)) & INT(S2, lift(kb-end))
6) INT(S1, BY(lift(foot-end), lift(piano))) & INT(S2, BY(lift(kb-end), lift(piano)))
50
Plan Partagé : remarque Problèmes avec l’opérateur INT (Grosz et Kraus 1993)
intention d’exécuter une action : INT-TO intention qu’une proposition tienne : INT-THAT
Rectification définition SP : 1) MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2)) 2) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano))) 3) MB(S1, S2, INT-TO(S1, lift(foot-end))) &
MB(S1, S2, INT-TO(S2, lift(kb-end)))4) MB(S1, S2, INT-THAT(S1, contr(lift(foot-end), lift(piano)))) &
MB(S1, S2, INT-THAT(S2, contr(lift(kb-end), lift(piano))) ) 5) INT-TO(S1, lift(foot-end)) & INT-TO(S2, lift(kb-end))6) INT-THAT(S1, contr(lift(foot-end), lift(piano))) &
INT-THAT(S2, contr(lift(kb-end), lift(piano)))
51
Reconnaissance de plans :en résumé
"The recognition process for SPs as sketched in this paper proceeds essentially as follows: the initial utterances put on the table a proposal that there be a SP developed and carried out to satisfy the initiating conversational participant's desire; the subsequent utterances must somehow address this proposal, either accepting or denying it; assuming the proposal is accepted, subsequent utterances can provide information about any of the beliefs or intentions embedded in the definition of a SP."
Travail futur spécification de relations plus complexes entre actions détails sur le processus de reconnaissance
52
"Collaborative Plans for Group Activities" Grosz et Kraus, 1993
Revised and expanded version of SP: 1990 version of SP: - accommodates actions involving treated only actions which directly
groups of agents as well as complex decomposed into actions by single actions that decompose into multi-agent agents
actions
- allows for contracting out certain situation not accounted for actions
- describes the mental states of agents did not specify in any detail the notionwho do not know a complete recipe for of a partial SharedPlan which was accomplishing their joint action intended to represent this kind of
partiality
53
Comparaison (suite)
Revised and expanded version of SP : 1990 version of SP : - provides a model with the features for ex.: did not account for the
required in Bratman's account of commitment of an agent to the successshared cooperative activity (1992). of a collaborative partner's actions.
- presents a reformulation of the model of individual plans that corresponds to the definition of SPs.
Remarque: important débat philosophique sous-jacent : existe-il une notion "d'intention mutuelle" comme on a des croyances mutuelles?
54
Grosz et Kraus :Formalisme Intention and belief
INT.TO and INT-TH BEL and MB
Executability CBA (can bring about) and BCBA (belief that one can bring
about) individual plans (IP)
PIP (partial) and FIP (full) shared plans (SP)
PSP (partial ) and FSP (full) Axioms and/or theorems for all of the above
55
FSP(GR, , Tp, T, R, C)A group of agents GR have a full shared plan at time Tp to perform act at time T using recipe R in context C
1. GR has a recipe for
2. For each single-agent constituent act i of the recipe, there is an agent Gi GR, such that
a) Gi intends to perform i and there’s a recipe Ri for i such that
i. Gi believes that it can perform i according to the recipe
ii. Gi has a FIP for i according to the recipeb) The group GR mutually believe (2a)
c) The group GR is committed to GI’s success
3. For each multi-agent constituent act i of the recipe, there is a subgroup of agents GRi GR such that
a) There is a recipe Ri for i such that
i. GRi mutually believe that they can perform i according to the recipe
ii. GRi has a FSP for i according to the recipeb) The group GR mutually believe (3a)
c) The group GR is committed to GRI’s success
56
Travail futur « interesting new problems »
The need to develop more flexible methods for reasoning about resources and resource conflicts in the context of collaborative activity, and to examine the tradeoffs among them.
The need to develop more complex methods for groups to construct and agree on recipes.
The need to understand more fully the ways in which communication supports collaboration and to develop a more complete set of communication axioms.
Fuller specification of certain aspects of the formalization Reasoning mechanisms that individual agents utilize for elaborating partial
shared plans Axioms for the attitude of intending-that Mechanisms for reconciling intentions Formalism of commitment
57
“A Collaborative planning model of intentional structure”, Lochbaum 1994, 1998 (C.L.)
Bases théoriques model du discours : Grosz and Sidner 1986
• mais pas de proposition de modèle de traitement du modèle de structure proposé
planification : Shared Plans (Grosz/Sidner 1990, Grosz/Kraus 1993) • mais n'indique pas de connection entre SP et la structure du discours
Contribution principale de ce travail: un modèle de reconnaissance de la structure intentionnelle d'un discours
reposant sur les plans partagés. Ces plans sont utilisés• pour représenter les composantes de la structure intentionelle • pour raisonner au sujet de cette structure intentionnelle lors de
l'interprétation et la génération d'énoncés. de plus : un travail sur la formalisation des "préconditions de
connaissance »
58
Idées principales Chaque segment du discours est modélisé en utilisant un plan partagé. Le but de chaque segment (DSP) est interprété comme une intention
(tenue par l'initiateur du segment) des interlocuteurs à former ce plan Les énoncés faisant partie du segment sont interprétés à travers leur
contribution au plan partagé correspondant. Les interlocuteurs sont donc perçus comme cherchant à établir, à travers
leurs énoncés, les attitudes mentales requises pour une collaboration. Les relations entre les DSP reposent sur des relations subsidiaires entre
les plans partagés correspondants. (Un plan, SP1, est subsidiaire à un autre, SP2, si la réalisation de SP1 contribue à la réalisation de SP2, c’est à dire, si SP1 établit une des croyances ou intentions nécessaires à l’établissement de SP2.)
59
Interprétation G1 interprète les énoncés de G2 par le biais de la contribution de ces
énoncés à leur PSP. Cette interprétation peut prendre une des 3 possibilités suivantes : indication de l'initiation d'un SP subsidiaire de la fin du SP courant ou d'une contribution au SP courant.
Ces trois cas correspondent au problème de déterminer si un énoncé débute un nouveau segment de discours, complète le segment courant, ou bien y contribue.
Dans chaque cas, G1 commence par attribuer une attitude mentale à G2 à partir de son énoncé, puis raisonne au sujet de la pertinence de cette attitude mentale par rapport à leur PSP.
60
Génération Les croyances et intentions de G1 et G2 nécessaires à l’établissement de
leur SP, mais manquantes à leur PSP sont maintenues dans un "agenda". Les énoncés de G1 sont formés à partir de cet agenda, et peuvent à leur
tour, résulter en de nouvelles croyances ajoutées à l'agenda. Chez Lochbaum, l'organisation de cet agenda, ainsi que la procédure de
sélection d'un élément de l'agenda à poursuivre, ne sont pas traitées. La mise en oeuvre fait appel à un "oracle" .
61
Le «R-Graph»:arbre de planificationune représentation dynamique résultant de la composition et de l'instantiation de recettes représentation concrète de croyances mutuelles et intentions faisant partie
du plan partagé des interlocuteurs et concernant les actions mentionnées dans le dialogue
utilisée pour la modélisation du processus de raisonnement par lequel l'agent détermine la contribution d'un énoncé (interprétation ou génération) au plan partagé partiel des interlocuteurs.
construit par le "Rgraph construction algorithm"
62
Préconditions de connaissance Pour pouvoir exécuter une action, l’agent doit satisfaire à la fois
les préconditions physiques (par ex. la main du robot doit être vide pour qu’il puisse ramasser un objet)
et les préconditions de connaissance (le robot doit savoir comment ramasser un objet)
Révision des opérateurs de «capabilité » de Grosz et Kraus
63
Balkanski et Hurault-Plantet (2000) A computational model of dialogue
which supports the representation of, reasoning about and execution of communicative and non-communicative actions.
and allows for cooperative human-machine communication in written dialogues
Theoretical fondations Grosz and Sidner's theory of collaborative discourse + Shared Plans Lochbaum's computational model for discourse processing
Research objective : modelling cooperative behavior To allow the agent being modelled to interpret and manifest a type of
cooperative behaviour which follows Grosz and Kraus’s formalization of the commitment of each collaborative agent towards the actions of the other collaborative agents.
64
Diagramme schématique du modèle de dialogue
USER
DIALOGUE CONTEXT
Planification Graph
Focus Stack
DIALOGUE MANAGER
KNOWLEDGE BASE
Actions Recipes
Entities
PLAN REASONER
INTERPRETATION
Parser/Semantic Interpreter
Speach Act Identification
Pragmatic Interpretation
Planification
Speach Act Generator
Surface Generator
GENERATION
SYSTEM
65
Exemple de recette
complex action
name of recipe
TalkToPerson (G1, G2)
talkToPerson
EstablishCommunication (G1, G2)
Speak (G1)
complex or basic actions
talkToPerson recipe
66
Exemple de mise à jour du graphe de planification
A1(P1, P2)
R1
B1(P1, P3) B2(P2, P3)
+ C1 where C1 R(B1)
+ D1 where D1 enables C1
A1(P1, P2)
R1
B1(P1, P3) B2(P2, P3)
R2
C1(P3) C2(P1)D1(P3, P4)
contributes
enables
67
Etude de corpus Corpus
Transcription of human-human task-oriented dialogues (Castaing 1993) setting: telephone switchboard in an industrial setting
Exemple de dialogue1. L : <appel>2. S: CNRS3. L: bonjour Mme euh je voudrais le Mr A svp4. S: Mr A. $oui$$ quel est son poste5. L: c'est euh il travaille avec Mme Muzeu6. S: Mme7. L: MUZEU8. S: A. j'connais pas Muzeu ça m'dit vous savez où elle se trouve dans quel…9. L: hou la la la la c'est au LEI mais 10. $ah oui effectivement$$11. S: 22-26 j'vous la passe hein
68
Exemples de recettes
EstablishCommunication (G1, G2)
RequestCommunication (G1, PhoneNumber)
AcceptCommunication (G2)
establishCommunication constraint PhoneNumber = phone number (G2)
establishCommunication recipe
69
Recettes (suite)
EstablishCommunication (G1, G2)
Accept- Communication (G2)
establishCommByIntermediary
Establish- Communication (G1, G3)
TransferPerson (G3, G1, G2)
establishCommByIntermediary recipe
70
Recettes (suite)
transferPerson
LookUpPhNb (G1, G3, PhNb)
RequestCommunication (G1, PhNb)
TransferPerson (G1, G2, G3)
Connect (G1, G2, PhNb)
constraint G3 Entities
transferPerson recipe
71
Actions communicatives
AchieveHaveValue (G1, P)
RequestValue (G1, G2, P)
InformValue (G2, G1, P)
achieveHaveValueByRequest
AchieveHaveValue (G1, P:V)
CheckValue (G1, G2, P:V)
ConfirmValue (G2, G1, P)
achieveHaveValueByConfirm
achieveHaveValueByRequest achieveHaveValueByConfirm recipe recipe
72
Exemple de dialogue
1) <telephone call>
2) System: Hello.
3) User: Hello. I would like to speak to Mr. B.
4) System: Mr. B?
5) User: No, Mr. D.
6) System: OK, here he is.
73
Planification Graph:Action statuses1. the agents have not discussed the act, but the
system believes that it will be part of their joint recipe (action projetée)
2. the agents have discussed the act and agree that it is an element of their joint recipe
3. the act is basic and the agents have agreed to its performance
4. the act is complex and the agents have agreed to a particular recipe for the act
5. the act has been performed
74
Planification Graph after the interpretation of the phone call in (1)
EstablishCommunication (User, System)
RequestCommunication (User, PhoneNumber)
AcceptCommunication (System)
establishCommunication
status = 5 status = 1
status = 4
(1) phone call (2) "Hello" (3) "Hello, I would like to speak to Mr.B"
75
Partial view of the Planification Graph after the interpretation of utterance (3)
TransferPerson (System, User, Mr.B)
EstablishCommunication (User, System)
EstablishCommunication (User, Mr.B)
establishCommByIntermediary
talkToPerson
Speak (User)
TalkToPerson (User, Mr.B)
status = 4
status = 4
status = 5
status = 1 status = 1
status = 1
AcceptCommunication (Mr.B)
76
(suite)
transferPerson
LookUpPhNb (System, Mr.B, PhNb)
RequestCommunication (System, PhNb)
TransferPerson (System, User, Mr.B)
status = 1 status = 1
status = 4
Connect (System, User, PhNb)
status = 1
77
Partial view of the Planification Graph before the generation of utterance (4)
status = 3 status = 1
status = 4
status = 1 status = 1
status = 4
AchieveHaveValue (System, Person:Mr.B)
CheckValue (System, User, Person:Mr.B)
ConfirmValue (User, System, Person)
achieveHaveValueByConfirm
transferPerson
LookUpPhNb (System, Mr.B, PhNb)
RequestComm. (System, PhNb)
TransferPerson (System, User, Mr.B)
Connect (System, User, PhNb)
status = 1
(4) "Mr.B?" (5) "No, Mr.D"
78
Conclusion A model for interpreting and generating both communicative and non-
communicative actions in the context of task-oriented dialogues ; Interpretation and Task Advancement algorithms allowing for cooperative
human-machine communication in written dialogues ; cooperative behaviour of the agent being modelled rests on the use of
communicative actions allowing agents to share additional knowledge and assist each other in performing their actions
Extensions to Lochbaum’s work Interpretation algorithm that allows for a more extensive search through the
Rgraph, and for the treatment of a wider range of dialogues, algorithm of Task Advancement that allows for the interleaving of execution
and planning, and that handles generation
79
COLLAGENRich et Sidner (1997) Goal: allow a human user and an artificial agent to collaborate on a task
following the rules and conventions of human discourse. Theoretical foundations
discourse structure: Grosz and Sidner 86 collaboration: SharedPans: Grosz/Sidner 90, Grosz/Kraus 93, Lochbaum 93
Important note: no natural language understanding (!) practical point of view: difficult problem in its own right theoretical point of view: "discourse theory addresses the content of
collaborative communicationt a very fundamental level, regardless of what language is used".
language used: an artificial language developped by Sidner (AAAI'94) communication between agent and user is by English sentences,generated
from this artificial language using simple string templates
80
Implementation a prototype toolkit called Collagen (for Collaborative Agent)
application-independent component: underlying discourse structures and processing
application-specific component: domain specific knowledge an air travel application using it
direct-manipulation interface to an airline schedule database, and a simple constraint checker.
typical problem to be solved: "You are a Boston-based sales representative planning a trip to visit customers in Dallas, Denver, and San Francisco next week. You would prefer to leave on Wednesday morning, but can leave on Tuesday night if necessary. Your customer in Denver is only available between 11a.m. and 3p.m. on Thursday. You would prefer to fly as much as possible on American Airlines, as you have almost enough frequent-flyer miles to qualify for a free trip this summer. You absolutely must be home by 5p.m. on Friday in order to attend you son's piano recital.
81
Agent's internal discourse state Focus Stack: contains open segments
mutually believed info
Recipe Tree: a concrete representation of some of the mutual beliefs in SPs mutually believed info (Fig 4, IUI'97) composed of alternating act and recipe nodes, each having
associated bindings and constraints
History List: contains toplevel segments that have been popped off the stack
82
Algorithmes
Discourse interpretation algorithm :
reimplementation of Lochbaum's rgraph augmentation algorithm
Discourse generation algorith the inverse of the interpretation algorithm
83
System:3-way interaction: Communication between user and agent : via home-window
agent to user: printing English text in the agent's home window user to agent: by the user selecting from a dynamically-changing"user
communication menu", appearing in user's home page [more below] Observation between user and agent
user observes agent's actions by watching the agent's cursor agent observes user's actions by virtue of a layer in the application
Interaction between user/agent and shared application user and agent both have a cursor, and can both use the same
graphical interface to modify the state of the application note: state of the application may also be queried and modified using
the application's programming interface
Top Related