Text ProcessingText Processing

Question AnsweringQuestion AnsweringBasi di Dati Multimediali - Giugno 2005Basi di Dati Multimediali - Giugno 2005

Marco Ernandes: ernandes@dii.unisi.itMarco Ernandes: ernandes@dii.unisi.it

22

MotivazioniMotivazioni

L’accesso alle informazioni diventa sempre più L’accesso alle informazioni diventa sempre più complesso quando:complesso quando: Information Overload: la collezione di dati diventa sempre Information Overload: la collezione di dati diventa sempre

più grande, e la velocità con cui cresce è superiore al più grande, e la velocità con cui cresce è superiore al miglioramento della tecnologia di accesso.miglioramento della tecnologia di accesso.

L’informazione è spesso duplicata.L’informazione è spesso duplicata. L’informazione è spesso falsa o non esatta.L’informazione è spesso falsa o non esatta.

Accesso tradizionale:Accesso tradizionale: Information Retrieval (IR)Information Retrieval (IR) Information Extraction (IE)Information Extraction (IE)

Il Question Answering (QA) si pone come Il Question Answering (QA) si pone come approccio alternativo.approccio alternativo.

33

MotivazioniMotivazioni Gli utenti Gli utenti voglionovogliono porre domande. porre domande.

Gli utenti Gli utenti voglionovogliono delle risposte concise, senza dover delle risposte concise, senza dover leggere liste di documenti.leggere liste di documenti.

Circa il 15% delle query nei motori di ricerca è formulato Circa il 15% delle query nei motori di ricerca è formulato come domanda.come domanda.

Grande interesse industriale & commerciale.Grande interesse industriale & commerciale. ES: “How much money does Pirelli invest on research?”ES: “How much money does Pirelli invest on research?” Google non trova un buon documento-rispostaGoogle non trova un buon documento-risposta Neanche con: “money Pirelli invest research”Neanche con: “money Pirelli invest research”

44

QA vs. IRQA vs. IR

L’Information Retrieval sostituisce il concetto di L’Information Retrieval sostituisce il concetto di “informazione” con quello di “documento”.“informazione” con quello di “documento”. Risponde con documenti completiRisponde con documenti completi Ordina i documenti per rilevanzaOrdina i documenti per rilevanza Sfrutta metodi statistici considerando la frequenza Sfrutta metodi statistici considerando la frequenza

delle parole nella query, nel documento e nella delle parole nella query, nel documento e nella collezione.collezione.

Limiti:Limiti: Risponde alle domande in modo indirettoRisponde alle domande in modo indiretto Non cerca di interpretare il “senso” della query Non cerca di interpretare il “senso” della query

dell’utente o dei documenti (NLP assente).dell’utente o dei documenti (NLP assente).

55

QA vs. IEQA vs. IE

L’Information Extraction si prefigge l’obiettivo di L’Information Extraction si prefigge l’obiettivo di riempire dei Template predefiniti.riempire dei Template predefiniti.

I topic di interesse sono conosciuti in anticipo, I topic di interesse sono conosciuti in anticipo, mentre il Question Answering è mentre il Question Answering è onlineonline..

I template sono creati “a mano” da esperti.I template sono creati “a mano” da esperti.

I Template non sono molto portabili da un I Template non sono molto portabili da un dominio all’altro.dominio all’altro.

Il QA si prefigge di ridurre l’intervento umano.Il QA si prefigge di ridurre l’intervento umano.

66

Relazioni tra QA e IR/IERelazioni tra QA e IR/IEQA deriva da IR in quanto:QA deriva da IR in quanto:

Può essere visto come un “Passage Retrieval” portato Può essere visto come un “Passage Retrieval” portato al limite.al limite.

E’ stato creato dalla comunità di Information RetrievalE’ stato creato dalla comunità di Information Retrieval Si appoggia su sistemi di IR per la gestione della Si appoggia su sistemi di IR per la gestione della

base documentale.base documentale.

QA deriva da IE in quanto:QA deriva da IE in quanto: Le domande possono essere viste come versioni Le domande possono essere viste come versioni

semplificate, ma non pre-definite, di Template.semplificate, ma non pre-definite, di Template. Le risposte vengono normalmente “estratte” dal testo.Le risposte vengono normalmente “estratte” dal testo.

Sia il QA che l’IE si discostano dal full-text Sia il QA che l’IE si discostano dal full-text understanding: non c’è comprensione, ma understanding: non c’è comprensione, ma localizzazione e riorganizzazione dell’info. localizzazione e riorganizzazione dell’info.

77

QA: gli obiettiviQA: gli obiettivi

Rispondere Rispondere direttamentedirettamente alle domande dell’utente, alle domande dell’utente, usando una frase compiuta in linguaggio naturale.usando una frase compiuta in linguaggio naturale.

Rispondere in modo preciso e conciso, così da Rispondere in modo preciso e conciso, così da minimizzare il tempo impiegato per “trovare” la risposta.minimizzare il tempo impiegato per “trovare” la risposta.

Rispondere motivando la risposta: fornendo il contesto Rispondere motivando la risposta: fornendo il contesto nel quale si è identificata la risposta, oppure fornendo nel quale si è identificata la risposta, oppure fornendo link ai documenti in cui è stata trovata.link ai documenti in cui è stata trovata.

Rispondere fornendo un grado di confidenza:Rispondere fornendo un grado di confidenza: Chi è l’attuale Cancelliere tedesco?Chi è l’attuale Cancelliere tedesco?: Gherard Schroeder al 70%: Gherard Schroeder al 70%

88

Riassumendo: cos’è il QA?Riassumendo: cos’è il QA?

Input: domande espresse in linguaggio naturale, Input: domande espresse in linguaggio naturale, non queries.non queries.

Output: risposte in linguaggio naturale, non Output: risposte in linguaggio naturale, non documenti.documenti.

Attenzione particolare su fact-based (factoids) Attenzione particolare su fact-based (factoids) questions:questions: Quanto è alto il Monte Everest?Quanto è alto il Monte Everest? Quando ha scoperto l’America Cristoforo Colombo?Quando ha scoperto l’America Cristoforo Colombo? Con chi era sposato il Conte di Cavour?Con chi era sposato il Conte di Cavour? Quante specie di ragni velenosi ci sono in Italia?Quante specie di ragni velenosi ci sono in Italia? Elenca 4 nazioni che producono diamanti sintetici.Elenca 4 nazioni che producono diamanti sintetici.

99

Lo stato dell’arteLo stato dell’arte

Alcuni sistemi di QA sono già prodotti Alcuni sistemi di QA sono già prodotti commerciali.commerciali.

AskJeeves:AskJeeves: http://www.askjeeves.com/http://www.askjeeves.com/ Database di domande risposte “a mano”Database di domande risposte “a mano” Se una domanda è sconosciuta cerca nel WebSe una domanda è sconosciuta cerca nel Web Non fa vero Question Answering: prestazioni scarseNon fa vero Question Answering: prestazioni scarse

AnswerBus: AnswerBus: http://www.answerbus.com/http://www.answerbus.com/

Language Computer:Language Computer: http://www.languagecomputer.comhttp://www.languagecomputer.com

AskMSR (Microsoft):AskMSR (Microsoft): Ha dato buoni risultati usando la semplice: inversione Ha dato buoni risultati usando la semplice: inversione

interrogativainterrogativaaffermativa (es: Dove si trova il Taj Mahal? affermativa (es: Dove si trova il Taj Mahal? Il Il Taj Mahal si trova …)Taj Mahal si trova …)

1010

Lo stato dell’arteLo stato dell’arte

Esempi di “Esempi di “buone”buone” risposte: risposte: Who won Wimbledon in 1953? Who won Wimbledon in 1953? “ “In 1953, In 1953, Little MoLittle Mo won won

all four Slams.”all four Slams.” ““How many people live in Paris?” How many people live in Paris?” “The population of “The population of

Paris is 2152423 people.”Paris is 2152423 people.”

Esempi di Esempi di cattivecattive risposte: risposte: Where do lobsters like to live? Where do lobsters like to live? ”On a Canadian airline””On a Canadian airline” Where do hyenas live? Where do hyenas live? “In the back of pick-up trucks”“In the back of pick-up trucks” Where are zebras most likely found? Where are zebras most likely found? “In the dictionary”“In the dictionary” Why can’t ostriches fly? Why can’t ostriches fly? “Because of American “Because of American

economic sanctions”economic sanctions” What’s the population of Maryland? What’s the population of Maryland? “Three”“Three” What is the height of a typical Giraffe?What is the height of a typical Giraffe? AskJeeves: AskJeeves:

“Michael Jordan is a typical giraffe”“Michael Jordan is a typical giraffe”

1111

Un po’ di storia del QAUn po’ di storia del QA

Sistemi di dialogo e QA sono nati fin dagli anni ’60!Sistemi di dialogo e QA sono nati fin dagli anni ’60! Nel 1965 se ne contavano già una quindicinaNel 1965 se ne contavano già una quindicina

BASEBALL (1961): primo sistema, front end NL per accesso a BASEBALL (1961): primo sistema, front end NL per accesso a databasedatabase

SHRDLU (1972): dialog&action nel mondo dei blocchiSHRDLU (1972): dialog&action nel mondo dei blocchi

BORIS(1972): story comprehensionBORIS(1972): story comprehension

LUNAR(1973): front end NL per accesso a informazione LUNAR(1973): front end NL per accesso a informazione geologica per le missioni Apollogeologica per le missioni Apollo

JUPITER(MIT-2000): QA vocale telefonico sul meteoJUPITER(MIT-2000): QA vocale telefonico sul meteo

Sistemi di QA open-domain sono recenti:Sistemi di QA open-domain sono recenti: MURAX (1993): risposte da enciclopediaMURAX (1993): risposte da enciclopedia

1212

Person PICK A BIG RED UP BLOCK.Computer OK. (does it)Person GRASP THE PYRAMID.Computer I DON'T UNDERSTAND WHICH PYRAMID YOU MEAN.Person FIND A BLOCK WHICH IS TALLER THAN THE ONE YOU ARE

HOLDING AND PUT IT INTO THE BOX.Computer BY "IT", I ASSUME YOU MEAN THE BLOCK WHICH IS TALLER

THAN THE ONE I AM HOLDING.Computer OK. (does it)Person WHAT DOES THE BOX CONTAIN?Computer THE BLUE PYRAMID AND THE BLUE BLOCK.Person WHAT IS THE PYRAMID SUPPORTED BY?Computer THE BOX.Person HOW MANY BLOCKS ARE NOT IN THE BOX?Computer FOUR OF THEM.Person IS AT LEAST ONE OF THEM NARROWER THAN THE ONE WHICH

I TOLD YOU TO PICK UP?Computer YES, THE RED CUBE.Person IS IT SUPPORTED?Computer YES, BY THE TABLE.Person CAN THE TABLE PICK UP BLOCKS?Computer NO

Storia del QA: SHRDLU (es.)Storia del QA: SHRDLU (es.)

1313

TREC: la competizioneTREC: la competizione

TText ext REREtrieval trieval CConferenceonference Serie di workshops sull’Information RetrievalSerie di workshops sull’Information Retrieval Iniziato nel 1992, sponsor NIST (National Institute of Iniziato nel 1992, sponsor NIST (National Institute of

Standard and Technology), DARPAStandard and Technology), DARPA Il QA è uno dei 6 track (ora 7) della conferenza, iniziato Il QA è uno dei 6 track (ora 7) della conferenza, iniziato

con il TREC-8 (1999), 20 partecipanticon il TREC-8 (1999), 20 partecipanti

Il TREC fornisce una collezione di articoli come Il TREC fornisce una collezione di articoli come base testuale (> 1milione nel 2002, 3Gb) e poi i base testuale (> 1milione nel 2002, 3Gb) e poi i team competono sulle stesse domande.team competono sulle stesse domande. Newswire delle agenzie di stampa e articoli giornalisticiNewswire delle agenzie di stampa e articoli giornalistici I team inseriscono proprie basi di conoscenza addizionaliI team inseriscono proprie basi di conoscenza addizionali

1414

TREC: le domandeTREC: le domande

Domande Open-Domain, negli anni difficoltà cresciutaDomande Open-Domain, negli anni difficoltà cresciuta

Estratte dai log-files di motori di ricerca (MSNSearch, Estratte dai log-files di motori di ricerca (MSNSearch, Excite), motori QA (AskJeeves), enciclopedie (Encarta).Excite), motori QA (AskJeeves), enciclopedie (Encarta).

Factoid questions: Who, When, Where, Why, …Factoid questions: Who, When, Where, Why, … Who invented the telephone?Who invented the telephone? In what year was the telephone invented?In what year was the telephone invented? Why did President Clinton risk impeachement?Why did President Clinton risk impeachement?

List Questions:List Questions: Name 4 people from Massachussets who were candidates for Name 4 people from Massachussets who were candidates for

vice-president.vice-president.

Definition Questions (What is): Definition Questions (What is): What is epilepsy?What is epilepsy?

1515

TREC: valutazioneTREC: valutazione

Prime 3 edizioni, da TREC-8 (’99) a Prime 3 edizioni, da TREC-8 (’99) a TREC-10 (’01):TREC-10 (’01): 2 tipologie di risposte: 50-byte e 250-byte passage2 tipologie di risposte: 50-byte e 250-byte passage La risposta doveva essere “trovata” all’interno del La risposta doveva essere “trovata” all’interno del

passage da due arbitri umani (valutazione molto passage da due arbitri umani (valutazione molto soggettiva)soggettiva)

200, 689 e 500 domande: per ogni domanda 200, 689 e 500 domande: per ogni domanda potevano essere date 5 risposte, ordinate.potevano essere date 5 risposte, ordinate.

Punteggio: Punteggio: Mean Reciprocal Rank (MRR)Mean Reciprocal Rank (MRR)• MRR = 1/pos(correct_answer).MRR = 1/pos(correct_answer).

1616

TREC: valutazioneTREC: valutazione

Dal TREC-11 (’02):Dal TREC-11 (’02): Il sistema deve fornire solo 1 rispostaIl sistema deve fornire solo 1 risposta La risposta deve essere corredata di uno score di La risposta deve essere corredata di uno score di

confidenzaconfidenza L’output deve essere NO_ANSWER se la collezione usata L’output deve essere NO_ANSWER se la collezione usata

non contiene la risposta. non contiene la risposta. La risposta di lunghezza variabile, ma contenente solo La risposta di lunghezza variabile, ma contenente solo

l’informazione corretta e formulata in modo sintatticamente l’informazione corretta e formulata in modo sintatticamente coerente (la correttezza di una risposta rimane comunque coerente (la correttezza di una risposta rimane comunque un’opinione degli arbitri). Nel 2003 è stato introdotto il un’opinione degli arbitri). Nel 2003 è stato introdotto il Passage Task.Passage Task.

ES: ES: What is the longest river in the USA? What is the longest river in the USA? E’ errata: “E’ errata: “2.348 miles long, the Mississipi River is the 2.348 miles long, the Mississipi River is the longest river in the USlongest river in the US”.”.

1717

TREC 2003: risultatiTREC 2003: risultati

FACTOID QUESTIONS

LIST QUESTIONS DEFINITIONS

1818

QA: architettura generaleQA: architettura generale

Tutti i sistemi che partecipano al TREC Tutti i sistemi che partecipano al TREC possiedono almeno 4 moduli fondamentali:possiedono almeno 4 moduli fondamentali:

1)1) Question AnalysisQuestion Analysis: cerca di capire la natura della : cerca di capire la natura della domandadomanda

2)2) Document RetrievalDocument Retrieval: cerca di ottenere dei : cerca di ottenere dei documenti rilevanti (quindi c’è anche bisogno di una documenti rilevanti (quindi c’è anche bisogno di una repository di documenti)repository di documenti)

3)3) Document ProcessingDocument Processing: analizza il contenuto dei : analizza il contenuto dei documentidocumenti

4)4) Answer ExtractionAnswer Extraction: cerca di ottenere la risposta a : cerca di ottenere la risposta a partire dai documenti selezionatipartire dai documenti selezionati

1919

QA: architettura generale 2QA: architettura generale 2

QuestionAnalysis

QuestionAnalysis

DocumentProcessing

DocumentProcessing

AnswerExtraction

AnswerExtraction

DocumentRetrieval

DocumentRetrieval

Keywords Passages

Question Semantics

Catturare la semantica di unadomanda. Formulare la migliorquery possibile.

Estrarre e fare il ranking delle porzionidei documenti più promettenti.

Estrarre e fare il ranking dellerisposte candidate

Q A

2020

QA: architettura generale 3QA: architettura generale 3

Question Parsing

Question Classification

Query Formulation

Info-Retrieval

Answer Extraction

Answer Selection

Generazione albero sintattico: ai nodi si trovano i termini e il loro valore grammaticale (aggettivo, sost,…). Stabilire il tipo di domanda: nominale (where), numerica (how many, how tall…), temporale (when), …

Trasforma la domanda in una o varie keyword-query da inviare al sistema di IR.

Estrae le risposte candidate dai documenti e dalle strutture prodotte dal modulo di IE.

Sceglie le risposte migliori da dare in uscita al sistema e ne fa il ranking (eventualmente confidenza).

Document processing

Answer Construction

Modulo di IE: seleziona le porzioni utili dei docs (passaggi), estrae i NE e ne definisce le relazioni.

Ans

wer

Typ

e

2121

QA: question analysisQA: question analysis

Questionsemantic representation

Q Questionparsing

Questionparsing

Costruzione di una nuovaquestion representation

Costruzione di una nuovaquestion representation

Question Classification:Riconoscimento Answer Type

Question Classification:Riconoscimento Answer Type

Query Reformulation & Expansion: Keyword selection

Query Reformulation & Expansion: Keyword selection

AT category

Keywords

E’ una fase di grande importanza: determina il E’ una fase di grande importanza: determina il successo o meno del sistema! E’ la causa della successo o meno del sistema! E’ la causa della maggior parte di errori irreversibili.maggior parte di errori irreversibili.

2222

QA: question analysisQA: question analysis

Question Classification - 2 approcci:Question Classification - 2 approcci:

Knowledge engineering: AT detection Knowledge engineering: AT detection determinata da regole e da database lessicalideterminata da regole e da database lessicali

Machine Trainable: apprendimento da esempi Machine Trainable: apprendimento da esempi (es: SVM sul parse tree della domanda).(es: SVM sul parse tree della domanda).

2323

QA: AT detection QA: AT detection

QuestionQuestion Question stemQuestion stem Answer typeAnswer type

What was the name of Titanic’s captain?What was the name of Titanic’s captain? WhatWhat PersonPerson

What U.S. Government agency registers What U.S. Government agency registers trademarks?trademarks?

WhatWhat OrganizationOrganization

What is the capital of Kosovo?What is the capital of Kosovo? WhatWhat CityCity

How much does one ton of cement cost?How much does one ton of cement cost? How muchHow much QuantityQuantity

Per identificare la categoria semantica di una domanda si cercano le Question Stems

Altre question stems: Who, Which, Name, How hot...Altre question stems: Who, Which, Name, How hot... Altri answer type: Country, Number, Product...Altri answer type: Country, Number, Product...

2424

QA: AT detection QA: AT detection Capire l’answer type a partire dalle Question

Stems può essere immediato: Why Why REASON REASON When When DATE DATE Who Who PERSON PERSON

Alle volte la question stem invece è ambigua:Alle volte la question stem invece è ambigua: Per esempio:Per esempio:

• WhatWhat was the name of Titanic’s captain was the name of Titanic’s captain ? (PERSON) ? (PERSON)• WhatWhat U.S. Government agency registers trademarks? (ORG) U.S. Government agency registers trademarks? (ORG)• WhatWhat is the capital of Kosovo is the capital of Kosovo? (CITY)? (CITY)

Soluzione: seleziona un’ altra parola della domanda Soluzione: seleziona un’ altra parola della domanda (AT words) che aiuta a disambiguare l’answer type(AT words) che aiuta a disambiguare l’answer type

Per esempio:Per esempio:• captain, agency, capitalcaptain, agency, capital

2525

QA: AT detection QA: AT detection Per collegare un termine della domanda ad un answer Per collegare un termine della domanda ad un answer

type si definisce una tassonomia di answer type.type si definisce una tassonomia di answer type.

Quando il termine non si trova nella tassonomia AT si Quando il termine non si trova nella tassonomia AT si usa una tassonomia di concetti (generale): WordNet.usa una tassonomia di concetti (generale): WordNet.

migliaia di migliaia di concetti per concetti per l’inglese l’inglese

C’è anche C’è anche per l’Italiano.per l’Italiano.

Realizzato a Realizzato a mano!mano!

2626

QA: AT taxonomyQA: AT taxonomyLa tassonomia di AT di WebClopediaLa tassonomia di AT di WebClopedia

2727

QA: AT detection QA: AT detection Algoritmo di Answer Type Detection:Algoritmo di Answer Type Detection:

Rimuovi dalla domanda le parole “content-free” Rimuovi dalla domanda le parole “content-free” (es:“name”)(es:“name”)

Delle rimanenti seleziona la parola più riccamente Delle rimanenti seleziona la parola più riccamente connessa nella question representation (derivante connessa nella question representation (derivante dall’albero sintattico)dall’albero sintattico)

A partire da questa parola risali la tassonomia (WordNet) A partire da questa parola risali la tassonomia (WordNet) fino a che non trovi un’Answer Typefino a che non trovi un’Answer Type

ES: What is the name of the French oceanographer who owned Calypso?

NAMENAME

FRENCHFRENCH

OCEANOGR.OCEANOGR.

OWNEDOWNED

CALIPSOCALIPSOresearcher

oceanographerchemist

scientist,man of science

PERSONPERSON

2828

QA: AT detection QA: AT detection

Valutazione Tassonomia AT:Valutazione Tassonomia AT: Test fatto variando in modo automatico la copertura (in Test fatto variando in modo automatico la copertura (in

numero di concetti usati) WordNet della tassonomia AT.numero di concetti usati) WordNet della tassonomia AT. 800 domande usate800 domande usate

E’ utile possedere una vasta gerarchia di AT, ma oltre E’ utile possedere una vasta gerarchia di AT, ma oltre un certo limite (300/500 concetti) il contributo è minimo.un certo limite (300/500 concetti) il contributo è minimo.

Copertura della gerarchiaCopertura della gerarchia Precision 50-byte answerPrecision 50-byte answer

0% 0% 0.2960.296

3% 3% 0.4040.404

10% 10% 0.4370.437

25% 25% 0.4510.451

50% 50% 0.4610.461

2929

QA: Query Formulation 1 QA: Query Formulation 1 Le domande devono essere approssimate con una Le domande devono essere approssimate con una

bag of word di parole con un lessico rilevantebag of word di parole con un lessico rilevante

Tipico algoritmo di scelta del lessico:Tipico algoritmo di scelta del lessico:1.1. Seleziona le non-stopwords tra apici (nella dom.): “Promessi Sposi”Seleziona le non-stopwords tra apici (nella dom.): “Promessi Sposi”

2.2. Seleziona i Named-Entities: “Alessandro Manzoni”, PeugeotSeleziona i Named-Entities: “Alessandro Manzoni”, Peugeot

3.3. Seleziona i nomi più insoliti Seleziona i nomi più insoliti

4.4. Seleziona i modifiers (aggettivi) dei nomi insolitiSeleziona i modifiers (aggettivi) dei nomi insoliti

5.5. Seleziona tutti gli altri nomi (con modifiers)Seleziona tutti gli altri nomi (con modifiers)

6.6. Seleziona tutti i verbiSeleziona tutti i verbi

7.7. Seleziona la AT word (evitata negli step precedenti)Seleziona la AT word (evitata negli step precedenti)

ES:ES:

What researcher discovered the vaccine against Hepatitis-B? Hepatitis-B, vaccine, discover, researcher

What is the name of the French oceanographer who owned Calypso? Calypso, French, own, oceanographer

What U.S. government agency registers trademarks? U.S., government, trademarks, register, agency

What is the capital of Kosovo? Kosovo, capital

3030

QA: Query Formulation 2 QA: Query Formulation 2

Se il numero di keyword non supera il limite (es: 10 Se il numero di keyword non supera il limite (es: 10 per Google) per Google) QUERY EXPANSIONQUERY EXPANSION

La query può essere espansa in due modi:La query può essere espansa in due modi: Inserendo derivazioni (forme flesse di un certo lemma)Inserendo derivazioni (forme flesse di un certo lemma) Inserendo sinonimiInserendo sinonimi

La query viene quindi gestita con catene AND OR:La query viene quindi gestita con catene AND OR:

ES: What researcher discovered the vaccine against Hepatitis-B?

(Hepatitis-B OR Hepatitis) AND (vaccine OR vaccines OR cure OR cures) AND (discover OR discovered OR discovers) AND (researcher OR scientist)

3131

QA: Query Formulation 3 QA: Query Formulation 3

Si può rispondere con successo ad una porzione di Si può rispondere con successo ad una porzione di domande in un modo estremamente semplice:domande in un modo estremamente semplice:

Riformulare la domanda in modo affermativo (lavorando Riformulare la domanda in modo affermativo (lavorando sull’albero sintattico).sull’albero sintattico).

Mettere l’affermazione ottenuta tra apiciMettere l’affermazione ottenuta tra apici Considerare come potenziali risposte tutto ciò che nei Considerare come potenziali risposte tutto ciò che nei

documenti si trova a destra (o in certi casi a sinistra) documenti si trova a destra (o in certi casi a sinistra) dell’affermazione. dell’affermazione. Approccio di AskMSR Approccio di AskMSR

ES: ES: Where is the Louvre Museum located?Where is the Louvre Museum located?

“ “The Louvre Museum is located”The Louvre Museum is located”

The Louvre Museum isThe Louvre Museum islocated located in Paris Cedex n° 01in Paris Cedex n° 01

… … and the Louvre Museum isand the Louvre Museum islocated located next to the rivernext to the river

3232

QA: Query Formulation 4 QA: Query Formulation 4

Il modulo di query formulation può dialogare con Il modulo di query formulation può dialogare con quello di Information Retrieval: quello di Information Retrieval: Keyword AdjustmentKeyword Adjustment

1.1. Nella prima iterazione usa un numero “intermedio” di Nella prima iterazione usa un numero “intermedio” di keywords (6 keyword è una regola del pollice efficace)keywords (6 keyword è una regola del pollice efficace)

2.2. Se il numero di hit (documenti ottenuti) è sotto una Se il numero di hit (documenti ottenuti) è sotto una certa soglia allora la query è troppo selettiva: riduci la certa soglia allora la query è troppo selettiva: riduci la query di una keyword (l’ultima)query di una keyword (l’ultima)

3.3. Se il numero di hit è sopra una certa soglia allora Se il numero di hit è sopra una certa soglia allora inserisci una keyword per rendere la query più selettiva.inserisci una keyword per rendere la query più selettiva.

4.4. Se con tutte le keywords la query rimane poco Se con tutte le keywords la query rimane poco selettiva: combina le keywords usando gli apiciselettiva: combina le keywords usando gli apici

3333

QA: IR and Document Processing QA: IR and Document Processing

L’approccio tipicamente usato è quello del Passage L’approccio tipicamente usato è quello del Passage Retrieval: si cerca di estrarre le porzioni di documenti Retrieval: si cerca di estrarre le porzioni di documenti che con alta probabilità contengano la risposta.che con alta probabilità contengano la risposta.

1.1. Un sistema di IR ritorna la lista di docs associati alla query.Un sistema di IR ritorna la lista di docs associati alla query.

2.2. Un sistema di PR seleziona le porzioni interessanti.Un sistema di PR seleziona le porzioni interessanti.

3.3. Si fa lo scoring dei passaggi ottenutiSi fa lo scoring dei passaggi ottenuti

I sistemi di Web-Based QA usano generalmente le I sistemi di Web-Based QA usano generalmente le snippetssnippets di Google per risolvere i punti 1 e 2. di Google per risolvere i punti 1 e 2.

3434

QA: Passage Ranking QA: Passage Ranking Da un passaggio (o snippet) vengono estratte delle finestre usando Da un passaggio (o snippet) vengono estratte delle finestre usando

le keywords della queryle keywords della query

Per esempio, con le keywords: {kPer esempio, con le keywords: {k11, k, k22, k, k33, k, k44}, otteniamo un passage }, otteniamo un passage in cui kin cui k11 e k e k22 sono presenti 2 volte, k sono presenti 2 volte, k33 una volta, e k una volta, e k44 è assente. Si è assente. Si definiscono le finestre della figura sotto.definiscono le finestre della figura sotto.

Lo scoring definitivo lo si calcolaLo scoring definitivo lo si calcolasulla base di alcune metriche:sulla base di alcune metriche:

Same Word Sequence ScoreSame Word Sequence Score: : # di parole della domanda# di parole della domandaritrovate nello stesso ordineritrovate nello stesso ordineall’interno della finestraall’interno della finestra

Missing Keyword ScoreMissing Keyword Score: : # di keyword mancanti # di keyword mancanti all’interno della finestraall’interno della finestra

Distance ScoreDistance Score: # di parole : # di parole intercorrenti tra le keywordintercorrenti tra le keywordpiù distanti nella finestrapiù distanti nella finestra

k1 k2 k3

k2

k1

Window 1 Window 2

k1 k2 k3

k2

k1

Window 4

k1 k2 k3

k2

k1

Window 3 k1 k2 k3

k2

k1

3535

QA: Answer Extraction 1 QA: Answer Extraction 1

Si tratta di un modulo che riceve in input: Si tratta di un modulo che riceve in input: delle porzioni rilevanti dei documentidelle porzioni rilevanti dei documenti un answer type da ricercare in questi estrattiun answer type da ricercare in questi estratti

Step necessari:Step necessari: Analisi IE del passage in modo da ottenere tutte le Named Analisi IE del passage in modo da ottenere tutte le Named

Entities (la maggior parte delle domande sono relative a NE).Entities (la maggior parte delle domande sono relative a NE). Selezione delle NE della categoria corretta: Selezione delle NE della categoria corretta: Candidate AnswersCandidate Answers Ranking delle risposte candidate.Ranking delle risposte candidate.

Lo score delle risposte candidate può essere ottenuto:Lo score delle risposte candidate può essere ottenuto: Grazie ad un sistema addestratoGrazie ad un sistema addestrato Con delle euristiche legate alla Candidate-Query DistanceCon delle euristiche legate alla Candidate-Query Distance

3636

QA: Answer Extraction 2QA: Answer Extraction 2

Name the first private citizen to fly in space. Answer type: Person Text passage: “Among them was Christa McAuliffe, the

first private citizen to fly in space. Karen Allen, best known for her starring role in “Raiders of the Lost Ark”, plays McAuliffe. Brian Kerwin is featured as shuttle pilot Mike Smith...”

Miglior risposta candidata: Christa McAuliffe

Conferma intuitiva: è infatti la NE “person” più vicina ai i question-terms della domanda (l’unica contenuta nella stessa frase dove si trovano tutti i question terms).

3737

QA: Answer Extraction 3QA: Answer Extraction 3

Approccio Machine-Learning. Si estraggono delle feature particolari relative al passage e

alla parola candidata, ad esempio: # question terms nel passage# question terms nel passage # question terms nella stessa frase della candidata# question terms nella stessa frase della candidata # question terms, fuori dalla frase, ma vicine (es: 3 parole)# question terms, fuori dalla frase, ma vicine (es: 3 parole) # question terms che si trovano nell’ordine della domanda# question terms che si trovano nell’ordine della domanda distanza media tra la candidata e le question termsdistanza media tra la candidata e le question terms

Si usa una tecnica di machine-learning (un Percettrone funziona già bene) per associare un peso a ciascuna di quelle features e attribuire uno score ad ogni candidata.

Si addestra il sistema su un set di answer passage con le risposte corrette poste come output desiderato 1 e le altre 0 (oppure -1).

3838

QA: Answer Extraction 4QA: Answer Extraction 4

Pattern Learning (WebClopedia ’02)

Webclopedia: 6 Question TypesWebclopedia: 6 Question Types BIRTHDATE, LOCATION, INVENTORBIRTHDATE, LOCATION, INVENTOR DISCOVERER, DEFINITION, WHY-FAMOUSDISCOVERER, DEFINITION, WHY-FAMOUS

WebClopedia costruisce automaticamente dei pattern WebClopedia costruisce automaticamente dei pattern osservando le frequenze dei contesti delle risposte.osservando le frequenze dei contesti delle risposte.

ES: BIRTHDATE table:ES: BIRTHDATE table:• 1.01.0 <NAME> ( <ANSWER> - )<NAME> ( <ANSWER> - )• 0.850.85 <NAME> was born on <ANSWER>,<NAME> was born on <ANSWER>,• 0.60.6 <NAME> was born in <ANSWER><NAME> was born in <ANSWER>• 0.590.59 <NAME> was born <ANSWER><NAME> was born <ANSWER>• 0.530.53 <ANSWER> <NAME> was born<ANSWER> <NAME> was born• 0.500.50 - <NAME> ( <ANSWER>- <NAME> ( <ANSWER>• 0.360.36 <NAME> ( <ANSWER> -<NAME> ( <ANSWER> -

3939

QA: Answer Extraction 5QA: Answer Extraction 5

Approccio Candidate-Query Distance: Funziona bene la mean square distance

Dove: è il minimo numero di parole che separa wk

da wQt

# 2

t=0( , , ) ( , , )

t

terms Q

k i k Q idist w Q P dist w w P

( , , )

tk Q idist w w P

Among them was Christa McAuliffe, the first private citizen to fly in space

34

5

7

4040

QA: Answer Construction QA: Answer Construction Enumera tutte le candidate per N-grams (N=1,2,3)Enumera tutte le candidate per N-grams (N=1,2,3)

Associa un peso a ciascun N-gram = # occ.* scoreAssocia un peso a ciascun N-gram = # occ.* score

Example: “Example: “Who created the character of Scrooge?”Who created the character of Scrooge?” Dickens: 117, Charles Dickens: 75, Disney: 72, Dickens: 117, Charles Dickens: 75, Disney: 72, Carl Banks: 54, Uncle: 31, Mr Charles: 10Carl Banks: 54, Uncle: 31, Mr Charles: 10

Rimuovi gli overlapRimuovi gli overlap

Dickens

Charles Dickens

Mr Charles

Scores

75

117

10

merging, rimuovi n-grams vecchi

Mr Charles DickensScore 202

N-Gramscombina il miglior n-gram

N-Grams

ripeti finchè ci sono overlap