Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)

Post on 06-Dec-2014

1.095 views 0 download

description

 

Transcript of Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)

Spreekvaardigheidstrainingmet behulp van

Automatische Spraak-Herkenning (ASH)

Helmer Strik

Afdeling TaalwetenschapCentre for Language and Speech Technology (CLST)Radboud Universiteit Nijmegen

Radboud University Nijmegen

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 2

Overview

IntroductieASH: automatische spraakherkenningASH & CALL(computer assisted language learning)ASH & spreekvaardigheid

ProjectenConclusies

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 3

IntroductieStudenten die 1-op-1 instructie krijgen

presteren even goed als de top 2% van de studenten die traditionele klassikale instructie krijgen [Bloom 1984]

Een privé docent voor iedere leerling is niet haalbaar

è computertutor

CALL: computer assisted language learningToenemende belangstellingVeel tekst-gebaseerde systemen

Hoe zit het met spraak?

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 4

TNS: tekst-naar-spraakEr zijn wel applicaties met ‘spraak’:

Reading pen

Screen readers [:]

Mobiele telefoon: foto + OCR + TNS

Enkele zijn ook bruikbaar voor CALL TNS: tekst-naar-spraakTTS: text-to-speechKwaliteit goed genoeg?

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 5

TNS: tekst-naar-spraak (vervolg)Applicaties met ‘spraak’

Screen readers, reading pen, etc.Enkele zijn ook bruikbaar voor CALL

Echter, meestal kan de leerlingalleen luisteren (TNS: tekst-naar-spraak)of, ook spreken, maar …

geen evaluatie, ofde leerling moet zelf de evaluatie doenbijv. door te vergelijken met voorbeelden

Automatische evaluatie en feedbackè gebruik ASH, spraaktechnologieWat zijn de mogelijkheden?

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 6

ASH: automatische spraakherkenning

Decoder

AcousticModels

Lexicon LanguageModel

Speech SignalInput

W1 W2 W3 W4

WordsOutput

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 7

ASH: automatische spraakherkenningWat is ASH?

spraak-naar-tekst conversie

Applicaties:Dicteren (spreken i.p.v. typen)Command and control (PC besturen)Gesproken dialoogsystemen (informatie)etc.

ASH is niet perfect, zal dat waarschijnlijk nooit worden, zeker niet voor niet-moedertaal sprekers

Dit is ook het geval voor mensen!

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 8

Spraakherkenning

������

��

��

mii

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 9

ASH & CALLWat is al gedaan?

TNS: tekst-naar-spraakde PC ´ spreekt ´De leerling luistert

Reading tutorsde leerling leestde PC luistert

[:]

Interactive BooksVnl. leesvaardigheid

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 10

ASH & spreekvaardigheidNiet-moedertaal sprekers; projecten:

Computergestuurde SpreekvaardigheidstoetsDutch-CAPTDISCOTST-AAP

Mensen met communicatieve beperkingen

Trainen van spreekvaardigheidFeedback over fouten => ASH

ASH is niet perfect, en zal dat waarschijnlijk nooit zijnmet name voor niet-moedertaal sprekers

Weten wat wel / niet mogelijk is met ASHen daar goed rekening mee houden!

afge-lopen

nog lopend

deze presentatie

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 11

Dutch-CAPT

Dutch-CAPT project(Computer Assisted Pronunciation Training)

Trainen van spreekvaardigheid:uitspraak

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 12

Video: een voorbeeld

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 13

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 14

Maximaal 3 keer proberen

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 15

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 16

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 17

Een les

�� �������� ���������������������� �������� ��������������������

������������

������������

������������

� ������� ������

������������������� �������� �������� !������������������� �������� �������� !

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 18

Een les

�� �������� ���������������������� �������� ��������������������

������������������"!������������������"!

� ������� ������

������������

��������������

� ������� ������

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 19

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 20

Dutch-CAPT (vervolg)(CAPT: Computer Assisted Pronuciation Training)

EvaluatieExp. group: used the Dutch-CAPT systemControl group: didn’t use Dutch-CAPT

� Studenten positief (leuk, nuttig, etc.)� De verbetering (reductie in het aantal uitspraakfouten)

was significant groter voor de exp. groep die het Dutch-CAPT systeem gebruikte.

Training: slechts 4 weken x 1 sessie van 30-60 minuten

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 21

Percentage fouten

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

Exp. NiBu Exp. NiBu

11 doelklanken andere klanken

% errors (relative to type)

pre-test

post-test

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 22

2 Stevin projecten:DISCO: NT2, spreekvaardigehidTST-AAP: NT2, alfabetisering

Stevinstimuleringsprogramma voor TST voor het Nederlands gefinancierd door de Vlaamse en Nederlandse overheid gecoördineerd door de Nederlandse Taalunie (NTU)

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 23

Stevin project DISCOTrainen van spreekvaardigheid

uitspraak, morfologie, syntax

� CorrectVoorbeeld Ik loop naar huis

� FoutenUitspraak Ik lop nar guisMorfologie Ik lopen naar huisSyntax Ik naar huis lopen

Fouten automatisch detecterenm.b.v. spraaktechnologie

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 24

ASR

DisplayLogic

PromptGenerator

Words

Segmentation

ErrorDetectionGrading

FeedbackGeneration

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 25

Stevin demonstratie-project TST-AAPAlfabetisering met een luisterende computer

Bestaand methode:Auteur: Ad BakkerUitgeverij: Boom

Spraaktechnologie toevoegen:Detecteren of woorden & klanken (correct) uitgesproken zijn

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 26

ASH & lerenVoordelen van spraak (t.o.v. schrijven)

‘Self-explanation’Extra informatie:

Prosodie (klemtoon, accent, vraag, etc.)Emoties‘Houding’

Andere bruikbare technieken:VTH: virtual talking head [:]

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 27

ConclusiesASH is niet perfect

Leren m.b.v. ASH is mogelijk (beperkt domein)Algemene onderwerpen: rekenen, fysica, etc.Taal i.h.a.Spreekvaardigheid

Nodig:Mix van expertise: techn., pedagogie, design, …Verbeterde ASH, spraak technologieMeer projecten: R&D

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 28

Questions?

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 29

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 30

Dutch CAPT: overzichtHet programma bevat 4 lessen die ieder bestaan uit:Video: soap-opera met Nederlandse acteurs (uit Nieuwe

Buren, een communicatieve multimediale leermethode)

3 verschillende soorten oefeningen:22 dialogen: rol spelen46 oefeningen: vragen beantwoorden38 oefeningen: woorden uitspreken

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 31

����������������������������������������������������� ���� ���� ���� ���

������������������������ ������������������������

����������������������������

������������������������������������������������

��� ��� ��� ���������������������������

��������������������������������������������

��������

���

�������������������������� �� �� ��

����������������������������

��� ��� ��� ���������������������������

��������������������������������������������

��������������������

������������������������������������

!�������"�������!�������"�������!�������"�������!�������"�������

�����#�����!�����������#�����!�����������#�����!�����������#�����!������

$���������������%$���������������%$���������������%$���������������%

�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%

��+����+����+����+��

�����!�����������!�����������!�����������!������

����������,�������������,�������������,�������������,���

�������������������������������������������������������������$���������$���������$���������$������������%%%%

����������������������������������������������������� ���� ���� ���� ���

������������������������ ������������������������

����������������������������

������������������������������������������������

��� ��� ��� ���������������������������

��������������������������������������������

��������

���

�������������������������� �� �� ��

����������������������������

��� ��� ��� ���������������������������

��������������������������������������������

��������������������

������������������������������������

!�������"�������!�������"�������!�������"�������!�������"�������

�����#�����!�����������#�����!�����������#�����!�����������#�����!������

$���������������%$���������������%$���������������%$���������������%

�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%

��+����+����+����+��

�����!�����������!�����������!�����������!������

����������,�������������,�������������,�������������,���

�������������������������������������������������������������$���������$���������$���������$������������%%%%