Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)

Spreekvaardigheidstrainingmet behulp van

Automatische Spraak-Herkenning (ASH)

Helmer Strik

Afdeling TaalwetenschapCentre for Language and Speech Technology (CLST)Radboud Universiteit Nijmegen

Radboud University Nijmegen

Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 2

Overview

IntroductieASH: automatische spraakherkenningASH & CALL(computer assisted language learning)ASH & spreekvaardigheid

ProjectenConclusies


IntroductieStudenten die 1-op-1 instructie krijgen

presteren even goed als de top 2% van de studenten die traditionele klassikale instructie krijgen [Bloom 1984]

Een privé docent voor iedere leerling is niet haalbaar

è computertutor

CALL: computer assisted language learningToenemende belangstellingVeel tekst-gebaseerde systemen

Hoe zit het met spraak?


TNS: tekst-naar-spraakEr zijn wel applicaties met ‘spraak’:

Reading pen

Screen readers [:]

Mobiele telefoon: foto + OCR + TNS

Enkele zijn ook bruikbaar voor CALL TNS: tekst-naar-spraakTTS: text-to-speechKwaliteit goed genoeg?


TNS: tekst-naar-spraak (vervolg)Applicaties met ‘spraak’

Screen readers, reading pen, etc.Enkele zijn ook bruikbaar voor CALL

Echter, meestal kan de leerlingalleen luisteren (TNS: tekst-naar-spraak)of, ook spreken, maar …

geen evaluatie, ofde leerling moet zelf de evaluatie doenbijv. door te vergelijken met voorbeelden

Automatische evaluatie en feedbackè gebruik ASH, spraaktechnologieWat zijn de mogelijkheden?


ASH: automatische spraakherkenning

Decoder

AcousticModels

Lexicon LanguageModel

Speech SignalInput

W1 W2 W3 W4

WordsOutput


ASH: automatische spraakherkenningWat is ASH?

spraak-naar-tekst conversie

Applicaties:Dicteren (spreken i.p.v. typen)Command and control (PC besturen)Gesproken dialoogsystemen (informatie)etc.

ASH is niet perfect, zal dat waarschijnlijk nooit worden, zeker niet voor niet-moedertaal sprekers

Dit is ook het geval voor mensen!


Spraakherkenning

��

��

��

mii


ASH & CALLWat is al gedaan?

TNS: tekst-naar-spraakde PC ´ spreekt ´De leerling luistert

Reading tutorsde leerling leestde PC luistert

[:]

Interactive BooksVnl. leesvaardigheid


ASH & spreekvaardigheidNiet-moedertaal sprekers; projecten:

Computergestuurde SpreekvaardigheidstoetsDutch-CAPTDISCOTST-AAP

Mensen met communicatieve beperkingen

Trainen van spreekvaardigheidFeedback over fouten => ASH

ASH is niet perfect, en zal dat waarschijnlijk nooit zijnmet name voor niet-moedertaal sprekers

Weten wat wel / niet mogelijk is met ASHen daar goed rekening mee houden!

afge-lopen

nog lopend

deze presentatie


Dutch-CAPT

Dutch-CAPT project(Computer Assisted Pronunciation Training)

Trainen van spreekvaardigheid:uitspraak


Video: een voorbeeld


Maximaal 3 keer proberen


Een les

��

��

��

��

� ��

�� !�� !


Een les

��

��"!��"!

� ��

��

��

� ��


Dutch-CAPT (vervolg)(CAPT: Computer Assisted Pronuciation Training)

EvaluatieExp. group: used the Dutch-CAPT systemControl group: didn’t use Dutch-CAPT

� Studenten positief (leuk, nuttig, etc.)� De verbetering (reductie in het aantal uitspraakfouten)

was significant groter voor de exp. groep die het Dutch-CAPT systeem gebruikte.

Training: slechts 4 weken x 1 sessie van 30-60 minuten


Percentage fouten

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

Exp. NiBu Exp. NiBu

11 doelklanken andere klanken

% errors (relative to type)

pre-test

post-test


2 Stevin projecten:DISCO: NT2, spreekvaardigehidTST-AAP: NT2, alfabetisering

Stevinstimuleringsprogramma voor TST voor het Nederlands gefinancierd door de Vlaamse en Nederlandse overheid gecoördineerd door de Nederlandse Taalunie (NTU)


Stevin project DISCOTrainen van spreekvaardigheid

uitspraak, morfologie, syntax

� CorrectVoorbeeld Ik loop naar huis

� FoutenUitspraak Ik lop nar guisMorfologie Ik lopen naar huisSyntax Ik naar huis lopen

Fouten automatisch detecterenm.b.v. spraaktechnologie


ASR

DisplayLogic

PromptGenerator

Words

Segmentation

ErrorDetectionGrading

FeedbackGeneration


Stevin demonstratie-project TST-AAPAlfabetisering met een luisterende computer

Bestaand methode:Auteur: Ad BakkerUitgeverij: Boom

Spraaktechnologie toevoegen:Detecteren of woorden & klanken (correct) uitgesproken zijn


ASH & lerenVoordelen van spraak (t.o.v. schrijven)

‘Self-explanation’Extra informatie:

Prosodie (klemtoon, accent, vraag, etc.)Emoties‘Houding’

Andere bruikbare technieken:VTH: virtual talking head [:]


ConclusiesASH is niet perfect

Leren m.b.v. ASH is mogelijk (beperkt domein)Algemene onderwerpen: rekenen, fysica, etc.Taal i.h.a.Spreekvaardigheid

Nodig:Mix van expertise: techn., pedagogie, design, …Verbeterde ASH, spraak technologieMeer projecten: R&D


Questions?


Dutch CAPT: overzichtHet programma bevat 4 lessen die ieder bestaan uit:Video: soap-opera met Nederlandse acteurs (uit Nieuwe

Buren, een communicatieve multimediale leermethode)

3 verschillende soorten oefeningen:22 dialogen: rol spelen46 oefeningen: vragen beantwoorden38 oefeningen: woorden uitspreken


��

��

��

��

��

��

��

��

��

��

��

��

��

��

!��"��!��"��!��"��!��"��

��#��!��#��!��#��!��#��!��

$��%$��%$��%$��%

�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%

��+��+��+��+��

��!��!��!��!��

��,��,��,��,��

��$��$��$��$��%%%%

��

��

��

��

��

��

��

��

��

��

��

��

��

��

!��"��!��"��!��"��!��"��

��#��!��#��!��#��!��#��!��

$��%$��%$��%$��%

�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%

��+��+��+��+��

��!��!��!��!��

��,��,��,��,��

��$��$��$��$��%%%%

Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)

Documents

Transcript of Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)