Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari
-
Upload
claire-mcdowell -
Category
Documents
-
view
42 -
download
3
description
Transcript of Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari
![Page 1: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/1.jpg)
D.D.Salvucci, J.H.Goldberg:Identifying fixations and saccades in eye-tracking
protocolsProc. Eye Tracking Research and
Applications Symposium (ETRA 2000)
Kimmo Koivunen 28.11.2000Silmän käyttäytymisen tutkimus ja sovellukset –seminaari
![Page 2: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/2.jpg)
Sisältö
• Johdanto (3)• Taksonomia (1)• Mallialgoritmit (8)• Diskussio (6)• Oma arvio (1)
![Page 3: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/3.jpg)
Johdanto
• Silmänliikkeiden seurannasta kertyy paljon dataa, jota suodatus vähentää tunnistamalla fiksaatiot ja sakkadit
• Alan tutkimuksissa kuitenkin harvoin kerrotaan millaista fiksaatioiden ja sakkadien tunnistusta on käytetty
• Tunnistusalgoritmilla voi olla merkittävä vaikutus myös korkeamman tason analyysien tuloksiin
![Page 4: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/4.jpg)
Johdanto
• Huonosti määritelty tunnistus voi esim. tuottaa liian vähän tai paljon fiksaatioita
• Algoritmeja on vertailtu tai tutkittu vähän• Lisäksi kirjoittajat nostavat esille
kysymyksen siitä, milloin fiksaatiot alkavat ja loppuvat
• Tämä ei ole täysin selvää ainakaan data-analyysin kannalta
• Kuuluvatko ensimmäiset ja viimeiset pisteet myös fiksaatioon?
![Page 5: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/5.jpg)
Johdanto
• Kirjoittajat ehdottavat taksonomiaa helpottamaan eri algoritmien vertailua
• Tämä voi auttaa muita tutkijoita myöhemmin oikean algoritmin valinnassa
• Taksonomian hyödyllisyys osoitetaan viiden mallialgotritmin avulla
![Page 6: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/6.jpg)
Taksonomia
• Taksonomia jaettu:– Spatiaalinen
•nopeusperustainen (velocity-based)•hajontaperustainen (dispersion-based)•alueperustainen (area-based)
– Ajallinen (temporal)•kestoherkkyys (duration sensitive)•paikallisesti mukautuva (locally
adaptive)
![Page 7: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/7.jpg)
Mallialgoritmit
• Kirjoittajat laativat viisi mallialgoritmiä– Velocity-Threshold Identification (I-VT) – Hidden Markov model fixation
identification (I-HMM)– Dispersion-Threshold Identification (I-
DT)– Minimum spanning trees identification
(I-MST)– Area-of-Interest Identification (I-AOI)
![Page 8: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/8.jpg)
Algoritmit taksonomiassa
![Page 9: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/9.jpg)
Velocity-Threshold Identification
• nopeusperustainen
• tarkka• hyvin nopea
– onnistuu reaaliajassa
• epäluotettava• helppo toteuttaa• yksi parametri
PSEUDOKOODI:I-VT (protocol, velocity
threshold)• Calculate point-to-point
velocities for each point in the protocol
• Label each point below velocity threshold as a fixation point, otherwise as a saccade point
• Collapse consecutive fixation points into fixation groups, removing saccade points
• Map each fixation group to a fixation at the centroid of its points
• Return fixations
![Page 10: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/10.jpg)
Hidden Markov model fixation identification
• nopeusperustainen
• paikallisesti mukautuva
• tarkka• nopea• luotettava
PSEUDOKOODI:I-HMM (protocol, HMM)• Calculate point-to-point
velocities for each point in the protocol
• Decode velocities with two-state HMM to identify points as fixation or saccade points
• Collapse consecutive fixation points into fixation groups, removing saccade points
• Map each fixation group to a fixation at the centroid of its points
• Return fixations
![Page 11: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/11.jpg)
Dispersion-Threshold Identification (I-DT)
• hajontaperustainen• keston huomioiva• paikallisesti mukautuva• kaksi parametriä, jotka riippuvat
toisistaan• vaatii tarkkaa parametrien asetusta,
mutta tällöin antaa hyviä tuloksia
![Page 12: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/12.jpg)
Dispersion-Threshold Identification (I-DT)
PSEUDOKOODI:I-DT (protocol, dispersion threshold, duration threshold)While there are still points• Initialize window over first points to cover the duration
threshold• If dispersion of window points <= threshold
Add additional points to the window until dispersion > thresholdNote a fixation at the centroid of the window pointsRemove window points from points
• ElseRemove first point from points
Return fixations
![Page 13: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/13.jpg)
Minimum spanning trees identification (I-MST)
• hajontaperustainen
• paikallisesti mukautuva
• tarkka• hidas• luotettava• vaikea toteuttaa
PSEUDOKOODI:I-MST(protocol, edge ratio, edge sd)• Construct MST from protocol data
points using Prim’s algorithm• Find the maximum branching depth
for each MST point using a depth-first search
• Identify saccades as edges whose distances exceed predefined criteria
• Define the parametric properties (µ, s) of local edges, identifying saccades when an edge length exceeds a defined ratio
• Identify fixations as clusters of points not separated by saccades
• Return fixations
![Page 14: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/14.jpg)
Area-of-Interest Identification (I-AOI)
• alueperustainen• keston huomioiva• epätarkka• nopea• luotettava• helppo toteuttaa• ongelmallinen
PSEUDOKOODI:I-AOI (protocol, duration threshold,
target areas)• Label each point as a fixation point
for the target area in which it lies, or as a saccade point if none
• Collapse consecutive fixation points for the same target into fixation groups, removing saccade points
• Remove fixation groups that do not span the minimum duration threshold
• Map each fixation group to a fixation at the centroid of its points
• Return fixations
![Page 15: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/15.jpg)
Diskussio
Algoritmejä verrattiin seuraavilla tekijöillä• tarkkuus (accuracy) • nopeus (speed)• luotettavuus (robustness)• toteutuksen helppous (ease of
implementation) • parametrien tarve (parameter setting)
![Page 16: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/16.jpg)
Diskussio
![Page 17: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/17.jpg)
Diskussio
• verrattiin myös eri toteuksia samalla datalla
• tuo esille eroja tunnistuksessa• seuraavassa neljän eri menetelmän
löytämät fiksaatiot
![Page 18: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/18.jpg)
Diskussio
a) I-VT b) I-VT with fixations collapsed into gazes
![Page 19: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/19.jpg)
Diskussio
c) I-HMM tai I-DTd) I-AOI
![Page 20: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/20.jpg)
Diskussio
• I-HMM ja I-DT tarjoavat tarkan ja luotettavan tunnistuksen huomiomalla viereiset pisteet
• I-MST myös luotettava, mutta liian hidas• I-VT helpoin ja nopein, mutta ei riittävän
luotettava• Nopeus- ja hajontaperustaiset saman
tasoisia• Alueperustaiset liian rajoittuneita ja
saattavat antaa vääriä tuloksia
![Page 21: Kimmo Koivunen 28.11.2000 Silmän käyttäytymisen tutkimus ja sovellukset –seminaari](https://reader036.fdocuments.in/reader036/viewer/2022062422/56812ce5550346895d91abe6/html5/thumbnails/21.jpg)
Oma arviointi
• mielenkiintoinen paperi• erilainen kuin muut• työläs ymmärtää• asiat esitetty ehkäpä liiankin tiiviisti• osoitti selvästi miksi algoritmien valinta
ja sen perusteleminen on tärkeää• jätti myös avoimia kysymyksiä