Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller

Coadaptation cerveau machine pour une interaction optimale :

application au P300-SpellerMargaux Perrin

Directeur de thèse : Olivier BertrandEncadrant : Jérémie Mattout

Proche collaborateur : Emmanuel Maby

Laboratoire : Centre de Recherche en Neurosciences de Lyon – Equipe DycogFinancement : ANR Co-Adapt21 Décembre 2012

Septembre 2009 – Décembre 2012

2

Introduction sur les Interfaces Cerveau-Machine

ICM : interface de communication directe entre un cerveau et un dispositif externe

ICMAnimal

HommeInvasive

Non invasive

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion

Neurosciences

CliniqueIngénierie

Sélection de marqueurs

Classification ou régression Décision

Applications : Monitoring Restauration fonctionnelle Rééducation fonctionnelle

Non médicales (jeu vidéo, monitoring…)

Acquisition de signal

Transformation en commande

numérique

feedback

3

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

2 phases : Phase d’étalonnage (quelques minutes) Phase de test

Exemple d’une ICM : le P300-SpellerObjectif : aide à la communication


Feedback

…

P300 Speller

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

Répétition 1= 12 flashs Répétition 3Répétition 2

H

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

P300 Speller

Acquisition &

Traitement des signaux

Cible

N1

P300

P8

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

P300 Speller

Acquisition &

Traitement des signaux

Non cible

P8

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K L

A B C D E F

H

H

4

Intérêt de cette application

Image du film Le Scaphandre et le papillontiré du livre de J.D. Bauby

atteint du syndrome d’enfermement

Restauration de la communication

Population concernée : Syndrome d’enfermement (Locked-in) Sclérose latérale amyotrophique Syndrome de Guillain-Barré …

Évaluation chez une patiente (coll. Jacques Luauté) :• Femme de 38 ans victime d’un AVC du tronc basilaire en 2009• État Locked-in (sauf mouvement des yeux)• Enregistrée à l’hôpital Henri Gabrielle entre mars et décembre 2010• Performance maximale : 0,6 lettres correctes par minute1 • Performance maximale chez les sujets sains : 4.8 lettres correctes par minute2

Nécessité d’améliorer le protocole


1 Maby, Perrin et al., 2011, Proceedings of the 5th international BCI conference2 Maby, Perrin et al, In preparation

5

Coadaptation cerveau-machineIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

Action

Action

Perception

Perception Apprentissage

Modulée par : Apprentissage Motivation Vigilance

010111001 Apprentissage continu des marqueurs (Daucé et al, In prep.)

Durée de la phase d’étalonnage adaptative(Rivet et al, 2011, J. of Physiology)

6

Coadaptation cerveau-machineIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

Action

Action

Perception

Perception

Signal de satisfaction

Peut-on améliorer l’interaction en

exploitant un signal de satisfaction ?


optimisant le temps de réaction de la

machine ?

Décision adaptative

010111001

7

Méthodeso Tâche : P300-Spellero Électrophysiologie : EEGo Environnement logiciel :

• En ligne : Open-ViBE [1]

• Hors ligne : Matlab, Elan [2]

o Traitements de données :• Sélection de caractéristiques : Filtre temporel, fréquentiel et spatial (xDAWN [3])• Classifieur : mixture de gaussiennes

o Évaluation :• Performance : taux de lettres correctes• Bit rate : taux d’information transmise par unité de temps• Sensibilité, spécificité : mesures de l’efficacité d’un classifieur• Questionnaires

o Analyses statistiques : R, SPM [4][1] Renard et al, 2010, Presence: Teleoperators and Virtual[2] Aguera et al, 2010, , Comput. Intell. Neurosci.[3] Rivet et al, 2009, IEEE TBME[4] Litvak et al, 2011, Comput. Intell. Neurosci.


CibleNon cible

8

Expérience 1

Étude hors ligne des réponses aux feedbacks


9

Objectifs

Feedback

Signal de réponse au feedback ? Modulation par apprentissage ? Modulation par attention ?

Détection ?

Correction ?


exploitant un signal de satisfaction ?


10

Temps (ms)

Ampl

itude

(µV)

CorrectErreur

Les signaux de réponse au feedback

Signaux modulés par la prédictibilité apprentissage


Signaux modulés par la valence du feedback

FRN

P3

Holroyd et al., 2007, Psychophysiology

Attendu (erreur difficile – correct facile)Inattendu ( erreur facile – correct difficile)

Temps (ms)

Ampl

itude

(µV)

FCz

Stimulus auditif

1 sec

Clic avec une souris

Réponse correcte

DifficileErreurs fréquentes

attendues

FacileErreurs rares inattendues Différence entre feedbacks négatifs et positifs

Cohen and Ranganath, 2007, J. NeuroscienceFriston, 2005, Philos Trans R Soc Lond B Biol Sci

Réponses au feedback

11

Leur utilisation dans les ICM

Spüler et al., 2012, Clinical Neurophysiology

Détection de l’ErrP

• Appelées ErrP• Des études sur le sujet depuis une dizaine d’années• Beaucoup d’études hors ligne• Avant 2012 : études avec maximum 6 sujets


• Stratégies de correction (Rousseau, 2012) :• Annulation de la commande• Remplacement par le second choix du classifieur• Itération de la commande

12

Protocole expérimental

• EEG (32 électrodes)• 19 sujets sains• Paramètres :

3 Répétitions Flashs toutes les 190 ms Étalonnage : 25 lettres 3 sessions de 24 mots de 5 lettres (360 lettres)

En moyenne : 80% de lettres correctes attendues

• Maby, Perrin et al. HBM Conf. 2010 ; • Maby, Perrin et al., in prep.

P300 Speller utilisant le logiciel OpenViBE

Feedbacks complètement contrôlés : 20% de feedbacks négatifs 80% de feedbacks positifs


13

P O M F E G P A D E K O B L A M A 6I 8

En pratique

POMME

PXMME

POMFE

Expérimentateur

Vue du sujet

Feedbacks envoyés

F P B

feedback négatif attendu feedback négatif inattendu

Enregistrement des réponses « réelles »

Une réponse réelle correcte correspond à un niveau attentionnel élevé


P O M G A E K O L M A 6IAA

feedback positif attendu feedback positif inattendu

14

• Sélection de fenêtres temporelles (SPM) 250-310 ms FRN 380-750 ms fenêtre 380-460 ms pour P3

• Analyse de variance sur données essai par essai (R)

Les réponses au feedback sont-elles présentes dans le contexte des ICM ?

FRN

P3

* ***

Temps (ms)


Feedback négatifFeedback positif

• Étude électrophysiologique classique• Prétraitements

Filtrage 0.1-20 Hz Correction des artefacts oculaires avec une ICA Rejet manuel d’artefacts

Temps (ms)

Ampl

itude

(µV)


Correct Erreur

FRN

P3

Condition facile23% d’erreurs

15

Reflètent-elles l’apprentissage ?

Réponses plus amples pour les feedbacks inattendus Reflet de l’apprentissage des règles d’apparition des erreurs

FRN réduite pour les erreurs réelles Reflet de l’attention

Feedbacks envoyés


Sont-elles modulées par l’attention ?Les réponses au feedback

Performances réelles

Feedbacks envoyés

*

**

Temps (ms)

*

Erreurs réellesCorrects réels

Temps (ms)

Holroyd et al., 2007

****


Feedbacks négatifs – feedbacks positifs

Est-ce que la machine était performante ? 8/10

Feedbacks attendusFeedbacks inattendus

16Nombre de lettres d’étalonnage

SensibilitéSpécificité

Peut-on détecter les réponses au feedback ?• Fenêtre temporelle : 200-600 ms• Étalonnage : de 25 à 250 lettres• Test sur les 110 lettres

100 200 250 36015050

Données de test

0

Données d’étalonnage

Temps (ms)


• Sensibilité =

• Spécificité =

• Spécificité très élevée• Sensibilité augmente avec le nombre de lettres utilisées pour l’étalonnage

FB neg. bien détectésNombre total de FB neg.

FB pos. bien détectésNombre total de FB pos.

FRN

P3

17

A B C D E F

G H I J K L

M N O P Q R

S T U V W X

Y Z 1 2 3 4

5 6 7 8 9 _

Peut-on corriger les erreurs ?

SC: Pertinence du second choix (lorsque le 1èr choix est faux)

= 53%

Gain théorique lié à la correction : ~3%

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0,4 0,5 0,6 0,7 0,8 0,9 1

SC (%

)

% lettres correctes

Pertinence du second choix en fonction de la performance

R = 0,50P < 0.05


-6-4-202468

101214

Participants

Gai

n (%

)

18

Conclusion expérience 1Introduction Expérience 1 Expérience 2 Expérience 3 Discussion

• Perrin et al., 2011, 5th int. BCI conf. Graz• Perrin et al., in preparation

Réponse au feedback modulée par apprentissage

et attentionDétection

Correction


exploitant un signal d’erreur ?

19

Expérience 2

Évaluation en temps-réel de la correction automatique


20

Objectifs

Satisfaction ?

Détection ?

Correction ?




Localiser les sources corticales des réponses aux feedbacks Évaluer l’efficacité d’un nouveau mode de stimulation par groupes pseudo-aléatoires de lettres

21

Protocole expérimental

• EEG (56 électrodes) /MEG (275 capteurs) • 16 sujets sains• Feedbacks réels• Conditions difficiles pour avoir des erreurs :

2 répétitions par lettre Flashs toutes les 110 ms


Test du P300-Speller340 lettres avec feedback

Étalonnage réponse aux cibles36 lettres sans feedfack

Test de la correction100 lettres

Étalonnage réponse aux feedback240 lettres

Questionnaire

22

Détection des réponses aux feedbacks

Expérience 1 Expérience 2

Sensibilité 65% 63%

Spécificité 95% 88%

Explication :

Erreurs moins surprenantesPertinence du 2nd choix moins bonne

FRN moins ample

↘ Rapport signal sur bruitMoins bonne discrimination des signaux Second choix moins pertinent


Correction des erreurs


Second Choix 53% 36%

Gain 3% 0,5%

Sur 16 participants : 50% améliorent leur performance (jusqu’à +12%), et 37.5% la détériorent (jusqu’à -19%) 44% préfèrent le mode avec correction


Taux d’erreurs 20% 38%



Feedback négatif

Réponses réellement

incorrectes : 20%


incorrectes : 100%



Feedback négatif


incorrectes : 20%


incorrectes : 100%

Traitements Hors ligne En ligne

23

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00

% lettres correctes

Spéc

ifici

té

Résultat inattendu : 2 groupes de participants

Différences entre les deux groupes (p<0.05) :

Spécificité <75% >85%

Performance 46% 72%

Second Choix 29% 45%

Gain -5% +4%

Sentiment que la machine est efficace 4,5/10 6,6/10

Sentiment de contrôle sur la machine 5,2/10 7,4/10


Gain <0 Gain >0 Gain = 0

Préférence : Sans correction Avec correction

Spec = 0,95

Spec = 0,68

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00

% lettres correctes

Spéc

ifici

té

24

Différences électrophysiologiques

Différence flashs cibles – non ciblesDifférence feedbacks incorrects – corrects

Potentiel plus précoce pour le groupe avec spécificité >85%

Potentiel plus ample pour le groupe avec spécificité >85%

***


Spec. >85%Spec. <75%

N1 importante pour la classification des ciblesDifférence attentionnelle entre les deux groupes

25

Conclusion expérience 2Introduction Expérience 1 Expérience 2 Expérience 3 Discussion

Détection ?

Correction



Bit rate meilleur qu’avec une stratégie de réécriture

Perrin et al., 2012

Dal Seno et al, 2010

Spüler et al., 2012

Spécificité 88% 68% 96%

Sensibilité 63% 62% 40%

Préférence variable


Sensibilité 65% 63%

Spécificité 95% 88%

Conclusion expérience 2

Niveau attentionnel / motivationnel

Qualité des réponses aux flashs

Qualité des réponses aux feedbacks

Performance Second choix

Qualité de la classification des cibles

Qualité de la classification des ErrP

Efficacité de la correction

Prédictibilité du feedback

Perception de l’efficacité de la machine

Électrophysiologie

Classification

Mesures objectives

Mesures subjectives


Préférence26

Perrin et al., 2012, Advances in human computer interaction

27

Expérience 3

Optimisation du temps de réaction de la machine


28

Objectifs


optimisant le temps de réaction de la

machine ?

Qualité du signal

Temps de réaction optimal Effet sur le sujet ?

3 étapes : Modification de la méthode Évaluation de la méthode hors ligne Évaluation de la méthode en ligne et de l’effet sur le sujet


29

Feedback

Sélection de marqueurs Classification Décision

A priori : p(x)Mise à jour après chaque nouvelle

observation/flash

Données: φp(x|φ)

p(x|φ) α p(φ|x)

Nouveau classifieurIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

NON

OUI

Suffisamment d’information ?

Moyennage à travers les répétitions

.p(x)

30

• Calcul de l’entropie de Shannon de la distribution de probabilité après chaque nouvelle observation

Quand la connaissance augmente, l’entropie diminue Lorsque l’entropie passe en dessous d’un certain seuil, la stimulation

s’arrête et la décision est prise

Critère sur l’informationIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

Évaluation hors ligneComparaisons de 2 approches sur des données réelles d’une précédente expérience :

ktN

kktt ppH ,

1, log.

◦ Approche fixe : nombre fixe de flashs (critère temporel)◦ Approche adaptative : nombre de flash optimal (critère sur l’information)

31

AdaptatifÉcart-typeFixeÉcart-type

% le

ttre

s co

rrec

tes

Résultats hors ligneRésultat en temps-réel de

Lenhardt et al. 2008

Résultats hors ligne avec nos données

(20 sujets x 60 lettres)

Mode fixe : 30 bits/minute9 sujets9 lettres

Mode adaptatif : 50 bits/minute12 sujets 22 lettres


• Bit rate maximal équivalent avec mode adaptatif • Bit rate en mode fixe meilleur sur nos données Gain inférieur sur nos données (+10 bits/min vs. +20 bits/min) Différence en ligne vs. hors ligne ? Effet de la motivation ?

AdaptatifÉcart-typeFixeÉcart-type

32

Expérience en temps-réel

o Protocole expérimental• EEG - 9 électrodes• 11 sujets sains• 3 conditions (100 lettres/cond.)

• Questionnaire

o Choix du seuil de décision :• Utilisation des données d’étalonnage pour estimer un seuil qui correspond

environ à 24 et 60 flashs en moyenne

Fixe Adaptatif prudent Adaptatif risqué5 rep 15 rep max

5 rep en moyenne(=60 flashs)

15 rep max2 rep en moyenne

(=24 flashs)

Comparaisons hors ligne Effet de la motivation Effet de la méthode

Comparaison en ligne Effet global


33

***

**

RésultatsPerformance en temps-réel Performance hors-ligne

Données réanalysées avec une décision fixe sur les 2 premières répétitions

L’approche adaptative est plus efficace et augmente la motivation Performances encore meilleures


30%

40%

50%

% le

ttre

s co

rrec

tes

50 52 54 56 58 60 62 640.60

0.70

0.80

0.90

1.00FixeAdaptatif prudent

Nombre de flashs

% le

ttre

s co

rrec

tes

60 flashs = 5 répétitions

Effet global : +10% Effet motivation : +6%Effet méthode : +4%≈ +

34

Préférences des sujets

Conclusion• Modes adaptatifs plus efficaces que mode fixe

• Modes adaptatifs plus agréables d’utilisation

• Effet vertueux des modes adaptatifs qui favorisent la motivation et améliorent ainsi les performances Coadaptation cerveau-machine


Perrin et al., In preparation

• Plus motivant• Plus stimulant

• Plus fiable• Plus prédictible

• Plus précis• Moins de concentration nécessaire

35

Discussion


36

SynthèseIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

Action

Action

Perception

Perception

• Signaux d’erreur (exp1) • Reflet de l’apprentissage (exp1 et 2)• Modulation par l’attention (exp1 et 2)

• Correction peu efficace mais très sujet-dépendante (exp1 et 2)• Décision adaptative très efficace (exp3)

exp1 et 2

Attention ↗

Performance ↗

Correction ↗

Coté cerveau Coté machine

Interaction

Remarques importantes :• Effets observés en temps-réel ≠ Effets observés hors ligne Utilisateur adaptatif• Préférences différentes d’un sujet à l’autre Importance d’une adaptation individualisée

010111001

exp3

ICM adaptative

Motivation ↗

Performance ↗

36

37

PerspectivesIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

Action

Action

Perception

Perception

• Étude des sources corticales Augmenter connaissance• Autres marqueurs (ssvep1)

• Correction : biais2, a priori3, thêta4…• Machine adaptative : optimisation compromis performance/temps, écriture prédictive• Ergonomie : nouveaux casques…

Décision adaptative

Motivation ↗

Correction ↗ ?

Coté cerveau Coté machine

Interaction

010111001

[1] Edlinger et al, 2011, 6th int Conf on Universal access in human-computer interaction.[2] Spüler et al., 2012, Clinical Neurophysiology[3] Ahi et al, 2011, IEEE Trans Neural Syst Rehabil Eng[4] Rousseau et al., 2012, Thèse

P300 Speller

M N O P Q R

5 6 7 8 9 _

Y Z 1 2 3 4

S T U V W X

G H I J K LA B C D E F

MERCI_A_TOUS

40

Essai patiente

Maby, Perrin et al, 5th International BCI Conference 2011

Etalonnage

Test PerfClassificatio

n

Train01 Sess01 24,4% 53,7%

Sess02.01 Sess02.02 15,6% 37,8%

Sess03.01 Sess03.02 15,0% 52,5%

Sess04.01 Sess04.01 27,3% 48,9%


Répartition des erreurs

Healthy subjects

Poor performerAccuracy : 43.8 %

Good performerAccuracy : 99.4 %

PatientAccuracy : 22.6 %

CibleNon cible

Oddball actif

41

Perspective clinique

Laureys et al. Lancet Neurol 2004

Intendix(Guger Technologies)

Supprimer toutAlarme

Copie dans un mail Sauvegarde

EspaceSortie vocale

Impression

Origine de la différence entre sujets sains et locked-in syndrome ?


Guenther, PLoS ONE 2009(groupe Kennedy, Atlanta USA)

- Patient « Locked-in »

- Décodage et synthèse du langageen temps-réel (délai ~50 ms)

- Après un court apprentissage,les performances de productionde voyelles sont de 70%


43

Temps (ms)

Ampl

itude

(µV)

CorrectErreur

Les signaux de réponses au feedback

Réponse motrice pas indispensable

Signaux modulés par l’erreur de prédiction apprentissage


PerteGain

Choix

Temps (ms)

Cz

CzPerteGain

Pas de réponse

Temps (ms)

Signaux modulés par la

valence du feedback

FRN

P300

FRN

P300

Correct facileErreur difficileCorrect difficileErreur facile

Temps (ms)


Yeung et al., 2005, Cerebral Cortex

FCz

Attendu (erreur difficile – correct facile)Inattendu ( erreur facile – correct difficile)

Temps (ms)

Ampl

itude

(µV)

FCz

44

Réponse au feedback

Feedback négatifFeedback positif

-1000 1000 2000 3000 4000 5000 ms0

-1000 1000 2000 3000 4000 5000 ms0


Effet Perf sur session 3


45

Modulations des réponses au feedback

Feedbacks envoyés

Temps (ms)Temps (ms)

Performances réelles

Feedbacks envoyés

****

*

**


Erreurs réellesCorrects réelsFeedbacks attendus

Feedbacks inattendus

46

• Pc = 1-P * Sens. * SC + P * Spec.

00,10,20,30,40,50,60,70,80,9

1

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

SC (%

)

% lettres correctes

Pertinence du second choix en fonction de la performance

3 rep2 rep1 rep

Nombre de lettres d’étalonnage

SensibilitéSpécificitéPPc

CorrectionIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

-6-4-202468

101214

3 Rep. 1 Rep.

Participants

Gai

n (%

)

47

Évolution de la classification

CorrectsErreurs

Au début de la calibration A la fin de la calibration

Nombre de lettres d’étalonnage

SensibilitéSpécificité

Au milieu de la calibration

CorrectsErreursCorrectsErreurs


Choix de la fenêtre temporel Choix du nombre de filtres spatiaux

Choix des paramètres de détection des feedbacks négatifs


48

49

Correction automatique

erreurs corrects

correction 23.7% 7.6%

correction 14% 54.7% S01 21.75 16.27 13.55S03 3.25 3.01 3.27S04 6.00 5.45 5.14S06 4.69 5.45 4.37S12 12.23 9.68 8.88S14 10.20 8.97 9.39S02 12.23 13.01 14.24S05 18.29 18.68 19.23S07 26.10 25.63 24.43S08 25.08 25.48 24.79S09 15.51 15.34 15.38S10 21.30 23.51 26.59S11 25.58 24.78 24.40S13 7.42 7.82 10.43S15 10.20 10.30 11.97S16 27.15 28.07 28.61

All 13.06 12.70 12.81Spec <0.75 9.03 7.71 7.37Spec >0.85 18.21 18.77 19.56

No correctionError detection and respelling

Error detection and automatic correction

(online)

Subjects

Spelling mode (bits/min)

meta-subjects

Réponses aux feedbacks

Spec. > 85%

Spec. < 75%

Feedbacks correctsFeedbacks incorrectsFeedbacks correctsFeedbacks incorrects



Différences inter-individuelles

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

% lettres correctes

Sens

ibili

té d

e la

dét

ectio

n de

s er

reur

s

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.20

0.25

0.30

0.35

0.40

0.45

0.50

0.55

0.60

0.65

% lettres correctes

Perti

nenc

e du

2nd

cho

ix

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00

% lettres correctes

Spéc

ifici

té


Préférence : Sans correction Avec correction

Spec = 0,95

Spec = 0,68

0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00

% lettres correctes

Spéc

ifici

té

+1%

-3%-2%


51


52

0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.60

0.70

0.80

0.90

1.00

% lettres correctes

Dét

ectio

n de

s er

reur

s

p < 0.05 r = 0.62

Effet de la performance sur la correction des erreurs

Effet de la performance sur la détection des erreurs


détection correction

0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.20

0.30

0.40

0.50

0.60

0.70

% lettres correctes

Seco

nd C

hoix p <0.001

r = 0.78

Effet de la performance sur la

53

Détection des erreurs en essai unique1er auteur Visconti DalSeno Spüler Schmidt Perrin

Année 2008 2010 2012 2012 2012

Tâche P300-Speller P300-Speller P300-Speller indépendant de la direction du

regardP300-Speller

Nombres de sujets

5 2 98 sujets

âgés5 patients 11 16

Electrodes Fz, Cz, Pz, Oz 16 électrodes 57 électrodes 32 électrodes

Epoch [-100 500] ms [100-800] ms [150-900] ms [200 600] ms

Filtrage 1-10 Hz 0,5-16 Hz ? 1-20 Hz

Classifieur LDA appliqué aux

coefficients polynomiaux

LDA SVM avec une fonction de base

radialeLDA

mixture de deux gaussiennes

Nombre d'essais pour l'étalonnage

413 en moyenne258 ou 374 (pour sujet 1 ou sujet 2)

323 en moyenne

274 en moyenne

223 en moyenne

390 en moyenne, dans une tâche différente

300 en moyenne 240

% Feedbacks incorrects

17% 25 ou 22% ~25% (paramètres adaptés à

chaque sujet dans ce but)

~15% ~20%38%

paramètres adaptés pour avoir 15%

Type de testValidation croisée

hors ligneTest en temps-réel Test en temps-réel Test en temps-réel Test en temps-réel Test en temps-réel

Spécificité 55 à 91% 66 ou 69% 96% 94% 91% 94% 95% 88%

Sensibilité 46 à 84% 58 ou 66% 40% 51% 35% 38% 66% 63%


54

Détection des erreurs en essai unique1er auteur Visconti DalSeno Ferrez (a) Ferrez Ferrez (b) Chavarriaga Iturate Lopez Kreilinger Spüler Schmidt Perrin

Année de publication 2008 2010 2008 2007 2008 2010 2010 2010 2012 2012 2012 2012

Tâche P300-Speller Clic vers une cible (simulation d'ICM)

Contrôle d'un carré sur un écran par imagerie motrice

Observation d'un jeu de Memory

Observation d'un robot

Estimation de la durée d'une

seconde

contrôle d'un bras robotisé par imagerie motrice

P300-Speller P300-Speller

indépendant de la direction du regard

P300-Speller

Nombres de sujets

5 2 5 6 2 6 4 5 10 98 sujets

âgés5 patients 11 16

Electrodes utilisées

Fz, Cz, Pz, Oz FCz et Cz Fz, FC1, FC2, FCz, Cz, Cp1, CP2,

Cpz laplacian autour

de Cz16 électrodes 57 électrodes 32 électrodes

Fenêtre temporelle

[-100 500] ms [150-650] ms [250-400] ms [200-800] ms [200-600] ms [200 400] ms [100-800] ms [150-900] ms [200 600] ms

Filtrage fréquentiel

1-10 Hz 1-10 Hz 0.5-10 Hz 0,5-10 Hz 0,5-16 Hz ? 1-20 Hz

Classifieur LDA appliqué

aux coefficients polynomiaux

LDA mixture de deux gaussiennesv-SVM avec une fonction de

base radialeLDA

SVM avec une fonction de base radiale

LDA mixture de deux

gaussiennes

Nombre d'essais pour l'étalonnage

413 en moyenne

258 ou 374 (pour sujet 1 ou sujet 2)

~1500 sur deux jours (J1 et J2)

~15001500x6 sujets :

données issues de Ferrez et al, 2007

~900 ~2000 200 600 ~160323 en

moyenne274 en

moyenne223 en

moyenne

390 en moyenne, dans une

tâche différente

300 en moyenne

240

% Feedbacks incorrects

17% 25 ou 22% 20% (feedback biaisé)20%

(feedback biaisé)

20% (feedback biaisé)

~32% 5 à 33% 50% 50% 27%~25% (paramètres adaptés à

chaque sujet dans ce but)

~15% ~20%

38%

paramètres adaptés pour avoir 15%

Type de testValidation

croisée hors ligne

test en temps-réel

Validation croisée et test hors ligne

(étalonnage sur J1, test sur J2)

Validation croisée hors

ligne

Test en temps-réel

Test en temps-réel

Test hors ligneValidation

croisée hors ligne


ligne


ligneTest en temps-réel

Test en temps-réel

Test en temps-réel

test en temps-réel

Spécificité 55 à 91% 66 ou 69% Val-croisée : 83%

82% 82% 88% Chance level 82.5% J1 : 74%

Détail non précisé,

exactitude : 61%

96% 94% 91% 94% 95% 88%Test sur J2 : 84% J2 : 81%

Sensibilité 46 à 84% 58 ou 66% Val-croisée : 83%

76% 82% 75% Chance level 79%J1 : 79%

40% 51% 35% 38% 66% 63%Test sur J2 : 79% J2 : 78%


55

N170 ★ 160-200 ms (N170)

EEG

MEG

Aucune différence entre les conditions

PO7

MRT35

Bad feedbackGood feedback

MEG/EEGFWE corr.

p<0.05

Aire V1 bilatérale et gyrus fusiforme

en accord avec Henson et al, Neuroimage, 2009


56

FRN/P3 : Résultats de scalp ★ 230-400 ms (FRN+P300)

FCz

★ 310-450 ms (~P300)

MRT14

★ 260-280 ms (~FRN)

MLT14

EEG

MEG

En MEG, deux fenêtres temporelles émergent. Elles correspondent aux latences de la FRN et de la P300.

Différences claires entre les réponses aux feedbacks positifs et négatifs, dominés par les ondes FRN et P300.

Feedbacks négatifsFeedbacks positifs


57

Reconstruction de sources

★ FCRP (Feedbacks positifs 260-280 ms, N=15)

EEG

MEG

Gyrus occipital moyen et inférieur

Cortex cingulaire supérieur et médian

Gyrus pariétal inférieurGyrus temporal moyen

Uncorr. p<10-5

FWE corr. p<0.05

z=10 y=-82 y=-15x=0

z=-1 y=-47 y=-78x=-32


58



MEG/EEG

Gyrus frontal inférieur Gyrus précentralAire motrice supplémentaire

Gyrus occipital supérieur Gyrus temporal inférieur

Uncorr. p<10-5

z=28 x=24 z=-11 y=-58

z=22 y=14 y=-8x=17 y=-21x=38


59


★ FRN - FCRP (Feedbacks négatifs – feedbacks positifs, 260-280 ms,

N=11 i.e. sujets avec suffisamment d’essais « erreurs »)

Gyrus frontal

inférieur

Gyrus temporal inférieur

MEG/EEGUncorr. p<10-4

z=12 y=14

z=-9 y=-60


Gyrus frontal inférieur Gyrus temporal moyenAire motrice supplémentaire

Gyrus occipital supérieur Gyrus temporal inférieur



MEGUncorr. p<10-5


Gyrus occipital moyen

Literature review

Dorsal PCC

Donamayor et al, 2011/2012• Gambling task / Time-reaction task• MEG / simultaneous EEG-MEG• Reconstruction of the difference between bad and good feedbacks with LORETA

250-315 ms

Bellebaum et al, 2008• strategy task• EEG• Reconstruction of the difference between bad and good feedbacks with LORETA

230-270 ms

Ferrez et al, 2008• Simulated BCI• EEG• Reconstruction of the difference between bad and good feedbacks with LORETA

Rostral cingulate

zone (ACC)et pre-SMA

250 ms

300 ms (unexp. BFB)

PCC

320 ms (exp. BFB)

Caudal ACC


62

Stimulation statique aléatoire (SRS): la cible est toujours associée aux mêmes items distracteurs

Stimulation dynamique aléatoire (DRS): l’assocation entre items change d’une répétition à la suivante

Dilution d’erreur : nouveau mode de flashage

Nrep: 1 Nrep: 2 Nrep: 3

Nrep: 1 Nrep: 2 Nrep: 3

B

75% des erreurs sont dans le

groupe de lettres qui contient la

cible


1st repetition 2nd repetition3rd repetition4th repetition

Exemple simplifié : évolution du signal et des probabilités au cours du temps

5th repetition

Différences plus grandes entre signaux cibles et non cibles effet moins dévastateur d’une stimulation perturbatrice Devrait permettre d’améliorer la classification

Lettre cible : M

DRSSRS

Probabilité d’être la cible

Somme cumulée du signal

Simulations simplifiées :signaux aléatoires issus d’une moyenne et d’une variance choisies de manière arbitraire pour les groupes de lettres cibles et non cibles.


64

Mode de flashage :stimulation dynamique vs. statique

Stimulation dynamique (DRS) plus efficace dès 2 répétitions

2 rep 4 rep0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.85

0.90 Splotch

SuperSplotchSRSDRS

***

**Nrep x stim: **

0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10.2

0.4

0.6

0.8

1.0

Taux d’erreur dans le groupe de lettres de la cible en SRS

% le

ttre

s co

rrec

tes

p = 0.037r = 0.56


65

Analyses hors ligne à 8-9 capteurs

32 chan 8 chan 9 chan2 rep 68% 44% 41% 40% 39% 56%4 rep 84% 66% 63% 59% 57% 76%

Objectif : améliorer le confort des participants en réduisant la durée d’installation utilisation clinique

Choix des capteurs adapté de Cecotti et al. 2011en réanalysant hors ligne les données de l’expérience 2


66

Pré-testsIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

AdaptatifFixe

Simulations (1000 lettres par point)

1 2 3 4 5 6 7 8 9 1030

40

50

60

70

80

90

100

StaticDynamic

Nombre de répétitions

% le

ttre

s co

rrec

tes

Données réelles (60 lettres x 20 sujets par point)

Évaluation du nouveau classifieur

Statique

Dynamique

Évaluation du mode adaptatif

% le

ttre

s co

rrec

tes

67

Évaluations exp3Introduction Expérience 1 Expérience 2 Expérience 3 Discussion

0

5

10

15

20

25

30

Bits

/min

ute

** ***

Risqué

Risqué

Fixe

Risqué

Fixe

Fixe 2rep

Prudent

Fixe 2rep

En ligne :

Hors ligne :

Effet de la méthodeEffet motivationnel

20 25 30 35 40 45 50 55 60 650.40

0.50

0.60

0.70

0.80

0.90

5 répétitions fixesDynamique "prudent"Dynamique "risqué"

Nombre de flashs

% le

ttre

s co

rrec

tes

En ligne Hors ligne

**

Fixe Adaptatif prudent

Adaptatif risqué

15

17

19

21

23

25

Bits

/min

ute

**

Expérience comparant le mode standard et le mode optimisé

Expérience comparant le mode standard et le mode optimisé


N=12 Standard Optimisé

Rapide 4,6 lettres correctes/minute Perf : 62%

4,5 lettres correctes/minute Perf : 62%

Lent 3,9 lettres correctes/minute Perf : 78%

4,4 lettres correctes/minute Perf : 91%

Préférences :

67%

8%8%

17%

Questionnaire (Dynamique lent vs. Fixe lent) : motivation ↗ ; contrôle de la machine ↗

69

Amélioration de la correction grâce aux résultats de l’expérience 3


Décision adaptative augmente la motivation Modulation du seuil pour obtenir une motivation optimale

Évaluation d’un niveau de confiance

Décision

Lettre correcte

Lettre incorrecte

Lettre suivante

Correction par 2nd

meilleur choix

Classification des réponses au feedback

Confiance sur la lettre

(entropie)

Confiance sur le 2nd choix (distance de

Kullback-Leibler)

Flashs supplémentaires

bonnemauvaise

Qualité des réponses aux flashs

Qualité des réponses aux feedbacks

Kreilinger et al, 2012Error potential detection during continuous movement of an artificial arm controlled b

brain-computer interface• Tâche : imagerie motrice• Traitement des données :

– 16 électrodes– Epochs : 200 ms à 400 ms– Filtrage 0.5-10 Hz– Classifieur : LDA– 10x10 cross-validation hors ligne

• Nombre de sujets : 10 (-1)• Nombre d’essais et résultats :

~160 essais (27% d’erreurs), Accuracy : 61.4%


Iturate et al, 2010Single trial recognition of error-related potentials during observation of robot

operation

• Tâche : Observation des mouvements d’un robot jugement qualitatif

• Traitement des données : – 8 électrodes : Fz, FC1, FC2, FCz, Cz , CP1, CP2 et CPz – Epochs : 200 ms à 800 ms– Filtrage : 0,5-10 Hz– Classifieur : v-SVM with a radial basis function kernel (Ferrez&Millan, 2008)

• Nombre de sujets : 4• Nombre d’essais et résultats :

– 100 essais de chaque classe


72

Intérêt de l’apprentissage continueIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion

73

Données : BCI competition (2 sujets)


Effet de la taille de la fenêtre et du classifieur

74

• Étalonnage : maximisation de Puissance Signal 1

Puissance Signal 1 + Signal 2 + bruit

Fonctionnement xDAWN


• Calcul de plusieurs filtres orthogonaux : choix du nombre de filtres optimal (5 ?)

xDAWN classifieur

• En temps-réel :

75

xDAWNExp 0, suj2 Exp 1, suj23Exp 0, suj1 (MP)

Exp 3, suj11Exp 2, filtre FB, suj10 +12%

Exp 2, suj1


76

Exemple d’une ICM : Objectif : restauration du contrôle moteur


Décodage du

mouvement

Encodage tactile

artificiel

Contrôle cérébral

Contrôle manuel

Exploration active

O’Doherty et al., 2011, Nature

Interface cerveau-machine-cerveau Décodage du signal moteur Encodage de la stimulation tactile Stimulation cérébrale du cortex somatosensoriel

Feedback

Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller

Documents

Transcript of Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller