Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective...
Transcript of Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective...
![Page 1: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/1.jpg)
Acquisition 3D des gestes par vision monoscopique
en temps réel
David A. Gómez J., Patrick Horain
![Page 2: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/2.jpg)
David Gomez, Patrick Horain2
Objective
L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une webcam) sans marqueur et sans connaissances a priori.
Notre motivation:• Interaction dans les environnements virtuel
collaboratifs.
• Interfaces homme-machine
![Page 3: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/3.jpg)
David Gomez, Patrick Horain3
Acquisition 3D des gestes
![Page 4: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/4.jpg)
David Gomez, Patrick Horain4
Notre approche pour l’acquisition des gestes
Recaler un modèle 3D articulé du corps humain sur chaque image de la séquence vidéo
Les paramètres du modèle sont: • 6 paramètres globaux (position &
orientation) • 17 angles d’articulations.
![Page 5: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/5.jpg)
David Gomez, Patrick Horain5
Notre approche pour l’acquisition des gestes
Pose ↔ vecteur de paramètres du modèle.
Recalage par mise en correspondance :
• Couleurs• Contours
Temps réel : calculs limités
Quelle répartition des calculs ?
![Page 6: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/6.jpg)
David Gomez, Patrick Horain6
primitives
primitives
Evaluation du recalage
Optimisationdu recalage
Contraintes biomécaniques
Approche : recalage 3D / 2D
![Page 7: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/7.jpg)
David Gomez, Patrick Horain7
Évaluation du recalage :taux de non recouvrement
?( )mm
c cc
cccc
qBA
qBAqBAqF
1
1 )(
)()(∏
=
∪
∩−∪=
où :
m = nombre de classes de couleur
Ac = pixels classe c (vidéo segmentée)
Bc = pixels classe c (modèle projeté)
q = paramètres articulatoires
![Page 8: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/8.jpg)
David Gomez, Patrick Horain8
Limitation du recalage sur les régions
Robustesse: recouvrement partiel pour converger.
R Précision limitée: pixels de la frontière des régions sont peu nombreux.
![Page 9: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/9.jpg)
David Gomez, Patrick Horain9
Recalage sur les contours
Minimisation de la distance entre les contours de l’image et le modèle.
Suivre l’étape de recalage sur les régions par une étape de recalage sur les contours.
![Page 10: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/10.jpg)
David Gomez, Patrick Horain10
Extraction des contours dans les images
Extraction des contours par un Filtre de Deriche avec hystérésis (Deriche, 1988).
Une transformation distance des contours (Borgefors, 1986).
David Gomez, Patrick Horain
![Page 11: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/11.jpg)
David Gomez, Patrick Horain11
Contours occultants du modèle
Contours occultants: les points de la surface où la direction d’observation est tangente à la surface (Franco et al., 2003).
David Gomez, Patrick Horain
![Page 12: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/12.jpg)
David Gomez, Patrick Horain12
Contours occultants du modèle
Extraction avec OpenGL (GPU) :
• Remplissage en blanc des polygones orientés vers l’arrière avec leurs arêtes.
• Remplissage en noir des polygones orientés strictement vers l’avant.
David Gomez, Patrick Horain
![Page 13: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/13.jpg)
David Gomez, Patrick Horain13
Évaluation du recalage :Distance résiduelle entre contours
David Gomez, Patrick Horain
∑=Np
iiCDRC pI
NpD )(
1
où :DRC = distance résiduelle entre contours
Icd = carte de distance aux contours
pi = point de contour occultant
Np = nombre des points de contours occultants
![Page 14: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/14.jpg)
David Gomez, Patrick Horain14
Mise en œuvre (Initialisation)
Suppression de l’arrière-plan.
Détection du visage (Adaboost).
Acquisition automatique des échantillons (peau et vêtement) et modélisation de la couleur par des distributions gaussiennes (dans l’espace HSV).
David Gomez, Patrick Horain
![Page 15: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/15.jpg)
David Gomez, Patrick Horain15
Mise en œuvre (Initialisation)
Ajustement du modèle 3D et initialisation de la pose
![Page 16: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/16.jpg)
David Gomez, Patrick Horain16
Mise en œuvre (Temps réel)
Segmentation en classes de
couleurs
Silhouette humaine
Extraction des contours
Carte de distance
Recalage sur les régions
Recalage sur les contours
Image capturée
![Page 17: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/17.jpg)
David Gomez, Patrick Horain17
Précision du recalage sur les contours
![Page 18: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/18.jpg)
David Gomez, Patrick Horain18
Précision du recalage sur les contours
Recalage plus précis
![Page 19: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/19.jpg)
David Gomez, Patrick Horain19
Précision du recalage sur les contours
David Gomez, Patrick Horain
Recalage corrigé
![Page 20: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/20.jpg)
David Gomez, Patrick Horain20
Acquisition des gestes en temps réel
Temps réel: temps de calcul limité
(40 à 100 ms par image)
- SOLUTION: Limitation du nombre d’itérations du recalage pour chaque image capturée.
- INCONVENIENT: Diminution de la précision du recalage sur les régions et sur les contours
David Gomez, Patrick Horain
![Page 21: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/21.jpg)
David Gomez, Patrick Horain21
Diminution de la precision du recalage
![Page 22: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/22.jpg)
David Gomez, Patrick Horain22
Acquisition des gestes en temps réel
Temps de calcul (ms) par rapport au nombre total d’itérations sur deux plateformes.
Nombre d’itérations
Temps MoyennePltfrm.1
(ms)
Temps Écarte-
typePltfrm. 1
(ms)
TempsMoyenne Pltfrm. 2
(ms)
Temps Écarte-
type Pltfrm. 2
(ms)
40 22 ±6,6 88 ±9,2
100 36 ±6,7 137 ±16
200 58 ±6,9 223 ±28
300 79 ±6,9 300 ±33
400 97 ±7,1 370 ±36
500 101 ±9,8 436 ±48Plateforme 1: CPU Intel Pentium 4 3,6 GHz avec un GPU NVIDIA Quadro FX 1400
Plateforme 2: CPU Intel Pentium M 1.4 GHz avec un GPU NVIDIA GeForce 4200 Go
![Page 23: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/23.jpg)
David Gomez, Patrick Horain23
Expérimentations de performance
Analyse de la performance de notre approche sur 5 séquences vidéo avec des différents gestes.
Établir un compromis entre les deux caractéristiques (région colorées et contours) par rapport au nombre d’itérations limité.• Analyses de la valeur résiduelle:
- Taux de non recouvrement
- Distance résiduelle entre contours
• Analyse du nombre de décrochages.
![Page 24: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/24.jpg)
David Gomez, Patrick Horain24
Taux de non recouvrement (erreur résiduelle)
![Page 25: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/25.jpg)
David Gomez, Patrick Horain25
Distance entre contours (erreur résiduelle)
![Page 26: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/26.jpg)
David Gomez, Patrick Horain26
Taux de non recouvrement (Décrochage)
![Page 27: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/27.jpg)
David Gomez, Patrick Horain27
Distance entre contours (Décrochage)
![Page 28: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/28.jpg)
David Gomez, Patrick Horain28
Résultats et conclusions
Convergence plus rapide du recalage sur les régions que du recalage sur les contours.
Stabilité du recalage sur les régions et instabilité du recalage sur les contours.
Nombre d’itérations <= 200 • Donner la priorité à la stabilité du recalage.• Utilisation uniquement du recalage sur les régions.
Nombre d’itérations >200 • Utilisation du recalage sur les régions et du recalage
sur les contours.
![Page 29: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/29.jpg)
David Gomez, Patrick Horain29
Perspectives
Propagation des multiples hypothèses en utilisant un algorithme de filtrage particulaire.
Utilisation des modèles de mouvement apriori dans un espace latent afin de réduire le nombre de particules.
Estimation du gradient de la distance entre contours afin d’utiliser un algorithme d’optimisation par descente de gradient.
![Page 30: Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une](https://reader034.fdocuments.in/reader034/viewer/2022042710/5f69086d6f39bd70e25fcfe2/html5/thumbnails/30.jpg)
David Gomez, Patrick Horain30
Je vous remercie…..