Bérenger BRAMAS FLOWERS - INRIA - 2009 ISIMA F2 – Master opt. Robotique Apprentissage...
-
Upload
deodat-moulin -
Category
Documents
-
view
103 -
download
0
Transcript of Bérenger BRAMAS FLOWERS - INRIA - 2009 ISIMA F2 – Master opt. Robotique Apprentissage...
Bérenger BRAMASFLOWERS - INRIA - 2009
ISIMA F2 – Master opt. Robotique
Apprentissage d’Associations Sons/Images en Robotique
Développementale
Bérenger BRAMAS 2INRIA - 2009
- Stage de fin de cycle d’ingénieur et de master (6 mois)- INRIA Bordeaux – équipe FLOWERS (FLOWing Epigenetic Robots and Systems)
- Robotique développementale
- HRI - Interfaces intuitives
- Perception et apprentissage du monde par un robot
- Sujet : Concevoir un système pour enseigner des objets à un robot en alliant sons/images
Introduction:
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
3INRIA - 2009
- Présentation du contexte- Détails du sujet et définition des problématiques
- Méthodologie - Aspect Audio - Traitement Vidéo - Associations, catégories - Nao
- Aspects techniques - Perspectives
Plan :
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
4INRIA - 2009
• « enseigner des ‘objets’ (images/sons) à un robot »
• Dans le but :- de reconnaître une image ou un son (et
donc un objet)- de retrouver un objet dans une scène- de créer des échanges d’informations
sur le ‘’monde‘’ entre l’utilisateur et le robot
• Contrainte : sans catégorie sonore ou visuelle au commencement (le robot n’a pas de base de données avant de commencer l’apprentissage)
Le sujet :Plan :[Présentation] Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
5INRIA - 2009
Pour enseigner des objets, il faut répondre à des problèmes de différents domaines
•Quelles méthodes pour le traitement vidéo ou audio?
•Quel mode d’interaction HR?
•Comment montrer les objets au robot ?
•Quelle technique utiliser pour les reconnaitre?
•Comment associer les sons et les images ?
Problématiques :Plan :[Présentation] Le contexte [Problématiques]
Méthodologie Traitement Audio Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
6INRIA - 2009
Système découpé en modules spécifiques pour chaque tâche :- Aspect sonore :
- traitement sonore- mesure de similarité
- Vidéo :- traitement- mesure de similarité
- Système d’apprentissage des correspondances
- Nao
Réalisation :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
7INRIA - 2009
Méthode uniquement acoustiquePas de conversion en textePas d’information linguistique
Basé sur une méthode répandue : PLP-Rasta
Comparaison entre deuxsons à l’aide de DTW(Dynamic Time Warping)
Deux sons considérés semblables si la distance est inférieure à un seuil
Module Audio:Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
8INRIA - 2009
Pas de base de données initiale (pas de phonèmes ou d’informations sur l’interlocuteur)Pas de conversion en texte
Découpage du flux sonore capturé en fonction des moments de silence (un son peut être une phrase, un mot, un bruit, …)
Module Audio :Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
9INRIA - 2009
Test avec toute la base
Comparaison :Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Ballon
Baallon
Balloon
Basket
Baasket
Baskét
…
Base de données
[SON]
Tests
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
10INRIA - 2009
Sélection d’un représentant
Comparaison :Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Balleu BaalleBalle
Son 1 … Son N
Son 1 - D(1,n) D(1,n)
… D(i,1) - D(i,n)
Son N D(n,1) D(n,i) -
Moyenne M(1) … M(n)
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
11INRIA - 2009
Test avec le meilleur représentant de chaque catégorie
Comparaison :Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Ballon
Baallon
Balloon
Baasket
Baaskt
Bosket
…
Base de données
[SON]
Tests
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
12INRIA - 2009
Système audio qui apprend et reconnaît les sons
Mais choix à faire entre robustesse et rapidité
Par exemple :La méthode avec comparaison du meilleur représentant donne de mauvais résultats si les interlocuteurs changent
Le principe de comparaison est par la suite utilisé pour créer et utiliser des catégories
Module Audio :Plan :Présentation Le contexte Problématiques
[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
13INRIA - 2009
Objectifs :- Apprendre- Reconnaître dans une scène quelconque
Basé sur OpenCV et les descripteurs locaux de type SURF
Module Vidéo :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
OpenSURFListe de descripteursSURF
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
14INRIA - 2009
Descripteur SURF : - position/orientation/vecteur de 64 valeurs
SURF :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
15INRIA - 2009
Problème : Comparaison entre deux images
SURF :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Image 1
Image 2 Image 3 Image 4
Distance : 0.2 Distance : 0.32 Distance : 0.25
Même objet Objet différent
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
16INRIA - 2009
• Comment enseigner les objets ?
• Comment comparer deux images ?
• Quand décider si un objet est présent sur une image ?
Descripteurs SURFPlan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
17INRIA - 2009
Le système apprend tous les descripteurs SURF
Il faut lui indiquer quels sont les descripteurs liés à l’objet et les autres (arrière plan)
Méthode d’apprentissage de l’arrière plan pour ensuite faire la différence entre deux images
Extraction de l’objet :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS 18INRIA - 2009
Apprentissage Vidéo :
Oui
Oui
Non
Non
Capturer Image
Capturer Image
Fond Fixe
Extraction SURF
Comparer avec l’image précédente
Extraction du fond
Toute l’image change
Enregistrement
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
19INRIA - 2009
Pour chaque objet, le système stocke un film dans lequel chaque image contient des descripteurs SURF
Représentation :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Objet 1Objet 1
Objet 2Objet 2
Objet 3Objet 3
??
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
20INRIA - 2009
- Méthode proposée par David LOWE
- Méthode utilisant un seuil
- Méthode de « meilleures correspondances »
Méthodes de correspondance :
Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
21INRIA - 2009
Méthode que nous proposonsPour tous les points P1 de l’image 1| Pour tous les points P2 de l’image 2| | dist_p1_p2 = dist(P1,P2)| | si dist_p1_p2 < SEUIL| | | matches[P1].ajouter_correspondance_triees(P2 , dist_p1_p2)| | fsi| fpourfpourTant qu’il y a du changement faire| Pour tous les points P1 de l’image 1| | si !matches[P1].est_vide ET attitré(matches[P1].tete) != P1| | | Dépiler matches[P1] jusqu’à trouver une correspondance| | fsi| fpourftq
Algorithmes de correspondance :
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
22INRIA - 2009
Correspondances
SURF :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
0.1
0.150.1
0.04
0.01
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
23INRIA - 2009
Correspondances
SURF :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
24INRIA - 2009
• Filtre spatial (Efficient Visual Search for Objects in Videos, Josef & Andrew, 2008)• Pour chaque correspondance : trouver les voisins et filtrer ceux dont les voisins ne correspondent pas dans l’autre image
Filtres :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
25INRIA - 2009
Filtre spatial
Filtres :
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
26INRIA - 2009
• Filtre angulaire :• Parcourir les correspondances : calculer le changement d’orientation pour ne garder que l’orientation majoritaire
Filtres :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
27INRIA - 2009
En testant une image on obtient des correspondances avec chaque image de la baseComment savoir si un objet est sur une image ?
Long travail d’approche globale durant le stage mais mauvais résultats
Finalement approche image à image
Choix :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo [Association] Nao
Aspects techniquesPerspectives
Objet 1Objet 1
Objet 2Objet 2
??
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
28INRIA - 2009
surf_in = calculer_surf( image_test )Pour tous les films de la base| Pour toutes les images du film| | nb_corresp = count(correspondance(surf_in,film[f].image[i]))| | si nb_corresp > max_corresp| | | max_corresp = nb_corresp| | | max_f = f| | fsi| fpourfpour
si nb_corresp > SEUIL| afficher : l’objet correspondant est ‘max_f’Sinon| afficher : objet non reconnufsi
Algorithme – choix :
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
29INRIA - 2009
Résultats :Plan :Présentation Le contexte Problématiques
[Méthodologie} Traitement Audio [Traitement Vidéo] Association Nao
Aspects techniquesPerspectives
livre_noir livre_vert clavier telephone bioloid philips casque lego porte_carte0
5
10
15
20
InconnuesMauvaisBon
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
30INRIA - 2009
36 53 17 22
Résultats :
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
31INRIA - 2009
Mise en relation des modules
Mise en relation des formalismes
Choix :Un objet est « constitué » de plusieurs sons et plusieurs imagesOn supprime les occurrences qui ne sont pas mise en relation avec l’autre type lors de l’apprentissage
Association :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
32INRIA - 2009
Vidéo
Son
Associations sons/images :
FilmImage
Catégorie
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
33INRIA - 2009
Catégories acoustiques :
Livre
Livre Bleu
Livre Vert
Grand
Espace acoustiqueEspace visuel
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
34INRIA - 2009
- Mise en application du système(interactions)- Mais exécution du système sur PC
Nao :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo Association [Nao]
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
35INRIA - 2009
Interaction à l’aide de positions clés
Normal Ne peut pas A trouvé apprendre l’objet
Nao :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo Association [Nao]
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
36INRIA - 2009
1 ) Enseigner des objets 2 ) Demander de reconnaître un objet 3 ) Trouver un objet (utilise un algorithme de regroupement des points)
Interactions possibles :Plan :Présentation Le contexte Problématiques
[Méthodologie] Traitement Audio Traitement Vidéo Association Nao
Aspects techniquesPerspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
37INRIA - 2009
Structure :Plan :Présentation Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
[Aspects techniques]Perspectives
Ordinateur
C++ (QT, OpenCV)
Traitement de l’image – Cœur du système
C++ (QT, OpenCV)
Traitement de l’image – Cœur du système
Matlab
Acquisition & traitement du son
Matlab
Acquisition & traitement du son
Script – Positions clés LEDs
Image - JPEG
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
38INRIA - 2009
Multi-langagesMatlab, C++ (QT, OpenCv) , Ubri
Utilisation de plusieurs processus, plusieurs THREAD, communication TCP, Mutex et de nombreux TIMER
Multiplateformes
Mais difficile à maintenir et présence de problèmes à l’heure actuelle :Récupération de l’image, tremblement, recouvrement de script
Structure :Plan :Présentation Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
[Aspects techniques]Perspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
39INRIA - 2009
Exemple lors de l’apprentissage :
Objet devant caméra : Script { Arrêter mouvement en cours,
Mouvement d’apprentissage }
Objet hors caméra : Script { Arrêter mouvement en cours,
Mouvement d’attente }
Recouvrement de scriptPlan :Présentation Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
[Aspects techniques]Perspectives
Système
Evènement
ScriptNao
Positions
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
40INRIA - 2009
Résolution des problèmes et davantage d’essais sur Nao
Documentation (DOxygen et protocole de communication)
Ecriture de plusieurs pages en Anglais
A venir :Plan :Présentation Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
Aspects techniques [A venir]Perspectives
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
41INRIA - 2009
Méthodologie :- SIFT- Clustering- Filtre angulaire local- Filtre spatial plusieurs fois d’affilé
Utilisation :- Essai avec des non spécialistes- Opinions d’utilisateurs
Test d’une base de connaissances plus importante
Perspectives :Plan :Présentation Le contexte Problématiques
Méthodologie Traitement Audio Traitement Vidéo Association Nao
Aspects techniques[Perspectives]
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
42INRIA - 2009
Conclusion
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
INRIA - 2009
MERCI- Démonstration – Questions ? -
Bérenger BRAMAS
Apprentissage d’Associations Sons/Images
44INRIA - 2009
Le nombre de correspondances > SEUIL
Critère de choix :
1 3 5 7 9 11 13 15 17 19 21 23 250
5
10
15
20
Bons choix
1 3 5 7 9 11 13 15 17 19 21 23 250
5
10
15
20
Mauvais choix
1 4 7 10 13 16 19 22 250
5
10
15
20
Objets inconnus
livre_noirclaviertelephonebioloidphilipscasque