Classificação de faces em vídeo - Instituto de...
Transcript of Classificação de faces em vídeo - Instituto de...
![Page 1: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/1.jpg)
Classificação de faces
em vídeo
Universidade Estadual de Campinas Instituto de Computação
MC906 – Introdução à Inteligência Artificial
![Page 2: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/2.jpg)
O problema
Como resolver
Formas alternativas
A entrega
Agenda
![Page 3: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/3.jpg)
Agenda
O problema
Como resolver
Formas alternativas
A entrega
![Page 4: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/4.jpg)
O problema
• Reconhecimento de faces
– Determinar se duas faces são a mesma pessoa;
![Page 5: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/5.jpg)
O problema
• Desafios da área
– Variedade de resolução, qualidade e condições de iluminação;
– Expressões faciais e pose.
![Page 6: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/6.jpg)
O problema
• Importância da classificação semântica automática
– Vigilância
![Page 7: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/7.jpg)
O problema
• Importância da classificação semântica automática
– Controle de funcionários em empresa
Lisa
Tom Mark Mary
![Page 8: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/8.jpg)
O problema
• Importância da classificação semântica automática
– Recuperação de vídeo por conteúdo
![Page 9: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/9.jpg)
O problema
• Um problema de IA
– Estudo e projeto de agentes inteligentes;
– Percepção do ambiente;
![Page 10: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/10.jpg)
O problema
• Um problema de IA
– Percepção de rostos;
![Page 11: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/11.jpg)
O problema
• Um problema de IA
– Identificar faces; e
– Procurar significado semântico.
Mom Sister
Dad
![Page 12: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/12.jpg)
Agenda
O problema
Como resolver
Formas alternativas
A entrega
![Page 13: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/13.jpg)
Como resolver
As etapas:
[1] Seleção do vídeo;
[2] Decomposição em frames;
[3] Detecção de faces;
[4] Classificação das faces; e
[5] Rotulação das personagens.
![Page 14: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/14.jpg)
Como resolver
[1] Seleção do vídeo
![Page 15: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/15.jpg)
[2] Decomposição em frames
Como resolver
![Page 16: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/16.jpg)
[3] Detecção de faces
– Algoritmo de Viola-Jones
• Framework para detecção de objetos;
• Soma de pixels dentro de áreas retangulares;
Como resolver
![Page 17: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/17.jpg)
[3] Detecção de faces
– Algoritmo de Viola-Jones
• Primitivo quando comparado com algoritmos que utilizam filtros orientáveis;
• Vantagem: avaliação em tempo constante;
• Problema: número de caracte- rísticas extraídas;
Como resolver
![Page 18: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/18.jpg)
[3] Detecção de faces
– Algoritmo de Viola-Jones
• Problema: lidar com classificadores pesados;
• Arquitetura em cascata.
Como resolver
![Page 19: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/19.jpg)
[4] Classificação das faces
– Principal Component Analysis (PCA)
• Uso de transformações ortogonais;
• Conversão de váriaveis possivelmente correlacio- nadas em um conjunto de não relacionadas;
• Redução de dimensiona- lidade do problema;
Como resolver
![Page 20: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/20.jpg)
[4] Classificação das faces
– Principal Component Analysis (PCA)
• Decomposição de autovalores da matriz de covariância;
• Obter conjunto de auto-vetores que constituem a eigenface.
Como resolver
![Page 21: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/21.jpg)
[4] Classificação das faces
– Histogram of Oriented Gradients (HOG)
• Distribuição de intensidade de gradiente ou de direções de borda;
Como resolver
![Page 22: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/22.jpg)
[4] Classificação das faces
– Histogram of Oriented Gradients (HOG)
1. Cálculo do gradiente;
2. Cálculo do histograma de orientação;
3. Descritor de bloco; e
4. Normalização do bloco.
Como resolver
![Page 23: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/23.jpg)
[4] Classificação das faces
– Histogram of Oriented Gradients (HOG)
Como resolver
![Page 24: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/24.jpg)
[4] Classificação das faces
– Support Vector Machine (SVM)
– Hiperplano de dimensão p-1 do feature vector para separar as duas classes;
Como resolver
![Page 25: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/25.jpg)
[4] Classificação das faces
– Support Vector Machine (SVM)
– Redução do problema multiclasse para múltiplos problemas de classificação binária;
Como resolver
![Page 26: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/26.jpg)
[4] Classificação das faces
– Support Vector Machine (SVM)
– Abordagem one-vs-all
– Abordagem one-vs-one
Como resolver
![Page 27: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/27.jpg)
[5] Rotulação das personagens
– Nome junto do retângulo
Lily Marshall Ted Robin Barney
Como resolver
![Page 28: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/28.jpg)
Agenda
O problema
Como resolver
Formas alternativas
A entrega
![Page 29: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/29.jpg)
Formas alternativas
• Detecção de faces
– Viola-Jones é um método suficientemente eficiente;
– Outros algoritmos são raramente utilizados;
• Rastreamento
– Camshift; e
– Shot Boundary;
• Reconhecimento
– Nearest Neighbour; e
– Linear Discriminant Analysis.
![Page 30: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/30.jpg)
Tracking
– Chance dos rostos apareçam em posições próximas em frames subsequentes;
– Evitar uso desnecessário do Viola-Jones;
– Não é tão simples quanto parece.
Formas alternativas
![Page 31: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/31.jpg)
Camshift
– Continuously Adaptive Mean Shift;
– Variação do Mean Shift;
– Uso de histogramas de cor e da região retangular onde se encontra a face;
– Matiz x Saturação
Formas alternativas
![Page 32: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/32.jpg)
Camshift
– Probabilidade para determinar se pixel pertence à face;
– Problemas:
– Suscetível a pequenos desvios; e
– Apenas informações sobre cores são utilizadas.
Formas alternativas
![Page 33: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/33.jpg)
Shot Boundary
– Identificação de mudança de planos;
– Exemplo: Algoritmo que compara os canais de cores RGB entre dois frames;
Transição abrupta
Transição dissolver
Formas alternativas
![Page 34: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/34.jpg)
Shot Boundary
– Etapa de scoring: quão semelhante são dois frames; e
– Etapa de decisão: avaliação do score e a detecção ou não de um novo frame.
Formas alternativas
![Page 35: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/35.jpg)
Nearest Neighbour
– Uso de uma base de exemplos classificados;
– Avalia a proximidade do elemento com cada uma das classes;
– Vantagens:
– Mais simples que o SVM; e
– Rápido quando utilizado em uma base de dados pequena;
Formas alternativas
![Page 36: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/36.jpg)
Nearest Neighbour
– Desvantagens:
– Quanto mais exemplos, maior o tempo de avaliação;
– Possibilidade de dominação por classes populosas;
– Em reconhecimento de faces, a quantidade de classes é potencialmente enorme.
Formas alternativas
![Page 37: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/37.jpg)
Linear Discriminant Analysis (LDA)
– Método de extração seguido de um classificador (e.g. KNN);
– Reduz a dimensionalidade, assim como o PCA;
Formas alternativas
![Page 38: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/38.jpg)
Linear Discriminant Analysis (LDA)
• Vantagem:
– Tempo de treinamento não aumenta muito com o número de exemplos;
• Desvantagem:
– Tempo de treinamento é muito sensível à forma da extração da imagem;
Formas alternativas
![Page 39: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/39.jpg)
Agenda
O problema
Como resolver
Formas alternativas
A entrega
![Page 40: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/40.jpg)
A entrega
Vídeo com a marcação das personagens
Ted Lily
Marshall
![Page 41: Classificação de faces em vídeo - Instituto de Computaçãorocha/teaching/2011s1/mc906/trabalhos/tp… · Classificação de faces em vídeo Universidade Estadual de Campinas Instituto](https://reader036.fdocuments.in/reader036/viewer/2022071214/6043522179dca65407370894/html5/thumbnails/41.jpg)
João Carlos Maggiotto 081721
Gabriel Fernando L. e Oliveira 083565
Murilo Fossa Vicentini 082335
Renato Rivas D'Amore 082672
Classificação de faces
em vídeo