Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a...
-
Upload
manuela-tinoco -
Category
Documents
-
view
219 -
download
6
Transcript of Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a...
![Page 1: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/1.jpg)
Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares
invariantes a projeção
(Efficient and precise multiple camera calibration based on collinear projective
invariant patterns)
Proposta de doutoradoManuel Eduardo Loaiza Fernandez
Marcelo Gattass (orientador)Alberto B. Raposo (co-orientador)
1
![Page 2: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/2.jpg)
Objetivo da Proposta• Desenvolver um algoritmo para, simultaneamente,
calibrar de forma eficiente e precisa várias câmeras com base nas características invariantes intrínsecas dos padrões colineares.
2
![Page 3: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/3.jpg)
Índice
• Calibração de câmera.– Calibração câmera e parâmetros.– Múltipla calibração câmera.
• Áreas de aplicação da teoria múltipla calibração câmera.• Métodos para múltipla calibração câmera.• Novo método proposto.
• Correspondência de imagens 2D.– Geometria epipolar.
• Calculo da matriz fundamental.
• Reconstrução 3D.• Resultados.
3
![Page 4: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/4.jpg)
Calibração de câmera• Modelar o relacionamento entre o mundo 3D e o plano da
imagem 2D que é a projeção do espaço físico capturado.• O modelo mais utilizado é o modelo de câmera “Pinhole”.
4
![Page 5: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/5.jpg)
Calibração de câmera: parâmetros• Externos.
– Matriz de rotação ( R ).– Vetor de translação ( T ).
• Internos.– Distancia focal (f).– Centro da imagem(Ou’,Ov’).
5
![Page 6: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/6.jpg)
Calibração de câmera: outros parâmetros internos
• Coeficientes da distorção das lentes.• Radial (k1,k2).• Tangencial (p1,p2).
• Tipos de distorção “pincushion” e “barrel”.
Barrel Pincushion 6
![Page 7: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/7.jpg)
Múltipla calibração câmera• Calibração de varias câmeras simultaneamente.• Estéreo: calibração de 2 câmeras.
Calibração estéreo Múltipla calibração
7
![Page 8: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/8.jpg)
Áreas de aplicação da teoria Múltipla calibração câmera
• Sistemas de rastreamento óptico, usadas em aplicações de realidade virtual e aumentada.
8
![Page 9: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/9.jpg)
Áreas de aplicação da teoria múltipla calibração câmera
• Sistemas de captura de movimento, usadas em áreas de animação 3D.
9
![Page 10: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/10.jpg)
Áreas de aplicação da teoria Múltipla calibração câmera
• Sistemas de navegação para robôs.
10
![Page 11: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/11.jpg)
Múltipla calibração câmera (Métodos)• Alguns dos métodos mais conhecidos para calibração
de câmera são:– [Jean-Yves Bouguet, 2008 ] apresenta um toolbox completa para
calibração de câmera onde se inclui uma versão para estéreo câmera calibração .
– [Borghese, 2000] apresenta um método para estéreo calibração baseada na captura de uma barra com 2 marcadores bem identificados, adotado por vários sistema de rastreamento ótico comerciais como [ART, 2008 ] [VICON, 2008].
– [Svoboda et al, 2005] apresenta um novo método para múltipla calibração câmera baseada na captura de um 1 marcador, e foi modificado para funcionar num sistema estéreo por [Pintaric, 2007].
– [Uematsu et al, 2007] apresenta um software D-Calib para múltipla calibração câmera baseada na captura e um padrão planar e uma barra com 2 marcadores, misturando as abordagens de Borghese e Bouguet e mantendo as mesmas restrições de ambos.
11
![Page 12: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/12.jpg)
Calibração de Câmeras Estéreo• Apresentada em [Jean-Yves Bouguet, 2008 ]:
– Padrão de calibração: padrão planar com formato de tabuleiro de xadrez.
12
![Page 13: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/13.jpg)
Jean-Yves Bouguet, 2008– Calibração inicial individual para
cada câmera.– A captura da amostragem para
otimização global do sistema estéreo é difícil, por causa de não puder capturar uma boa amostra de vistas validas do padrão nas duas câmeras ao mesmo tempo.
– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem em cada vista do padrão.
– Não aplicável para um sistema múltipla calibração.
13
![Page 14: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/14.jpg)
Calibração estéreo [Borghese, 2000]:
• Padrões de calibração:– Barra em formato de “L”.– Barra com dois marcadores
em cada extremo.
14
![Page 15: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/15.jpg)
Borghese, 2000
– Calibração inicial é baseada na extração dos parâmetros internos e externos a partir da decomposição da matriz fundamental(abordagem “Structure from motion”).
– A captura da amostragem para calibração precisa de um processamento especifico para realizar a correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores.
– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem e distancia 3D entre os pontos do padrão.
– Extensível para um sistema múltipla calibração. 15
![Page 16: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/16.jpg)
Múltipla calibração de câmera • Apresentada em [Svoboda et al, 2005] modificada por [Pintaric, 2007].
– Padrão de calibração: um marcador (ponteiro laser).
16
![Page 17: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/17.jpg)
[Svoboda et al, 2005 e Pintaric, 2007]
– Calibração inicial é baseada na teoria da “Rank – 4 Factorization” e “Euclidean Estratification”.
– Alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré - calculados.
– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem.
– Adaptável para um sistema de estéreo calibração , mas com muitas restrições iniciais sobre que parâmetros são pré - definidos.
– Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 17
![Page 18: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/18.jpg)
Múltipla calibração de câmera• Apresentada em [Uematsu et al,
2007], quase mistura das implementações de [Borghese, 2000] e [Bouguet, 2008].– Padrão de calibração: barra de
calibração e padrão planar.
18
![Page 19: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/19.jpg)
Uematsu, 2007– Calibração inicial feita a partir da analise e
extração da homografia entre os pontos 3D do padrão planar e os pontos 2D correspondentes que aparecem em cada câmera do sistema.
– Alguns parâmetros internos como a distancia focal podem ser calculados e outros são desprezados como distorção de lentes.
– Otimização baseada no erro de reprojeção 2D e medidas 3D dos pontos da amostragem (Borghese , 2000).
– Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências.
19
![Page 20: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/20.jpg)
Múltipla calibração de câmera• Método proposto para múltipla
calibração de câmera.– Padrão de calibração: padrão planar (Planar
formato de Xadrez, “L” ou nenhum) e padrão colinear com características projetivas invariantes [Loaiza et al, 2007].
– Calibração feita em 3 etapas.
20
![Page 21: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/21.jpg)
Múltipla calibração de câmera• Sistema estéreo de câmeras,
extensível a múltiplas câmeras. • Um computador (ou Laptop ).
21
![Page 22: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/22.jpg)
Método proposto• Etapa inicial:
– Calibração inicial individual para cada câmera usando método planar [Zhang, 2000].
– Calibração estéreo pode ser com padrão planar ou um padrão do tipo em L.
– Nenhum padrão, onde usamos uma abordagem “Structure from motion”.
22
![Page 23: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/23.jpg)
Método proposto• Etapa Inicial:
– Captura de um amostra do padrão colinear projetivo invariante.
– Detecção do padrão e correspondência dos pontos que conformam o padrão é feita usando a teoria sobre padrões projetivos invariantes [Loaiza et al, 2007], [Meer et al, 1998].
23
idLeft
idRight
![Page 24: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/24.jpg)
Método proposto• Etapa Intermédia:
– Usando a implementação descrita em [Thormählen et al,2003] podemos aproveitar a colinearidade de nossos padrões para extrair um estimativa dos parâmetros de distorção das lentes.
– E usando o valor da projetiva invariantes de nosso padrão podemos fazer a extração de possíveis falsos positivos baseado no desvio padrão calculado para toda amostra de padrões capturados em cada câmera.
24
idProjInv
![Page 25: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/25.jpg)
Método proposto• Etapa final:
– Otimização dos parâmetros iniciais calculados para cada câmera, isto é feito explorando as características do padrão:
– Erro reprojeção 3D - 2D dos pontos: parâmetros internos.– Erro distancias entre pontos do padrão: parâmetros
externos (Reconstrução métrica 3D). – Erro colinearidade do padrão: extração dos coeficientes da
distorção das lentes.
25
a
b
c
a
b
c
![Page 26: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/26.jpg)
Correspondência de imagens 2D• Calculo da matriz fundamental:
– Geometria epipolar é a geometria intrínseca projetiva existente entre duas vistas.
– A matriz fundamental encapsula esta geometria intrínseca projetiva.
26
![Page 27: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/27.jpg)
Correspondência de imagens 2D• Calculo da matriz fundamental:
– Por composição dos parâmetros intrínsecos e extrínsecos das câmeras.
– Baseado nos parâmetros intrínsecos de cada câmera e os parâmetros extrínsecos em relação a uma origem em comum podemos calcular a Rotação e Translação “(R,t)” entre as câmeras do sistema estéreo.
K, Rl , Tl K´, Rr , Tr
RtE
KRtKF
x
xT
1´
27
![Page 28: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/28.jpg)
Correspondência de imagens 2D• Em nossa implementação utilizamos o primeiro método para
calcular nossa matriz fundamental, pois aproveitaremos o processo de otimização da etapa de calibração para também otimizar o cálculo de nossa matriz fundamental.
28
![Page 29: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/29.jpg)
Correspondência de imagens 2D• Aproveitamos o calculo inicial dos coeficientes da distorção das
lentes (Radial, Tangencial).
29
idProjInv
![Page 30: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/30.jpg)
Correspondência de imagens 2D• Este cálculo e otimização consiste no seguinte
processamento:
1. Calcula-se uma matriz fundamental inicial baseada nos parâmetros intrínsecos e extrínsecos de nossa calibração inicial.
2. Cria-se uma função de erro baseada na distância do ponto para a linha epipolar correspondente a cada ponto de nossa amostra.
3. Nossa matriz fundamental será calculada num espaço “não afetado pela distorção das lentes”, para isto cada vez que nossa amostra de pontos da calibração é utilizado eles serão previamente transformados para o campo não distorcido da imagem.
4. Cada iteração da otimização os passo 1 – 3 são repetidos até que um certo limiar do erro seja alcançado. Em nosso caso o erro de distância da linha epipolar ao seu ponto correspondente fico na média menor que 1 pixel.
30
![Page 31: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/31.jpg)
Correspondência de imagens 2D• O calculo da matriz fundamental é feito sobre imagens não distorcidas da
amostragem capturada na etapa de calibração de câmera estéreo.
31
![Page 32: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/32.jpg)
Reconstrução 3D• Nesta etapa nosso objetivo é testar a precisão que podemos
alcançar na extração de medidas reais 3D, baseado na uso dos parâmetros de nossa calibração.– Nossa reconstrução 3D pode se considerar uma reconstrução
feita num espaço projetivo euclidiano e métrico.
32
![Page 33: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/33.jpg)
Alguns resultados • Medidas
– Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D.
– Alguns testes foram feitos usando diferente cenário, câmera e mudando as lentes das câmeras, os resultados alcançados são apresentados a seguir:a) Imagem 2, medida real entre os pontos selecionados: 1685.0 mm (1.68 m), b) Imagem 3, medida real entre os pontos selecionados: 414.0 mm (41.4 cm),
33• •
(b)
Imagem 1 Imagem 2
(a)
![Page 34: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/34.jpg)
Testes na imagem 1: • Vista 1 : medida recuperada 1671.79 mm (1.67 m - real 1.68 m )
34
![Page 35: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/35.jpg)
Testes na imagem 1: • Vista 2 : medida recuperada 1671.26 mm (1.67 m - real 1.68 m )
35
![Page 36: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/36.jpg)
Testes na imagem 1: • Vista 3 : medida recuperada 1666.85 mm (1.66 m - real 1.68 m )
36
![Page 37: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/37.jpg)
Testes na imagem 2: • Vista 1 : medida recuperada 402.49 mm (40.2 cm - real 41.4 cm )
37
![Page 38: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/38.jpg)
Testes na imagem 2: • Vista 2 : medida recuperada 409.75 mm (40.9 cm - real 41.4 cm )
38
![Page 39: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/39.jpg)
Testes na imagem 2: • Vista 3 : medida recuperada 409.29 mm (40.9 cm - real 41.4 cm )
39
![Page 40: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/40.jpg)
Resultados• Alguns resultados do avanço feito ate agora na
implementação da proposta são:– Novo método para múltipla calibração de câmera (testado num
sistema estéreo).• Pareamento automático do padrão colinear a ser correlacionado
visto entre as diferentes câmeras.• Precisão das medições recuperadas.
40
![Page 41: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/41.jpg)
Resultados• Teste feito sobre uma amostra de 100 imagens do
padrão colinear (Fire-i câmeras):– Valor real das distancia do padrão colinear:
• A: 25.32mm B: 40.70mm C: 56.88mmErros sem tomar em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 35.1240768433 pixels• Erro media das distancia no padrão: 46.88874 mm
– Distancia Media: A: 27.863 B: 37.277 C: 55.866– Min: A: 14.939 B: 22.382 C: 37.818– Max: A: 72.611 B: 89.588 C: 82.868
• Matriz Fundamental erro médio por padrão: 67.577704 pixels por ponto: 16.89 pixels
Erros tomando em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 3.3690681458 pixels• Erro media das distancia no padrão : 17.90088 mm
– Distancia Media : A: 24.082 B: 36.004 C: 54.062 – Min: A: 20.257 B: 30.082 C: 44.564 – Max: A: 29.444 B: 42.705 C: 64.355
• Matriz Fundamental erro médio por padrão : 7.031216 pixels por ponto: 1.75 pixels
41
![Page 42: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/42.jpg)
Resultados• Teste feito sobre uma amostra de 100 imagens do
padrão colinear (Logitech web câmeras): – Valor real das distancia do padrão colinear:
• A: 25.32mm B: 40.70mm C: 56.88mmErros sem tomar em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 16.7174892426 pixels• Erro media das distancia no padrão: 24.33204 mm
– Distancia Media: A: 25.442 B: 35.423 C: 52.849– Min: A: 19.380 B: 28.474 C: 42.237,– Max: A: 61.313 B: 60.452 C: 65.741,
• Matriz Fundamental erro médio por padrão: 16.807617 pixels por ponto: 4.20 pixels
Erros tomando em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 9.0390977859 pixels• Erro media das distancia no padrão : 15.82423 mm
– Distancia Media : A: 24.485 B: 36.934 C: 56.335– Min: A: 20.079 B: 29.876 C: 44.316,– Max: A: 29.151 B: 43.798 C: 66.390,
• Matriz Fundamental erro médio por padrão: 9.067152 por ponto: 2.26 pixels
42
![Page 43: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/43.jpg)
Vantagens da nossa proposta• Nosso algoritmo é mais eficiente e preciso que os disponíveis da
literatura.• A simplicidade do padrão de calibração permite:
– Robustez na identificação dos marcadores, mesmo face a ruídos e falsos positivos.
– Eficiência na captura (mais informação em cada quadro): colinearidade, distâncias entre marcadores e maior numero de marcadores.
• O método se aplica desde um simples sistema estéreo de duas câmeras até múltiplas câmeras cobrindo grandes áreas de rastreamento.
• Não requer conhecimento prévio de parâmetros das câmeras.
43
![Page 44: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/44.jpg)
Trabalho a ser desenvolvido• Desenvolver a extração dos parâmetros das câmera
desde a matriz fundamental (Abordagem “Structure from Motion”).
• Dar maior robustez na otimização dos parâmetros das câmeras (Testar outros algoritmos de otimização com restrições).
• Testar o método num sistema com câmera corretamente sincronizadas por hardware, talvez possa agregar maior precisão ao processamento dos parâmetros.
44
![Page 45: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/45.jpg)
Perguntas ?
45
![Page 46: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/46.jpg)
Referencias• [Borghese, 2000] , Alberto Borghese and Pietro Cerveri . “ Calibrating a video
camera pair with a rigid bar”. Pattern Recognition, 2000.• [Svoboda et al, 2005] , Tomas Svoboda, Daniel Martinec and Tomas Pajdla, “ A
Convenient Multi-Camera Self-Calibration for Virtual Environments”, PRESENCE: Teleoperators and Virtual Environments, MIT Press, August 2005.
• [Bouguet, 2008 ] Jean-Yves Bouguet , “Camera Calibration Toolbox for Matlab”, http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/example5.html, August ,2008
• [Pintaric, 2007] , Thomas Pintaric and Hannes Kaufmann, "Affordable Infrared-Optical Pose Tracking for Virtual and Augmented Reality“, IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments, Charlotte, NC (USA), 2007.
• [Loaiza et al, 2007], Mnauel Loaiza, Alberto B. Raposo, Marcelo Gattass, "A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns“, 3rd International Symposium on Visual Computing – ISVC 2007, Lake Tahoe, Nevada/California, EUA. Advances in Visual Computing - Lecture Notes in Computer Science, vol. 4841, p.160-169. Springer-Verlag, 2007.
• [Zhang, 2000], Z. Zhang, “A Flexible New Technique For Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
46
![Page 47: Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.](https://reader035.fdocuments.in/reader035/viewer/2022062818/570638471a28abb8238f37f7/html5/thumbnails/47.jpg)
Referencias• [Meer et al, 1998], Peter Meer,Reiner Lenz amd Sudhir Ramakrishna,“ Efficient
Invariant Representations”. International Journal of Computer Vision 26, 137–152, 1998.
• [Torr, 1997] Phil Torr and David Murray, “The development and comparision of robust methods for estimating the fundamental matrix”, International Journal Computer Ession, vol. 24, no. 3, pp. 271-300, September, 1997.
• [Hartley, 1997], Richard Hartley, “In defense of the eight-point algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 580-593, Vol. 19, June, 1997.
• [Flusser, 2000],J. Flusser: "On the Independence of Rotation Moment Invariants", Pattern Recognition, vol. 33, pp. 1405-1410, 2000
• [Uematsu et al, 2007], Uematsu Y., Teshima T., Saito H., Cao Honghua, “D-Calib: Calibration Software for Multiple Cameras System”, 14th International Conference on Image Analysis and Processing (ICIAP), pp. 285-290, 2007.
• [Thormählen et al,2003],T. Thormählen, H. Broszio, I. Wassermann,"Robust Line-Based Calibration of Lens Distortion from a Single View“, Proceedings of Mirage 2003 ( Computer Vision / Computer Graphics Collaboration for Model-based Imaging, Rendering, Image Analysis and Graphical Special Effects), INRIA Rocquencourt, France, 10-12 March 2003, pp. 105-112,2003.
• [Vicon, 2008 ], Vicon Motion Systems, http://www.vicon.com/, August 2005.• [ART, 2008 ], Advanced Real Time Tracking GmbH, http://www.ar-
tracking.de/,August 2005.
47