image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias –...
Transcript of image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias –...
Correspondence estimation inimage pairs
Andre Redert, Emile Hendriks, Jan Biemond
IEEE Signal Processing Magazine 16(3)29-46
Introduccion
• Aplicaciones de la estimación de correspondencias– Codificación de video, compresión (vectores de movimiento)
– Conversión de velocidad en video (interpolación)
– Generación de imágenes desde multiples puntos de vista (interp.)
– Calibración de cámara
– Extracción 3D desde estereo-visión
– Estructura a partir de movimiento
Intro
• Tendencia a la estimación de campos densos decorrespondencias– Permite la adquisición de escenas 3D de alta resolución
– Permite construir modelos más complejos
– Puede utilizarse para extrapolación así como para interporlación(multiples puntos de vista)
– Permite procesado al nivel de objeto y mayor interacción
Intro
• Desafios en la estimación de campos decorrespondencias densos– La dimensionalidad del espacio de soluciones
es extremadadmente grande
– La estimación basada en las correspondenciasde intensidad no es inmediata (Constant ImageBrightness) está sujeta a ambiguedad
La estimación de correspondencias basada en la igualdad de intensidades es un problema mal planteado (ill-posed)
Correspondencia geométrica
• Dos puntos en las imágenes son correspondientes(geométricamente) si han sido generados por elmismo punto en la escena
Correspondencias múltiples
• Pueden producirse correspondencias de uno amuchos debido a efectos de la escena (lo ignora)
Oclusiones
• El movimiento relativo de los objetos (opacos) puedecausar oclusiones (pseudo-correspondencias)
Pares espaciales
• Las imágenes se toman con dos cámaras enposiciones distintas (estimación de disparidad)
Pares espaciales
• La profundidad se calcula mediantetriangulación
Pares espaciales
• Restricción epipolar; cámaras paralelas
Pares temporales
• La escena se graba con una cámara que se desplaza.
• La estimación de correspondencias es una estimación demovimiento
Pares temporales
• Puede simularse la secuencia temporal yviceversa
Clasicos
• Algoritmos basados en características (features):proporcionan estimaciones dispersas (sparse)
Clásicos
• Emparejamiento de bloques (vídeo compresión)(sólo translaciones)
Clásicos
• Emparejamiento a nivel de pixel: asumecausalidad a nivel de pixel
Clásicos
• Basados en el flujo óptico: la relación deintensidad constante a lo largo de latrayectoria
Bayesian approach
• Permite la estimación densa combinada conla segmentación de los objetos
• No necesita calcular derivadas de laintensidad
• 4 pasos
• Paso 1: se definen los elementos (imágenesy campos de salida)
• Paso 2: se modela el problema especificando la probabilidad
condicionada de los campos respecto de las imagenes
• Paso 3: Se define la mejor solución:Maximum a posteriori (MAP)
• Paso 4: se aplica un algoritmo de búsqueda(relajación, simulated annealing)
Campos de salida
• Tipos de campos de salida– Correspondencias
– Oclusiones
– Segmentación basada en bordes
– Segmentación basada en regiones
• Todos están definidos sobre látices
Campos de salida
• El campo de correspondencias (puedenobtenerse precisiones subpixel mediante interpolación)
• El campo de oclusiones especifica las seudocorrespondencias debidas a oclusiones
• Mapa de encadenamiento: combina las oclusiones de lasdos imágenes en el caso de cámaras paralelas
Campos de discontinuidades
• Los bordes de los objetos coindiciden condiscontinuidades de los campos y oclusiones
Campos de discontinuidades
• Dominio de definición y valores
Campos de segmentacion
• El campo R tiene de dominio el mismolatice que las imágenes y para cada pixeluna etiqueta
• Un campo de discontinuidades puedededucirse de un campo de segmentación
Modelado
• El modelo viene dado por las distribucionesde probabilidad (conjuntas) de los camposcondicionadas a las imágenes
• Los modelos que asumen la propiedad deMarkovianeidad son campos markovianos.
Modelos de luminancia
• Usualmente se asume que el modelo de luminancia es uncampo de entradas indenpendientes
• Asunción soportada por el CIB (las desviaciones semodelan con una gausiana)
• Las oclusiones se modelan con una distribución uniformede intensidades resultantes
Modelos de la correspondencia
• Los modelos probabilisticos son camposmarkovianos con distribución deprobabilidad Gibbsiana
• Permiten modelar propiedades globales dela imagen en términos locales devecindarios de los pixels.
Modelos de correspondencias
• Modelo de correspondencias suaves básico
Modelos de correspondencias
• Restricciones de suavidad orientadas(limitadas por las discontinuidades en laimagen)
Modelos de bordes(discontinuidades de correspondencias)
• Discontinuidades penalizadas independientemente
• Combinando las discontinuidades con lasdiferencias en la imagen
• Forzando curvas cerradas
Modelos de oclusión
• Penalizaciones independientes
• Forzando la conectividad de los puntos deoclusión sobre un campo dediscontinuidades extraido del campo deoclusión (fig 22)
Modelo total
• ddp oclusión
• ddp bordes condicionado
• Combinación gibbsiana
• Combinación total de todas las restricciones
Criterios de solución óptima
• Maximo a posteriori (MAP)
• Campo medio
Algoritmos de búsqueda
• Se aplican a la energía y no a la probabilidad
• Métodos
– Descenso de gradiente: mínimos locales
– Simulated annealing
– Programación dinámica
– Algoritmos genéticos. Muy costosos
Metodos de búsqueda
• Métodos de campo medio
• Métodos jerárquicosmultiresolución/multiescala
Futuro
• La utilización de dos campos decorrespondencias
• Modelos complejos de dependencias enintensidad (restauración de imagen)
• Superficies especulares
• Multiples correspondencias en secuenciasde imagenes
Futuro
• Utilización de la geometría epipolar para restringirla búsqueda en las lineas epipolares