Анализ изображений и видео 2: Лекция 4: Сегментация...
Transcript of Анализ изображений и видео 2: Лекция 4: Сегментация...
![Page 1: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/1.jpg)
Анализ изображений и видео - 2
Наталья Васильева [email protected] HP Labs Russia
20 марта 2014, Computer Science Center
Лекция 4: Сегментация изображений
![Page 2: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/2.jpg)
2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Разные уровни локализации Что есть распознанный объект?
• Объект (сцена) присутствует на изображении
классификация, категоризация изображений (image classification)
• Известно местоположение объекта, объект выделен на изображении
обнаружение, выделение, локализация объекта (object detection, localization)
• Известны пиксели, принадлежащие объекту
объектная сегментация (object segmentation)
Slide credit: M. Everingham
![Page 3: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/3.jpg)
3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Уровни обобщения
Уров
ни л
окал
изац
ии
просто
сложно
Определение категории и объектная сегментация
Определение категории и выделение объекта на изображении
Определение категории объекта на изображении
![Page 4: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/4.jpg)
4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Что такое сегментация?
Деление изображения на составляющие его области или объекты Объединение пикселей в группы по признаку «однородности», «связности»
Сегменты:
Пиксели, принадлежащие одному сегменту, «имеют что-то общее»
Сегментация – одна из самых сложных задач компьютерного зрения
![Page 5: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/5.jpg)
5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Что такое сегментация?
Fig. credit: Shi, Malik
![Page 6: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/6.jpg)
6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Что такое сегментация?
Fig. credit: Malik
![Page 7: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/7.jpg)
7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Где используется сегментация?
Сегментация медицинских
снимков
Сегментация аэрокосмических снимков
Выделение объектов на произвольных
изображениях и видео
Tiger Grass
Water
Sand
![Page 8: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/8.jpg)
8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Подзадачи сегментации
• Как определить, что значит «пиксели имеют что-то общее»? Что есть это «общее»?
• Как построить математическую модель, отражающую необходимое нам понимание «общности»?
• Как найти решения в выбранной модели?
![Page 9: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/9.jpg)
9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Возможные критерии «общности»
Цвет
просто
сложно
Текстура
Уровень яркости
Перемещение, движение
Форма, контуры Материал
Принадлежность одному объекту
![Page 10: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/10.jpg)
10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Цвет Критерии «общности»
255х192, 9603 цветов 255х192, 8 цветов
D. Comaniciu, P. Meer: Robust Analysis of Feature Spaces: Color Image Segmentation, CVPR'97
![Page 11: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/11.jpg)
11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Текстура Критерии «общности»
Исходное изображение и его Фурье-спектр
Vincent Levesque, Texture Segmentation Using Gabor Filters http://www.cs.huji.ac.il/~simonp/papers/ip_project.pdf
Амплитуды результатов свертки с 4 разными фильтрами Габора
Результат сегментации
![Page 12: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/12.jpg)
12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Текстура Критерии «общности»
Thomas Hofmann, Jan Puzicha, Joachim M. Buhmann, Deterministic annealing for unsupervised texture segmentation, EMMCVPR ‘97, pp. 213-228
![Page 13: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/13.jpg)
13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Расположение относительно контура Критерии «общности»
Slide credit: O. Carmichael
Stella Yu, PhD thesis, 2003
![Page 14: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/14.jpg)
14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Перемещение, движение (motion) Критерии «общности»
http://www.svcl.ucsd.edu/projects/motiondytex/demo.htm
Одинаковые параметры вектров перемещения: направление, длина
http://vcla.stat.ucla.edu/old/Barbu_Research/Motion_estim/index.html
![Page 15: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/15.jpg)
15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Глубина (depth) Критерии «общности»
M. Domínguez-Morales, A. Jiménez-Fernández, R. Paz-Vicente, A. Linares-Barranco and G. Jiménez-Moreno Stereo Matching: From the Basis to Neuromorphic Engineering
![Page 16: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/16.jpg)
16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Глобальные Критерии «общности»
• Расстояние между пикселями • Пиксели из одного сегмента расположены рядом
• Число сегментов • Семантически значимых сегментов не должно быть много на изображении
• Форма/контур сегмента • Конутр сегмента не должен быть очень сложным
![Page 17: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/17.jpg)
17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Математические модели
Кластеры в пространстве
признаков
Slide credit: O. Carmichael
2-D решетка Множество регионов
Полносвязный граф
![Page 18: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/18.jpg)
18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Методы сегментации
• «Простые» • Выращивание областей (region growth) • Разделение и слияние областей (split & merge) • Сегментация по водоразделам (watershed)
• С использованием кластеризации • k-means • Mean shift
• Методы на графах • MinCut • Normalized Cut
• Методы на 2-D решетках • Энергетические методы
![Page 19: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/19.jpg)
19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Таксономия методов сегментации
• «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based • «Снизу-вверх»
• Оцениваем «общность» отдельных пикселей или небольших групп пикселей
• «Сверху-вниз» • Оцениваем «общность» на глобальном
уровне для всего сегмента
?
?
![Page 20: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/20.jpg)
20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Таксономия методов сегментации
• «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based
• Автоматическая v.s. с учителем • Automated v.s. user-directed
?
?
![Page 21: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/21.jpg)
21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Выращивание областей
0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0 0 0 0 0 0 0
0 0
0 0
0 0
0 0
0 0
0 0
0 0
0 0
0
0
0 0 0
0 0 0
0 0 0
0 0 0 0 0 0
0 0 0 0 0
1 1
1 1 1 1 1 1 1 1
1 1 1 1
1 1 1 1
1 1 1
1 1
1 1
2 2 3 3
3 3
3 3
4 4
3 3 3 3
3 3 3 3
3 3 3
3 3 3
5 3
5 3 6 6 3 3 3 7
0
![Page 22: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/22.jpg)
22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Выращивание областей
0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0 0 0 0 0 0 0
0 0
0 0
0 0
0 0
0 0
0 0
0 0
0 0
0
0
0 0 0
0 0 0
0 0 0
0 0 0 0 0 0
0 0 0 0 0
1 1
1 1 1 1 1 1 1 1
1 1 1 1
1 1 1 1
1 1 1
1 1
1 1
1 1 3 3
3 3
3 3
3 3
3 3 3 3
3 3 3 3
3 3 3
3 3 3
3 3
3 3 3 3 3 3 3 3
0
![Page 23: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/23.jpg)
23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Выращивание областей
![Page 24: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/24.jpg)
24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Разделение и слияние
1. Split into 4 disjoint quadrants any region Ri for which P(Ri) = FALSE 2. Merge any adjacent region Rj and Rk for which
P(Ri ∪ Rk ) = TRUE 3. Stop when no further merging or splitting is possible.
![Page 25: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/25.jpg)
25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Сегментация по водоразделам
![Page 26: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/26.jpg)
26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Использование кластеризации
X1 X2
X1,X2 – вектора признаков
(описывают цвет, текстуру, перемещение,...)
![Page 27: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/27.jpg)
27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Использование кластеризации
Source: K. Grauman
![Page 28: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/28.jpg)
28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Кластериазция
X1
X2
X3
Вопросы: • Какие признаки использовать? • Как сравнивать вектора
(какая метрика)? • Сколько кластеров? • Форма кластеров?
![Page 29: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/29.jpg)
29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Основная идея Метод k-средних
R
G
R
G
Каждая точка должна быть как можно ближе к центру своего кластера:
min
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 30: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/30.jpg)
30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Алгоритм Метод k-средних (k-means)
1. Выбрать k
2. Инициализировать k центров (например, случайным образом)
3. Распределить точки по кластерам: каждую точку присвоить к кластеру с ближайшим к точке центром
4. Переместить центры, чтобы они дейтсвительно были центрами получившихся кластеров
5. Если хотя бы один центр поменялся на шаге 4, перейти к шагу 3
Java демо: http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 31: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/31.jpg)
31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
0
1
2
3
4
5
0 1 2 3 4 5
Distance Metric: Euclidean Distance
k1
k2
k3
Метод k-средних: шаг 1
Slide credit: Lihi Zelnik-Manor
![Page 32: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/32.jpg)
32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
0
1
2
3
4
5
0 1 2 3 4 5
k1
k2
k3
Distance Metric: Euclidean Distance
Метод k-средних: шаг 2
Slide credit: Lihi Zelnik-Manor
![Page 33: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/33.jpg)
33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
0
1
2
3
4
5
0 1 2 3 4 5
k1
k2
k3
Distance Metric: Euclidean Distance
Метод k-средних: шаг 3
Slide credit: Lihi Zelnik-Manor
![Page 34: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/34.jpg)
34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
0
1
2
3
4
5
0 1 2 3 4 5
k1
k2
k3
Distance Metric: Euclidean Distance
Метод k-средних: шаг 4
Slide credit: Lihi Zelnik-Manor
![Page 35: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/35.jpg)
35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
0
1
2
3
4
5
0 1 2 3 4 5
expression in condition 1
expr
essi
on in
con
ditio
n 2
Distance Metric: Euclidean Distance
Метод k-средних: шаг 5
k1
k2 k3
Slide credit: Lihi Zelnik-Manor
![Page 36: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/36.jpg)
36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Image Intensity-based clusters Color-based clusters
Сегментация методом k-средних
• K-means clustering based on intensity or color is essentially vector quantization of the image attributes
• Clusters don’t have to be spatially coherent
Slide credit: Lihi Zelnik-Manor
![Page 37: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/37.jpg)
37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Добавление пространственной информации
Source: K. Grauman
Distance based on color and position
Slide credit: Lihi Zelnik-Manor
![Page 38: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/38.jpg)
38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Сегментация методом k-средних
•Clustering based on (r,g,b,x,y) values enforces more spatial coherence
Slide credit: Lihi Zelnik-Manor
![Page 39: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/39.jpg)
39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
k-Means: достоинства и недостатки
• Достоинства • Простота
• Недостатки • Converges to a local minimum of the error function (решение: K-means++) • Memory-intensive • Need to pick K • Sensitive to initialization • Sensitive to outliers • Only finds “spherical”
clusters
![Page 40: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/40.jpg)
40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Mean-shift for image segmentation
Useful to take into account spatial information • instead of (R, G, B), run in (R, G, B, x, y) space • D. Comaniciu, P. Meer, Mean shift analysis and applications, 7th International Conference on
Computer Vision, Kerkyra, Greece, September 1999, 1197-1203. – http://www.caip.rutgers.edu/riul/research/papers/pdf/spatmsft.pdf
More Examples: http://www.caip.rutgers.edu/~comanici/segm_images.html
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 41: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/41.jpg)
41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
The mean shift algorithm seeks modes or local maxima of density in the feature space
Mean shift algorithm
image Feature space
(L*u*v* color values)
![Page 42: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/42.jpg)
42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
• Find features (color, gradients, texture, etc) • Initialize windows at individual feature points • Perform mean shift for each window until convergence • Merge windows that end up near the same “peak” or mode
Mean shift clustering/segmentation
![Page 43: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/43.jpg)
43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 44: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/44.jpg)
44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 45: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/45.jpg)
45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 46: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/46.jpg)
46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 47: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/47.jpg)
47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 48: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/48.jpg)
48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean Shift vector
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 49: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/49.jpg)
49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Search window
Center of mass
Mean shift
Slide by Y. Ukrainitz & B. Sarel
![Page 50: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/50.jpg)
50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
•Cluster: all data points in the attraction basin of a mode •Attraction basin: the region for which all trajectories lead to the same mode
Mean shift clustering
Slide by Y. Ukrainitz & B. Sarel
![Page 51: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/51.jpg)
51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResults.html
Mean shift segmentation results
![Page 52: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/52.jpg)
52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
More results
![Page 53: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/53.jpg)
53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Mean shift: достоинства и недостатки
•Достоинства – Does not assume spherical clusters – Just a single parameter (window size) – Finds variable number of modes – Robust to outliers
•Недостатки – Output depends on window size – Computationally expensive – Does not scale well with dimension of feature space
![Page 54: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/54.jpg)
54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Probabilistic clustering
Basic questions • what’s the probability that a point x is in cluster m? • what’s the shape of each cluster? K-means doesn’t answer these questions Basic idea • instead of treating the data as a bunch of points, assume that they are all generated
by sampling a continuous function • This function is called a generative model
– defined by a vector of parameters θ
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 55: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/55.jpg)
55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Expectation maximization (EM)
Goal • find blob parameters θ that maximize the likelihood function:
Approach:
1. E step: given current guess of blobs, compute ownership of each point 2. M step: given ownership probabilities, update blobs to maximize likelihood function 3. repeat until convergence EM demo: http://lcn.epfl.ch/tutorial/english/gaussian/html/index.html
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 56: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/56.jpg)
56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Иерархическая кластеризация
![Page 57: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/57.jpg)
57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
d( , ) >> d( , )
Модель для метрического пространства
Когда нет векторов признаков, как таковых, а есть только значение функции расстояния/подобия для каждой пары пикселей: d(.,.)
Например:
потому что между и нет границы, а между и есть.
Slide credit: O. Carmichael
![Page 58: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/58.jpg)
58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Моделирование при помощи графов
Slide credit: O. Carmichael
![Page 59: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/59.jpg)
59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
q
Automatic graph cut
Fully-connected graph • node for every pixel • link between every pair of pixels, p,q • cost cpq for each link
– cpq measures similarity o similarity is inversely proportional to difference in color and position
p
Cpq c
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 60: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/60.jpg)
60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Segmentation by Graph Cuts
Break Graph into Segments • Delete links that cross between segments • Easiest to break links that have low cost (similarity)
– similar pixels should be in the same segments – dissimilar pixels should be in different segments
w
A B C
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 61: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/61.jpg)
61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Min cut
Link Cut • set of links whose removal makes a graph disconnected • cost of a cut:
A B
Find minimum cut • gives you a segmentation
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 62: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/62.jpg)
62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
But min cut is not always the best cut...
Ideal Cut
Cuts with lesser weight than the ideal cut
… and it is NP-complete
![Page 63: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/63.jpg)
63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
A B
Normalized Cut • a cut penalizes large segments • fix by normalizing for size of segments
• volume(A) = sum of costs of all edges that touch A
Normalized Cut
Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
![Page 64: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/64.jpg)
64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Примеры сегментации
Slide credit: O. Carmichael
![Page 65: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/65.jpg)
65 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Примеры сегментации
Slide credit: O. Carmichael
![Page 66: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/66.jpg)
66 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Примеры сегментации
Slide credit: O. Carmichael
![Page 67: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/67.jpg)
67 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Использование графов Полносвязные графы содержат информацию об отношениях для всех возможных пар пикселей
Slide credit: O. Carmichael
![Page 68: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/68.jpg)
68 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Использование 2-D решетки 2-D решетка содержит информацию только об отношениях соседних пикселей
Моделироание при помощи Марковских случайных полей (Markov Random Fields, MRF)
Slide credit: O. Carmichael
![Page 69: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/69.jpg)
69 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Математические модели
Кластеры в пространстве
признаков
Slide credit: O. Carmichael
2-D решетка Множество регионов
Полносвязный граф
![Page 70: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/70.jpg)
70 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Деформируемые контуры Deformable contours/active contours/snakes
Методы сегментации «сверху-вниз»
• Если известно, сколько сегментов хотим выделить на изображении • Если есть возможность получить начальное предсказание, где проходит контур • Если сегменты имеют относительно простую форму • Если есть возможность получить вводную информацию о пользователя
Lei He, Zhigang Peng, Bryan Everding, Xun Wang, Chia Y. Han, Kenneth L. Weiss, William G. Wee, A comparative study of deformable contour methods on medical image segmentation, Image and Vision Computing 26 (2008) 141–163
![Page 71: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/71.jpg)
71 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Подзадачи: параметризация Деформируемые контуры
• Как математически описать контур? Сколько параметров потребуется задать?
s
Каждая точка контура имеет коордианты (xi(s), yi(s))
![Page 72: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/72.jpg)
72 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Подзадачи: задать энергию контура Деформируемые контуры
• Как математически задать, каким нам хочется видеть контур? Например: • Чтобы вдоль контур находился в точках сильного перепада яркости • Чтобы контур был не сложным
![Page 73: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/73.jpg)
73 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Подзадачи: оптимизация Деформируемые контуры
• Подобрать параметры для контура так, чтобы минимизировать энергию контура
![Page 74: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/74.jpg)
74 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Параметризация
• Кусочно-линейные функции • Сплайны • Описание спектра (Фурье, вейвлеты)
![Page 75: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/75.jpg)
75 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Задание энергии контура
Einternal – внутренняя энергия контура, задает желаемые свойства контура вне зависимости от свойств внутренней области Например: • Непрерывность контура – минимизация первой производной • Гладкость контура – минимизация второй производной
internal image user
![Page 76: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/76.jpg)
76 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Задание энергии контура
Eimage – задает желаемые свойства внутренней/внешней области Например: • Перепад яркости – максимизация градиента яркости
internal image user
![Page 77: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/77.jpg)
77 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Задание энергии контура
Euser – задает дополнительные внешние условия Например: • Набор контрольных точек и минимизация/максимизация расстояния до них
internal image user
![Page 78: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/78.jpg)
78 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Оптимизация
Градиентный спуск 1. Ищем минимум энергии – точку, где ее производная равна нулю 2. Перемещаем контур по направлению уменьшения градиента энергии 3. Повторяем шаг 2 до тех пор, пока не окажемся в точке минимума
![Page 79: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/79.jpg)
79 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
D. Martin, C. Fowlkes, D. Tal, J. Malik. "A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics", ICCV, 2001
Berkeley Segmentation DataSet [BSDS]
![Page 80: Анализ изображений и видео 2: Лекция 4: Сегментация изображений](https://reader031.fdocuments.in/reader031/viewer/2022020106/55ab1bc51a28ab63268b4759/html5/thumbnails/80.jpg)
80 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Заключение
• Bottom-up • Определение критериев «общности» • Построение математической модели • Найти решение в выбранной модели
• Top-down (active contours) • Параметризация • Построение функции энергии контура • Оптимизация