Video Segmentation: Propagation, Validation and Aggregation of a Preceding Graph

2023年4月21日星期五 1

Video Segmentation: Propagation, Validation and

Aggregation of a Preceding Graph

作者： Siying Liu, Guo Dong, Chye Hwang Yan, Sim Heng Ong

讲解人：王琳


作者

Siying Liu & Sim Heng Ong新加坡国立大学电气与计算机工程系 4 工程驱动 3 ，

新加坡 117576 [email protected] [email protected]

Guo Dong & Chye Hwang Yan国防科技实验室，科学园道 20 ，新加坡 [email protected]@dso.org.sg


目录文章摘要引言

基于 MRF 的极大后验分割方法 MRF-MAP VS Graph cut 基于 MRF-MAP 的时空聚类方法

系统结构流程图问题形式化及解决

传播验证聚合

实验结果总结和讨论


文章摘要In this work, video segmentation is viewed as an efficient intra-frame grouping temporally reinforced by a strong inter-frame coherence. Traditional approaches simply regard pixel motionsas another prior in the MRFMAP framework. Since pixel pre-grouping is inefficiently performed on every frame, the strong Correlation Between inter-frame groupings is largelyunderutilized. We exploit the inter-frame correlation topropagate trustworthy groupings from the previous frame. A preceding graph is constructed and labeled for the previousframe. It is temporally propagated to the current frame and validated by similarity measures. All unlabeled subgraphs arespatially aggregated for the final grouping. Experimental resultsshow that the proposed approach is highly efficient for spatio-temporal segmentation. It makes good use of temporal correlation and produces satisfactory grouping results.


文章摘要视频分割是一种帧内图像的聚类方法，这种方法可以利

用时域上的帧间一致性信息来改善分割效果。传统的视频分割方法只是简单地将像素点的运动看成 MR

F-MAP 工作框架下的一个先验信息。对每帧图像来说，像素聚类不能高效的完成，帧间的相关性信息没能充分的利用起来。

在本文中，我们利用了帧间的时空局部一致性信息，从前一帧分割图像中来传播可信度大的聚类结果。对前一帧已经标定的图，我们把它传播到当前帧，并且通过相似性措施来验证这个分割结果，所有没有标定的子图都会在空间上做一次最后的聚合从而来得到我们最终的分割结果。

实验结果表明我们的方法对时空分割是非常高效的，它充分利用时间上的相关性信息，产生了令人满意的聚类结果。





传播验证聚合



引言

Video segmentation在基于内容的视频检索和视频摘要上，意指语义实体

的分解（ a decomposition of semantic entities ）；在视频编解码上指运动物块的分割；在场景解释上指一种基于时空信息的聚类方法；在本文中指一种帧内的高效分割方法，这种方法可以

利用帧间的相关性来加强，它其实是一种基于时间相关性和空间一致性的像素标定算法；


引言极大后验分割方法（ MAP ）

1 2{ , ,......, } be a set of image pixelsNS s s s

{ | } as a family of random variables;sX x s S

1 2,{ , ......, }ML l l l, ,ss S x L X 的值可以通过最大化

后验来求得


引言基于 MRF-MAP 分割方法

随机场：位置（） , 相空间（）；怎么样利用位置集中每两点之间的相关性将相空间的值赋给每个位置的问题；

马尔科夫性质：指的是一个随机变量序列按时间先后关系依次排开的时候，第 N+1 时刻的分布特性，与 N 时刻以前的随机变量的取值无关。

与都用 MRF 来建模；称为特征场或者灰度场，常以标号场为条件，用分布

函数描述观测数据或特征向量的分布。称为标号场，常又被称为隐随机场，用先验分布描述标

号场的局部相关性。

S L

( | )P S X ( )P X( | )P S X

( )P X

2023年4月21日星期五 10

引言基于 MRF-MAP 分割方法

数据项对应特征场，表征观测数据或者特征向量的分布。平滑项对应标号场，表征不同像素点之间的关系。是图像

一种局部相关性的描述。参数来平衡二项之间的关系。该方法的优雅之处就是把图像分割问题装化为了对最小化能量

函数的研究。

d sE E E

dE

sE

2023年4月21日星期五 11

引言MRF-MAP VS Graph cut

最小化 MRF-MAP 的能量函数等价于在图 G 中找最小权值和的割。Graph cut

Graph G=(S,E),S 是像素点集， E 是边集。 W 是针对 G 中的每条边相连的 2 个像素的相关属性设置的权值。上式的解法： the ratio cut ， Normalized cut and min-max cut 。

,

min ( , ) ( , )u A v B

cut A B W u v

2023年4月21日星期五 12

引言

Graph cut 的解法Graph cut 的多值分割（ ICM ）

2023年4月21日星期五 13

引言

Graph cut 的解法Min-max cut

2023年4月21日星期五 14

引言Graph cut 解法的相关比较

解法的分类以 Normailized cut 为代表的谱图割方法，时间复杂度高（

），限制了它们在尺度比较大的图片上的应用。

以 min-max 为解法的图割方法，可以很好的解决空域上的图片的分割，但是必须预先指定一些像素作为样本。

3/2( )O n

2023年4月21日星期五 15

引言基于 MRF-MAP 的时空聚类方法

和分别代表前一帧的标号集和像素集，代表时间。

该方法的缺点：容易引起过分割，时间相干性未能在 video-based应用上得到充分利

用。这种方法寻找一个最优解来分割不同大小的物体，很难找到一个模型

来解决空间尺度上的变化。而且该方法容易产生亚最优的分割结果。

( | , , , ) ( | , , , ) ( | , , ) ( | , ) ( , )

( | , , , ) ( | , ) ( | )

P X S T X S P S X T X S P X X T S P X T S P T S

P S X T X S P X X T P X T

d s tE E E E

X S T

2023年4月21日星期五 16




传播验证聚合


2023年4月21日星期五 17

系统结构流程图

2023年4月21日星期五 18




传播验证聚合


2023年4月21日星期五 19

问题形式化及解决传播

问题：

A 表示仿射变换矩阵。在图像和采用 SIFT 算法找到对尺度不变特征作

为样本训练得到 A 。训练过程中为了增强算法的鲁棒性，可以通过 RANSAC

（随机采样一致算法）来选取比较好的样本，并且减少传播变换带来的错误。

( , , ) ( , , ), Sp p p pG S E L G S E L S

AI I

3N I I

2023年4月21日星期五 20

问题形式化及解决验证

问题：

检测出了独立运动和仿射变换带来的错误。经过验证环节，图被分成 2 部分，一部分保留了前

一帧传播过来的正确结果，另一部分待定。

( , , ) ( , ,L )+G =(S ,E ,L ) Sp p p v v v x x x x pG S E L G S E S

( )

( )

( )

| ( ) ( ) | 3 ( )

| ( ) ( ) | 3 ( )

| ( ) ( ) | 3 ( )

n

n

n

pn n l s

pn n l s

pn n l s

s r s r r

s g s g g

s b s b b

pG

2023年4月21日星期五 21

问题形式化及解决聚合

问题：一种思路：以为种子，分别建模，然后用 min-max 方法来 cut 。两个挑战：

Independent motions 和 newly appear objects

G +G =(S ,E ,L ) G=(S,E,L) st. G ( , , )v x x x x v v v vS E L Gv

2023年4月21日星期五 22


本文的方法：采取先将进行颜色聚类，将它转化成许多的 subgraphs ，然后和的子图一起进行聚合

聚合的准则： Edge ， color and shape

G x

Gv

2023年4月21日星期五 23


聚合准则： Edge

The edge weight ：

惩罚准则函数：J B

J B k

JE i j J

BB k

1 if w e w e

C g g w e otherwise

w e

（（）（）（，）（）

（）

i j

J B Bi j J

( , ), strength

of the boundery of g the mean of all edge weights in e ,

which is by ( ) g g

The joint e e e the strength of the joint

Bi i i i

Bi i

BB i

g s e e The

is

represented w e

w

对表示落在区域边界上边的集合，

。对两个相邻子图和，

，（ J

J

e is

the mean of all edge weights in e

）

。

ig jg

kg2 2 2( ) ( ) ( ) ( )ij i j i j i jw e l l u u v v

2023年4月21日星期五 24


聚合准则： color

惩罚准则函数：

( ) ( ) ( ) ( )H i L i u i v iC g g g g

1 if C ( ) ( , )

( , g ) C ( ) otherwise

( , )

H k

H i j H k

g avg i j

C g g

avg i j

( , ) ( ( ) ( )) / 2H i H javg i j C g C g

2023年4月21日星期五 25


聚合准则： shape

惩罚准则函数：

Total cost function ：

聚合候选选取：

2( ) 4 ( ) / ( )

( ) is the area of g ,L(g ) is the perimeter of gs i i i

i i i i

C g A g L g

A g

2

4 ( )( , ) 1

( )k

s i jk

A gC g g

L g

( , g ) ( , ) ( , ) ( , )i j E E i j H H i j s s i jC g K C g g K C g g K C g g

max( , g )i jC g C

2023年4月21日星期五 26

聚合算法：

2023年4月21日星期五 27

时空分割算法

2023年4月21日星期五 28




传播验证聚合


2023年4月21日星期五 29

实验结果

实验数据两段视频 Table tennis

Coast Guard

2023年4月21日星期五 30

实验结果Over Segmentation Evaluation ：

1

( )( )

( )

( ) is the number of correctly labeled pixels in s,and ( ) is the number of pixels in s.

Nsaccu

s s total

accu total

N sAccu S

N s

where N s N s

2023年4月21日星期五 31

实验结果

2023年4月21日星期五 32

实验结果

Independent motion & newly appearear objects

2023年4月21日星期五 33

实验结果

2023年4月21日星期五 34




传播验证聚合


2023年4月21日星期五 35

总结和讨论

本文的方法充分挖掘了帧间的相关性来分割，传播了前一帧的分割结果，通过颜色相似性来验证，保留了正确的传播结果，最后在空间上以最小化能量函数的方式来聚合未标定的数据来得到最终的结果。

传播了分割结果，减少了每帧重新分割的计算负担。

验证和聚合步骤可以解决独立运动和新进入物体引起的分割问题。

2023年4月21日星期五 36

总结和讨论

Future work在验证阶段，仅用颜色相似性来验证是不够的，可以融入多种其他特征信息来验证。

Question

Video Segmentation: Propagation, Validation and Aggregation of a Preceding Graph

Documents

Transcript of Video Segmentation: Propagation, Validation and Aggregation of a Preceding Graph