Surveillance System
Transcript of Surveillance System
Surveillance System
OutlineGray levelSome filtersBackground modelK-means algorithmDilation & erosionBoundary extractionConnected component labelingFeature extraction
Gray levelGray = ( R + G + B ) / 3
Gray levelGray = 0.299 *R + 0.587 * G + 0.114 B
Median filter由小到大排序 0, 0, 0, 10, 10, 20, 30, 40, 50
Median filter若在一張有 salt-and-pepper noise 的影像中,
加入 Median Filter 則可有效去除雜訊。
Mean filter
Standard average
Weighted average
Mean filterMask 尺寸愈大,糢糊效果愈強。
Laplacian filter
Laplacian filter銳化結果
Laplacian filterLaplacian 濾波器對於雜訊非常敏感改善:先以
高斯濾波器衰減雜訊,再加以銳化: Laplacian of Gaussian (LOG) 濾波器
Laplacian filter
Surveillance systems
背景差分影像找前景
建立背景
無前景的固定背景
Gaussian mixture model (GMM)(Mixture of Gaussian, MoG)
Highest redundancy ratio (HRR)
固定式背景Frami – Backgroundi > Th 則視為前景。此方法於背景物體與亮度不會隨時間而有所變動時
才可使用,當背景物體或亮度改變時則需更新背景才可正確找到目標物。
Threshold 過大或過小都會影響到前景的判斷。Too high Too low
直方圖均衡化增強對比Background Frame 12
Background subtraction
Frame 12 – Background
Thresholding
Th=20 Th=30Th=40
GMM一個像素的 (R,G) 值歷史紀錄
GMM高斯模型的數目通常取 3~5 個
GMMModel example
GMMUpdate model
GMM當一個數值介於某一個 model 的 2.5 倍標準差以
內,此數值即屬於該 model ,而後進行前述之model 更新。
如何決定背景由哪些 model 所建立?
Model 的權重依大到小排序,若前 b 個權重合超過 threshold ,則 match 到前 b 個 model 的像素值都視為背景。
GMM高斯函數取得影像中的特徵像素值做為背景圖影像,
較不易受到少數光線變化或事件的影響,進而破壞它背景圖的參考品質,因為方法較為強健適合戶外監視影像,但是缺點是計算量較大。
參考論文: Chris Stauffer and W.E.L. Grimson “Adaptive Background Mixture Models for Real-Time Tracking” 1999 IEEE computer society conference on computer vision and pattern recognition, volume 2, p.2246
K-means algorithm主要目標是要在大量的資料點中找出具有代表性的
資料點,這些資料點可以稱為是群中心、代表點、 codewords 等,然後在根據這些群中心,進行後續處理。
k-means 分群法是屬於「向量量化」( Vector Quantization ,簡稱 VQ )的一個基本方法。
K-means algorithm隨機選取 C 個資料點,將之分別視為 C 個群聚的群中
心,這就是 Y 。由固定的 Y ,產生最佳的 U 。換句話說,對每一個資
料點 x ,尋找與之最接近的群中心,並將 x 加入該群聚。
計算目標函數 J(X; Y, U) ,如果保持不變,代表分群結果已經穩定不變,所以可以結束此疊代方法。
再由固定的 U ,產生最佳的 Y 。跳回第 2 個步驟。
K-means algorithm
HRR利用統計方式建立背景圖以時間標示較久的像素值做為背景圖:它首先會建
立一個表格,用來記錄每張訓練影像的變動次數及時間長短,它盡量保留變動性少,且停留時間較長的像素值,用以排除一些少數的光影變化及特殊事件,會增加一些記憶體的容量,但改善前景影像留下殘影的缺陷。
HRRh(x) = Highest_Redundant { N(Ft(x))}N(Ft(x)) 代表在一段時間裡 (F) 的同個位置 (x) ,
減化重覆後的數量,所以我們取重覆量最高的像素值當作背景影像。
在整個建立背景的計算中,會將影片裡的每一個像素值儲存在歷史記錄裡 (History Map) ,觀察與比較它的變化。
HRR
HRR1a 與 1b 分別紀錄著目前 pixel(x, y)位置的像素
值,以及 pixel(x, y)位置像素值的重覆量,也就是可冗餘減化量。
當所有的歷史記錄記載著連續影像中歷史記錄的像素值變化及可冗餘量,而我們依照它肌餘量的排序,可以得到一個最高肌餘量的比例 (Highest redundancy ratio, HRR) ,而每一個 HRR連結它相對的像素值,代表它在這段時間內停留最久的影像,我們便把這個資料建立成背景影像。
HRR以平均法建立背景的方式,因為將雜訊部分平均,
所以取出的影像雜訊部分還是有出現,殘影物影像較模糊也較完整。
經中間值方式定義背景影像,相較之下容易受到前景物的顏色影像響,留下殘影在背景圖上,而且殘留影像成破裂狀,因為中間值未考慮平均因素,所以殘留影像較為單獨性。
利用 HRR 統計式背景建立法,經過時間性的統計方式,背景圖的顏色較不會被移動的影響,所以殘留雜訊會比較少。
HRRExample
Dilation集合 X 經由集合 B所做的澎漲為
X 為被操作的點集合B為結構元素
DilationExample
DilationX 集合中原始的像素不一定會包含於澎漲後的結果
之中。
DilationFrame 30 經背景差分二值化影像,人體分裂為兩物件。
分裂
Dilation澎漲後,使原本的兩物件有八鄰邊的關係,人體部位可形成單一物件。
八鄰邊
DilationAn example
DilationAn example
Dilation基本特性
Commutative
Associative
A union of shifted point sets
Translation invariant
Increasing transformation
Erosion集合 X 經由集合 B所做的浸蝕為
X 為被操作的點集合B為結構元素
ErosionExample
Erosion浸蝕的單步執行示意圖
Erosion侵蝕後的結果不一定會包含於 X 集合中的原始像
素。
Erosion主要可用來消除影像中的雜訊成分。
雜訊
原始影像
Erosion同時可能造成影像的支離破碎。
過濾
支離破碎
Erosion基本特性
Not commutative
Not associative
An intersection of shifted point sets
Translation invariant
Increasing transformation
Boundary extraction集合 X 的邊界定義為:
以四鄰邊做為邊緣
以八鄰邊做為邊緣
Boundary extraction4-border
8-border
Boundary extraction4-border example
Connected component labeling4-connectivity
8-connectivity
m-connectivity
Connected component labeling
Frame 55 connected component
可對連通過後的物件面積取閥值,同時達到去除小面積雜訊的效果。
Connected component labeling參考論文:
J. M. Park, C. G. Looney and H. C. Chen, “Fast connected component labeling algorithm using a divide and conquer technique”, university of Alabama, Tuscaloosa and university of Nevada, Reno.
V. Khama, P. Gupta and C. J. Hwang, “Finding connected components in digital images”, IEEE international conference on coding and computing, April 2001, p. 652-656.
Feature extraction檢測特徵點
原始圖片
Feature extraction利用檢測特徵點合成影像
Feature extraction特徵點的匹配
Feature extraction什麼特徵是我們常用的? Corners
Harris corner detector
Harris feature我們可以在一個小視窗中辨識一個點的特徵。
向任何方向移動這個小視窗會得到一個相當程度的強度變化。
Harris feature基本想法
Harris featureWindow 水平、垂直移動的強度改變
Harris feature
Harris feature
Harris feature
Harris feature使用M 矩陣的 Eigenvalues 做分類。
Harris featureMeasure of corner response :
K是經驗常數,通常為 0.04~0.06
Harris featureR 只和M 矩陣的 eigenvalues 有關R 是正值即為 cornerR 是較大的負值即為邊 緣|R| 值很小即為平坦區 域
Harris feature參考 paper :
C. Harris and M. Stephens, “A combined corner and edge detector”, Plessey Research Roke, United Kingdom, The Plessey Company plc. 1988.
Modify Harris角隅反應函數 (corner response function,
CRF)
Modify Harris
例 a:若把圓心與上圖圓心 C 重疊,計算其 CRF ,因不管是 A點、 B點、Q點、 C 點等,其灰階值皆相同,以二值化影像來說,這樣 CRFC 的值會是零。
例 b :若把圓心與上圖圓心 C 重疊,計算其 CRF ,因為正好有一條灰階值都相同的直線通過 A點,圓心 C 和 A‘點,以二值化影像來說,這樣 CRFC 算出來的值也會是零。
例 c:若把圓心與上圖圓心 C 重疊,計算其 CRF ,因為沒有任何直線會通過圓心 C ,以二值化影像來說,這樣CRFC 算出來的值將大於零。
Modify Harris
Modify Harris
Home workConnected component labeling