圖像處理軟件及驅(qū)動課件lecture5ii

1、與圖像處理技術(shù)及其應(yīng)用南京理工大學自動化學院41-1 411 411自動化學4院11房4間11 4房11間房間Lecture5檢測與識別n 3.點特征檢測 點特征檢測子：Harris角點、SUSAN、SIFT 特征描述子（descriptor） *區(qū)域特征：MSER 特征匹配：RANSAC方法 *應(yīng)用舉例：圖像拼接具有不變性的局部特征（InvariantFeatures）Localn 在圖像中尋找局部特征，這些特征對平移、旋轉(zhuǎn)、尺度伸縮等具有不變性SIFT Features局部特征的優(yōu)點n 局部性：由于特征具有局部性，因此對遮擋或混雜環(huán)境具有穩(wěn)健性（因為不需

2、要進行分割）n 唯一性：具有唯一性的特征可用于在大的目標數(shù)據(jù)庫中進行匹配n 數(shù)量：許多特征即使在小目標上也能提取獲得n 有效性：接近實時提取n 可擴充性：可輕易地擴展到許多不同類型的特征，且這些特征都能保持穩(wěn)健性（robustness）局部特征的廣泛應(yīng)用n 局部特征點可以用于： 圖像配準（registration） 三維重構(gòu)（3D reconstruction） 運動追蹤（Motion tracking） 目標識別（Object recognition） 檢索（Indexing and database retrieval）人導航（Robot navigation） 全景拼接 += 三維重構(gòu)D

3、ebevec, Taylor, and Malik, SIGGRAPH 1996Harris角點檢測角點（corner）檢測的信息 角點包含比如，當做特征點匹配的時候，線上的點很難做匹配角點包含的信息n 而對角點則容易得多在角點處，梯度不好定義（ill defined）；接近角點，梯度有 兩個不同的值尋找角點的基本想法n 觀察一個小窗口所包含的區(qū)域：在角點附近向任何方向移動窗口，在灰度值上都會有大的變化尋找角點的方法“平坦”區(qū)域:在任何方向灰度值都沒有變化“邊緣”:沿著邊緣方向灰度值無變化“角點”:在多個灰度值都有變化Harris角點檢測在平移u,v下的灰度變化為：窗函數(shù)平移的灰度值(x,y)

4、點灰度值窗函數(shù) w(x,y) =或1 in window, 0 outsideGaussianE(u, v) = w(x, y)I (x + u, y + v) - I (x, y)2x, yHarris角點檢測假設(shè)(u,v)很小22 I 2I I uI (x + u, y + v) - I (x, y) I u + I v= u, vxxy xyI II 2 vxyy I (x + u, y + v) - I (x, y) I u + I v = I u + I vxyxyI (x + u, y + v) = I (x, y) + I u + I v + O(x2 , y2 )xyHarri

5、s角點檢測對小平移u,v我們可以采線性（bilinear）函數(shù)近似：uE(u, v) u, vMv M是一個22矩陣由圖像的導數(shù)得來： I 2I I M = w(x, y) xxy I II 2x, y xyyHarris角點檢測平移窗口中的灰度變化： 特征值分析l1, l2 M的特征值變化最快的方向橢圓 E(u,v) = const變化最慢的方向(lmax)-1/2(lmin)-1/2E(u, v) u, v Muv Harris角點檢測l2采用 M的特征值來區(qū)分點的類型l1 和l2 都很??；E 在所有方向乎為常數(shù)l1 l2l1region“Edge”l2 l1“Corner”l1 和l2都

6、很大,l1 l2;E 在所有方向都增大“Flat”“Edge”Harris角點檢測計算特征值計算量較大，可以采用角點響應(yīng)函數(shù)來檢測角點：(k 經(jīng)驗常數(shù), k = 0.04-0.06)det M = l1l2trace M = l1 + l2R = det M - k (trace M )2Harris角點檢測l2 R 依賴于M的特征值 R 較大時，為角點 R 值較大且為負時，為邊緣 |R| 較小，為平坦區(qū)域l1“Edge”“Corner”R 0“Flat”“Edge”|R| smallR 閾值) 尋找局部極大值的R的點Harris角點檢測流程Harris角點檢測流程計算角點響應(yīng)函數(shù) RHarr

7、is角點檢測流程尋找大的角點響應(yīng)函數(shù)的點： R閾值Harris角點檢測流程只取R具有局部極大值的那些點Harris角點檢測流程Harris角點檢測：總結(jié)n 在u,v的平均灰度變化可采線性形式表達：n 用M的特征值來描述每一個點：角點響應(yīng)函數(shù)定義為：都具有大的灰度變化，也就是：R應(yīng)該n 一個角點應(yīng)該在各個為一個大的正值R = l l - k (l + l )21212E(u, v) u, v Mu v Harris角點的性質(zhì)n 旋轉(zhuǎn)不變性橢圓旋轉(zhuǎn)其形狀（對應(yīng)特征值）保持不變角點響應(yīng)函數(shù) R對旋轉(zhuǎn)保持不變Harris角點的性質(zhì)n 部分的仿射不變特性 由于只用到導數(shù) =亮度平移不變性I I + b

8、亮度尺度的伸縮： I a IRthresholdRx (image coordinate)x (image coordinate)Harris角點的性質(zhì)n 但是不具有尺度的不變性所有的點都被檢測為邊緣點角點！SUSAN算子檢測邊緣與角點SUSAN邊緣檢測n SUSAN算子是一種很有特色的檢測算子，不僅可以檢測圖像中的目標邊界點還能較魯棒的檢測目標的角點SUSAN邊緣檢測原理USAN: Univalue Segment Assimilating Nucleus(核同值區(qū))核同值區(qū)：相對于模板的核，模板中有一定的區(qū)域與它有相同/相似的灰度USAN原理 USAN的面積攜帶了關(guān)于圖象中核象素處結(jié)構(gòu)的主

9、要信息 當核象素處在圖象中的灰度一致區(qū)域， USAN的面積會達到最大。該面積當核處在直邊緣處約為最大值的一半， 而當核處在角點處則為最大值的1/4 使用USAN面積作為特征起到了增強邊緣和角點 的效果 (不需要微分計算，對噪聲不敏感)SUSAN邊緣檢測SUSAN：最?。⊿mallest） 核同值區(qū)檢測模板：37個象素, 半徑為3.4象素ct0-27271如果 f (x0, y0) - f (x, y) T C(x0, y0; x, y) = 0如果 f (x0, y0) - f (x, y) TSUSAN邊緣檢測 檢測對模板中的每個象素進行得到輸出的游程和（running total） 邊緣響

10、應(yīng)幾何閾值G = 3Smax/4，其中Smax是S所能取的最大值對于37個像素的模板最大值為36G - S( x0 , y0 )如果 S( x0 , y0 ) I0 提取連通區(qū)域(“Extremal Regions”) 尋找使得“extremalregion”為“ally Stable”時的閾值,也就是：相對面積增長最小時的區(qū)域 用橢圓來逼近找到的小的區(qū)域。J.Matas. “Distinguished Regions for Wide-baseline Stereo”. Research Report of CMP, 2001.特征匹配RANSAC方法-特征匹配問題?特征匹配問題n 窮舉搜索

11、 對圖像中的每個特征，尋找另一幅圖像中所有可能的特征與之匹配n 散列（Hashing） 從每一個特征向量計算一個短的描述子，或者計算長的描述子的Hash值（隨機值）n 最近鄰技術(shù)（Nearest k-trees及其變種neighbortechniques）如何處理野點（outlier）？n 我們能從兩幅圖像相應(yīng)的嗎？ 不，仍然還有很多野點！點中計算出變換陣H如何處理野點（outlier）？ 如何處理“壞”匹配?RAndomSAmpleConsensus隨機采樣，一致檢驗：選擇一個認為“好”的匹配，記符合的點數(shù)RAndomSAmpleConsensus隨機采樣，一致檢驗：選擇一個認為“好”的匹配

12、，記符合的點數(shù)RAndomSAmpleConsensus對符合點集，用最小二乘法尋找“平均”變換向量RANSAC用于估計陣（homography）RANSACloop: 1. 隨機選擇組特征點對2. 準確計算陣H3. 計算所有符合點（inliers）的SSD(pi, H pi） 4. 選擇符合點最多的5. 用所有符合點重新計算H（最小二乘法算）RANSACreading參考閱讀：1 C. Harris, and M. A. Stephens. combined corner and edge detector. Proceedings Fourth Alvey Vision Conferenc

13、e, Manchester, UK, 1988: 147-151.2 M. Stephen, and J. Michael. SUSAN - a new approach to low-level image processing. International Journal of Computer Vision, 1997, 23(1): 45-78.3 H. P. Moravec. Obstacle avoidance and navigation in the real world by a seeing robot rover. CMU-RI-TR3, 1980.4 T. Lindeb

14、erg. Feature Detection with Automatic Scale Selection. International Journal of Computer Vision. 1998, 30(2): 79-116.5 Lowe, D. G. Distinctive International Journal of6 C. Schmid, R. Mohr, and detectors. InternationalImage features from scale-invariant key-points. Computer Vision. 2004, 60(2): 91-11

15、0.C. Bauckhage. Evaluation of interest point Journal of Computer Vision. 2000, 37(2): 151-172.7 J. Matasa,uma, M.Urbana, and T. Pajdla. Robust wide-baselinestereo fromally stable extremal regions. Image and Vision Computing,2004, 22: 761-767.8 M. Aschler, and R. C. Bolles. Random Sample Consensus: A paradigmfor mfitting with apphcatlons to image analysis and automatedcartography. Communications of the ACM. 1981, 24(6): 381-395.Acknowledgem