數(shù)字圖像處理：Ch6 特征提取與描述

1、圖像分析系統(tǒng)的構(gòu)成知識(shí)庫特征表示與描述預(yù)處理分割低級(jí)處理高級(jí)處理中級(jí)處理識(shí)別與解釋結(jié)果圖像獲取問題Ch6 特征提取與描述本章學(xué)習(xí)目標(biāo)： 掌握本章介紹的多種代表性特征提取和描述方法，以及其附加效果。6.1 Hough變換（以檢測直線為例）6.2 圖像分割（以全局閾值和分水嶺算法為例）6.3 形態(tài)學(xué)處理（去噪、填補(bǔ)、提取骨架）6.4 顏色、紋理、形狀描述子，強(qiáng)大的SIFT和HOG思考： 如何檢測道路，從而據(jù)此判斷車是否違章行駛到人行道？6.1 Hough變換（以檢測直線為例）Hough變換原理：利用圖像空間和參數(shù)空間的點(diǎn)-線對(duì)偶性，將圖像空間中具有一定關(guān)系的像素點(diǎn)在參數(shù)空間中進(jìn)行聚集，通過在參數(shù)空

2、間進(jìn)行簡單的累加和統(tǒng)計(jì)，找出參數(shù)空間中累加器的峰值點(diǎn)，進(jìn)而確定出圖像空間中特定幾何特征的相關(guān)參數(shù)。6.1 Hough變換（以檢測直線為例）檢測直線：圖像空間中的任意一個(gè)點(diǎn)映射到參數(shù)空間中是一條直線，圖像空間中位于同一直線上的點(diǎn)映射到參數(shù)空間中是一組相交于同一點(diǎn)的直線，反過來，參數(shù)空間中相交于同一點(diǎn)的所有直線，在圖像空間中與之對(duì)應(yīng)的是在同一直線上的一組點(diǎn)。建立一個(gè)直角坐標(biāo)系作為圖像平面的坐標(biāo)系，在圖像空間X-Y中，共線的點(diǎn)可以用直線方程描述為： y=kx+b （1） 其中k和b是直線的兩個(gè)參數(shù)，分別表示直線的斜率和截距。 同時(shí)還可以將式（1）改寫為： b=-xk+y （2） 式（2）可以看做是參

3、數(shù)平面K-B中的一條直線，其中x為直線的斜率，y為直線的截距。6.1 Hough變換（以檢測直線為例）通過式（1）和式（2）可以看出，圖像空間中的任意一個(gè)點(diǎn)（x0,y0)對(duì)應(yīng)于參數(shù)空間中的一條直線b=-kx0+y0,而圖像空間中的一條直線又是由參數(shù)空間中的一個(gè)點(diǎn)(k0,b0)決定的。（a）圖像空間中的一個(gè)點(diǎn)（b）參數(shù)空間中的一條直線6.1 Hough變換（以檢測直線為例）（a）圖像空間中位于同一直線上的點(diǎn) （b）參數(shù)空間中相交于同一點(diǎn)的直線6.1 Hough變換（以檢測直線為例）通過式（1）和式（2）可以看出，圖像空間中的任意一個(gè)點(diǎn)（x0,y0)對(duì)應(yīng)于參數(shù)空間中的一條直線b=-kx0+y0,而

4、圖像空間中的一條直線又是由參數(shù)空間中的一個(gè)點(diǎn)(k0,b0)決定的。在計(jì)算過程中，為了便于通過累加和統(tǒng)計(jì)的方法，找到參數(shù)空間中最大值點(diǎn)的位置，將參數(shù)空間進(jìn)一步劃分為二維的累加器數(shù)組Akb。二維累加器數(shù)組的示意圖如圖3所示，其中kmin，kmax和bmin，bmax分別為斜率和截距期望值的范圍。6.1 Hough變換（以檢測直線為例）確定圖像空間中所有直線參數(shù)的具體步驟如下：（1）k和b的量化數(shù)值如上所述，在內(nèi)存中分配一個(gè)變換域空間，即參數(shù)空間的變換域數(shù)組，并將其初始化為零；（2）讀入一幅圖像，遍歷整幅圖像，判斷每一個(gè)像素點(diǎn)是否為邊緣點(diǎn)；（3）對(duì)每一個(gè)邊緣點(diǎn)點(diǎn)，進(jìn)行處理，按照k和b的量化數(shù)值在變換

5、域累加器數(shù)組中的相應(yīng)位置上加1；（4）遍歷累加器數(shù)組，每找到一個(gè)局部最大值，判斷該局部最大值是否大于所設(shè)置的閾值，若是，則將該最大值及其位置存放在上述定義的數(shù)組的一個(gè)元素中，并將該局部最大值附近的點(diǎn)清零，以便尋找下一個(gè)局部最大值，直到遍歷整個(gè)數(shù)組找到的最大值小于設(shè)置的閾值為止。6.1 Hough變換（以檢測直線為例）通常是二值邊緣圖Roberts算子 Sobel算子 Guass-Laplace算子原始圖像 在道路背景圖像中車道線并沒有占據(jù)整個(gè)圖像區(qū)域，而是在圖像的下半部分。基于這個(gè)特點(diǎn)，在進(jìn)行車道線檢測之前，先確定車道線的感興趣區(qū)域，再對(duì)該區(qū)域進(jìn)行處理，將大大減少計(jì)算量、提高后續(xù)檢測算法精確度

6、。車道線感興趣區(qū)域示意圖MATLAB.0以上版本提供hough變換的函數(shù)houghhoughlineshoughpeaks6.1 Hough變換（以檢測直線為例）Ch6 特征提取、描述本章學(xué)習(xí)目標(biāo)： 掌握本章介紹的多種代表性特征提取和描述方法，以及其附加效果。6.1 Hough變換（以檢測直線為例）6.2 圖像分割（以全局閾值和分水嶺算法為例）6.3 形態(tài)學(xué)處理（去噪、填補(bǔ)、提取骨架）6.4 顏色、紋理、形狀描述子，強(qiáng)大的SIFT和HOG 閾值分割利用圖像中要提取的目標(biāo)物與其背景在顏色/紋理特性上的差異，選取一個(gè)合適的閾值，以確定圖像中每個(gè)象素點(diǎn)應(yīng)該屬于目標(biāo)還是背景區(qū)域，從而產(chǎn)生相應(yīng)的二值圖像

7、 (分別表示目標(biāo)和背景)。全局閾值分割是一幅圖像一個(gè)閾值。 6.2 圖像分割以全局閾值和分水嶺算法為例全局閾值分割算法主要有兩個(gè)步驟：1、確定需要的分割閾值2、將分割閾值與象素值比較以劃分象素對(duì) 的圖像的分割有效。物體與背景顏色具有較強(qiáng)區(qū)別6.2 圖像分割以全局閾值和分水嶺算法為例6.2 圖像分割以全局閾值和分水嶺算法為例全局閾值分割算法舉例雙峰直方圖閾值分割60年代中期，Prewitt提出了直方圖雙峰法，即如果灰度級(jí)直方圖呈明顯的雙峰狀，則選取兩峰之間的谷底所對(duì)應(yīng)的灰度級(jí)作為閾值。6.2 圖像分割以全局閾值和分水嶺算法為例如何自動(dòng)確定閾值t呢？選取一個(gè)初值t；用t分割圖像得到兩組像素，_0是

8、小于等于t的, _1是大于t的；計(jì)算_0和_1中像素的平均值_0和_1；計(jì)算新閾值t (_0_1)/2；迭代計(jì)算上述2至4步，直到t的變化量小于某個(gè)預(yù)定值。t 暗亮P背景目標(biāo)6.2 圖像分割以全局閾值和分水嶺算法為例其他閾值分割方法Ostu全局閾值分割方法局部閾值分割方法Ostu分割移動(dòng)平均分割適當(dāng)使用圖像增強(qiáng)，然后再做閾值分割，可取得更好的結(jié)果Otsu分割均值濾波（5*5模板）Otsu分割6.2 圖像分割以全局閾值和分水嶺算法為例思考并記住以下說法：1. 閾值方法僅僅考慮了灰度（顏色/紋理）信息，忽略了相鄰像素之間的關(guān)系。2. 閾值方法能夠有效處理前背景比較單一的圖像的分割問題，復(fù)雜的自然圖

9、像需要更有效的分割方法,例如：基于能量函數(shù)優(yōu)化的分割方法。6.2 圖像分割以全局閾值和分水嶺算法為例6.2 圖像分割以全局閾值和分水嶺算法為例分水嶺算法的輸入與輸出分水嶺算法一維示例分水嶺算法二維示例(a) 原圖像(b) 地形俯視圖(c) 被水淹(d) 繼續(xù)被水淹，形成短水壩(e) 繼續(xù)被水淹，水壩增加(f) 最終分水線（分割線）分水嶺算法實(shí)例1）分水嶺算法得到patch很小的分割圖像，可通過合并區(qū)域得到patch較大的分割圖像2）分水嶺的輸出通常用作目標(biāo)物分割等處理的輸入，相比直接使用像素圖像，計(jì)算復(fù)雜度降低Ch6 特征提取、描述本章學(xué)習(xí)目標(biāo)： 掌握本章介紹的多種代表性特征提取和描述方法，以

10、及其附加效果。6.1 Hough變換（以檢測直線為例）6.2 圖像分割（以全局閾值和分水嶺算法為例）6.3 形態(tài)學(xué)處理（去噪、填補(bǔ)、提取骨架）6.4 顏色、紋理、形狀描述子，強(qiáng)大的SIFT和HOG形態(tài)學(xué)處理是指將數(shù)字形態(tài)學(xué)作為工具從圖像中提取對(duì)于表達(dá)和描繪區(qū)域形狀有用處的圖像分量，比如邊界、骨架以及凸殼，還包括用于預(yù)處理或后處理的形態(tài)學(xué)過濾、細(xì)化和修剪等。圖像形態(tài)學(xué)處理中我們感興趣的主要是二值圖像，也可以是灰度圖像。6.3 形態(tài)學(xué)處理結(jié)構(gòu)元素設(shè)有兩幅圖像B，X。若X是被處理的對(duì)象，而B是用來處理X的，則稱B為結(jié)構(gòu)元素(structure element)，又被形象地稱做刷子。結(jié)構(gòu)元素通常都是一

11、些比較小的圖像。的定義結(jié)構(gòu)元素的函數(shù)：strel6.3 形態(tài)學(xué)處理形態(tài)學(xué)的基本運(yùn)算(二值圖像)： 1.腐蝕把結(jié)構(gòu)元素B平移a后得到Ba，若Ba包含于X，我們記下這個(gè)a點(diǎn)，所有滿足上述條件的a點(diǎn)組成的集合稱做X被B腐蝕(Erosion)的結(jié)果。6.3 形態(tài)學(xué)處理bw = imread(text.tif);se = strel(line,11,90);bw2 = imerode(bw,se);imshow(bw), title(Original)figure, imshow(bw2), title(Eroded)原點(diǎn)腐蝕前腐蝕后腐蝕操作實(shí)例：2.膨脹把結(jié)構(gòu)元素B平移a后得到Ba，若Ba擊中X，記下

12、這個(gè)a點(diǎn)。所有滿足上述條件的a點(diǎn)組成的集合稱做X被B膨脹的結(jié)果。形態(tài)學(xué)的基本運(yùn)算(二值圖像)： 6.3 形態(tài)學(xué)處理膨脹前膨脹后腐蝕操作實(shí)例：思考：腐蝕和膨脹是不是互逆操作？答案：No.3.開運(yùn)算：先腐蝕后膨脹1）消除細(xì)小對(duì)象2）在細(xì)小粘連處分離對(duì)象形態(tài)學(xué)的基本運(yùn)算(二值圖像)： 6.3 形態(tài)學(xué)處理4.閉運(yùn)算：先膨脹后腐蝕1）填充對(duì)象內(nèi)細(xì)小空洞2）連接鄰近對(duì)象形態(tài)學(xué)的基本運(yùn)算(二值圖像)： 6.3 形態(tài)學(xué)處理5.細(xì)化：從原來的圖中去掉一些點(diǎn)，但要保持原來形狀，最終得到原圖的骨架。算法實(shí)現(xiàn)：1）做腐蝕操作，但不立刻刪除像素，只打標(biāo)記2）將不破壞連通性的標(biāo)記點(diǎn)刪掉3）重復(fù)執(zhí)行上述兩步形態(tài)學(xué)的基本運(yùn)算

13、(二值圖像)： 6.3 形態(tài)學(xué)處理細(xì)化后細(xì)化前細(xì)化后細(xì)化前關(guān)于灰度圖像的形態(tài)學(xué)處理，自行學(xué)習(xí)。 6.3 形態(tài)學(xué)處理Ch6 特征提取、描述本章學(xué)習(xí)目標(biāo)： 掌握本章介紹的多種代表性特征提取和描述方法，以及其附加效果。6.1 Hough變換（以檢測直線為例）6.2 圖像分割（以全局閾值和分水嶺算法為例）6.3 形態(tài)學(xué)處理（去噪、填補(bǔ)、提取骨架）6.4 顏色、紋理、形狀描述子，強(qiáng)大的SIFT和HOG1. 顏色特征顏色矩、顏色直方圖、.2. 紋理特征LBP特征、基于灰度共生矩陣的特征、Harr特征、.3. 形狀特征輪廓、周長、形狀數(shù)、傅里葉描述、.6.4 顏色、紋理、形狀描述子第j個(gè)像素的值圖像中像素的

14、個(gè)數(shù)RGB彩色圖像特征向量:特征維數(shù)低，具有一定的鑒別力可以應(yīng)對(duì)旋轉(zhuǎn)、尺度變化等，缺乏細(xì)節(jié)描述力單通道顏色的1到3階矩：均值：標(biāo)準(zhǔn)差：顏色偏度：顏色矩特征彩色圖像直方圖GR直方圖的特征維數(shù)比顏色矩多、辨別力較顏色矩強(qiáng)紋理特征紋理描述圖像或其中小塊區(qū)域的空間顏色分布和光強(qiáng)分布形狀特征形狀特征的性能往往取決于圖像分割、輪廓提取的效果。根據(jù)形狀計(jì)算輪廓、周長、形狀數(shù)、傅里葉描述等作為描述形狀特征相比顏色、紋理，鑒別力更高。請(qǐng)?jiān)谡n設(shè)發(fā)表環(huán)節(jié)獲取答案1、定位手：順利的找到手。2、識(shí)別手勢：張開五指？拳頭？3、程序處理：根據(jù)手勢執(zhí)行命令?；谛螤钐卣鞯氖謩葑R(shí)別The End一些基本符號(hào)和關(guān)系： 1. B包

15、含于X設(shè)有兩幅圖像B，X。對(duì)于B中所有的元素i，都有iX，則稱B包含于(included in)X，記作B X形態(tài)學(xué)處理一些基本符號(hào)和關(guān)系： 2. B擊中X設(shè)有兩幅圖像B，X。若存在這樣一個(gè)點(diǎn)，它既是B的元素，又是X的元素，則稱B擊中(hit)X，記作BX。形態(tài)學(xué)處理一些基本符號(hào)和關(guān)系： 3. B不擊中X設(shè)有兩幅圖像B，X。若不存在任何一個(gè)點(diǎn)，它既是B的元素，又是X的元素，即B和X的交集是空，則稱B不擊中(miss)X，記作BX=；其中是集合運(yùn)算相交的符號(hào)，表示空集。形態(tài)學(xué)處理一些基本符號(hào)和關(guān)系： 4.補(bǔ)集設(shè)有一幅圖像X，所有X區(qū)域以外的點(diǎn)構(gòu)成的集合稱為X的補(bǔ)集，記作Xc，如圖6.5所示。顯然，如果BX=，則B在X的補(bǔ)集內(nèi)，即B Xc。形態(tài)學(xué)處理BW1 = imread(circles.tif);figure;imshow(BW1); BW2 = bwmorph(BW1,remove);BW3 = bwmorph(BW1,skel,Inf);figure, imshow(BW2)figure, imshow(BW3). I=imread(m1.bmp);BW3