生物電子與影像技術(shù)第七章 圖像分割課件

1、生物電子與影像技術(shù)哈爾濱工業(yè)大學(xué)（威海）控制科學(xué)與工程系第七章 圖像分割 7.1 邊界分割法 7.2 邊緣連接分割法 7.3 閾值分割法 7.4 區(qū)域分割法 7.5 彩色圖像分割 第七章 圖像分割 7.1 邊界分割法 7.2 邊緣連接分割法 7.3 閾值分割法 7.4 區(qū)域分割法 7.5 彩色圖像分割 7.1 邊界分割法1 圖像分割 Image Segmentation圖像分割基本概念輸入圖像，輸出是分析分割的目的是把圖像空間分成一些有意義的區(qū)域分割建立在相似性和非連續(xù)性上例子：確定航空照片中的森林、耕地、城市區(qū)域辨認(rèn)文件中的個(gè)別文字識(shí)別和標(biāo)定細(xì)胞顯微照片中的染色體7.1 邊界分割法1 圖像分

2、割 Image Segmentation圖像分割基本概念分割的結(jié)果：一般是二值圖像若想從一幅圖像中“提取”物體，可以設(shè)法用專門的方法標(biāo)出屬于該物體的點(diǎn)，如把物體上的點(diǎn)標(biāo)為“1”，而把背景點(diǎn)標(biāo)為“0”應(yīng)用 機(jī)器閱讀理解 遙感圖像自動(dòng)識(shí)別 在線產(chǎn)品檢測(cè) 醫(yī)學(xué)圖像測(cè)量7.1 邊界分割法1 圖像分割 Image Segmentation圖像分割基本概念分割基本思路從簡(jiǎn)到難，逐級(jí)分割控制背景環(huán)境，降低分割難度把焦點(diǎn)放在增強(qiáng)感興趣對(duì)象，縮小不相干圖像成分的干擾上7.1 邊界分割法1 圖像分割 Image Segmentation圖像分割分類基于邊緣檢測(cè)的方法找出圖像的邊緣信息，首先檢出局部特性的不連續(xù)性，

3、再將它們連成邊界，這些邊界把圖像分成不同的區(qū)域，從而分割出各個(gè)區(qū)域基于邊緣檢測(cè)的圖像分割、基于閾值選取的圖像分割基于區(qū)域生成的方法像素分成不同的區(qū)域，根據(jù)相應(yīng)的區(qū)域特性在圖像中找出與其相似的部分并進(jìn)行處理區(qū)域生長(zhǎng)、分裂-合并法7.1 邊界分割法2 點(diǎn)的檢測(cè)用空域的高通濾波器來檢測(cè)孤立點(diǎn)88881288888圖像-1-1-1-18-1-1-1-1模板R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106設(shè) ：閾值：T = 64 R T7.1 邊界分割法2 點(diǎn)的檢測(cè)算法設(shè)定閾值 T，如T = 32、64、128等,并計(jì)算高通濾波

4、值R如果R值等于0，說明當(dāng)前檢測(cè)點(diǎn)與的灰度值與周圍點(diǎn)的相同當(dāng)R的值足夠大時(shí)，說明該點(diǎn)的值與周圍的點(diǎn)非常不同，是孤立點(diǎn)。通過閾值T來判斷 |R| T 檢測(cè)到一個(gè)孤立點(diǎn)7.1 邊界分割法2 線的檢測(cè)用4種模板分別計(jì)算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0111555111111555111111555111例：圖像7.1 邊界分割法2 線的檢測(cè)算法依次計(jì)算4個(gè)方向的典型檢測(cè)模板，得到Ri i=1,2,3,4如 |Ri| |Rj| 對(duì)于所有的j = i，那么這個(gè)點(diǎn)被稱為在方向上更接近模板

5、i 所代表的線設(shè)計(jì)任意方向的檢測(cè)模板可能大于3*3模板系數(shù)和為0感興趣方向的系數(shù)大7.1 邊界分割法3 邊緣的檢測(cè)邊界的定義 兩個(gè)具有相對(duì)不同灰度值特性的區(qū)域的邊界線適用于： 假定問題中的區(qū)域是非常類似的，兩個(gè)區(qū)域之間的過渡，僅僅根據(jù)灰度的不連續(xù)性便可確定不適用于： 當(dāng)假定不成立時(shí)，閾值分割技術(shù)一般來說比邊緣檢測(cè)更加實(shí)用7.1 邊界分割法3 邊緣的檢測(cè)計(jì)算局部微分算子 截面圖邊界圖像7.1 邊界分割法3 邊緣的檢測(cè)一階微分：用梯度算子來計(jì)算特點(diǎn)：對(duì)于亮的邊，邊的變化起點(diǎn)是正的，結(jié)束是負(fù)的。對(duì)于暗邊，結(jié)論相反。常數(shù)部分為零。用途：用于檢測(cè)圖像中邊的存在7.1 邊界分割法3 邊緣的檢測(cè)Sobel梯

6、度算子具有平滑效果，由于微分增強(qiáng)了噪聲拉普拉斯算子缺點(diǎn)：對(duì)噪聲敏感；會(huì)產(chǎn)生雙邊效果；不能檢測(cè)出邊的方向應(yīng)用：拉普拉斯算子不直接用于邊的檢測(cè)，通常只起輔助的角色；第七章 圖像分割 7.1 邊界分割法 7.2 邊緣連接分割法 7.3 閾值分割法 7.4 區(qū)域分割法 7.5 彩色圖像分割 7.2 邊緣連接分割法1 邊緣連接邊檢測(cè)的后處理由于噪聲的原因，邊界的特征很少能夠被完整地描述，在亮度不一致的地方會(huì)中斷典型的邊檢測(cè)算法后面總要跟隨著連接過程和其它邊界檢測(cè)過程，用來歸整邊像素，成為有意義的邊連接處理的時(shí)機(jī)和目的時(shí)機(jī)：對(duì)做過邊界檢測(cè)的圖像進(jìn)行目的：連接間斷的邊7.2 邊緣連接分割法1 邊緣連接連接處

7、理的原理對(duì)做過邊檢測(cè)的圖像的每個(gè)點(diǎn)(x,y)的特性進(jìn)行分析分析在一個(gè)小的鄰域（3x3或5x5）中進(jìn)行所有相似的點(diǎn)被連接，形成一個(gè)享有共同特性像素的邊界 用比較梯度算子的響應(yīng)強(qiáng)度和梯度方向確定兩個(gè)點(diǎn)是否同屬一條邊7.2 邊緣連接分割法1 邊緣連接比較梯度對(duì)于點(diǎn)(x, y)，判斷其是否與鄰域內(nèi)的點(diǎn)相似，T 是一個(gè)非負(fù)的閾值 |f (x, y) f (x, y)| T比較梯度向量的方向角對(duì)于點(diǎn)(x, y)，判斷其是否與鄰域內(nèi)點(diǎn)的方向角相似， A是一個(gè)角度閾值 | (x, y) (x, y)| A當(dāng)梯度值和方向角都相似，則點(diǎn)(x, y)與邊點(diǎn)界(x, y)是連接的7.2 邊緣連接分割法1 邊緣連接局部

8、連接算法設(shè)定A、T的閾值大小，確定鄰域的大小對(duì)圖像上每一個(gè)像素的鄰域點(diǎn)進(jìn)行分析，判斷是否需要連接記錄像素連接的情況， 給不同的邊以不同的標(biāo)記最后，刪除孤立線段， 連接斷開的線段7.2 邊緣連接分割法2 邊緣擬合思想：若邊緣點(diǎn)很稀疏，則需要用某個(gè)解析函數(shù)如分段線性或高階樣條曲線來擬合邊緣方法：常根據(jù)圖像一小塊區(qū)域來建立擬合模型常用方法有：（1）迭代端點(diǎn)擬合的分段線性方法（2）灰度階躍邊緣模型（3）灰度漸變邊緣模型7.2 邊緣連接分割法2 邊緣擬合 邊緣提取方法原圖7.2 邊緣連接分割法2 邊緣擬合迭代端點(diǎn)擬合（iterative endpoint fitting）7.2 邊緣連接分割法邊緣擬合灰

9、度階躍邊緣模型7.2 邊緣連接分割法2 邊緣擬合灰度漸變邊緣模型7.2 邊緣連接分割法3 Hough變換目的：檢測(cè)圖像中某些給定形狀的曲線并用參數(shù)方程描繪，較少受曲線中斷點(diǎn)的影響思想：對(duì)圖像進(jìn)行坐標(biāo)變換，使之在另一個(gè)坐標(biāo)空間的特定位置出現(xiàn)峰值原理：點(diǎn)-線的對(duì)偶性（duality）7.2 邊緣連接分割法3 Hough變換方法對(duì)于邊界上的n個(gè)點(diǎn)的點(diǎn)集，找出共線的點(diǎn)集和直線方程對(duì)于任意兩點(diǎn)的直線方程：y = ax + b，構(gòu)造一個(gè)參數(shù)a，b的平面xy平面上的任意一條直線y = ax + b ，對(duì)應(yīng)在參數(shù)ab平面上都有一個(gè)點(diǎn)過xy平面一個(gè)點(diǎn)(x,y)的所有直線，構(gòu)成參數(shù)ab平面上的一條直線7.2 邊緣

10、連接分割法3 Hough變換方法如果點(diǎn)(x1, y1)與點(diǎn)(x2, y2)共線，則這兩點(diǎn)在參數(shù)ab平面上的直線將有一個(gè)交點(diǎn)在參數(shù)ab平面上相交直線最多的點(diǎn)，對(duì)應(yīng)的xy平面上的直線就是我們的解7.2 邊緣連接分割法3 Hough變換算法實(shí)現(xiàn)用極坐標(biāo)形式：xcos+ysin =參數(shù)平面為, ,對(duì)應(yīng)不是直線而是正弦曲線使用交點(diǎn)累加器，或交點(diǎn)統(tǒng)計(jì)直方圖，找出相交線段最多的參數(shù)空間的點(diǎn)最后找出該點(diǎn)對(duì)應(yīng)的xy平面的直線線段7.2 邊緣連接分割法3 Hough變換算法實(shí)現(xiàn)RGB = imread(gantrycrane.png);I = rgb2gray(RGB); % convert to intensi

11、tyBW = edge(I,canny);figuresubplot(2,2,1),imshow(RGB)subplot(2,2,2),imshow(BW)H,T,R = hough(BW);subplot(2,2,3), imshow(H,XData,T,YData,R, InitialMagnification,fit)xlabel(theta), ylabel(rho);axis on, axis normal, hold on;P = houghpeaks(H,5,threshold,ceil(0.3*max(H(:);x = T(P(:,2); y = R(P(:,1);plot(x

12、,y,s,color,white);% Find lines and plot themlines = houghlines(BW,T,R,P,FillGap,20,MinLength,7);subplot(2,2,4), imshow(I), hold onmax_len = 0;for k = 1:length(lines) xy = lines(k).point1; lines(k).point2; plot(xy(:,1),xy(:,2),LineWidth,2,Color,yellow);end第七章 圖像分割 7.1 邊界分割法 7.2 邊緣連接分割法 7.3 閾值分割法 7.4

13、區(qū)域分割法 7.5 彩色圖像分割 7.3 閾值分割法1 基礎(chǔ)思想：確定一個(gè)合適的閾值T（閾值選定的好壞是此方法成敗的關(guān)鍵）將大于等于閾值的像素作為物體或背景，生成一個(gè)二值圖像 If f(x,y) T set 1 else set 0在四鄰域中有背景的像素，是邊界像素7.3 閾值分割法1 基礎(chǔ)全局閾值與局部閾值可看做一種涉及測(cè)試下列形式函數(shù)T的操作 T = T x, y, p(x,y), f(x,y) 如果T取決于f(x,y)時(shí)，就稱為全局閾值 如果T取決于f(x,y)和p(x,y），就稱為局部閾值7.3 閾值分割法1 基礎(chǔ)特點(diǎn)適用于物體與背景有較強(qiáng)對(duì)比的情況，重要的是背景或物體的灰度比較單一這

14、種方法總可以得到封閉且連通區(qū)域的邊界7.3 閾值分割法2 直方圖閾值法7.3 閾值分割法2 直方圖閾值法基本思想邊界上的點(diǎn)的灰度值出現(xiàn)次數(shù)較少7.3 閾值分割法2 直方圖閾值法取值的方法 取直方圖谷底(最小值)的灰度值為閾值T缺點(diǎn) 會(huì)受到噪聲的干擾，最小值不是預(yù)期的閾值，而偏離期望的值7.3 閾值分割法2 直方圖閾值法改進(jìn) 取兩個(gè)峰值之間某個(gè)固定位置，如中間位置上。由于峰值代表的是區(qū)域內(nèi)外的典型值，一般情況下，比選谷底更可靠，可排除噪聲的干擾7.3 閾值分割法3 亮度的作用圖像是由反射率分量和亮度分量的乘積組成7.3 閾值分割法3 亮度的作用解決非均勻照明問題把照明投射至一固定的白色反射面，產(chǎn)

15、生1幅影像得到正則化影像 (此影像為剩余反射分量)決定 r(x,y) 所需的單一臨界值 k則對(duì)于 h(x,y) 的臨界值為 T/k7.3 閾值分割法4 全局閾值分割用前述方法獲得閾值T，并產(chǎn)生一個(gè)二值圖，區(qū)分出前景對(duì)象和背景規(guī)定一個(gè)閾值T，逐行掃描圖像凡灰度級(jí)大于T的，置為1；凡灰度級(jí)小于T的，置為0適用場(chǎng)合：圖像亮度是可以控制的情況，例如用于工業(yè)檢測(cè)系統(tǒng)中7.3 閾值分割法4 自適應(yīng)閾值問題 不均勻亮度的成像導(dǎo)致用直方圖得到單一全局閾值分割法無效解決： 將圖像進(jìn)一步細(xì)分為子圖像，并對(duì)不同的子圖像使用不同的閾值進(jìn)行分割7.3 閾值分割法5 最佳全局和自適應(yīng)閾值一種產(chǎn)生最小平均分割誤差的估計(jì)方法

16、假設(shè)一幅圖像僅包含兩個(gè)主要的灰度級(jí)區(qū)域7.3 閾值分割法二值圖像7.3 閾值分割法6 閾值選擇最佳閾值 假設(shè)一幅圖像是由背景和物體組成。其中，物體像素的灰度級(jí)具有正態(tài)概率密度 ，其均值為 ，方差為 ； 而背景像素的灰度級(jí)也具有正態(tài)概率密度 ，其均值為 ，方 差為 物體占圖像總面積的比為 ，背景占 總面積的比為 7.3 閾值分割法6 閾值選擇最佳閾值圖像總的灰度級(jí)概率密度為假設(shè)對(duì)圖像設(shè)置一閾值 T , 把小于T的全部點(diǎn)稱為目標(biāo)物體點(diǎn)，而把大于等于T的所有點(diǎn)稱為背景點(diǎn)7.3 閾值分割法6 閾值選擇最佳閾值把背景錯(cuò)歸為物體點(diǎn)的概率為 ，把物體點(diǎn)錯(cuò)歸為背景點(diǎn)的概率為 ，則有 7.3 閾值分割法6 閾值

17、選擇最佳閾值總的錯(cuò)分概率為要求最小閾值，可將上式求微分，并令其結(jié)果為0，則得到 7.3 閾值分割法6 閾值選擇最佳閾值7.3 閾值分割法6 閾值選擇最佳閾值如果 ， ，那么即為最佳閾值 7.3 閾值分割法6 閾值選擇最佳閾值對(duì)于復(fù)雜圖像，在許多情況下對(duì)整幅圖像用單一閾值不能給出良好的分割結(jié)果；如果已知在圖像上的位置函數(shù)描述不均勻照射，就可以設(shè)法利用灰度級(jí)校正技術(shù)進(jìn)行校正，然后采用單一閾值來分割；把圖像分成小塊，并對(duì)每一塊設(shè)置局部閾值。如果某塊圖像只含物體或只含背景，那么對(duì)這塊圖像就找不到閾值，由附近的像塊求得的局部閾值進(jìn)行計(jì)算得到7.3 閾值分割法閾值求取方法的分類（1）分割過程是否需要人工干

18、預(yù)：交互/自動(dòng)（2）閾值的作用范圍：全局/局部（3）閾值與灰度分布的關(guān)系： 基于灰度分布的一階統(tǒng)計(jì) 基于灰度分布的二階統(tǒng)計(jì)（4）算法的處理策略：迭代/非迭代（5）算法是否需要分割估計(jì)：有監(jiān)督/無監(jiān)督7.3 閾值分割法7 分水嶺算法Watershed算法是一種特殊的自適應(yīng)閾值迭代算法目的：將兩個(gè)物體目標(biāo)從背景中提取出來并互相分開7.3 閾值分割法7 分水嶺算法Step1:在一個(gè)低灰度級(jí)閾值上進(jìn)行二值化，將目標(biāo)正確地分離出，但邊界偏向內(nèi)部Step2:每次將閾值增加一個(gè)灰度級(jí)，物體的邊界隨之向外擴(kuò)展Step3:重復(fù)Step2，直至兩個(gè)物體的邊界相互接觸。此時(shí)可確定物體的邊界7 分水嶺算法7.3 閾值

19、分割法第七章 圖像分割 7.1 邊界分割法 7.2 邊緣連接分割法 7.3 閾值分割法 7.4 區(qū)域分割法 7.5 彩色圖像分割 7.4 區(qū)域分割法區(qū)域增長(zhǎng)基本思想把一幅圖像分成滿足某種判據(jù)的區(qū)域，也就是說，把點(diǎn)組成區(qū)域確定區(qū)域的數(shù)目要確定一個(gè)區(qū)域與其他區(qū)域相區(qū)別的特征確定一個(gè)產(chǎn)生有意義分割的相似性判據(jù)從一個(gè)已知點(diǎn)開始，加上與已知點(diǎn)相似的鄰近點(diǎn)形成一個(gè)區(qū)域相似性準(zhǔn)則可以是灰度級(jí)、彩色、組織、梯度或其他特性7.4 區(qū)域分割法區(qū)域增長(zhǎng)相似性測(cè)度方法相似性的測(cè)度可以由所確定的閾值來判定從滿足檢測(cè)準(zhǔn)則的點(diǎn)開始，在各個(gè)方向上生長(zhǎng)區(qū)域。當(dāng)其鄰近點(diǎn)滿足檢測(cè)準(zhǔn)則就并入小塊區(qū)域中，當(dāng)新的點(diǎn)被合并后再用新的區(qū)域重復(fù)這一過程，直到?jīng)]有可接受的鄰近點(diǎn)時(shí)，生成過程終止7.4 區(qū)域分割法區(qū)域增長(zhǎng)相似性測(cè)度方法相似性準(zhǔn)則是鄰近點(diǎn)的灰度級(jí)與物體的平均灰度級(jí)的差小于TT=27.4 區(qū)域分割法區(qū)域增長(zhǎng)相似性測(cè)度方法當(dāng)生成任意物體時(shí)，接受準(zhǔn)則可以結(jié)構(gòu)為基礎(chǔ)，而不是以灰度級(jí)或?qū)Ρ榷葹榛A(chǔ)為了把候選的小群點(diǎn)包含在物體中，可以檢測(cè)這些小群點(diǎn)，而不是檢測(cè)單個(gè)點(diǎn)，如果它們的結(jié)構(gòu)與物體的結(jié)構(gòu)充分并且足夠相似時(shí)就接受它們還可以使用界線檢測(cè)對(duì)生成建立“勢(shì)壘”，如果在“勢(shì)壘”的近鄰點(diǎn)和物體之間有