《數(shù)字圖像處理教程（OPENCV版）》 課件 Ch09 形態(tài)學(xué)處理、Ch10 圖像分割

數(shù)字圖像處理教程第9章形態(tài)學(xué)處理用具有一定形態(tài)的結(jié)構(gòu)元素對(duì)圖像處理，以提取那些在描述圖像區(qū)域形狀中非常有用的特征在圖像分割、特征識(shí)別、圖像描述等應(yīng)用中常用簡(jiǎn)化圖像特征、保持圖像基本特征、去除無(wú)關(guān)細(xì)節(jié)等目的，是圖像增強(qiáng)的有效手段非線性圖像處理，可用于二值圖像和灰度圖像9.1預(yù)備知識(shí)9.1預(yù)備知識(shí)

9.1預(yù)備知識(shí)

9.1預(yù)備知識(shí)

9.1預(yù)備知識(shí)

9.2.腐蝕與膨脹二值圖像中通常用像素值1表示屬于目標(biāo)（又稱(chēng)前景）的像素、0表示該像素屬于非目標(biāo)（又稱(chēng)背景）腐蝕和膨脹都是針對(duì)目標(biāo)進(jìn)行的處理9.2.1腐蝕

9.2.1腐蝕腐蝕結(jié)果與目標(biāo)和結(jié)構(gòu)元形狀、尺寸、結(jié)構(gòu)元原點(diǎn)位置有關(guān)消除細(xì)小的噪聲，選擇大小形狀適當(dāng)?shù)慕Y(jié)構(gòu)元可以濾掉不能完全包含結(jié)構(gòu)元的噪聲利用腐蝕濾除噪聲的同時(shí)，對(duì)圖像中目標(biāo)的形狀也有影響9.2.2膨脹

9.2.2膨脹膨脹填充圖像中背景尺寸比結(jié)構(gòu)元小的區(qū)域可用于連接相鄰間隔很小的目標(biāo)區(qū)域、填充小孔和狹窄的縫隙膨脹結(jié)果與結(jié)構(gòu)元大小、形狀及中心點(diǎn)位置有關(guān)9.2.3對(duì)偶性

9.3開(kāi)運(yùn)算和閉運(yùn)算9.3.1開(kāi)運(yùn)算

9.3.2閉運(yùn)算

開(kāi)、閉運(yùn)算、腐蝕和膨脹比較

9.4擊中與擊不中變換9.4擊中與擊不中變換

找內(nèi)部形狀找外部邊緣形狀9.4擊中與擊不中變換9.5一些基本形態(tài)學(xué)算法9.5.1邊界提取

9.5.2種子填充

9.5.3提取連通分量

9.5.4凸包

9.5.4凸包

9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化骨架化（1）骨架化是一種極致的細(xì)化，將目標(biāo)細(xì)化為寬度1個(gè)像素，細(xì)化后細(xì)線連通保持輸入對(duì)象的尺寸，骨架的端點(diǎn)一直延伸至目標(biāo)的邊界骨架位于目標(biāo)中心線位置不改變目標(biāo)基本結(jié)構(gòu)9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

開(kāi)運(yùn)算9.5.5細(xì)化、骨架化和粗化骨架化（4）距離變換實(shí)現(xiàn)骨架化對(duì)二值圖像進(jìn)行距離變換，得到距離圖像目標(biāo)中心在距離圖像最亮，根據(jù)距離變換結(jié)果的奇異性（中心最亮處曲率變化最大）提取中心軸線，得到目標(biāo)的骨架9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

9.5.6形態(tài)學(xué)重建涉及兩幅圖像和一個(gè)結(jié)構(gòu)元一幅圖像為標(biāo)記(marker)或標(biāo)記圖像，包含變換的起始點(diǎn)另一幅圖像稱(chēng)為模板(mask)，用于對(duì)變換進(jìn)行約束結(jié)構(gòu)元用于定義連接性形態(tài)學(xué)重建的基本運(yùn)算是測(cè)地膨脹和測(cè)地腐蝕9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建形態(tài)學(xué)重建應(yīng)用9.5.6形態(tài)學(xué)重建形態(tài)學(xué)重建應(yīng)用9.6灰度圖像的形態(tài)學(xué)處理9.6灰度圖像的形態(tài)學(xué)處理一般用于圖像分割、圖像二值化等之前的預(yù)處理階段提高區(qū)域灰度趨同性、強(qiáng)調(diào)灰度差異、突出某些特征等9.6灰度圖像的形態(tài)學(xué)處理不平坦結(jié)構(gòu)元平坦結(jié)構(gòu)元通?；叶葓D級(jí)形態(tài)學(xué)處理的結(jié)構(gòu)元關(guān)于原點(diǎn)對(duì)稱(chēng)一般采用平坦結(jié)構(gòu)元9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹腐蝕降低圖像整體亮度膨脹增加圖像整體亮度9.6.2開(kāi)運(yùn)算和閉運(yùn)算

9.6.2開(kāi)運(yùn)算和閉運(yùn)算

9.6.2開(kāi)運(yùn)算和閉運(yùn)算9.6.2開(kāi)運(yùn)算和閉運(yùn)算多次形態(tài)學(xué)處理使亮度趨于一致9.6.3頂帽變換和底帽變換

9.6.3頂帽變換和底帽變換

9.6.3頂帽變換和底帽變換頂帽變換和底帽變換可用于對(duì)比度增強(qiáng)處理將原圖與頂帽變換結(jié)果相加，可以使局部亮處更亮原圖減去底帽變換使得局部暗處更暗9.6.4形態(tài)學(xué)濾波開(kāi)運(yùn)算抑制小于結(jié)構(gòu)元的亮細(xì)節(jié)，閉運(yùn)算則抑制暗細(xì)節(jié)二個(gè)操作可以聯(lián)合使用，先進(jìn)行開(kāi)運(yùn)算再進(jìn)行閉運(yùn)算，去除局部最亮和最暗細(xì)節(jié)或噪聲先開(kāi)后閉的聯(lián)合運(yùn)算或者先閉后開(kāi)的聯(lián)合運(yùn)算稱(chēng)為形態(tài)學(xué)濾波，又稱(chēng)形態(tài)學(xué)平滑9.6.4形態(tài)學(xué)濾波形態(tài)學(xué)濾波衍生出類(lèi)似的形態(tài)學(xué)平滑方法還有諸如：將圖像腐蝕結(jié)果與膨脹結(jié)果求平均、將圖像開(kāi)運(yùn)算結(jié)果與閉運(yùn)算結(jié)果求平均等等9.6.5形態(tài)學(xué)梯度圖像中各區(qū)域邊緣處灰度發(fā)生明顯變化，梯度強(qiáng)調(diào)了這種變化通常在梯度計(jì)算前對(duì)圖像進(jìn)行平滑以抑制噪聲基本的形態(tài)學(xué)梯度：布徹梯度圖像膨脹結(jié)果減去圖像腐蝕結(jié)果反映了在結(jié)構(gòu)元形狀確定的區(qū)域范圍內(nèi)灰度的最大變化9.6.5形態(tài)學(xué)梯度當(dāng)邊緣為階躍型時(shí)，形態(tài)學(xué)梯度得到的邊緣寬度為2個(gè)像素可以采用半梯度計(jì)算獲得寬度為1的邊緣半梯度分二種內(nèi)部梯度：原圖減去其腐蝕結(jié)果外部梯度：圖像膨脹結(jié)果減去原圖9.6.5形態(tài)學(xué)梯度

數(shù)字圖像處理教程第10章圖像分割

10.1邊緣檢測(cè)10.1.1邊緣檢測(cè)基礎(chǔ)邊緣是圖像不同區(qū)域的分界處，是圖像分割的重要依據(jù)邊緣表現(xiàn)為局部特征不連續(xù)10.1.1邊緣檢測(cè)基礎(chǔ)邊緣檢測(cè)方法有很多，例如空間域微分算子、擬合曲面檢測(cè)、小波多尺度邊緣檢測(cè)、基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測(cè)、基于形變模型等，其中空間域微分算子是經(jīng)典的邊緣檢測(cè)方式灰度值灰度值一階導(dǎo)數(shù)灰度值二階導(dǎo)數(shù)10.1.1邊緣檢測(cè)基礎(chǔ)噪聲對(duì)邊緣檢測(cè)的影響10.1.1邊緣檢測(cè)基礎(chǔ)邊緣檢測(cè)的基本步驟：圖像平滑以抑制噪聲。檢測(cè)邊緣點(diǎn)：進(jìn)行局部檢測(cè)提取出潛在的邊緣點(diǎn)。邊緣定位：將間斷的邊緣連接成有意義的完整邊緣，同時(shí)去除假邊緣10.1.2一階邊緣檢測(cè)算子

10.1.2一階邊緣檢測(cè)算子

10.1.2一階邊緣檢測(cè)算子

10.1.3Marr-Hildreth邊緣檢測(cè)

10.1.3Marr-Hildreth邊緣檢測(cè)

10.1.3Marr-Hildreth邊緣檢測(cè)Marr-Hildreth邊緣檢測(cè)示例10.1.4Canny邊緣檢測(cè)Canny邊緣檢測(cè)的三個(gè)目標(biāo)低錯(cuò)誤率，所有真實(shí)邊緣都應(yīng)被找出，并且應(yīng)該沒(méi)有偽邊緣，邊緣檢測(cè)結(jié)果盡可能與真實(shí)邊緣符合精確定位邊緣點(diǎn)，檢測(cè)出的邊緣點(diǎn)與真實(shí)邊緣點(diǎn)之間的距離應(yīng)盡可能小單個(gè)邊緣點(diǎn)輸出,對(duì)應(yīng)每個(gè)真實(shí)邊緣點(diǎn)，檢測(cè)器應(yīng)只輸出一個(gè)檢測(cè)到的邊緣點(diǎn)10.1.4Canny邊緣檢測(cè)Canny邊緣檢測(cè)步驟：對(duì)圖像進(jìn)行高斯低通濾波，抑制噪聲用一階邊緣檢測(cè)算子求圖像梯度計(jì)算梯度方向和幅值對(duì)梯度幅值圖像采用非極大值抑制用雙閾值處理和連接分析檢測(cè)并連接邊緣10.1.4Canny邊緣檢測(cè)

10.1.4Canny邊緣檢測(cè)

10.1.4Canny邊緣檢測(cè)10.1.5Hough變換由于噪聲、非均勻照明等因素干擾，檢測(cè)到的邊緣間斷、虛假邊緣點(diǎn)或線段Hough變換是一個(gè)重要的檢測(cè)間斷點(diǎn)邊界形狀的方法將圖像從笛卡爾直角坐標(biāo)空間變換到參數(shù)空間，實(shí)現(xiàn)直線或曲線的檢測(cè)與擬合10.1.5Hough變換

10.1.5Hough變換

10.1.5Hough變換

10.1.5Hough變換漸進(jìn)概率Hough變換檢測(cè)直線標(biāo)準(zhǔn)Hough變換能檢測(cè)出直線，但無(wú)法確定直線在圖像中的端點(diǎn)，檢測(cè)到的直線無(wú)限長(zhǎng)。漸進(jìn)概率Hough變換（progressiveprobabilityHoughTransform,PPHT）則可以檢測(cè)出端點(diǎn)10.1.5Hough變換

10.1.5Hough變換

10.2基于閾值的圖像分割10.2.1閾值分割基礎(chǔ)知識(shí)

10.2.1閾值分割基礎(chǔ)知識(shí)閾值分割效果的影響因素直方圖：直方圖二個(gè)相鄰波峰之間的波谷越寬，二個(gè)波峰間隔越遠(yuǎn)，波峰與波谷比值越大，則分割效果越好噪聲光照和反射的均勻性目標(biāo)與背景的相對(duì)尺寸等10.2.1閾值分割基礎(chǔ)知識(shí)非均勻光照對(duì)全局閾值分割的影響10.2.1閾值分割基礎(chǔ)知識(shí)噪聲對(duì)全局閾值分割的影響10.2.1閾值分割基礎(chǔ)知識(shí)為減弱噪聲對(duì)全局閾值分割的影響，通常在分割前要平滑圖像10.2.2全局閾值分割全局閾值分割對(duì)圖像所有像素采用同一閾值進(jìn)行處理，計(jì)算量小，處理速度快。多種方法，最經(jīng)典的是Otsu全局閾值分割法10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割Otsu全局閾值分割如果圖像有不止二類(lèi)，則可以采用改進(jìn)的多閾值Otsu算法多閾值Otsu算法計(jì)算量大，用得少10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.3局部閾值根據(jù)圖像位置、局部特點(diǎn)等因素變化的閾值，稱(chēng)為局部閾值基本局部閾值方法圖像分成若干個(gè)子圖像（子圖像可以相互重疊也可不重疊）；對(duì)每個(gè)子圖像分別計(jì)算其直方圖；如果一個(gè)子圖像的直方圖有雙峰，則以雙峰之間的波谷作為該子圖像閾值，轉(zhuǎn)至步驟5，如果子圖像直方圖沒(méi)有雙峰則轉(zhuǎn)至步驟4；對(duì)直方圖沒(méi)有雙峰的當(dāng)前子圖像，根據(jù)與其相鄰的、并且有明確閾值的子圖像閾值，內(nèi)插得到當(dāng)前子圖像的閾值；如果分割的各子圖像互不重疊，則對(duì)每個(gè)子圖像分別用它們?cè)诓襟E3或4的得到的閾值進(jìn)行分割；若子圖像有重疊部分，則在重疊部分用相應(yīng)重疊子圖像閾值的平均值做為分割閾值，無(wú)重疊部分則用所屬子圖像的閾值進(jìn)行分割10.2.3局部閾值可用滑動(dòng)窗進(jìn)行設(shè)置10.3基于區(qū)域的圖像分割10.3基于區(qū)域的圖像分割區(qū)域生長(zhǎng)法區(qū)域分裂合并法10.3.1區(qū)域生長(zhǎng)法按照某種預(yù)定義的相似性準(zhǔn)則，將像素合并成組或?qū)⒆訁^(qū)域合并成更大區(qū)域從圖像中的一組“種子”出發(fā)，若與種子相鄰的像素符合預(yù)定義的相似性準(zhǔn)則，則將它們與種子合并組成更大的區(qū)域相似性：相鄰像素灰度、RGB色彩、紋理特征等10.3.2區(qū)域分裂合并法

10.3.2區(qū)域分裂合并法區(qū)域分裂合并示例10.4基于聚類(lèi)的圖像分割聚類(lèi)(Cluster)是將相似的數(shù)據(jù)分在一組并標(biāo)記為同一類(lèi)的過(guò)程圖像分割可以看做一個(gè)聚類(lèi)問(wèn)題，即將圖像像素分配到各個(gè)聚類(lèi)（又稱(chēng)簇）中，每個(gè)聚類(lèi)的像素具有相同的特征10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割EM圖像分割算法采用迭代逼近的方法，在逐步逼近最優(yōu)高斯混合模型的同時(shí)對(duì)特征向量進(jìn)行聚類(lèi)算法分為二步：E-step和M-step，每步假設(shè)上述二個(gè)問(wèn)題中一個(gè)問(wèn)題已經(jīng)解決，只專(zhuān)注解決另一個(gè)問(wèn)題。E-step(Expectationstep)假設(shè)每個(gè)聚類(lèi)的高斯分布參數(shù)已知，該步實(shí)現(xiàn)對(duì)各特征向量的軟聚類(lèi)M-step(Maximizationstep)則在已知每個(gè)特征向量屬于哪類(lèi)的條件下，用最大似然估計(jì)求各聚類(lèi)的高斯模型參數(shù)10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割Kmeans分割與基于GMM分割的比較Kmeans聚類(lèi)結(jié)果中同類(lèi)特征向量在特征空間是呈圓形分布，GMM呈橢圓分布當(dāng)各類(lèi)樣本數(shù)量不均衡時(shí)，Kmenas分類(lèi)誤差大10.5基于圖論的圖像分割10.5.1圖論的基本概念有向圖與無(wú)向圖邊流量源點(diǎn)與匯點(diǎn)割10.5.2Graphcut圖像分割

10.5.2Graphcut圖像分割

10.5.2Graphcut圖像分割

10.5.3Grabcut圖像分割Grabcut是對(duì)Graphcut性能的改進(jìn)Graphcut在分割時(shí)用圖像灰度值，而Grabcut則在RGB空間同時(shí)考慮三個(gè)色彩分量分割前只要求手動(dòng)在圖像中選擇一個(gè)區(qū)域，區(qū)域內(nèi)完整包含目標(biāo)即可，矩形外區(qū)域就當(dāng)作背景Grabcut對(duì)目標(biāo)、背景分別進(jìn)行GMM建模10.6形態(tài)學(xué)分水嶺分割10.6.1分水嶺分割分水嶺（watershed）分割是基于拓?fù)涞男螒B(tài)學(xué)分割方法將圖像表示為三維地貌拓?fù)鋱D，像素灰度值用海拔高度表示拓?fù)鋱D中有三類(lèi)點(diǎn)集盆地：拓?fù)鋱D中各區(qū)域海拔最低點(diǎn)，對(duì)應(yīng)圖像各區(qū)域的最小值集合集水盆：如果一滴水落在這類(lèi)點(diǎn)上，則水一定會(huì)滑向一個(gè)確定的盆地，在圖像中對(duì)應(yīng)那些屬于一個(gè)區(qū)域、像素值高于區(qū)域內(nèi)最小值的點(diǎn)集分水嶺：又稱(chēng)分水嶺脊線、脊線，如果一滴水落在這類(lèi)點(diǎn)上，水以相同概率滑向多個(gè)盆地，顯然分水嶺將各區(qū)域分隔，在圖像中對(duì)應(yīng)各區(qū)域分割線、邊緣實(shí)際中通常先計(jì)算圖像的梯度圖，然后對(duì)梯度圖進(jìn)行分水嶺分割10.6.1分水嶺分割10.6.2基于標(biāo)記的分水嶺分割直接分水嶺分割往往會(huì)出現(xiàn)過(guò)渡分割的現(xiàn)象基于標(biāo)記的分水嶺解決過(guò)度分割的問(wèn)題分水嶺分割前需要額外提供一個(gè)標(biāo)記圖像做參考只有標(biāo)記圖像中指定的區(qū)域才能做為盆地，分水嶺分割時(shí)灌水從標(biāo)記處開(kāi)始其它位置只能是集水盆或分水嶺10.6.2基于標(biāo)記的分水嶺分割Vincent-soille算法獲得前景目標(biāo)的標(biāo)記圖像。標(biāo)記圖像是二值圖像。根據(jù)圖像特點(diǎn)找出確定屬于前景目標(biāo)的某些區(qū)域獲得背景標(biāo)