數(shù)字圖像處理與Python實(shí)現(xiàn)-課件第七章-圖像分割

數(shù)字圖像處理2022-2023-2課程內(nèi)容入門(mén)認(rèn)識(shí)第8章圖像壓縮第7章圖像分割基本操作應(yīng)用第9章圖像水印第10章指紋識(shí)別第11章深度學(xué)習(xí)綜合案例第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割7.1.1圖像分割定義

數(shù)字圖像信號(hào)??(??,??)，將其分割為滿足以下5個(gè)約束條件的若干相連的、非空子集（即圖像子區(qū)域）??_1,??_2,??_3,?,??_??的過(guò)程，稱為圖像分割。每個(gè)像素都可以被分割到確定的子區(qū)域中；各個(gè)子區(qū)域內(nèi)圖像像素是連通的；確保一個(gè)圖像元素不會(huì)同時(shí)被分割到多個(gè)子區(qū)域；屬于同一個(gè)子區(qū)域的像素應(yīng)該具有某些相似性；屬于不同子區(qū)域的屬性應(yīng)該不同。7.1.2圖像分割分類按照是否考慮語(yǔ)義：分為非語(yǔ)義分割和語(yǔ)義分割。根據(jù)被分割圖像的種類不同：灰度圖像分割，彩色圖像分割；根據(jù)被分割圖像的狀態(tài)不同：靜態(tài)圖像分割，動(dòng)態(tài)圖像分割；根據(jù)分割的粒度不同：

以識(shí)別物體輪廓為準(zhǔn)則的粗分割，

以顏色、紋理等的高度相似性為準(zhǔn)則、適宜壓縮編碼的細(xì)分割；按照被分割圖像的應(yīng)用領(lǐng)域不同：

遙感圖像分割、醫(yī)學(xué)圖像分割、交通圖像分割、工業(yè)圖像分割、安防圖像分割等；根據(jù)分割目標(biāo)不同：語(yǔ)義分割、實(shí)例分割、全景分割；按照分割方法不同：

基于邊緣的圖像分割、基于區(qū)域的圖像分割、基于顯著性分析的圖像分割、基于深度學(xué)習(xí)的圖像分割等。7.1.2圖像分割分類（1）非語(yǔ)義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時(shí)間較長(zhǎng)，而且算法也比較成熟。代表算法：閾值分割：簡(jiǎn)單，給定輸入圖像一個(gè)特定閾值，如果大于這個(gè)閾值，則設(shè)定為前景像素值，否則為背景像素值。區(qū)域分割有代表性的算法有兩種：區(qū)域生長(zhǎng)和區(qū)域分裂合并。區(qū)域生長(zhǎng)算法的核心思想是給定子區(qū)域一個(gè)種子像素，作為生長(zhǎng)的起點(diǎn)，然后將種子像素周?chē)徲蛑信c種子像素有相同或相似性質(zhì)的像素(可以根據(jù)預(yù)先設(shè)定的規(guī)則，比如基于灰度差)合并到種子所在的區(qū)域中。區(qū)域分裂合并基本上就是區(qū)域生長(zhǎng)的逆過(guò)程，從整個(gè)圖像出發(fā)，不斷分裂得到各個(gè)子區(qū)域，然后再把前景區(qū)域合并，實(shí)現(xiàn)目標(biāo)提取。聚類：聚類是一個(gè)應(yīng)用非常廣泛的無(wú)監(jiān)督學(xué)習(xí)算法，該算法在圖像分割領(lǐng)域也有較多的應(yīng)用。聚類的核心思想就是利用樣本的相似性，把相似的像素點(diǎn)聚合成同一個(gè)子區(qū)域。7.1.2圖像分割分類（1）非語(yǔ)義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時(shí)間較長(zhǎng)，而且算法也比較成熟。邊緣分割這是圖像分割中較為成熟，而且較為常用的一類算法。邊緣分割主要利用圖像在邊緣處灰度級(jí)會(huì)發(fā)生突變來(lái)對(duì)圖像進(jìn)行分割。常用的方法是利用差分求圖像梯度，而在物體邊緣處，梯度幅值會(huì)較大，所以可以利用梯度閾值進(jìn)行分割，得到物體的邊緣。對(duì)于階躍狀邊緣，其位置對(duì)應(yīng)一階導(dǎo)數(shù)的極值點(diǎn)，對(duì)應(yīng)二階導(dǎo)數(shù)的過(guò)零點(diǎn)(零交叉點(diǎn))。因此常用微分算子進(jìn)行邊緣檢測(cè)。常用的一階微分算子有Roberts算子、Prewitt算子和Sobel算子，二階微分算子有Laplace算子和Kirsh算子等。由于邊緣和噪聲都是灰度不連續(xù)點(diǎn)，在頻域均為高頻分量，直接采用微分運(yùn)算難以克服噪聲的影響。因此用微分算子檢測(cè)邊緣前要對(duì)圖像進(jìn)行平滑濾波。LoG算子和Canny算子是具有平滑功能的二階和一階微分算子，邊緣檢測(cè)效果較好，因此Canny算子也是應(yīng)用較多的一種邊緣分割算法。參考網(wǎng)址：/article/8750657.1.2圖像分割分類（2）語(yǔ)義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時(shí)間較長(zhǎng)，而且算法也比較成熟。語(yǔ)義分割和非語(yǔ)義分割的共同之處都是要分割出圖像中物體的邊緣，但是二者也有本質(zhì)的區(qū)別，用通俗的話介紹就是非語(yǔ)義分割只想提取物體的邊緣，但是不關(guān)注目標(biāo)的類別。而語(yǔ)義分割不僅要提取到邊緣像素級(jí)別，還要知道這個(gè)目標(biāo)是什么。因此，非語(yǔ)義分割是一種圖像基礎(chǔ)處理技術(shù)，而語(yǔ)義分割是一種機(jī)器視覺(jué)技術(shù)，難度也更大一些，目前比較成熟且應(yīng)用廣泛的語(yǔ)義分割算法有以下幾種：Grabcut

MaskR-CNN

U-Net

FCN

SegNet參考網(wǎng)址：/article/875065第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割7.2.1邊緣分割基本原理邊緣有方向和幅度兩個(gè)特性：沿著邊緣走向的灰度值不變或者緩慢變化，垂直于邊緣走向的灰度值存在突變。按突變形式不同，邊緣可表現(xiàn)為階躍式、漸變式（斜升和斜降式）、脈沖式、屋頂式等類型，邊緣包括：

數(shù)字圖像中目標(biāo)物體或某區(qū)域的角點(diǎn)、輪廓、交界等處，代表了圖像局部不連續(xù)性特征。邊緣分割方法：

假設(shè)各子區(qū)域一定會(huì)有明顯的邊緣存在，

通過(guò)采用數(shù)學(xué)求導(dǎo)的方法提取圖像中灰度或結(jié)構(gòu)等信息突變（即不連續(xù)）的部分像素來(lái)實(shí)現(xiàn)。邊緣與導(dǎo)數(shù)關(guān)系一階微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二階微分算子有Laplace算子、LoG算子等7.2.1邊緣分割基本原理7.2.2Canny算子邊緣與導(dǎo)數(shù)關(guān)系一階微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二階微分算子有Laplace算子、LoG算子等Canny算子，非微分邊緣檢測(cè)算子，圖像邊緣檢測(cè)算法最經(jīng)典、先進(jìn)的算法之一。

是在滿足一定約束條件下推導(dǎo)出來(lái)的邊緣檢測(cè)最優(yōu)化算子7.2.2Canny算子3個(gè)最優(yōu)準(zhǔn)則（1）最優(yōu)檢測(cè)：

應(yīng)盡可能檢測(cè)出圖像的真實(shí)邊緣，漏檢真實(shí)邊緣和誤檢非邊緣的概率都要盡可能小。（2）最優(yōu)定位準(zhǔn)則：

檢測(cè)出的邊緣要盡可能接近真實(shí)邊緣，由于噪聲影響形成的檢測(cè)誤差最小。（3）檢測(cè)點(diǎn)與邊緣點(diǎn)一一對(duì)應(yīng)：

檢測(cè)出的邊緣點(diǎn)與實(shí)際邊緣點(diǎn)要盡可能一一對(duì)應(yīng)。7.2.2Canny算子步驟：（1）圖像去噪對(duì)圖像進(jìn)行平滑濾波（2）計(jì)算梯度幅值和方向?qū)ふ覉D像中灰度強(qiáng)度變化最強(qiáng)的位置，即梯度方向，（Sobel算子計(jì)算）（3）非極大值抑制為了使模糊的邊界變得清晰，需要保留局部最大梯度，在每個(gè)像素點(diǎn)上抑制除極大值外的其他梯度值。非極大值抑制圖7.2.2Canny算子步驟：（4）雙閾值（更加精確地檢測(cè)邊緣）設(shè)置兩個(gè)閾值，一個(gè)是閾值上界，一個(gè)是閾值下界。像素點(diǎn)大于閾值上界，稱為強(qiáng)邊界，則認(rèn)為必然是邊界；小于閾值下界，則必然不是邊界；

兩者之間的稱為弱邊界，則認(rèn)為是候選項(xiàng)，需要進(jìn)一步處理。（5）邊界跟蹤（進(jìn)一步處理弱邊界點(diǎn)）弱邊界可能是真邊緣，也可能是噪聲或者顏色變化引起。通常：真實(shí)邊緣的弱邊界與強(qiáng)邊界是連通的，其他則不連通。一個(gè)弱邊界點(diǎn)的8連通像素，只要有強(qiáng)邊界點(diǎn)存在，則弱邊界點(diǎn)是真實(shí)邊緣并保留。其余的弱邊界則被抑制。最終得到Canny算子邊緣檢測(cè)結(jié)果。7.2.2Canny算子步驟：使用格式：cv2.Canny(輸入圖像,最小閾值,最大閾值,[sobel算子（卷積核）大小])參數(shù)說(shuō)明：輸入圖像：輸入圖像數(shù)據(jù)，imread()函數(shù)返回值；最小閾值、最大閾值：雙閾值設(shè)置；Sobel算子卷積核大?。嚎蛇x項(xiàng)，用于查找圖像梯度的Sobel核的大小，默認(rèn)為3，該值越大，保留信息越多優(yōu)點(diǎn)是可以檢測(cè)出真正的弱邊緣，而且是細(xì)化后的單邊緣，減少了邊緣中斷現(xiàn)象。對(duì)于對(duì)比度較低的圖像，通過(guò)合理選擇參數(shù)，也能有很好的邊緣檢測(cè)效果。第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割不同區(qū)域內(nèi)像素的屬性不同，同一個(gè)區(qū)域內(nèi)像素都應(yīng)該具有相似或相同的屬性。7.3基于區(qū)域的圖像分割根據(jù)分割特征不同，分為閾值法、聚類法、生長(zhǎng)合并法等。1.生長(zhǎng)合并法概念生長(zhǎng)合并法主要考慮圖像區(qū)域的連通性進(jìn)行分割，常見(jiàn)的方法有區(qū)域生長(zhǎng)法、分裂合并法、分水嶺法等。區(qū)域生長(zhǎng)法：

根據(jù)圖像像素之間的連通性，按照事先定義的準(zhǔn)則，將部分像素或者子區(qū)域聚合成更大區(qū)域以達(dá)到圖像分割的目的。分裂合并法：適合事先完全不了解區(qū)域形狀和數(shù)目的情況，首先將圖像分解成互不重疊的區(qū)域，然后對(duì)各個(gè)區(qū)域進(jìn)行合并或分裂，得到最終的分割結(jié)果。7.3.1生長(zhǎng)合并法2.分水嶺法將圖像看成一張地形圖,灰度值對(duì)應(yīng)地形圖中的海拔高度值高灰度值對(duì)應(yīng)著山峰，低灰度值對(duì)應(yīng)著山谷，水總是從地勢(shì)高朝著地勢(shì)低的地方流動(dòng)，直到某個(gè)局部低洼處，形成盆地；最終所有水都會(huì)處于不同的盆地中，各盆地之間的山脊稱為分水嶺。自適應(yīng)的多閾值圖像分割算法，有很多實(shí)現(xiàn)算法，大多是模擬水從下而上的浸入過(guò)程。假設(shè)在每個(gè)盆地表面，刺穿一個(gè)小孔，然后把整個(gè)模型慢慢浸人水中，最后在兩個(gè)盆地匯合處構(gòu)筑大壩，即形成分水嶺。3.Python下實(shí)現(xiàn)分水嶺法（c）對(duì)圖像進(jìn)行“開(kāi)運(yùn)算”后再膨脹，得到確定的背景區(qū)域（d）通過(guò)與背景像素的距離矩陣閾值化尋找確定的前景區(qū)域（e）bg與fg相減,得到前景和背景的邊緣區(qū)域，

定為未確定區(qū)域（f）用分水嶺算法提取輪廓像素，并顯示為特定顏色標(biāo)識(shí)圖像分割問(wèn)題比較復(fù)雜，存在兩個(gè)主要問(wèn)題：（1）缺乏效果好、通用性強(qiáng)的圖像分割算法；（2）因應(yīng)用場(chǎng)景的不同，評(píng)價(jià)