多媒體信號處理 課件 第5章 圖像分割

1第5章圖像分割25.1圖像分割的概念和分類計算機處理圖像的兩個目的產(chǎn)生更適合人觀察和識別的圖像由計算機自動識別和理解圖像圖像分割是圖像識別和圖像理解的基礎(chǔ)圖像預(yù)處理圖像識別圖像理解圖像分割圖像5.1圖像分割的概念和分類知識庫表示與描述預(yù)處理分割低級處理高級處理中級處理識別與解釋結(jié)果圖像獲取問題在該系統(tǒng)中，圖像的增強和恢復(fù)可以看作預(yù)處理，其輸入、輸出均是圖像，它是傳統(tǒng)的圖像處理的內(nèi)容。而圖像分割、特征提取及結(jié)構(gòu)分析等稱為圖像識別，其輸入是圖像，輸出是描述或解釋。45.1圖像分割的概念和分類圖像分割的定義圖像分割是把圖像分割成互不交疊的有意義區(qū)域，以便進一步的分析，分開的區(qū)域一般是圖像中我們感興趣的目標圖像分割是基于目標或區(qū)域的特征進行的每個目標或區(qū)域由于某些特征的不同與其它區(qū)域區(qū)別開來，邊緣、紋理、形狀、顏色等都是重要的特征55.1圖像分割的概念和分類圖像分割算法一般是基于亮度值的不連續(xù)性和相似性不連續(xù)性是基于亮度的不連續(xù)變化分割圖像，稱為基于邊界的技術(shù)，如邊緣檢測相似性是指根據(jù)不同的準則將圖像分割成相似的區(qū)域，稱為基于區(qū)域的技術(shù)，如閾值分割、區(qū)域生長、區(qū)域分裂和合并圖像分割的目的把圖像分解成構(gòu)成它的部件和對象；有選擇性地定位感興趣對象在圖像中的位置和范圍。5.1圖像分割的概念和分類從簡到難，逐級分割控制背景環(huán)境，降低分割難度注意力集中在感興趣的對象，縮小不相干圖像成分的干擾。提取輪廓車牌定位車牌識別5.1圖像分割的概念和分類5.1圖像分割的概念和分類圖像分割的基本策略：

把像素按灰度劃分到各個物體對應(yīng)的區(qū)域中去；

確定存在于區(qū)域間的邊界；

先確定邊緣像素點，然后將它們連接起來構(gòu)成所需的邊界；區(qū)域：像素的連通集連通準則：

4-連通

8-連通5.1圖像分割的概念和分類圖像分割的方法1)基于邊緣的分割方法:先提取區(qū)域邊界，再確定邊界限定的區(qū)域。2)區(qū)域分割:確定每個像素的歸屬區(qū)域，從而形成一個區(qū)域圖。3)區(qū)域生長:將屬性接近的連通像素聚集成區(qū)域。4)分裂－合并分割:綜合利用前兩種方法，既存在圖像的劃分，又有圖像的合并。分割對象分割對象105.1圖像分割的概念和分類115.1圖像分割的概念和分類間斷檢測是基于圖像像素灰度值的不連續(xù)性進行圖像分割點檢測線檢測邊界檢測尋找間斷最一般的方法是模板檢測125.1圖像分割的概念和分類間斷檢測：點檢測使用空域高通濾波器來檢測孤立點，如果，則認為在模板中心的位置檢測到一個點，T是非負門限孤立點：該點的灰度級與其背景的差異相當(dāng)大，并且它所在的位置是一個均勻的或者近似均勻的區(qū)域基本思想：如果一個孤立點與它周圍的點很不相同，則很容易被上述模板檢測到。在灰度級為常數(shù)的區(qū)域，模板響應(yīng)R為0135.1圖像分割的概念和分類間斷檢測：點檢測R=(-1*10*8+8*100)/9=720/9=80可以設(shè)置閾值T=50若R=0，則說明檢測點與周圍點像素值相同若R>T，則說

明檢測點與周

圍點像素值非

常的不同，為

孤立點1010101010010101010圖像-1-1-1-18-1-1-1-1模板145.1圖像分割的概念和分類間斷檢測：點檢測15間斷檢測：線檢測第一個模板對水平方向的線條（單像素寬）有更強的響應(yīng)第二個模板對于45度方向線有最佳響應(yīng)第三個模板對垂直線有最佳響應(yīng)第四個模板對于-45度線有最佳響應(yīng)每個模板系數(shù)相加總和為0，保證了在灰度級恒定的區(qū)域，模板響應(yīng)為0-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12-45度模板5.1圖像分割的概念和分類16間斷檢測：線檢測通過典型模板計算值的比較，確定一個點是否在某個方向的線上，以及當(dāng)前圖像的線性特征用四種模板分別計算R1=24R2=0R3=0R4=01115551111115551111115551115.1圖像分割的概念和分類175.1圖像分割的概念和分類圖一為原圖像，圖二為使用負45度檢測器處理后的結(jié)果（取絕對值），圖三為滿足閾值條件的所有點，閾值條件為大于等于原圖像中的最大值185.2基于邊界的邊緣檢測邊緣檢測邊緣是位于兩個區(qū)域的邊界線上的相連像素的集合邊緣可以通過計算局部微分算子來檢測一階導(dǎo)數(shù)：通過梯度來計算二階導(dǎo)數(shù)：通過拉普拉斯算子來計算195.2基于邊界的邊緣檢測邊緣檢測拉普拉斯算子圖像函數(shù)f(x,y)的拉普拉斯變換為205.2基于邊界的邊緣檢測邊緣檢測拉普拉斯算子一般不以其原始形式用于邊緣檢測的原因是拉普拉斯算子對噪聲非常敏感拉普拉斯算子的幅值產(chǎn)生雙邊緣不能檢測邊緣的方向拉普拉斯算子在分割中的作用利用它的零交叉性質(zhì)進行邊緣定位確定一個像素在邊緣暗的一邊還是亮的一邊21間斷檢測邊緣檢測高斯型拉普拉斯算子高斯函數(shù)的目的是對圖像進行平滑拉普拉斯算子的目的是提供一幅用零交叉確定邊緣位置的圖像圖像的平滑處理減少了噪聲的影響225.2基于邊界的邊緣檢測邊緣檢測Laplacian算子和平滑Gaussian濾波器進行結(jié)合來進行邊緣檢測235.2基于邊界的邊緣檢測LoG檢測結(jié)果Sobel算子檢測結(jié)果LoG圖像閾值分割的結(jié)果零交叉點245.2基于邊界的邊緣檢測邊緣檢測拉普拉斯算子和Sobel算子比較缺點邊緣由許多閉合環(huán)的零交叉點決定零交叉點的計算比較復(fù)雜優(yōu)點零交叉點圖像中的邊緣比梯度邊緣細抑制噪聲的能力和抗干擾能力比梯度算子強結(jié)論：梯度算子用的更多255.2基于邊界的邊緣檢測邊緣檢測邊緣檢測的Matlab函數(shù)BW=edge(I,'sobel')BW=edge(I,'prewitt')BW=edge(I,'roberts')BW=edge(I,'log')BW=edge(I,‘zerocross’,thresh,h)5.2基于邊界的邊緣檢測Canny算子1986年，Canny提出了邊緣檢測算子應(yīng)滿足以下3個判斷準則：信噪比準則，定位精確度準則，單邊緣響應(yīng)準則，并推導(dǎo)出了Canny算子。實現(xiàn)步驟有四個子過程：第一步首先用二維高斯函數(shù)的一階導(dǎo)數(shù)對圖像進行平滑第二步用2×2鄰域一階偏導(dǎo)的有限方差來計算平滑后的數(shù)據(jù)陣列I(x,y)的梯度幅值和梯度方向第三步，為了精確定位邊緣，必須細化梯度幅值圖像M(i,j)中的屋脊帶，只保留幅值局部變化最大的點，這一過程稱為非極大值抑制最后在第四步，對經(jīng)過非極大值抑制的數(shù)據(jù)陣列N(i,j)分別使用高、低2個閾值τh

和τl分割圖像，得到兩個閾值邊緣圖像26間斷檢測Canny算子的優(yōu)缺點該算法有較好的抑制噪聲的能力，可以較完整的檢測出邊緣。但比傳統(tǒng)邊緣微分算子復(fù)雜，運算速度慢。另外，Canny算子的雙閾值是根據(jù)全局特征信息來決定的，這導(dǎo)致了一方面無法消除局部噪聲干擾，另一方面又會丟失灰度值變化緩慢的局部邊緣?？梢酝ㄟ^改進雙閾值的選取算法提高Canny算子的邊緣檢測性能。275.2基于邊界的邊緣檢測285.2基于邊界的邊緣檢測29305.2基于邊界的邊緣檢測邊緣跟蹤由于噪聲、不均勻照明等原因產(chǎn)生邊緣間斷，使得到的一組像素很少能完整地描繪一條邊緣典型的做法是在使用邊緣檢測算法之后，使用連接過程將邊緣像素組合成有意義的邊緣局部處理31邊緣連接和邊界檢測局部處理分析圖像中每個邊緣點(x,y)的一個鄰域內(nèi)的像素，根據(jù)某種準則將所有相似點進行連接，由滿足該準則的像素連接組成的一條邊緣，稱為邊緣連接，又稱為邊緣跟蹤。連接原則比較兩個邊緣點梯度算子的響應(yīng)強度和梯度方向來確定兩個點是否屬于一條邊點(x’,y’)點(x,y)5.2基于邊界的邊緣檢測32連接算法步驟1）設(shè)定A、T的閾值大小，確定鄰域的大??；2）對圖像上每一個像素的鄰域點進行分析，判斷是否需要連接；3）記錄像素連接的情況，另開一個空間，給不同的邊以不同的標記；4）刪除孤立線段，連接斷開的線段。點(x’,y’)點(x,y)335.2基于邊界的邊緣檢測局部處理如果梯度算子的響應(yīng)強度和梯度方向都是相似的，則邊緣點(x,y)和(x’,y’)是連接的5.2基于邊界的邊緣檢測邊緣跟蹤的方法很多，常見的有光柵跟蹤和輪廓跟蹤光柵掃描跟蹤光柵掃描跟蹤是一種采用電視光柵行掃描順序?qū)τ龅降南袼剡M行分析，從而確定是否為邊緣的跟蹤方法。光柵跟蹤方法的基本思想:利用檢測準則確定和接受對象點，根據(jù)被接受的對象點和跟蹤準則確定并接受新的對象點，將所有標記為1且相鄰的對象點聯(lián)接起來就得到了檢測到的細曲線。345.2基于邊界的邊緣檢測使用光柵跟蹤方法，需要遵循下面的三個準則參數(shù)準則：需要事先確定檢測閾值d、跟蹤閾值t，且要求d>t；檢測準則：對圖像逐行掃描，將每一行中灰度值大于或等于檢測閾值d的所有點（稱為接受對象點）記為1；

跟蹤準則：設(shè)置位于第i行的點(i,j)為已接受的對象點，如果位于第i+1行上的相鄰點(i+1,j?1)、(i+1,j)和(i+1,j+1)的灰度值大于或等于跟蹤閾值t，就將其接受為新的對象點，并記為1。355.2基于邊界的邊緣檢測光柵掃描跟蹤具體步驟(1)確定一個較大的閾值d為檢測閾值，把高于該閾值的像素作為對象點。(2)選擇一個較低的閾值t

作為跟蹤閾值，且要求t<d，該閾值可以根據(jù)不同準則來選擇；可選擇灰度差、梯度方向、對比度等作為跟蹤閾值。(3)從第一行起用檢測閾值d逐行對圖像進行掃描，依次將灰度值大于或等于檢測閾值d的點的位置記為1。(4)確定跟蹤?quán)徲?，如下圖中選取的(i+1,j?1)、(i+1,j)、(i+1,j+1)。(5)從第二行起逐行掃描圖像，若圖像中的(i,j)點為對象點，則在第i+1行上找該點跟蹤?quán)徲蛑谢叶炔钚∮诨虻扔诟欓撝祎的鄰點，并確定為新的對象點，將相應(yīng)位置記為1。(6)對于已檢測出來的某個對象點，進行跟蹤結(jié)束、分支和合并的處理。如果某個對象點（由于步驟(3)的原因產(chǎn)生的對象點）在上一行的對應(yīng)鄰域中沒有對象點，則說明一條新的曲線可開始。(7)重復(fù)(5)、(6)這兩個步驟，直至圖像中最末一行被掃描完為止。36375.2基于邊界的邊緣檢測5.2基于邊界的邊緣檢測38

（a）目標圖像

（b）光柵掃描法圖

采用光柵掃描法對米粒進行邊緣跟蹤5.2基于邊界的邊緣檢測光柵跟蹤的優(yōu)缺點光柵掃描跟蹤法是一種簡單的利用局部信息、通過掃描的方式將邊緣點連接起來的方法。該跟蹤算法采用電視光柵行掃描順序?qū)τ龅降南袼剡M行分析，從而確定其是否為邊緣。由于光柵掃描跟蹤和掃描方向有關(guān)，因此最好沿其他方向再跟蹤一次。395.3基于形狀的圖像分割圖像形狀識別的挑戰(zhàn)在計算機視覺中，識別圖像中的特定形狀是一個常見需求。傳統(tǒng)方法通過卷積運算識別形狀，但這種方法存在一定的局限性霍夫變換簡介定義：霍夫變換是一種將圖像像素映射到參數(shù)空間的算法。目的：通過參數(shù)空間的映射，簡化特定形狀的識別過程?；舴蜃儞Q的原理坐標映射：將圖像像素的信息按照坐標映射到參數(shù)空間。形狀判定：在參數(shù)空間中，通過特定的算法判定感興趣的形狀。霍夫變換的優(yōu)勢簡化輪廓識別：利用不同平面坐標系之間的映射關(guān)系，簡化輪廓像素的識別。全局特征利用：通過圖像的全局特征，將特定形狀的邊緣像素連接起來。5.3.1霍夫變換基本原理1、圖像空間與參數(shù)空間的對偶性1)圖像空間的點與參數(shù)空間直線間的對偶性2)圖像空間中直線與參數(shù)空間中點之間的對偶性5.3.1霍夫變換基本原理直線在參數(shù)空間的檢測5.3基于形狀的圖像分割(k,b)空間局限性5.3.2直線的霍夫變換基于極坐標空間霍夫變化檢測直線的基本原理5.3.2直線的霍夫變換

原理：取閾值是一種廣泛使用的圖像分割技術(shù)，通過對灰度取閾值后得到的圖像，各個區(qū)域可以分離開，但要將目標提取出來，還需要將各區(qū)域識別標記。5.4基于灰度閾值的圖像分割5.4.1閾值化分割原理顏色深淺47灰度值分布狀態(tài)0100200300400500600700050100150200250020040060080010000501001502002505.4.1閾值化分割原理48基本思想：通過對灰度取閾值后得到的圖像，各個區(qū)域可以分離開原理：目標圖像灰度圖確定灰度閾值分割圖像5.4.2基于灰度值統(tǒng)計特征的圖像分割法直方圖統(tǒng)計特性4905010015020025030005101520253035平均值類間方差方差閾值t5.4.2基于灰度值統(tǒng)計特征的圖像分割法5005001000150020002500300035004000050100150

人工試探法過于主觀，不精確5.4.2基于灰度值統(tǒng)計特征的圖像分割法

5112345612356789101140t自動估計全局閾值法52自動估計全局閾值法目標圖片除了均值作為度量準則，還有沒有其他的準則？5.4.2基于灰度值統(tǒng)計特征的圖像分割法大津算法(Otsu’sMethod):基于類間方差的閾值分割單閾值類間方差53當(dāng)兩均值離得最遠時，類間方差最大5.4.2基于灰度值統(tǒng)計特征的圖像分割法54當(dāng)類間方差最大時，圖像分割效果最好12345612356789101140通過遍歷嘗試t，當(dāng)類間方差最大時，t為最佳閾值t優(yōu)化目標：最大化類間方差閾值分割[1]5.4.2基于灰度值統(tǒng)計特征的圖像分割法55目標圖片單閾值過于單一，忽略細節(jié)5.4.2基于灰度值統(tǒng)計特征的圖像分割法56

均值與類間方差都是合理的分割度量5.4.2基于灰度值統(tǒng)計特征的圖像分割法57大津雙閾值分割法

雙閾值目標優(yōu)化函數(shù)123456123567891011401314125.4.2基于灰度值統(tǒng)計特征的圖像分割法58目標RGB圖像單閾值分割雙閾值分割目標灰度圖像5.4.2基于灰度值統(tǒng)計特征的圖像分割法59目標RGB圖像雙閾值分割目標灰度圖像單閾值分割5.4.2基于灰度值統(tǒng)計特征的圖像分割法605.5基于區(qū)域的圖像分割基本公式分割的目標是將圖像劃分為不同的區(qū)域令R表示整幅圖像，可以將分割看成是將R劃分為n個子區(qū)域的過程，n個子區(qū)域滿足以下條件完備性：連通性：每個Ri都是一個連通區(qū)域獨立性：單一性：互斥性：通過像素聚合的區(qū)域增長法是最基本的區(qū)域分割技術(shù)。根據(jù)事先定義的準則將象素或子區(qū)域聚合成更大區(qū)域的過程。區(qū)域生長的三個問題：種子：進行生長的起點。相似性準則：確定增長的規(guī)則。終止規(guī)則：考慮區(qū)域大小、形狀、相似性等因素。5.5.1區(qū)域生長法625.5.1區(qū)域生長法區(qū)域生長算法實現(xiàn)根據(jù)圖像的不同應(yīng)用選擇一個或一組種子選擇一個條件從該種子開始向外擴張，首先把種子像素加入集合，然后不斷將與集合中各個像素連通、且滿足給定條件的像素加入集合上一過程進行到不再有滿足條件的新像素點加入集合為止635.5.1區(qū)域生長法單連接區(qū)域增長方法：對圖像進行光柵掃描，求出不屬于任何區(qū)域的象素（根據(jù)圖像的不同應(yīng)用選擇一個或一組種子，它或者是最亮或最暗的點，或者是位于點簇中心的點。）；2.將該點的灰度值與其鄰域內(nèi)不屬于任何一個區(qū)域的象素灰度值比較，如果其差的絕對值小于某個設(shè)定的門限值，就把它們合并為同一區(qū)域；3.對新合并的象素，重復(fù)（2）的操作；4.反復(fù)進行（2）（3）的操作，直到不能再增加為止；5.返回至（1），重新尋找能為新區(qū)域出發(fā)點的象素。5.5.1區(qū)域生長法例：設(shè)有一數(shù)字圖像，如圖所示。檢測灰度為9，平均灰度均勻測度度量的閾值為2，采用區(qū)域增長技術(shù)對圖像進行分割。12646156855897657858567831264615685589765785856783(8＋9＋8＋8)/4=8.25(8+8+9+7+7+8+7+8)/8=7.758877768868666(6+6+6+8+8+9+7+6+7+8+8+6+7+8)/14=7.14判斷準則是：如果某像素(種子點8鄰域內(nèi))與種子像素的灰度值差的絕對值小于門限T，則將該像素納入種子像素所在的區(qū)域5.5.1區(qū)域生長法目標圖像生長點[200,220]生長點[500,220]依賴種子點的選擇和生長順序67區(qū)域分裂和合并的常用的準則同一區(qū)域中最大灰度值與最小灰度值之差或方差小于某選定的閾值；兩個區(qū)域的平均灰度值之差及方差小于某個選定的閾值兩個區(qū)域的灰度分布函數(shù)之差小于某個選定的閾值；兩個區(qū)域的某種圖像統(tǒng)計特征值的差小于等于某個閾值5.5.2區(qū)域的分裂與合并四叉樹分裂原則根據(jù)給定的均勻性檢驗準則P進行四分裂685.5.2區(qū)域的分裂與合并給定的均勻性檢驗準則對全圖按照準則進行分裂檢查各子塊，直到全部滿足準則111123661121456811117777111166552022202212342022222054782022202091240102022202013141010分裂準則：最大值與最小值之差小于等于669分裂5.5.2區(qū)域的分裂與合并四叉樹分裂4000400000000000000000000000000040002020000000000000201100000011111123661121456811117777111166552022202212342022222054782022202091