見圖像傳統(tǒng)處理算法-邊緣檢測-分割-增強-降噪

一、邊緣檢測邊緣檢測的幾種微分算子：一階微分算子：Roberts、Sobel、Prewitt二階微分算子：Laplacian、Log/Marr非微分算子：Canny一階微分算子1.Roberts:沒有經(jīng)過圖像平滑處理，圖像噪聲無法得到較好的抑制，但圖像邊緣定位精度較高。2.Sobel：引入了類似局部平均的運算，對噪聲有平滑作用，能很好的消除噪聲的影響。與Prewitt比，Sobel對像素位置做了加權(quán)，可以降低邊緣模糊程度。3.Prewitt：去掉部分偽邊緣，對噪聲有平滑作用。如何計算邊緣幅值與方向呢？以Sobel為例，3*3Sobel兩個方向的算子在圖像上滑動，模板與其覆蓋的圖像3*3區(qū)域的9個像素進行卷積，求和后得到此方向的邊緣檢測幅值。二階微分算子1.Laplacian拉普拉斯算子數(shù)學(xué)公式：2.Log/Marr邊緣檢測是先進行高斯濾波，再進行拉普拉斯算子進行檢測，最后通過找過零點來確定邊緣位置。非微分算子：Canny使用Canny算子的邊緣檢測過程如下：*RGB圖像轉(zhuǎn)化為灰度圖像；*對圖像進行高斯濾波；*利用canny算子（圖像四個方向：水平、垂直、對角）計算圖像梯度，根據(jù)**梯度計算圖像邊緣幅度；*非極大值抑制，得到真正的邊緣->細(xì)化；*雙閾值邊緣提?。?結(jié)果二值化顯示。二、圖像分割傳統(tǒng)圖像分割算法1.基于閾值的分割方法閾值法的基本思想是基于圖像的灰度特征計算一個或多個灰度閾值，并將圖像中每個像素的灰度值與閾值作比較，最后將像素根據(jù)比較結(jié)果分到合適的類別中。因此，該方法最為關(guān)鍵的一步就是按照某個準(zhǔn)則函數(shù)來求解最佳灰度閾值。閥值分割方法的優(yōu)缺點：計算簡單，效率較高；只考慮像素點灰度值本身的特征，一般不考慮空間特征，因此對噪聲比較敏感，魯棒性不高。2.基于區(qū)域的分割方法基于區(qū)域的分割方法是以直接尋找區(qū)域為基礎(chǔ)的分割技術(shù)，基于區(qū)域提取方法有兩種基本形式：一種是區(qū)域生長，從單個像素出發(fā)，逐步合并以形成所需要的分割區(qū)域；另一種是從全局出發(fā)，逐步切割至所需的分割區(qū)域。區(qū)域生長：區(qū)域生長是從一組代表不同生長區(qū)域的種子像素開始，接下來將種子像素鄰域里符合條件的像素合并到種子像素所代表的生長區(qū)域中，并將新添加的像素作為新的種子像素繼續(xù)合并過程，知道找不到符合條件的新像素為止。該方法的關(guān)鍵是選擇合適的初始種子像素以及合理的生長準(zhǔn)則。區(qū)域生長算法需要解決的三個問題：（1）選擇或確定一組能正確代表所需區(qū)域的種子像素；（2）確定在生長過程中能將相鄰像素包括進來的準(zhǔn)則；（3）指定讓生長過程停止的條件或規(guī)則。區(qū)域分裂合并：區(qū)域生長是從某個或者某些像素點出發(fā)，最終得到整個區(qū)域，進而實現(xiàn)目標(biāo)的提取。而分裂合并可以說是區(qū)域生長的逆過程，從整幅圖像出發(fā)，不斷的分裂得到各個子區(qū)域，然后再把前景區(qū)域合并，得到需要分割的前景目標(biāo)，進而實現(xiàn)目標(biāo)的提取。區(qū)域分裂合并算法優(yōu)缺點：（1）對復(fù)雜圖像分割效果好；（2）算法復(fù)雜，計算量大；（3）分裂有可能破怪區(qū)域的邊界。分水嶺算法：是一種基于拓?fù)淅碚摰臄?shù)學(xué)形態(tài)學(xué)的分割方法，其基本思想是把圖像看作是測地學(xué)上的拓?fù)涞孛?，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。分水嶺對微弱邊緣具有良好的響應(yīng)，圖像中的噪聲、物體表面細(xì)微的灰度變化都有可能產(chǎn)生過度分割的現(xiàn)象，但是這也同時能夠保證得到封閉連續(xù)邊緣。3.基于邊緣檢測的分割方法基于邊緣檢測的圖像分割算法試圖通過檢測包含不同區(qū)域的邊緣來解決分割問題。通常不同區(qū)域的邊界上像素的灰度值變化比較劇烈，如果將圖片從空間域通過傅里葉變換到頻率域，邊緣就對應(yīng)著高頻部分，這是一種非常簡單的邊緣檢測算法。邊緣檢測的優(yōu)缺點：（1）邊緣定位準(zhǔn)確；（2）速度快；（3）不能保證邊緣的連續(xù)性和封閉性；（4）在高細(xì)節(jié)區(qū)域存在大量的碎邊緣，難以形成一個大區(qū)域，但是又不宜將高細(xì)節(jié)區(qū)域分成小碎片；由于上述的（3）（4）兩個難點，邊緣檢測只能產(chǎn)生邊緣點，而非完整意義上的圖像分割過程。這也就是說，在邊緣點信息獲取到之后還需要后續(xù)的處理或者其他相關(guān)算法相結(jié)合才能完成分割任務(wù)。在以后的研究當(dāng)中，用于提取初始邊緣點的自適應(yīng)閾值選取、用于圖像的層次分割的更大區(qū)域的選取以及如何確認(rèn)重要邊緣以去除假邊緣將變得非常重要。4.基于主動輪廓模型的分割方法在實現(xiàn)主動輪廓模型時，可以靈活的選擇約束力、初始輪廓和作用域等，以得到更佳的分割效果。利用曲線演化來檢測目標(biāo)的一類方法，基于此可以得到精確的邊緣信息。其基本思想是，先定義初始曲線C，然后根據(jù)圖像數(shù)據(jù)得到能量函數(shù)，通過最小化能量函數(shù)來引發(fā)曲線變化，使其向目標(biāo)邊緣逐漸逼近，最終找到目標(biāo)邊緣。這種動態(tài)逼近方法所求得的邊緣曲線具有封閉、光滑等優(yōu)點。5.基于深度學(xué)習(xí)的分割方法（簡單介紹）A、基于特征編碼在特征提取領(lǐng)域中VGG和ResNet是兩個非常有統(tǒng)治力的方法。VGG通過反復(fù)地堆疊3*3的小型卷積核和2*2的最大池化層，構(gòu)建了16~19層的深度神經(jīng)網(wǎng)絡(luò)。幾點說明：*感受野很小的濾波器：3×3（這是捕獲左/右，上/下，中心概念的最小尺寸）。*1×1卷積濾波器，可以看作輸入通道的線性變換（后面加relu的是非線性）。*卷積步長固定為1個像素；卷積層輸入的空間填充要滿足卷積之后保留空間分辨率，即3×3卷積層的填充為1個像素。*空間池化由五個最大池化層進行，這些層在一些卷積層之后（不是所有的卷**積層之后都是最大池化）。在2×2像素窗口上進行最大池化，步長為2。之后是三個全連接（FC）層。*最后一層是soft-max層。所有網(wǎng)絡(luò)中全連接層的配置是相同的。*在多個遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于googLeNet。而且，從圖像中提取CNN特征，VGG模型是首選算法。

*雖然網(wǎng)絡(luò)層數(shù)加深，但VGG在訓(xùn)練的過程中比AlexNet收斂的要快一些，主要因為：

（1）使用小卷積核和更深的網(wǎng)絡(luò)進行的正則化；

（2）在特定的層使用了預(yù)訓(xùn)練得到的數(shù)據(jù)進行參數(shù)的初始化。理解1*1卷積核的作用（1）采用非線性激活函數(shù)可以提高模型的非線性能力；（2）專注于跨通道的特征組合；（3）對featuremap在channel層級進行降維或升維。？ResNetResnet出現(xiàn)的背景：深度學(xué)習(xí)網(wǎng)絡(luò)在堆疊到一定深度的時候會出現(xiàn)梯度消失的現(xiàn)象，導(dǎo)致誤差升高效果變差，后向傳播時無法將梯度反饋到前面的網(wǎng)絡(luò)層，使得前方的網(wǎng)絡(luò)層的參數(shù)難以更新，訓(xùn)練效果變差。梯度消失或者梯度爆炸解決方案：對輸入數(shù)據(jù)和中間層的數(shù)據(jù)進行歸一化（BN）操作，這種方法可以保證網(wǎng)絡(luò)在反向傳播中采用隨機梯度下降（SGD），從而讓網(wǎng)絡(luò)達到收斂。不退化不是我們的目的，我們希望有更好性能的網(wǎng)絡(luò)。

resnet學(xué)習(xí)的是殘差函數(shù)F(x)=H(x)-x,這里如果F(x)=0,那么就是上面提到的恒等映射。事實上，resnet是“shortcutconnections”的在connections是在恒等映射下的特殊情況，它沒有引入額外的參數(shù)和計算復(fù)雜度。通過使用ResNetUnit成功訓(xùn)練出了152層的神經(jīng)網(wǎng)絡(luò)。Resnet核心：對殘差塊做了計算優(yōu)化，即將兩個3x3的卷積層替換為1x1+3x3+1x1,如下圖。新結(jié)構(gòu)中的中間3x3的卷積層首先在一個降維1x1卷積層下減少了計算，然后在另一個1x1的卷積層下做了還原，既保持了精度又減少了計算量。ResNet的優(yōu)缺點：1）引入了全新的網(wǎng)絡(luò)結(jié)構(gòu)（殘差學(xué)習(xí)模塊），形成了新的網(wǎng)絡(luò)結(jié)構(gòu)，可以使網(wǎng)絡(luò)盡可能地加深；2）使得前饋/反饋傳播算法能夠順利進行，結(jié)構(gòu)更加簡單；3）恒等映射地增加基本上不會降低網(wǎng)絡(luò)的性能；4）建設(shè)性地解決了網(wǎng)絡(luò)訓(xùn)練的越深，誤差升高，梯度消失越明顯的問題；5）由于ResNet搭建的層數(shù)眾多，所以需要的訓(xùn)練時間也比平常網(wǎng)絡(luò)要長。B、基于區(qū)域選擇（regionalproposalbased）Regionalproposal在計算機視覺領(lǐng)域是一個非常常用的算法，尤其是在目標(biāo)檢測領(lǐng)域。其核心思想就是檢測顏色空間和相似矩陣，根據(jù)這些來檢測待檢測的區(qū)域。然后根據(jù)檢測結(jié)果可以進行分類預(yù)測。StageⅠ：R-CNNStageⅡ：FastR-CNN：目標(biāo)檢測StageⅢ：FasterR-CNN:目標(biāo)檢測StageⅣ：MaskR-CNN:主要完成了三件事情：目標(biāo)檢測，目標(biāo)分類，像素級分割。StageⅤ：MaskScoringR-CNNC.基于RNN的圖像分割在語義分割領(lǐng)域，基于區(qū)域選擇的幾個算法主要是由前人的有關(guān)于目標(biāo)檢測的工作漸漸延伸到語義分割的領(lǐng)域的.ReSeg模型MDRNNs（Multi-DimensionalRecurrentNeuralNetworks）模型D.基于上采樣/反卷積的分割方法FCN:在FCN當(dāng)中的反卷積-升采樣結(jié)構(gòu)中，圖片會先進性上采樣（擴大像素）；再進行卷積——通過學(xué)習(xí)獲得權(quán)值。優(yōu)缺點：*FCN對圖像進行了像素級的分類，從而解決了語義級別的圖像分割問題；*FCN可以接受任意尺寸的輸入圖像，可以保留下原始輸入圖像中的空間信息；*得到的結(jié)果由于上采樣的原因比較模糊和平滑，對圖像中的細(xì)節(jié)不敏感；*對各個像素分別進行分類，沒有充分考慮像素與像素的關(guān)系，缺乏空間一致性。SetNet：旨在解決自動駕駛或者智能機器人的圖像語義分割深度網(wǎng)絡(luò)，SegNet基于FCN，與FCN的思路十分相似，只是其編碼-解碼器和FCN的稍有不同，其解碼器中使用去池化對特征圖進行上采樣，并在分各種保持高頻細(xì)節(jié)的完整性；而編碼器不使用全連接層，因此是擁有較少參數(shù)的輕量級網(wǎng)絡(luò)：SetNet的優(yōu)缺點：*保存了高頻部分的完整性；*網(wǎng)絡(luò)不笨重，參數(shù)少，較為輕便；*對于分類的邊界位置置信度較低；*對于難以分辨的類別，例如人與自行車，兩者如果有相互重疊，不確定性會增加。三、圖像增強圖像增強算法常見于對圖像的亮度、對比度、飽和度、色調(diào)等進行調(diào)節(jié)，增加其清晰度，減少噪點等。增強往往經(jīng)過多個算法的組合，完成上述功能，比如圖像去燥等同于低通濾波器，增加清晰度則為高通濾波器，當(dāng)然增強一副圖像是為最后獲取圖像有用信息服務(wù)為主。一般的算法流程可為：圖像去燥（低通濾波器）增加清晰度（對比度）（高通濾波器）灰度化或者獲取圖像邊緣特征或者對圖像進行卷積、二值化等1.直方圖均衡化

圖像對比度增強的方法可以分為兩種：直接對比度增強方法，間接對比度增強方法。直方圖拉伸和直方圖均衡化是常見的間接對比度增強方法。直方圖拉伸是利用對比度拉伸對直方圖進行調(diào)整，擴大前景和背景灰度的差別。直方圖均衡化則是利用累積函數(shù)對灰度值進行調(diào)整，實現(xiàn)對比度的增強。直方圖均衡化處理原理：將原始圖像的灰度圖從比較集中的某個灰度區(qū)間均勻分布在整個灰度空間中，實現(xiàn)對圖像的非線性拉伸，重新分配圖像像素值。算法的本質(zhì)是重新分布圖像的像素值。增加了許多局部的對比度，整體的對比度沒有進行太大改變，所以應(yīng)用圖像為圖像有用數(shù)據(jù)的對比度相近時，例如：X光圖像，可以將曝光過度或曝光不足照片進行更好的顯示，或者是背景及前景太亮或太暗的圖像非常有用。算法當(dāng)然也有缺點，具體表現(xiàn)為：變換后的圖像灰度級減少，某些細(xì)節(jié)減少；某些圖像有高峰值，則處理后對比度不自然的過分增強。算法偽代碼：1、計算原始灰度圖像的像素概率分布2、根據(jù)像素概率分布獲取圖像累積分布函數(shù)3、根據(jù)映射函數(shù)(均衡化)獲取變換后的圖像2.基于拉普拉斯算子的圖像增強利用拉普拉斯算子進行圖像增強本質(zhì)是利用圖像的二次微分對圖像進行銳化，在圖像領(lǐng)域中微分是銳化，積分是模糊，利用二次微分對圖像進行銳化即利用鄰域像素提高對比度。3.基于Log變換的圖像增強對數(shù)變換可以將圖像的低灰度值部分?jǐn)U展，顯示出低灰度部分更多的細(xì)節(jié)，將其高灰度值部分壓縮，減少高灰度值部分的細(xì)節(jié)，從而達到強調(diào)圖像低灰度部分的目的。變換方法：對于不同的底數(shù)，底數(shù)越大，對低灰度部分的擴展就越強，對高灰度部分的壓縮也就越強。4.基于伽馬變換的圖像增強伽馬變換主要用于圖像的校正，將灰度過高或者灰度過低的圖片進行修正，增強對比度。變換公式就是對原圖像上每一個像素值做乘積運算：伽馬變換對圖像的修正作用其實就是通過增強低灰度或高灰度的細(xì)節(jié)實現(xiàn)的。γ值以1為分界，值越小，對圖像低灰度部分的擴展作用就越強，值越大，對圖像高灰度部分的擴展作用就越強，通過不同的γ值，就可以達到增強低灰度或高灰度部分細(xì)節(jié)的作用。伽馬變換對于圖像對比度偏低，并且整體亮度值偏高（對于于相機過曝）情況下的圖像增強效果明顯。四、圖像降噪圖像預(yù)處理算法的好壞直接關(guān)系到后續(xù)圖像處理的效果，如圖像分割、目標(biāo)識別、邊緣提取等，為了獲取高質(zhì)量的數(shù)字圖像，很多時候都需要對圖像進行降噪處理，盡可能的保持原始信息完整性（即主要特征）的同時，又能夠去除信號中無用的信息。一般的圖像處理，微小的細(xì)節(jié)對圖像降噪的后續(xù)處理程序影響不太明顯，但是當(dāng)處理對象為醫(yī)學(xué)圖像時，這樣的小失誤是不被允許的，因為在醫(yī)療診斷或治療中，每一個微小的失誤都會影響醫(yī)師的治療方法甚至威脅到患者的生命。這就要求更多的研究者來投入時間和精力研究新的降噪技術(shù)，以達到降噪并同時仍能保留足夠細(xì)節(jié)信息的目的。目前常用的圖像去噪算法大體上可非為兩類，即空域像素特征去噪算法和變換域去噪算法。前者是直接地在圖像空間中進行的處理，后者是間接地在圖像變換域中進行處理。什么是隨機噪聲呢？相比于圖像的真實信號來說隨機噪聲就是一種或高或低呈現(xiàn)出不確定變化的一種信號，如下圖所示虛線代表真實信號，紅藍線表示的就是隨機噪聲信號，所有的隨機噪聲信號求和后結(jié)果為0。由于這個零和特點，目前幾乎所有的空域降噪算法都是基于這個理論為出發(fā)點來進行降噪處理的。空域像素特征去噪算法基于空域像素特征的方法，是通過分析在一定大小的窗口內(nèi)，中心像素與其他相鄰像素之間在灰度空間的直接聯(lián)系，來獲取新的中心像素值的方法，因此往往都會存在一個典型的輸入?yún)?shù)，即濾波半徑r。此濾波半徑可能被用于在該局部窗口內(nèi)計算像素的相似性，也可能是一些高斯或拉普拉斯算子的計算窗口。在鄰域濾波方法里面，最具有代表性的濾波方法有以下幾種：(1)算術(shù)均值濾波與高斯濾波算術(shù)均值濾波用像素鄰域的平均灰度來代替像素值，適用于脈沖噪聲，因為脈沖噪聲的灰度級一般與周圍像素的灰度級不相關(guān)，而且亮度高出其他像素許多。均值濾波結(jié)果A'(i,j)隨著L（濾波半徑）取值的增大而變得越來越模糊，圖像對比度越來越小。經(jīng)過均值處理之后，噪聲部分被弱化到周圍像素點上，所得到的結(jié)果是噪聲幅度減小，但是噪聲點的顆粒面積同時變大，所以污染面積反而增大。為了解決這個問題，可以通過設(shè)定閾值，比較噪聲和鄰域像素灰度，只有當(dāng)差值超過一定閾值時，才被認(rèn)為是噪聲。不過閾值的設(shè)置需要考慮圖像的總體特性和噪聲特性，進行統(tǒng)計分析。高斯濾波矩陣的權(quán)值，隨著與中心像素點的距離增加，而呈現(xiàn)高斯衰減的變換特性。這樣的好處在于，離算子中心很遠(yuǎn)的像素點的作用很小，從而能在一定程度上保持圖像的邊緣特征。通過調(diào)節(jié)高斯平滑參數(shù)，可以在圖像特征過分模糊和欠平滑之間取得折中。與均值濾波一樣，高斯平滑濾波的尺度因子越大，結(jié)果越平滑，但由于其權(quán)重考慮了與中心像素的距離，因此是更優(yōu)的對鄰域像素進行加權(quán)的濾波算法。(2)統(tǒng)計中值濾波中值濾波首先確定一個濾波窗口及位置（通常含有奇數(shù)個像素），然后將窗口內(nèi)的像素值按灰度大小進行排序，最后取其中位數(shù)代替原窗口中心的像素值。無論是中值濾波還是加權(quán)濾波，兩者受窗口的尺寸大小影響非常大。一種對中值濾波的改進是自適應(yīng)中值濾波，它首先判斷窗口內(nèi)部的中心像素是否是一個脈沖，如果不是，則輸出標(biāo)準(zhǔn)中值濾波的結(jié)果；如果是，則通過繼續(xù)增大窗口濾波尺寸來尋找非脈沖的中值，因此該方法相比較原始的統(tǒng)計中值濾波器，在保持清晰度和細(xì)節(jié)方面更優(yōu)。(3)雙邊濾波這是一種非線性的保邊濾波方法，是結(jié)合圖像的空間鄰近度和像素值相似度的一種折中處理，同時考慮空域信息和灰度相似性，達到保邊去噪的目的。具有簡單、非迭代、局部的特點。雙邊濾波器之所以可以達到保邊去噪的效果，是因為濾波器是由兩個函數(shù)構(gòu)成。一個函數(shù)是由幾何空間距離決定濾波器系數(shù)。另一個由像素差值決定濾波器系數(shù)。(4)引導(dǎo)濾波（guidedfilter）(5)NLM（Non-Localmeans）算法前面基于鄰域像素的濾波方法，基本上只考慮了有限窗口范圍內(nèi)的像素灰度值信息，沒有考慮該窗口范圍內(nèi)像素的統(tǒng)計信息如方差，也沒有考慮整個圖像的像素分布特性，和噪聲的先驗知識。針對其局限性，NLM算法被提出，該算法使用自然圖像中普遍存在的冗余信息來去噪聲。與常用的雙線性濾波、中值濾波等利用圖像局部信息來濾波不同的是，它利用了整幅圖像來進行去噪，以圖像塊為單位在圖像中尋找相似區(qū)域，再對這些區(qū)域求平均，能夠比較好地去掉圖像中存在的高斯噪聲。變換域去噪算法圖像變換域去噪算法的基本思想其實就是首先進行某種變換，將圖像從空間域轉(zhuǎn)換到變換域，然后從頻率上把噪聲分為高中低頻噪聲，用這種變換域的方法就可以把不同頻率的噪聲分離，之后進行反變換將圖像從變換域轉(zhuǎn)換到原始空間域，最終達到去除圖像噪聲的目的。圖像從空間域轉(zhuǎn)換到變換域的方法很多，其中最具代表性的有傅里葉變換、離散余弦變換、小波變換以及多尺度幾何分析方法等。BM3D空域中NLM算法和變換域中小波萎縮法效果都很好。BM3D就是融合了spatialdenoise和tranformdenoise，從而可以得到最高的峰值信噪比。它先吸取了NLM中的計算相似塊的方法，然后又融合了小波變換域去噪的方法。BM3D算法總共有兩大步驟，分為基礎(chǔ)估計（Step1）和最終估計（Step2）。在這兩大步中，分別又有三小步：相似塊分組，協(xié)同濾波和聚合。Stpe1：基礎(chǔ)估計(