《計(jì)算機(jī)視覺》 課件 2、圖像表示和處理

計(jì)算機(jī)視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機(jī)械工業(yè)出版社2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像表示圖像表示將連續(xù)函數(shù)采樣(sampled)為M行N列的矩陣將每個(gè)連續(xù)樣本量化(quantization)為一個(gè)整數(shù)值，即圖像函數(shù)的連續(xù)范圍被分成了K個(gè)區(qū)間采樣和量化的越精細(xì)，即增大M,N,K，連續(xù)圖像函數(shù)的近似性越好圖像表示連續(xù)圖像函數(shù)f(x,y)可通過平面上離散的柵格點(diǎn)來采樣圖像采樣點(diǎn)：兩個(gè)相鄰采樣點(diǎn)間，在x軸和y軸上的距離分別是Δx和Δy，稱距離Δx和Δy為采樣間隔，采樣后得到的矩陣fs(mΔx,nΔy)構(gòu)成了離散圖像采樣圖像是連續(xù)圖像函數(shù)f(x,y)與采樣函數(shù)s(x,y)的乘積圖像表示根據(jù)Shannon采樣定理即采樣間隔應(yīng)小于或等于圖像中感興趣的最小細(xì)節(jié)尺寸的一半。圖像表示采樣量化將采樣后的圖像fs(mΔx,nΔy)的像素值用一個(gè)整數(shù)來表示,為了是人能夠覺察出圖像的細(xì)微變化,量化的級別要足夠高大部分的圖像處理儀器都采用k個(gè)等間隔的量化方式,如果用b位來表示像素亮度的數(shù)值，那么亮度階就是k=2b通常使用每個(gè)像素8個(gè)比特，特殊的測量設(shè)備每個(gè)像素使用12個(gè)或更多的比特2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像的基本性質(zhì)距離(distance)兩點(diǎn)p(x,y)和q(u,v)之間的距離:歐氏距離：城區(qū)距離：棋盤距離：

圖像的基本性質(zhì)像素鄰接性(adjacency)4－鄰接：任意兩像素之間的距離為D4＝18－鄰接：任意兩像素之間的距離為D8＝1區(qū)域(region):由一些彼此鄰接的像素組成的集合連通性(contiguous)連通：一幅圖像的兩個(gè)像素之間存在一條路徑連通關(guān)系具有自反性、對稱性和傳遞性區(qū)域中沒有孔，稱為簡單連通，有孔的區(qū)域稱為復(fù)連通圖像的基本性質(zhì)邊緣(edge)邊緣是圖像上灰度的不連續(xù)點(diǎn)，或者灰度變化劇烈的地方，它是一個(gè)有大小和方向的矢量邊界(border)區(qū)域R的邊界是其自身的像素集合，其中的每個(gè)點(diǎn)具有一個(gè)或多個(gè)R外的鄰接點(diǎn)邊界和邊緣不同，邊界是與區(qū)域有關(guān)的全局概念，而邊緣表示圖像函數(shù)的局部性質(zhì)；邊界與邊緣也相互關(guān)聯(lián)，一種尋找邊界的方法是連接顯著的邊緣圖像的基本性質(zhì)直方圖：給出了圖像中亮度值z出現(xiàn)的概率，一幅有L階的圖像直方圖由具有L個(gè)元素的一維數(shù)組表示算法：計(jì)算亮度直方圖創(chuàng)建大小為L的一維數(shù)組H數(shù)組H的所有元素初始化為0對于圖像f的所有元素，做如下處理：圖像的基本性質(zhì)圖像中的噪聲實(shí)際圖像常受一些隨機(jī)誤差的影響而退化，這些退化稱為噪聲(noise)在圖像捕獲、傳輸或處理中都可能出現(xiàn)噪聲白噪聲(whitenoise)：具有常量的功率譜，強(qiáng)度不隨著頻率的增加而衰減。高斯噪聲(Gaussiannoise)是服從正態(tài)分布的隨機(jī)變量，一維情況下的概率密度函數(shù)為：圖像的基本性質(zhì)圖像中的噪聲噪聲有可能依賴于圖像內(nèi)容，也可能與之無關(guān)加性噪聲(additivenoise)：噪聲與出現(xiàn)的圖像信號無關(guān)乘性噪聲(multiplicativenoise)：噪聲的幅值與信號本身的幅值相關(guān)用信噪比SNR度量圖像的品質(zhì)，值越大越好計(jì)算噪聲貢獻(xiàn)的平方和：信號的所有平方和：信噪比：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理數(shù)學(xué)基礎(chǔ)卷積傅里葉變換卷積(Convolution)二維函數(shù)f和h的卷積g記為f*h，由積分定義二維離散卷積傅立葉變換(FourierTransform)二維連續(xù)傅立葉變換及其逆變換二維離散傅立葉變換及其逆變換傅立葉變換傅立葉變換的結(jié)果F(u,v)通常為復(fù)數(shù)，令R(u,v)和I(u,v)分別表示F(u,v)的實(shí)部和虛部傅立葉頻譜：相位角：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理圖像處理的目的是改善圖像數(shù)據(jù)，抑制不需要的變形或者增強(qiáng)某些對于后續(xù)處理重要的圖像特征像素亮度變換灰度映射直方圖均衡直方圖規(guī)定化圖像增強(qiáng)空域、頻域圖像復(fù)原像素亮度變換

灰度級變換

底片變換通過分段函數(shù)增強(qiáng)了圖像在亮度p1到p2間的對比度圖像二值化直方圖均衡化(histogramequalization)直方圖均衡化的目標(biāo)是創(chuàng)建一幅在整個(gè)亮度范圍內(nèi)具有相同亮度分布的圖像直方圖均衡化增強(qiáng)了靠近直方圖極大值附近的亮度的對比度，減小了極小值附近的對比度直方圖均衡化輸入直方圖H(p)，輸入灰度級范圍為[p0,pk]，直方圖均衡化的目標(biāo)：找到一個(gè)單調(diào)的像素亮度變換q=T(p)，使輸出直方圖G(q)在整個(gè)輸出亮度范圍[q0,qk]內(nèi)是均勻的直方圖可看作離散的概率密度函數(shù)，變換T是單調(diào)的若圖像有M行N列，均衡化后的直方圖G(q)對應(yīng)著均衡的概率密度函數(shù)，其函數(shù)值為一個(gè)常數(shù)直方圖均衡化公式代入：當(dāng)考慮“理想的”連續(xù)概率密度時(shí)，可以得到精確的均衡化直方圖得到像素亮度變換T積分稱為累計(jì)直方圖，在數(shù)字圖像中用求和近似，結(jié)果直方圖并不是理想均衡的直方圖均衡化算法：直方圖均衡化對于L(256)個(gè)灰度級、大小為M×N的圖像，創(chuàng)建長為L的數(shù)組H，初始化為0，形成圖像直方圖H形成圖像直方圖H通過將直方圖進(jìn)行歸一化和累加來計(jì)算累計(jì)直方圖Hc設(shè)置重新掃描圖像，根據(jù)變換T獲得直方圖近似為均勻分布的輸出圖像空域?yàn)V波局部預(yù)處理使用輸入圖像中像素的一個(gè)小鄰域內(nèi)的像素信息，產(chǎn)生輸出圖像中新的對應(yīng)像素的亮度值。這種預(yù)處理技術(shù)在使用信號處理的術(shù)語時(shí)被稱為濾波(filtering)。線性濾波：輸出圖像像素g(m,n)的計(jì)算結(jié)果是輸入圖像像素f(m,n)一個(gè)局部鄰域Ω的亮度線性組合。鄰域Ω中的像素貢獻(xiàn)通過系數(shù)h進(jìn)行加權(quán)：

h：濾波器、卷積掩膜、核、窗口非線性濾波：基于鄰域進(jìn)行非線性操作，如中值濾波空域?yàn)V波圖像平滑圖像平滑主要用來抑制噪聲，等價(jià)于抑制頻域中的高頻成分邊緣也屬于頻域中的高頻，平滑同時(shí)會模糊承載圖像中重要信息的邊緣，需要集中考慮具有邊緣保持功能的平滑方法此類方法的基本思路：僅使用鄰域中與被處理像素有類似性質(zhì)的點(diǎn)進(jìn)行平均平均(averaging)限制數(shù)據(jù)有效性下的平均(averagingwithlimiteddatavalidity)反梯度平均(averagingaccordingtoinversegradient)旋轉(zhuǎn)掩膜平均(averagingusingarotatingmask)中值濾波(medianfiltering)平均假設(shè)每個(gè)像素上的噪聲是一個(gè)均值為0，標(biāo)準(zhǔn)差為σ的獨(dú)立隨機(jī)變量，則可通過多次采集相同的靜態(tài)景物來獲得一幅平均圖像：平均圖像中的噪聲仍是隨機(jī)變量，均值為0，標(biāo)準(zhǔn)差為若只能獲得一幅帶有噪聲的圖像，則通過圖像的局部鄰域?qū)崿F(xiàn)平均如果噪聲大小小于圖像中感興趣的最小尺寸，處理結(jié)果是可以接受的，但仍存在邊緣模糊的問題在單幅圖像中做平滑，需要假設(shè)圖像數(shù)據(jù)中的灰度級沒有變化，這種假設(shè)在圖像邊緣處顯然是不成立的平均平均是離散卷積的一個(gè)特例，對于3×3的鄰域，卷積掩膜h為：其他形式的卷積掩膜：加噪聲結(jié)果原始圖像10×10掩膜5×5掩膜限制數(shù)據(jù)有效性下的平均試圖僅使用滿足某種標(biāo)準(zhǔn)的像素做平均來避免模糊一個(gè)簡單的準(zhǔn)則：設(shè)定非法數(shù)據(jù)范圍[min,max]，只有具有非法灰度級別的像素值才被其鄰域的平均所取代；只有有效的數(shù)據(jù)才對鄰域的平均有貢獻(xiàn)反梯度平均在每個(gè)像素上，根據(jù)反梯度計(jì)算卷積掩膜其基本思想是：區(qū)域內(nèi)部的亮度變化一般小于相鄰區(qū)域間的亮度變化設(shè)像素(m,n)是卷積掩膜的中心像素，像素點(diǎn)(i,j)相對于(m,n)的反梯度為 當(dāng)時(shí)，卷積掩膜： 中心像素上:旋轉(zhuǎn)掩膜平均通過搜索當(dāng)前像素鄰域的一致性部分來避免邊緣模糊，像素的平均操作只在具有一致性的區(qū)域內(nèi)進(jìn)行定義一個(gè)掩膜，將其在當(dāng)前像素周圍進(jìn)行旋轉(zhuǎn)。在旋轉(zhuǎn)過程中計(jì)算每個(gè)掩膜位置下像素值的平均值，并觀察這些平均值的變化設(shè)區(qū)域R的像素?cái)?shù)目是n，且輸入圖像是f，用亮度散布σ2度量區(qū)域的一致性:中值濾波基本思想：用鄰域中亮度的中值代替圖像當(dāng)前的點(diǎn)最大值最小值中點(diǎn)(max+min)/2最頻值窗口濾波加噪聲結(jié)果原始圖像3×3窗口2×2窗口頻域?yàn)V波假定原圖像f(x,y)，經(jīng)傅立葉變換為F(u,v)，頻域?yàn)V波就是選擇合適的濾波器函數(shù)H(u,v)對F(u,v)的頻譜成分進(jìn)行調(diào)整，然后經(jīng)逆傅立葉變換得到增強(qiáng)的圖像g(x,y)。該過程可以通過下面流程描述：

G(u，v)=H(u,v)·F(u,v),H(u,v)稱為傳遞函數(shù)或?yàn)V波器函數(shù)。頻域?yàn)V波原理低通濾波高通濾波帶通濾波同態(tài)濾波低通濾波（Lowpassfilters)

圖像從空間域變換到頻率域后，其低頻分量對應(yīng)圖像中灰度值變化比較緩慢的區(qū)域，高頻分量則表征圖像中物體的邊緣和隨機(jī)噪聲等信息。低通濾波是指保留低頻分量，而通過濾波器函數(shù)H(u,v)減弱或抑制高頻分量的在頻域進(jìn)行的濾波。低通濾波與空域中的平滑濾波器一樣可以消除圖像中的隨機(jī)噪聲，減弱邊緣效應(yīng)，起到平滑圖像的作用。D0是一個(gè)非負(fù)整數(shù)，D是從點(diǎn)（u，v）到頻率平面原點(diǎn)的距離即：理想低通濾波器的含義是指小于D0的頻率，即以D0為半徑的圓內(nèi)的所有頻率分量可以完全無損地通過，而圓外的頻率，即大于D0的頻率分量則完全被除掉。理想低通濾波器二維理想低通濾波器的傳遞函數(shù)如下：低通濾波的能量和D0的關(guān)系能量在變換域中集中在低頻區(qū)域。以理想低通濾波作用于N×N的數(shù)字圖像為例，其總能量為一個(gè)以頻域中心為原點(diǎn)，r為半徑的圓就包含了百分之

的能量根據(jù)對保留能量的要求來確定濾波器的截止頻率。

頻域低通濾波所產(chǎn)生的模糊示例r=5r=45r=11盡管只有7％的(高頻)能量被濾除，但圖像中絕大多數(shù)細(xì)節(jié)信息都已丟失了當(dāng)僅4％的高頻能量被濾除后，圖像中仍有明顯的振鈴效應(yīng)。理想低通濾波器的平滑作用非常明顯，但由于變換有一個(gè)陡峭的波形，它的反變換h(x,y)有強(qiáng)烈的振鈴特性，使濾波后圖像產(chǎn)生模糊效果。因此這種理想低通濾波實(shí)用中不能采用。“振鈴”現(xiàn)象H(u,v)h(x,y)理想低通濾波器巴特沃斯（Butterworth）低通濾波器巴特沃斯低通濾波器的傳遞函數(shù)為：D0為截止頻率，n為函數(shù)的階。一般取使H(u，v)最大值下降到最大值的0.5時(shí)的D(u,v)為截止頻率D0。Butterworth低通過濾器的截面圖H(u,v)作為D(u,v)/D0的函數(shù)的截面圖Butterworth低濾波效果D0=5D0=11D0=22D0=45n=2原始圖像D0特點(diǎn)：結(jié)果圖像的清晰度較理想低通濾波器有所改善，振鈴效應(yīng)也有所減弱。應(yīng)用時(shí)可調(diào)整D1值，既能達(dá)到平滑圖像的目的，又可以使圖像保持足夠的清晰度。梯形低通濾波器一般取使H（u,v）最大值下降至原來的1/2時(shí)的D(u，v)為截止頻率D0n=3D0指數(shù)低通濾波器特點(diǎn)：指數(shù)低通濾波器從通過頻率到截止頻率之間沒有明顯的不連續(xù)性，而是存在一個(gè)平滑的過渡帶。指數(shù)低通濾波器實(shí)用效果比Butterworth低通濾波器稍差，但仍無明顯的振鈴現(xiàn)象。

高通濾波（Highpassfilters)圖像的邊緣、細(xì)節(jié)主要在高頻，圖像模糊是由于高頻成分較弱產(chǎn)生的。為了消除模糊，突出邊緣，可以采用高通濾波的方法，使低頻分量得到抑制，從而達(dá)到增強(qiáng)高頻分量，使圖像的邊沿或線條變得清晰，實(shí)現(xiàn)圖像的銳化。理想高通濾波器梯形高通濾波器(GHPF)D1D0n=3巴特沃思(Butterworth)高通濾波器(BHPF)n=3指數(shù)高通濾波器(EHPF)IHPF濾波效果，D0=15，30，80。D0越小，振鈴效應(yīng)越明顯。BHPF,比IHPF的結(jié)果平滑得多。EHPF濾波效果高通濾波器比較小結(jié)理想高通有明顯振鈴，圖像的邊緣模糊不清。Butterworth高通效果較好，振鈴不明顯，但計(jì)算復(fù)雜。指數(shù)高通效果比Butterworth差些，但振鈴也不明顯。梯形高通的效果是微有振鈴、但計(jì)算簡單，故較常用。帶阻濾波（Bandstopfilter）

帶通濾波（Bandpassfilter）在某些情況下，信號或圖像中的有用成分和希望除掉的成分主要分別出現(xiàn)在頻譜的不同頻段，這時(shí)允許或阻止特定頻段通過的傳遞函數(shù)就非常有用。帶阻濾波可在點(diǎn)(u0,v0)和(-u0,-v0)某個(gè)圓形鄰域D處設(shè)計(jì)帶阻濾波器，即抑制以(u0,v0)為中心，D0為半徑的鄰域中所有頻率都阻止通過的濾波器。它的濾波函數(shù)為：帶通濾波器與帶阻濾波器互補(bǔ)允許一定頻率范圍（阻止其它頻率范圍）Hp(u,v)可用帶阻濾波器HR(u,v)公式表示：

HP(u,v)=-[HR(u,v)-1]（a）被正弦噪聲污染的圖像（b）圖像（a）的頻譜（c）巴特沃思帶阻濾波器（d）濾波效果物體受到照度明暗不勻的時(shí)候，圖象上對應(yīng)照度暗的部分，細(xì)節(jié)難辨別。同態(tài)濾波(Homomorphicfiltering)根據(jù)成像模型，若照度為

i(x,y),反射系數(shù)為r(x,y),則：同態(tài)濾波可以消除不均勻照度的影響而又不損失圖象細(xì)節(jié)。依據(jù)：圖象的灰度由照射分量和反射分量合成。反射分量反映圖象內(nèi)容，隨圖象細(xì)節(jié)不同在空間上作快速變化。照射分量在空間上通常均具有緩慢