【ch02】圖像邊緣、角點檢測

圖像邊緣、角點檢測工業(yè)和信息化部“十二五”規(guī)劃教材計算機(jī)視覺第二章01圖像底層計算機(jī)視覺的主要研究對象為圖像處理，實際上可以簡而言之為從單幅或多幅二維投影圖像（或視頻序列）中計算出視覺所需要的客觀參數(shù)。因此圖像處理可以認(rèn)為是計算機(jī)視覺的基礎(chǔ)。圖像圖2.1中顯示的是一幅故宮的圖像及其局部放大后的圖像。圖像從圖2.2可以明顯看出，圖像具有局部平滑的特性。圖像02灰度位圖圖像和彩色位圖圖像一般出版物為了降低成本，都采用灰度圖像，也就是沒有彩色的圖像。那么，這種灰度圖像屬于8位圖像，還是24位圖像呢?具體在計算機(jī)中是如何表示的呢?這些問題參考位圖的結(jié)構(gòu)，如圖2.4所示?；叶任粓D圖像和彩色位圖圖像Windows規(guī)定一個掃描行所占的字節(jié)數(shù)必須是4的倍數(shù)，若不足4的倍數(shù)則要對其進(jìn)行擴(kuò)充。一般程序中，BMP文件的數(shù)據(jù)是從圖像的左下角開始逐行掃描圖像的，即從下到上、從左到右來安排圖像的像素值，因此圖像坐標(biāo)零點在圖像左下角?；叶任粓D圖像和彩色位圖圖像03GIF圖像格式和JPEG壓縮在Windows平臺上，位圖是使用最廣泛的圖像格式。其他各種文件格式，如GIF、JPEG、TIFF和PNG等，在顯示時都轉(zhuǎn)換為BMP后再進(jìn)行顯示。對于視頻也遵循這種流程，視頻每幀圖像解碼后稱為YUV亮度/色度分量形式，然后轉(zhuǎn)換為BMP格式的數(shù)據(jù)進(jìn)行顯示。GIF圖像格式和JPEG壓縮GIF圖像GIF（GraphicsInterchangeFormat）圖像的擴(kuò)展名采用“.gif"，由CompuServe公司開發(fā)，用于屏顯和網(wǎng)絡(luò)。它包括87a和89a兩種格式，其中87a描述單一（靜止）圖像，89a描述多幀圖像，通常在GIF動畫中使用。它最具特色的特點為其色彩模式，支持28（256色）種顏色。GIF圖像格式和JPEG壓縮因此，在處理GIF圖像時，顏色的數(shù)目往往都是256種，有時在計算機(jī)視覺處理中，若沒有注意則會造成意外結(jié)果。而將其他圖像保存為GIF圖像時，需要對顏色進(jìn)行量化處理，近些年提出了很多相關(guān)的顏色量化算法，比較典型而直觀的量化算法就是聚類的算法，通過將類別數(shù)目定義為256即可采用通用的聚類算法進(jìn)行計算。GIF圖像格式和JPEG壓縮圖像JPEG壓縮流程如圖2.5所示。GIF圖像格式和JPEG壓縮根據(jù)人類視覺的特性和信息論的觀點，其中將RGB圖像轉(zhuǎn)換為YCbCr圖像利用了人類視覺對亮度信息敏感，而針對色度信息不敏感的特點，可以進(jìn)一步對色度分量進(jìn)行下采樣以降低數(shù)據(jù)量。GIF圖像格式和JPEG壓縮下面我們看一下JPEG壓縮的具體流程。首先若原始圖像是RGB圖像，則轉(zhuǎn)換為YCbCr圖像，對YCbCr兩個色度分量進(jìn)行下采樣，然后進(jìn)行8×8的塊劃分，如圖2.6所示。GIF圖像格式和JPEG壓縮然后按照從上到下、從左到右的順序分別對每個塊做處理，如圖2.7所示，將從圖中取出的8×8塊表示成f（x，y）的矩陣形式。GIF圖像格式和JPEG壓縮04圖像邊緣及其檢測從概念上來看，邊緣一般指像素值發(fā)生突變的區(qū)域，但由于數(shù)字圖像成像過程中無法形成理想的突變狀態(tài)，因此一般在圖像中很少出現(xiàn)突變的邊緣，而是有一個漸變的過程。邊緣類型圖像邊緣及其檢測一般在圖像處理中，有4種邊緣類型，當(dāng)然這4種類型也可以上下翻轉(zhuǎn)，分別對應(yīng)階梯狀、斜坡狀、脈沖狀和屋頂狀4種邊緣類型，如圖2.19所示。圖像邊緣及其檢測在濾波處理階段，實際上是對圖像進(jìn)行濾波處理。在差分處理階段，通過利用邊緣的特性采取一階和二階差分來獲取邊緣區(qū)域。在差分階段沿梯度方向計算其一階方向?qū)?shù)，然后在檢測階段，通過檢測上一步導(dǎo)數(shù)輸出的峰值來定位邊緣點。圖像邊緣及其檢測邊緣檢測的三個階段濾波操作及雙邊濾波器在信號處理中，濾波與預(yù)測是緊密相關(guān)的概念，實質(zhì)上就是對輸入的數(shù)據(jù)進(jìn)行處理，然后產(chǎn)生輸出。若輸入的數(shù)據(jù)為以前的數(shù)據(jù)，而產(chǎn)生的數(shù)據(jù)為未來的數(shù)據(jù)，則稱為預(yù)測；若產(chǎn)生的數(shù)據(jù)只是對當(dāng)前數(shù)據(jù)的校正，則稱為濾波。圖像邊緣及其檢測當(dāng)u從0到N-1變化時，對應(yīng)從低頻到高頻變化，其頻譜圖如圖2.20所示。圖像邊緣及其檢測眾所周知，連續(xù)函數(shù)的導(dǎo)數(shù)在離散情況下采用差分來近似。這從連續(xù)函數(shù)的導(dǎo)數(shù)定義：差分操作圖像邊緣及其檢測圖像邊緣及其檢測邊緣檢測操作2.4.5節(jié)直接利用梯度幅度進(jìn)行閾值化操作來檢測邊緣，但并未用到梯度的方向信息。梯度方向表示函數(shù)值增加的方向，因此若函數(shù)值在某個方向上沒有任何變化，則其梯度值為0。非極大值抑制操作圖像邊緣及其檢測圖2.23的每列像素值都一樣，每行像素值分別從0~255均勻變化。圖像邊緣及其檢測幾種典型的邊緣檢測算子在真實邊緣檢測算子中，為了避免噪聲的干擾，一般先對圖像進(jìn)行平滑等預(yù)處理，然后再采用上述的檢測過程進(jìn)行檢測。應(yīng)用最為廣泛的邊緣檢測算子之一就是JohnCanny在1986年提出的Canny算子，它與Marr邊緣檢測方法類似，也屬于先平滑后求導(dǎo)數(shù)的方法。其次采用連續(xù)的函數(shù)來逼近圖像的局部區(qū)域，然后利用連續(xù)函數(shù)的偏導(dǎo)數(shù)來獲取其不連續(xù)點，典型的方式為Haralick算子。第三類就是LoG算子，實際上相當(dāng)于對圖像進(jìn)行不同尺度下的平滑操作，然后在對其求差，從而凸顯邊緣操作。圖像邊緣及其檢測05圖像角點檢測底層視覺的重要任務(wù)之一就是提取圖像中的各種特征，為后續(xù)視覺處理任務(wù)提供支撐。而除邊緣外，角點為另外一個常用的重要特征，并且角點對幾何變換具有較好的魯棒性，因此在計算機(jī)視覺任務(wù)中扮演著重要的角色。圖像角點檢測圖像角點檢測圖像角點檢測基本原理及Harris角點檢測以下面比較極端的圖像為例，從中取出三個小區(qū)域進(jìn)行角點檢測，如圖2.26所示。圖中的白色框作為一個滑動窗口，若對該窗口內(nèi)的像素值做求和操作，則右邊最上面的滑動窗口無論往哪個方向做小量滑動，其值都不會發(fā)生任何變化。而右邊中間的窗口則不一樣，若該窗口水平方向滑動，則其值不會發(fā)生變化；而若該窗口上下滑動，則其值會發(fā)生變化。右邊最下面的窗口無論如何滑動窗口都會造成值發(fā)生變化。圖像角點檢測若對應(yīng)平坦區(qū)域，則表明行列式的值會很小，此時對應(yīng)兩個特征值都比較小，近似為0，如圖2.27所示。圖像角點檢測FAST角點檢測直觀上，角點處的像素值肯定與周圍鄰域的像素值有較大的差別，這種差別的模式是可以確定的，因此需要考慮圖2.29中的中心像素與其周邊像素的差值，若其周邊與當(dāng)前點像素值差值大的點足夠多，則當(dāng)前點很可能是角點。圖像角點檢測例如，圖2.29中當(dāng)前點的半徑為3的圓周上的點，若有連續(xù)12個點的像素值與當(dāng)前點的像素值差大于某個閾值，則可認(rèn)為是角點。圖像角點檢測06形狀檢測實際上，這些幾何形狀的檢測往往在先前獲得的邊緣圖像上進(jìn)行，而由于在邊緣檢測中，噪聲往往會使檢測出來的邊緣不連續(xù)，因此出現(xiàn)了幾何形狀，但是形狀不連續(xù)。如何將這些具有標(biāo)準(zhǔn)幾何形狀的邊緣點連接成標(biāo)準(zhǔn)的形狀呢?標(biāo)準(zhǔn)Hough變換及圓形Hough變換形狀檢測形狀檢測廣義Hough變換廣義Hough變換原理如圖2.32所示。三種常見Hough變換的區(qū)別目前，常見的Hough變換分為三種，分別是標(biāo)準(zhǔn)的Hough變換（SHT）、廣義的Hough變換（GHT）和隨機(jī)的Hough變換（RHT）。SHT和GHT顯然都是一對多的映射，即每個邊緣像素點對參數(shù)空間矩陣的很多位置都有貢獻(xiàn)。形狀檢測從可處理的圖像類型來看，三種變換都可以處理二值圖像，但只有GHT可以處理灰度圖像。從檢測的目標(biāo)來看，三種變換都可以檢測圓和參數(shù)型形狀，但SHT和RHT不能檢測任意形狀的目標(biāo)而GHT可以。并且SHT和RHT可以檢測直線，而GHT不能檢測直線。從檢測速度來看，RHT最快速，SHT和GHT都比較慢。形狀檢測07直線段檢測但是其效率較低，并且容易受紋理和噪聲的影響，具有以下兩個缺陷：第一，這樣的處理忽略了邊緣點的方向性，前面圓形Hough變換中就利用曲率信息來提高效率；第二，閾值的選取非常困難。直線段檢測這樣將圖像劃分成線支撐區(qū)域，每個區(qū)域中的聯(lián)通像素具有類似的梯度角度。然后，按照直線段的特征來擬合每個線支撐區(qū)域，直線圖特征可用圖2.34表示。直線段檢測08本章小結(jié)計算機(jī)視覺的研究內(nèi)容廣泛，其分類標(biāo)準(zhǔn)頗多。但無論如何，底層計算機(jī)視覺主要是圖像處理及其相關(guān)技術(shù)。從中獲取各種底層的特征，后續(xù)的計算機(jī)任務(wù)基于提取的特征來進(jìn)一步進(jìn)行對象表達(dá)和理解，也就是高層的計算機(jī)視覺任務(wù)