計算機視覺三維測量與建模 課件 【ch03】影像特征提取表達

第三章計算機視覺三維測量與建模影像特征提取表達南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01影像特征的基本概念】9影像的特征通常有多種表達方式，這些方式從各自不同的角度刻畫了該特征的某些性質(zhì)。影像問的像素點級別的匹配任務(wù)可以大致分為以特征點為對象的稀疏匹配和逐像素關(guān)聯(lián)的密集匹配兩類。在像素點級別之上，還有高級特征匹配，比如線特征匹配和面特征匹配。最后，語義型的對象級別匹配則是在關(guān)聯(lián)上下文情境的基礎(chǔ)上實現(xiàn)的一種高級匹配。影像特征的基本概念】9通常一個典型的特征匹配過程可以概括為三步：特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性質(zhì)可以獨立辨識的點、線或面等元素。針對點和線的提取算子有很多，而對于面特征的提取和表達研究則相對較少。影像特征的基本概念01特征提取的基本要求特異性，即特征點所在的位置應(yīng)該呈現(xiàn)出區(qū)別于非特征點的明顯特性，比如影像中的目標物邊緣像素具有較大的亮度梯度變化的位置?？申P(guān)聯(lián)性，即在不同視角的影像中，對應(yīng)同一個場景點的特征點應(yīng)該能被重復(fù)檢測到，并具備在影像之間相互匹配關(guān)聯(lián)的能力。穩(wěn)定性，這主要是指特征點的提取位置精度以及其在影像中的分散程度在數(shù)學(xué)上具有穩(wěn)定的可表達能力。123影像特征的基本概念02特征描述的基本要求特征描述子應(yīng)滿足的基本要求包括：唯一性，即不同位置的特征點的描達結(jié)果應(yīng)顯著不同，否則在進行特征匹配時，很容易形成匹配歧義。獨立性，即當(dāng)使用高維向量作為描述子的數(shù)學(xué)表達時，其特征向量的各個維度間應(yīng)該保持非相關(guān)的獨立性，否則可以用降維算法對特征向量進行降維。影像特征的基本概念02特征描述的基本要求穩(wěn)定性，即在不滿足光照恒?；騽傂越Y(jié)構(gòu)等預(yù)設(shè)的假設(shè)條件時，特征描述子仍能夠保證獲得相似的結(jié)果。不變性，即在不同影像中，同名點對應(yīng)的特征描述子能夠適應(yīng)尺度、平移、旋轉(zhuǎn)等變換，反映出相同或相似的數(shù)值。影像特征的基本概念】9影像的局部特征的內(nèi)涵是影像局部統(tǒng)計，即使是一些全局特征表達的算法，也需要使用局部統(tǒng)計信息作為算法的基礎(chǔ)組成。局部統(tǒng)計的前提是需要定義一個局部的信息分析區(qū)域，即像素鄰域范圍。像素的鄰域是一個緊湊的、簡單連通的影像平面空間域子集，如圖3.1所示。影像特征的基本概念02邊緣和線特征提取01Roberts交叉算子邊緣和線特征提取Prewitt算子02邊緣和線特征提取Sobel算子03邊緣和線特征提取Laplacian算子04邊緣和線特征提?。?）Roberts交叉算子由于是交叉梯度算子，它對邊緣正、負45°較多的影像提取邊緣較為明顯，但像素的定位準確率較差。（2）Prewitt算子對灰度漸變的影像邊緣的提取效果較好，然而缺乏對距離權(quán)重的考感。（3）Sobel算子考慮了距離權(quán)重的影響，對噪聲較多的圖像的處理效果更好。Sobel算子的計算速度比Roberts交叉算子慢，但其較大的卷積核使翰入影像更平滑，從而降低了算子對噪聲的敏感度。與Roberts交叉算子相比，Sobel算子通常也會為類似的邊緣生成更高的輸出值。（4）Laplacian算子對噪聲比較敏感，由于其算法可能會出現(xiàn)雙像素邊界，因此常用來判斷邊緣像素位于圖像的明區(qū)還是暗區(qū)。梯度算子應(yīng)用的對比舉例05邊緣和線特征提取首先對待處理的影像進行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對整幅影像進行加權(quán)平均的過程，每個像素點的值都由其本身和鄰域內(nèi)的其他像素灰度值經(jīng)過加權(quán)平均后得到。例如，使用3x3的高斯模板加權(quán)平均公式如下：01Canny算法的具體實現(xiàn)過程如下。02在高斯濾波后，計算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。邊緣和線特征提取進行非極大值抑制。沿著梯度方向?qū)Ψ颠M行非極大值抑制，對提取出的梯度幅值進行網(wǎng)值過濾。具體采用雙閾值技術(shù)進行邊緣遲滯，設(shè)立高、低雙閱值，對應(yīng)進行強邊緣和弱邊緣像索的初步劃分。Canny算法的具體實現(xiàn)過程如下。用雙網(wǎng)值算法檢測。選取系數(shù)高網(wǎng)值在和低值左，比率為2:1或3:1。對邊緣點像素使用8連通區(qū)域進行進一步確認。如果存在連續(xù)臨接的強邊緣像素，則將其確定為輸出邊緣；如果弱邊緣與強邊緣臨接，則弱邊緣同樣被輸出為邊緣；如果弱邊緣像素或強邊緣像素是孤立存在的，則拋棄這些邊緣像素。030405邊緣和線特征提取Snake（ActiveContourModels）邊緣提取模型是KassM于1987年提出的。它可以從比較復(fù)雜的影像中提出感興趣的目標輪廓，并且能高效地跟蹤目標區(qū)域或者物體的運動，因此在醫(yī)學(xué)領(lǐng)域中得到廣泛應(yīng)用。如式（3.16）所示，在處理局部間斷的邊緣時，提取效果比傳統(tǒng)輪廓提取方法的效果好。邊緣和線特征提取邊緣和線特征提取邊緣和線特征提取霍夫變換直線檢測的完整步驟如下。影像預(yù)處理，包括將彩色影像轉(zhuǎn)換為灰度圖，使用一定的平滑濾波器對高頻噪聲進行濾波去噪。進行邊緣像素提取，可以使用Laplacian算子、Canny算子或者Sobel算子等方法，然后對邊緣提取的像素影像進行二值化。二值化的影像的非零點映射到霍夫變換參數(shù)空間，在參數(shù)空間中記錄并存儲落在參數(shù)位置的點的個數(shù)。根據(jù)統(tǒng)計網(wǎng)值進行判斷，當(dāng)某一參數(shù)位登的落入點個數(shù)大于某個國值時，這里即為潛在的直線參數(shù)。使用非極大值抑制方法在局部范圍內(nèi)取極大值，過濾干擾直線。邊緣和線特征提取03點特征提取】9Harris角點是一種基于灰度影像的角點檢測算法，因此在檢測之前要將彩色影像轉(zhuǎn)換為灰度影像。Harris算法對角點做了一個合理的定義，即在一個固定大小的窗口內(nèi)對窗口內(nèi)的像素求和，如果在向任何方向移動后像素值都發(fā)生較大變化，則該位置即為角點。如果只在一個方向上發(fā)生巨大變化，那么它很可能是一個直線的邊緣，只有當(dāng)它在所有方向變化巨大時才能被認為是角點，那么變化多大才能算是巨大變化，這決定了檢測出的角點質(zhì)量。點特征提取】9Harris角點提取的流程為：（1）將原始圖像轉(zhuǎn)換為灰度影像。（2）應(yīng)用高斯濾波器來乎滑噪聲。（3）應(yīng)用Sobel算子尋找灰度圖像中每個像素的×方向和，方向的梯度值。（4）對于灰度圖像中的每個像素力，考慮其周圍有一個3x3的窗口，并計算角點強度函數(shù)，稱之為Harris分數(shù)。（5）查找超過某個國值并且是某個窗口中的局部最大值的像素（以防止重復(fù)特征）。（6）對于滿足第（5）條標準的每個像素，計算一個特征描述符。點特征提取FAST角點提取算法具有速度快、點數(shù)目豐富、精度高的優(yōu)點，成為近年來備受關(guān)注的基于模板和機器學(xué)習(xí)的角點檢測方法。FAST角點提取的主要算法步驟如下：

以目標像素力為中心，在半徑為了的圓上提取出16個像素點的亮度值

(p1,p2,-,pl6)

定義一個國值。計算小p9、p5、p13與中心的亮度值的差，若它們的絕對值有至少了個超過亮度國值，則將p當(dāng)作候選角點，再進行下一步考察；否則，排除其是角點的可能性。點特征提取點特征提取01SIFT特征提取算法首先在像素尺度空間計算像素點上的交度值的梯度影像；然后，提取出具有獨立性和穩(wěn)定性的特征點，并以SIFT描還符進行特征編碼，來適應(yīng)影像的空間尺度變化和旋轉(zhuǎn)變化等影響。下面闡達SIFT特征提取算法的實現(xiàn)步驟。首先構(gòu)建尺度空間。點特征提取02為了檢測D(X,Y,Z)的局部最大值和最小值，將每個采樣點與當(dāng)前影像中的8個鄰居以及上下比例中的9個鄰居（共26個鄰居）進行比較。特征點定位03特征點過游特征點過濾就是將第2步檢測到的特征點中曲率不對稱的點和對比度低、不穩(wěn)定的點過潔掉，這樣做的目的是提高特征點的抗噪性能和匹配的穩(wěn)定性。04確定特征點的方向點特征提取特征描述符的生成大致有三個步驟：①校正旋轉(zhuǎn)主方向，確保旋轉(zhuǎn)不變性。②生成特征描述子，最終形成一個128維的特征向量。③歸一化處理，將特征向量長度進行歸一化處理，進一步去除光照的影響。特征描述。02點特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進的一種特征提取算法，SURF特征提取的步驟如下。點特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進的一種特征提取算法，SURF特征提取的步驟如下。將經(jīng)過Hessian矩陣處理的每個像素點與二維影像空間和尺度空間鄰域內(nèi)的26個點進行比較，初步定位出關(guān)鍵點，再經(jīng)過濾除能量比較弱的關(guān)鍵點以及錯誤定位的關(guān)鍵點，篩選出最終的穩(wěn)定特征點。點特征提取在SURF特征提取算法中，也需要給每個特征點分配一個主方向，這樣才能確保特征點具有旋轉(zhuǎn)不變性。采用的是統(tǒng)計特征點園形鄰域內(nèi)的Haar小波特征。以特征點為中心，計算半徑為6s（s為特征點所在的尺度值）的圓形鄰域內(nèi)的點在x、y方向的Haar小波（Haar小波的邊長取4s）響應(yīng)。特征點主方向分配點特征提取SURF特征描述子。在SIFT算法中，提取特征點周圍4×4個區(qū)域塊，統(tǒng)計每小塊內(nèi)的8個梯度方向，用這4×4×8=128維向量作為SIFT特征的描述子。BRIEF特征描述子。由于通過二進制位的異或操作（XOR運算）和位計數(shù)，可以非常有效地計算漢明距離，因此在計算速度方面，BRIEF特征描達方法很容易勝過其他描述符。點特征提取12oFAST特征提取ORB的特征提取算法稱為OFAST，顧名思義，就是在FAST算法的基礎(chǔ)上加入方向信息，簡單來說就是先用FAST算法檢測出特征點，再給該特征點定義一個方向，從而實現(xiàn)特征點的旋轉(zhuǎn)不變性。rBRIEF特征描述在找到關(guān)鍵點并為其分配方向后，使用修改后的BRIEF版本創(chuàng)建特征向量，無論對象的方向如何，它都可以為關(guān)鍵點創(chuàng)建相同的向量，使得ORB算法具有旋轉(zhuǎn)不變性，意味著它可以在朝著任何角度旋轉(zhuǎn)的影像中檢測到相同的關(guān)鍵點。點特征提取非線性尺度空間的構(gòu)建主要基于非線性擴散濾波原理，非線性擴散濾波的基本公式是:特征點定位與SIFT算法也非常相似，先計算各點在本層、上層和下層3×3×3的立方體空間鄰域內(nèi)響應(yīng)值是否為極值，之后去掉重復(fù)點，最后得到亞像素級別的精確位置。所用的特征點主方向計算方法與SURF算法相似，在此不再贅述。01非線性尺度空間構(gòu)建02特征點定位03計算特征點的主方向點特征提取光流問題是指嘗試找出一幅影像中的點在第二幅影像中移動的位置，通常針對視頻序列數(shù)據(jù)處理。點特征提取近些年隨著卷積神經(jīng)網(wǎng)絡(luò)的推廣，使用CNN進行特征提取和表達的技術(shù)也得到了發(fā)展（如圖3.23所示)。CNN網(wǎng)絡(luò)的卷積層和池化層可以提取圖像特征，經(jīng)過反向傳播最終確定卷積核參數(shù)，得到最終的特征。點特征提取04紋理特征表達】9紋理是一種反映影像中同質(zhì)現(xiàn)象的視覺特征，是影像的重要性質(zhì)，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性，如圖3.24中的舉例所示。紋理特征具有三個特點：某種局部序列性不斷重復(fù)；排列具有一定的隨機性；紋理區(qū)域內(nèi)大致具有一定的統(tǒng)計特性。紋理特征表達01統(tǒng)計型紋理特征基于GICM的紋理特征提取方法主要包括影像預(yù)處理、灰度級量化和計算特征值3個步驟。（1）影像預(yù)處理。（2）交度級量化。（3）計算特征值。紋理特征表達02模型型紋理特征（1）隨機場模型方法：試圖以概率模型來描述紋理的隨機過程，它們對隨機數(shù)據(jù)或隨機特征進行統(tǒng)計運算，進而估計紋理模型的參數(shù)，然后對一系列模型參數(shù)進行聚類，形成和紋理類型數(shù)一致的模型參數(shù)。（2）分形模型方法：分形維作為分形的重要特征和度量，把影像的空間信息和灰度信息簡單而有機地結(jié)合起來，因而在影像處理中備受人們的關(guān)注。分形維在影像處理中的應(yīng)用以兩點為基礎(chǔ)：①自然界中不同種類的形態(tài)物質(zhì)一般具有不同的分形維②自然界中的分形與影像的灰度表示之間存在著一定的對應(yīng)關(guān)系。紋理特征表達信號處理型紋理特征：建立在時域、頻域分析與多尺度分析基礎(chǔ)之上，對紋理影像中某個區(qū)域內(nèi)實行某種變換之后，再提取保持相對平穩(wěn)的特征值，以此特征值作為特征表示區(qū)域內(nèi)的一致性以及區(qū)域間的相異性。結(jié)構(gòu)型紋理特征：提取LBP特征向量的步驟如下，（1）將檢測窗口劃分為16×16的小區(qū)域（Cell），對于每個Cell中的一個像素，將其環(huán)形鄰域內(nèi)的8個點進行順時針或逆時針比較，如果中心像素值比該鄰點大，則將鄰點賦值為1，否則賦值為0，這樣每個點都會獲得一個8位二進制數(shù)（通常轉(zhuǎn)換為十進制數(shù)）。紋理特征表達（2）計算每個Cell的直方圖，即每個數(shù)宇（假定是十進制數(shù)）出現(xiàn)的頻率，然后對該直方圖進行歸一化處理。（3）將得到的每個Cell的統(tǒng)計直方圖進行連接，就得到了整幅圖的LBP紋理特征，然后便可利用支持向量機或者其他機器學(xué)習(xí)算法進行分類了。紋理特征表達】9下面介紹一種方向性紋理紡織物疵點的檢測方法。紡織物疵點檢測的方法有很多，其中與人視覺功能相似的小波和Gabor濾波器是近年來提出的兩種重要的方法，兩者都有多尺度、多分辦率的特性，適用于針對不同特征的疵點檢測。Gabor濾波器作為一種方向性濾波器，在時域和頻域都有著很好的局部性，適合用于具有方向的紋理檢測。紋理特征表達05應(yīng)用舉例粒子濾波（ParticleFilter）跟蹤算法是一種基于粒子分布統(tǒng)計的算法。在跟蹤問題中，首先