第11章圖像識別

1、數(shù)字圖像處理第第十一十一章章 圖像識別圖像識別李熙瑩李熙瑩 副教授副教授http:/數(shù)字圖像處理一、基本概念一、基本概念 讓計算機(jī)具有認(rèn)識或者識別圖像的能力，即圖像識別（模式識別）。 模式識別應(yīng)用無所不在，是當(dāng)今最活躍的研究領(lǐng)域之一。 醫(yī)學(xué)：病灶 交通：車流量 遙感：區(qū)分農(nóng)作物、道路、湖泊 文字識別數(shù)字圖像處理 模式識別技術(shù)起源于人類自身對事物的認(rèn)知分析過程，是依據(jù)一定的量度或觀測基礎(chǔ)把待識別模式劃分到各自的模式類中去的過程。 圖像識別（模式識別、目標(biāo)圖像識別（模式識別、目標(biāo)識別識別）：對物體的特征進(jìn)行比較、分析、判斷，從而將它們分類或識別。 模式：對物體描繪（如特征）的組合。模式：對物體描繪

2、（如特征）的組合。存在于時間和空間中，可以區(qū)別它們是否相同或相似的可觀察的事物。 模式類：一個擁有某些共同性質(zhì)的模式組。模式類：一個擁有某些共同性質(zhì)的模式組。 w1、w2、w3 指模式所屬的類別或同一類中模式的總體。 模式識別所得到的結(jié)果是一幅由明確意義的數(shù)值或符號構(gòu)成的圖像或圖形文件。屬于圖像分析的范疇。1. 模式的概念模式的概念數(shù)字圖像處理信息獲取數(shù)據(jù)預(yù)處理特征提取和選擇分類器設(shè)計分類決策訓(xùn)練過程輸出結(jié)果 利用圖像進(jìn)行模式識別的系統(tǒng) 圖像信息獲取 信息加工處理圖像分割，特征抽取與選擇 判斷、分類（與抽取特征方式密切相關(guān)，特征向量） 模式識別實際上包含了以下兩個步驟： （1）特征提取和選擇

3、（2）決策分類圖11.1 模式識別系統(tǒng)的基本構(gòu)成數(shù)字圖像處理2. 常用的三種模式組合常用的三種模式組合(1) 模式矢量模式矢量 1936年，F(xiàn)isher論文提出判別式分析技術(shù)，通過測量花瓣的寬度和長度識別三種不同類型的鳶（yuan）尾屬植物的花。 Iris Setosa (多刺的) Iris Virginaca (單性的) Iris Versicolor (雜色的) x=(x1, x2)T， x1和 x2分別代表花瓣長度和寬度。 模式矢量 x=(x1, x2, xn)T 中元素性質(zhì)取決于描述物理模式自身所采用的方法。數(shù)字圖像處理圖11.2 用兩個度量描述三種鳶尾屬植物的花花瓣長度(cm)花瓣寬

4、度(cm) 模式類模式類 w1、w2、w3分別表示Setosa (多刺的)、 Virginaca (單性的)和 Versicolor (雜色的)三種花。數(shù)字圖像處理(2) 串串 適用于描述基于原始元素的較為簡單的連接，通常和邊界形狀有關(guān)。圖11.3 (a) 階梯結(jié)構(gòu)(b) 基于元素a和b的結(jié)構(gòu)編碼生成串描述ababab數(shù)字圖像處理(3) 樹樹 樹形結(jié)構(gòu)分層有序結(jié)構(gòu) 樹形表示法從上到下的關(guān)系是“包含于”。數(shù)字圖像處理3. 模式識別的主要方法模式識別的主要方法 統(tǒng)計模式識別統(tǒng)計模式識別 基于匹配的識別技術(shù)基于匹配的識別技術(shù) 統(tǒng)計學(xué)方法/決策論 抽取圖像特征 矢量描述（定量描述）：x=(x1, x2

5、, xn)T 結(jié)構(gòu)（句法）模式識別 分析圖像結(jié)構(gòu)關(guān)系 串和數(shù)（結(jié)構(gòu)描述，定性 ） 模糊模式識別方法 人工神經(jīng)網(wǎng)絡(luò)識別法人工神經(jīng)網(wǎng)絡(luò)識別法 統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)識別方法數(shù)字圖像處理二、統(tǒng)計模式識別二、統(tǒng)計模式識別（基于決策理論方法）（基于決策理論方法） 統(tǒng)計模式識別方法最終都要歸結(jié)為分類的問題。 統(tǒng)計模式識別的過程數(shù)字圖像處理1. 分類器分類器 基于使用決策（判別）函數(shù)分類器 對W個模式類w1, w2, , wW依照屬性尋找W個判別函數(shù)d1(x), d2(x), , dW(x)，若模式x屬于類wi，則 di(x)dj(x), j=1, 2, , W； ji。 關(guān)鍵點：n維模式矢量x=(x1,

6、 x2, , xn)T的建立，即選擇適當(dāng)?shù)奶卣鳟a(chǎn)生描述參數(shù)。數(shù)字圖像處理(1) 分類器的設(shè)計分類器的設(shè)計 設(shè)計目標(biāo)： 建立分類器的邏輯結(jié)構(gòu) 建立分類規(guī)則的數(shù)學(xué)基礎(chǔ) 分類器計算出表示一個對象與某類典型之間的相似程度該對象特征的一個函數(shù)，用來確定該對象屬于哪一類。 多數(shù)分類器的分類規(guī)則都轉(zhuǎn)換成閾值規(guī)則，將測量空間劃分成互不重疊的區(qū)域，每個類對應(yīng)一個（或多個）區(qū)域。如果特征值落在某一個區(qū)域中，則將該對象歸于相對應(yīng)的類中。（某些區(qū)域可能在某種情況下“無法確定”）數(shù)字圖像處理(2) 分類器的訓(xùn)練分類器的訓(xùn)練 目的：確定劃分類別的閾值。 一般做法：用一組已知的對象訓(xùn)練分類器。訓(xùn)練集由每個類別中已被正確識別

7、的一部分對象組成。 訓(xùn)練分類器的規(guī)則： 簡單的：將分類錯誤的總量降至最低（最小值） 使用損失函數(shù)，對不同的錯誤分類采用適當(dāng)?shù)募訖?quán)。數(shù)字圖像處理(3) 分類性能測量分類性能測量 直接對一組已知類別的對象的測試集進(jìn)行分類，從而估計分類器的準(zhǔn)確率。（測試集具有代表性，且沒有錯誤）（測試集最好是獨立的） 使用一組已知對象的測試集，估算每一類別中對象特征的PDF（概率密度分布函數(shù)） 預(yù)先分類代價高時，可以使用循環(huán)方法估計分類器的整體性能。以一個對象為測試對象，其他為訓(xùn)練樣本。數(shù)字圖像處理2. 特征選擇特征選擇 良好的特征應(yīng)具有的特點： 可區(qū)別性：不同類被的特征值具有明顯差異。 可靠性：同類對象特征值比較

8、接近。 獨立性：各特征之間彼此不相關(guān)。 數(shù)量少：系統(tǒng)復(fù)雜度隨特征個數(shù)（特征參量維數(shù)）迅速增長。 從許多可能的特征中選擇一些付諸于度量并呈現(xiàn)給分類器的特征。 不斷刪去無用特征，組合有關(guān)聯(lián)特征。 可以通過計算每類的特征值，進(jìn)行分析選擇。數(shù)字圖像處理3. 匹配匹配 原理： 基于匹配的識別技術(shù)通過原型模式矢量表示每一個類。 未知模式被按照預(yù)先定義的度量賦予與其最相近的類。 方法： 最小距離分類器（最簡單） 基于相關(guān)的方法 數(shù)字圖像處理(1) 最小距離分類器最小距離分類器 在歐氏空間計算未知量和每一個原型矢量間的距離在歐氏空間計算未知量和每一個原型矢量間的距離。 例如，假設(shè)每個模式類的原型定義為該類模式

9、的平均矢量：則歐氏空間距離判據(jù)計算距離測度為：Di(x)的值是最小距離時，把x劃歸給類wi。 等同于評估函數(shù)： 并在di(x)得出最大數(shù)值時將x劃歸給類wi。 類wi 和wj決策邊界： 應(yīng)用條件：各類均值間距比各類半徑大許多時效果很好。WjNjwxjjj, 2, 1,1xmWjDjj, 2, 1,)(mxxWjdjTjjTj, 2, 1,21)(mmmxx0)()(21)()()()(jiTjijiTjiijdddmmmmmmxxxx數(shù)字圖像處理圖11.4 Iris Versicolor (雜色的) 和Iris Setosa (多刺的)類的最小距離分類器的決策邊界。黑點和方塊是平均值。邊界方程

10、： d12(x) = d1(x)-d2(x) = 2.8x1+1.0 x2-8.9 = 0花瓣長度(cm)花瓣寬度(cm)數(shù)字圖像處理圖11.5 美國Banker協(xié)會的E-13B字體的字符集和對應(yīng)波形。字符設(shè)計在97個字中以便讀取。每個字符用含有精細(xì)磁性材料的墨水印刷。（設(shè)計者保證大的均值分離和小的類分布的一個示例）數(shù)字圖像處理(2) 相關(guān)匹配相關(guān)匹配 MN大小的圖像f(x,y)和大小為JK的子圖w(x,y)之間的相關(guān)： 式中，x = 0,1,2,M-1； y = 0,1,2,N-1； 和式代表圖像w和 f 相互重疊的地方。 缺點：對圖像w和 f 的幅度 變化過于敏感。sttysxwtsfyx

11、c),(),(),(圖11.6 相關(guān)的排列數(shù)字圖像處理2122),(),(),(),(),(),(),( stststwtysxwtsftsfwtysxwtsftsfyx 改進(jìn)：在匹配過程中使用相關(guān)系數(shù)。式中，x = 0,1,2, M-1；y = 0,1,2, N-1； 是圖像 w的像素平均值（只計算一次）； 是 f 中與當(dāng)前所在位置重合區(qū)域的像素平均值。wf數(shù)字圖像處理圖11.7 通過相關(guān)系數(shù)進(jìn)行對象匹配(a)圖像，(b)子圖，(c) (a)和(b)的相關(guān)系數(shù)（匹配時出現(xiàn)最高值）數(shù)字圖像處理5. 最佳統(tǒng)計分類器最佳統(tǒng)計分類器 基于統(tǒng)計概率方法基于統(tǒng)計概率方法 多數(shù)測量和判斷物理事件的場合，統(tǒng)

12、常會產(chǎn)生隨機(jī)的模式分類，因此對概率考慮十分重要。 最佳：平均的，產(chǎn)生分類錯誤的概率很低。(1) 概率論基礎(chǔ)概率論基礎(chǔ) 先驗概率先驗概率：表示在一個對象尚未被測量之前，對于對象所掌握的情況。（如P櫻桃=1/3，P蘋果=2/3） 條件概率條件概率：當(dāng)給定對象屬于類1時，對象直徑為 x 的概率。記為p(x|w1)。數(shù)字圖像處理(2) Bayes理論理論 Bayes理論將類隸屬度先驗概率、條件PDF和所進(jìn)行的度量結(jié)合起來，計算出該對象屬于每一類的概率，并據(jù)此賦予該對象最可能的類別。 對象測量后，該對象屬于第i類的概率（后驗概率）可以根據(jù)Bayes定理計算：其中 是一個使后驗概率的和為1 的歸一化因子。

13、)()()|()|(xpwPwxpxwPiii21)()|()(iiiwPwxpxp數(shù)字圖像處理 一般情況：設(shè)每個對象有n個度量。特征向量x=(x1, x2, , xn)T。每個被測量對象對應(yīng)于n維特征空間中的一個點。假設(shè)對象的類別m個。第i類隸屬度的后驗概率為：miiiniinniwPwxxxpwPwxxxpxxxwP1212121)()|,()()|,(),|(數(shù)字圖像處理(3) Bayes風(fēng)險風(fēng)險 用任一特征向量將一對象歸入任一類總有一定風(fēng)險。 將一個對象歸入某一類別的錯分風(fēng)險可以用代價（損失）函數(shù)（失效率）來定量分析。 設(shè)lij是第i類的對象歸入第j類引起的損失。 分類正確（i=j）時

14、lij為0。 損害小的錯分類值lij也較小。 危害嚴(yán)重的則lij較大。 假設(shè)，將一個對象分入第i類，由該分類導(dǎo)致的期望損失值為條件風(fēng)險（條件平均風(fēng)險或條件平均失效），等于該對象所有可能判屬的m類所引入代價的平均。mjnjijnixxxwplxxxwR12121),|(),|(數(shù)字圖像處理(4) Bayes決策規(guī)則決策規(guī)則 每個對象應(yīng)該歸入產(chǎn)生條件風(fēng)險最小的類別中。 用Rm(x1, x2, , xn)表示相應(yīng)于特征向量(x1, x2, , xn)T的最小風(fēng)險。 使用Bayes決策的分類器長期風(fēng)險稱為Bayes風(fēng)險： Bayes決策的總風(fēng)險也是最小的。 Bayes分類器的決策函數(shù)： 哪個類的決策函

15、數(shù)值最大，模式x就歸屬于哪一個類。nnnmdxdxdxxxxpxxxRR212121),(),(WjwPwpdjjj, 2 , 1)()|()(xx數(shù)字圖像處理(5) 高斯模式類的貝葉斯分類器高斯模式類的貝葉斯分類器 先考慮包含兩個模式類(W=2)的一維問題(n=1)，且兩個模式類具有高斯密度，均值和標(biāo)準(zhǔn)差分別為m1、1和 m2、2 。則貝葉斯判別函數(shù)形式為：)(21)()|()(222)(jmxjjjjwPewPwxpxdjj圖11.8 兩個一維模式類的概率密度函數(shù)(PDF)若兩各類出現(xiàn)幾率相等，點 x0就是決策邊界。數(shù)字圖像處理圖11.9 三維空間中的兩個模式類和它們的貝葉斯判別邊界（陰影

16、處）決策面：d1(x)-d2(x) = 8 x1-8x2 8x3 + 4 = 0數(shù)字圖像處理示例示例使用使用Bayes分類器對多頻譜數(shù)據(jù)的分類分類器對多頻譜數(shù)據(jù)的分類圖11.10 (a)多頻譜圖像，(b)使用Bayes分類器的機(jī)器分類結(jié)果圖11.11 由多頻譜掃描器生成的4幅數(shù)據(jù)圖像經(jīng)過配準(zhǔn)后的模式矢量格式數(shù)字圖像處理四、神經(jīng)網(wǎng)絡(luò)識別法四、神經(jīng)網(wǎng)絡(luò)識別法 一些具體情況：模式類的統(tǒng)計特性未知或無法估計最好是直接通過訓(xùn)練過程生成所需判別函數(shù)。 受生物神經(jīng)系統(tǒng)啟發(fā)產(chǎn)生，大量使用非線性元素的計算單元（神經(jīng)元），類似大腦神經(jīng)元的互聯(lián)方式組織起來。具有對一些特定問題的適應(yīng)能力和并行處理能力。 20世紀(jì)40

17、年代早期McCulloch和Pitts提出。 80年代Rumelhart、Hinton和Williams發(fā)展出“反向傳播”方式學(xué)習(xí)的德爾塔（delta）規(guī)則，為多層機(jī)器提供了一種有效的訓(xùn)練方法。 結(jié)構(gòu)：由許多互聯(lián)的相同的節(jié)點（處理單元，PE）構(gòu)成。每個PE從“上游”的幾個PE接受輸入信號，產(chǎn)生一個標(biāo)量輸出，傳給“下游”的一組PE。數(shù)字圖像處理1. 處理單元處理單元 基本處理單元的動作：將輸入向量同權(quán)向量相乘，再經(jīng)過一次S形變換，即得到輸出值。 此輸出再通過網(wǎng)絡(luò)的相互連接傳遞下去，成為許多PE的輸入。 可用點積函數(shù)表示： X是輸入向量，W是處理單元的權(quán)重向量(weight vector)，O為輸

18、出。1SgxggONiiiTWX g為激勵函數(shù)，非線性，形狀為S形，單調(diào)增加，可微分。其變量趨向正負(fù)無窮大時，函數(shù)值分別為1和0。數(shù)字圖像處理2. 工作過程工作過程 （監(jiān)督）學(xué)習(xí)訓(xùn)練 已知類別的特征向量隨機(jī)呈現(xiàn)給神經(jīng)網(wǎng)絡(luò)。 每次輸入都使PE之間的連接權(quán)中根據(jù)一種副定的規(guī)則得到細(xì)微調(diào)整，使得網(wǎng)絡(luò)輸出朝正確方向轉(zhuǎn)變。 直到每個PE都收斂到合適的權(quán)重集為止。 應(yīng)用接受特征向量作為輸入，產(chǎn)生一個輸出向量標(biāo)志該未知對象屬于不同類別的可能性。 輸入未知對象的特征向量到第一層的所有PE。通常特征向量會增加一維，其值恒為1。 這提供一個附加權(quán)重，在函數(shù)g中起到偏移量的作用。 輸入信息經(jīng)過不同層傳播，使輸出層上

19、產(chǎn)生相應(yīng)的輸出向量，并根據(jù)輸出的結(jié)果將該對象劃分到某一類中。 絕大多數(shù)神經(jīng)網(wǎng)絡(luò)采用數(shù)字化仿真實現(xiàn)。用軟件或數(shù)字信號處理芯片模擬并行計算。先模擬配置，然后訓(xùn)練。數(shù)字圖像處理3. 多層前饋神經(jīng)網(wǎng)絡(luò)多層前饋神經(jīng)網(wǎng)絡(luò)(BP， Multilayer feedforward neural network)圖11.12 多層前饋神經(jīng)網(wǎng)絡(luò)模型放大部分為神經(jīng)元基本結(jié)構(gòu)，偏移量 j當(dāng)作不同的權(quán)值處理數(shù)字圖像處理(1) 分類器訓(xùn)練分類器訓(xùn)練 一個訓(xùn)練模式：某一特定的輸入向量與其對應(yīng)的目標(biāo)輸出向量。 例如，對兩層網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 訓(xùn)練開始時，所有連接權(quán)設(shè)為-0.5，0.5區(qū)間的隨機(jī)值。所有輸入向量經(jīng)過適當(dāng)?shù)谋壤{(diào)整后，

20、使得各個分量的最小值和最大值分別為0.1和0.9。 隨機(jī)挑選訓(xùn)練模式，輸入特征向量，得到輸出向量后，同目標(biāo)向量做比較。根據(jù)兩向量之間的差別對隱含層和輸出層之間連接的權(quán)重系數(shù)做調(diào)整，使得輸出向量略微趨近于目標(biāo)向量。 之后，再對與輸出層相連的隱含層的連接權(quán)重做相似的調(diào)整。數(shù)字圖像處理(2) 多層網(wǎng)絡(luò)的訓(xùn)練多層網(wǎng)絡(luò)的訓(xùn)練 訓(xùn)練過程自頂向下，先從輸出層的PE開始。輸出層(k=N)的第j個結(jié)點的第i個權(quán)重系數(shù)的調(diào)整量為：（1） 廣義的（德兒塔，delta）學(xué)習(xí)規(guī)則，基于梯度下降法。 其中誤差 為目標(biāo)向量與實際輸出向量的第j個分量（期望的輸出值）之間的差別。 接著，每一隱含層結(jié)點的權(quán)重系數(shù)用下式進(jìn)行調(diào)整：（2） 其中的jk表示所有輸出結(jié)點上的誤差總和：1iNjNjNijNOSgwj