模式識(shí)別的理論與方法

1、第十章模式識(shí)別的理論與方法n 第十章模式識(shí)別的理論與方法Ø 模式識(shí)別概述Ø 基本概念模式與模式類Ø 統(tǒng)計(jì)模式識(shí)別決策論法Ø 句法模式識(shí)別結(jié)構(gòu)法Ø 模式識(shí)別的應(yīng)用實(shí)例2第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別概述n 圖像模式識(shí)別概述Ø 圖像分析的重要目的ü 圖像分割得到目標(biāo)ü 紋理分析得到表示紋理的特征ü 圖形描述得到特定目標(biāo)圖像的抽象化描述ü 圖像的模式識(shí)別進(jìn)一步明確目標(biāo)的性質(zhì)與特征Ø 圖像識(shí)別（模式識(shí)別）：對(duì)待研究的對(duì)象，根據(jù)其某些特征，進(jìn)行識(shí)別并分類Ø

2、; 文字識(shí)別是迄今為止人類最熟悉、應(yīng)用最識(shí)別領(lǐng)域的圖像Ø 目前在鑒別、手語識(shí)別、面容識(shí)別、表情識(shí)別等方面正在取得進(jìn)展Ø 進(jìn)一步的發(fā)展結(jié)合人工智能，向更高級(jí)的識(shí)別水平發(fā)展3第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別概述4第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別系統(tǒng)模式識(shí)別概述n 模式識(shí)別流程結(jié)果5第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心特征提取預(yù)處理數(shù)據(jù)獲取模式識(shí)別概述n 圖像模式識(shí)別的現(xiàn)狀Ø 模式識(shí)別（pattern cogniton，亦可譯為模式辨認(rèn)、圖像識(shí)別、圖形識(shí)別、型式識(shí)別）是近30年來得到迅速發(fā)展的

3、一門新興邊緣學(xué)科。關(guān)于什么是模式或者所能辨認(rèn)的模式，迄今還沒有一個(gè)確切而嚴(yán)格的定義。(KanalL.)曾經(jīng)說過這樣一段話：ü “關(guān)于什么是模式識(shí)別和所能辨認(rèn)的模式，至 今還沒有人能象香農(nóng)(Shannon)對(duì)信息一詞做出定義那祥，給出一個(gè)確切的定義。如果一旦出現(xiàn)了這樣一個(gè)定義并被證實(shí)能夠推動(dòng)理論的發(fā)展，標(biāo)志著人類智力的一大進(jìn)展。雖然如此，目前的局面并不影響模式識(shí) 別在各領(lǐng)域中的廣泛應(yīng)用。”Ø 我們可以設(shè)計(jì)出自動(dòng)圖像識(shí)別系統(tǒng)，但仍然缺乏理論依據(jù)。有待人類視覺認(rèn)識(shí)理論的進(jìn)一步研究。Ø 我們可以做出在某一應(yīng)用上超過人的能力的系統(tǒng)，但缺乏擴(kuò)展性。過分依賴具體應(yīng)用。6第十章

4、模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別概述n 圖像模式識(shí)別的基礎(chǔ)理論與方法Ø 決策理論是圖像識(shí)別的理論基礎(chǔ)Ø 特征和分類是圖像識(shí)別的關(guān)鍵Ø 圖像識(shí)別的基本方式ü 從待分類的圖像中提取能夠代表或排除某些類別的特征ü 根據(jù)特征將圖像目標(biāo)分到相應(yīng)的類別中Ø 分類器的兩個(gè)基本過程ü 學(xué)習(xí)過程：首先分離具有典型性的特征，根據(jù)這些特征對(duì)每個(gè)類別建立的描述，建立特征相應(yīng)的特征空間ü 測(cè)試過程：根據(jù)輸入樣本和特征空間的劃分，對(duì)全體圖像進(jìn)行分類Ø 圖像的分割與識(shí)別實(shí)際上是一項(xiàng)非常的工作，很難說清楚為什么圖像

5、應(yīng)該是這樣而不是那樣7第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別概述n 圖像模式識(shí)別的基本方法Ø 識(shí)別的統(tǒng)計(jì)分類方法：對(duì)待分類圖像進(jìn)行大量統(tǒng)計(jì)分析的基礎(chǔ)上，找出規(guī)律性，抽取反映目標(biāo)特征的統(tǒng)計(jì)進(jìn)行識(shí)別。Ø 識(shí)別的句法結(jié)構(gòu)方法：通過對(duì)圖像結(jié)構(gòu)的分析，一幅 圖像可模仿語言構(gòu)造，用一些語句來表達(dá)。通過符號(hào)匹配、語法分析等，實(shí)現(xiàn)圖像中目標(biāo)的識(shí)別Ø 宏觀比較：統(tǒng)計(jì)識(shí)別方法很少利用圖像本身的結(jié)構(gòu)關(guān)系；句法結(jié)構(gòu)方法未考慮圖像獲取過程中的噪聲干擾n 現(xiàn)代方法研究Ø 模糊模式識(shí)別、神經(jīng)網(wǎng)絡(luò)模式識(shí)別、8第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心

6、模式識(shí)別概述n 統(tǒng)計(jì)模式識(shí)別方法Ø 基本原理有相似性的樣本在模式空間中互相接近，并形成“n 特征與適用于：”，即“物以類聚”Ø 圖像目標(biāo)特征提取過程中的不精確性誤差的存在Ø 同一類目標(biāo)圖像存在多種表述的可能性表述的隨機(jī)性Ø 利用統(tǒng)計(jì)概念，如何使對(duì)已知類別的正確識(shí)別，在某種意義下使得錯(cuò)誤識(shí)別的可能性達(dá)到最小9第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心模式識(shí)別概述n 句法模式識(shí)別方法Ø 基本原理基于形式語言的理論與概念，模式按其結(jié)構(gòu)分解為子模式或模式基元，模式基元的連接關(guān)系以文法形式進(jìn)行描述n 特征與適用于：Ø 圖像中存在結(jié)構(gòu)

7、信息，且識(shí)別的目的不僅需判別圖像屬于哪一類，還需描寫圖像的形態(tài)時(shí)某些識(shí)別目標(biāo)，復(fù)雜圖像可視為一些相對(duì)較簡(jiǎn)單的子圖像組成，而這些子圖像又可由一些更為簡(jiǎn)單的子圖像來表示，最終分解為一系列簡(jiǎn)單的圖像基元¾10第十章 ¾模圖式識(shí)像別基的理元論之與間方法按一對(duì)組地成觀測(cè)目與數(shù)標(biāo)字地圖球像科學(xué)中心規(guī)基本概念模式與模式類n 基本概念模式與模式類¾模式的定義¾模式類的定義¾模式識(shí)別的定義¾常用的模式序列9模式9模式串9模式樹11第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類n 模式的定義Ø 樣本(sample,

8、object)：一類事物的一個(gè)具體體現(xiàn)，對(duì)具體的個(gè)別事物進(jìn)行觀測(cè)所得到的某種形式的信號(hào)或表達(dá)Ø 模式(pattern)：表示一類事物，表示對(duì)該類事務(wù)特征或?qū)傩缘某橄蟮拿枋觯蝗缬∷ⅢwA 與手寫體A屬同一模式，B與A則屬于不同模式Ø 樣本是具體的事物，而模式是對(duì)同一類事物概念性的概括12第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類n 模式的定義Ø 模式是圖像中的一個(gè)對(duì)象或某些感區(qū)域的特征或結(jié)構(gòu)的描述物體抽象特征的描述Ø 模式是由一個(gè)或多個(gè)描述子來組成Ø 模式是一個(gè)描述子的序列（名詞“特征”經(jīng)常被用來代指描述子）

9、6; 模式是一組特征或一組描述子13第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類n 模式類的定義Ø 模式所屬的類別或同一類中模式的總體稱為模式類，其中個(gè)別具體的模式常常稱為樣本Ø 模式類是具有某些公共特征的模式的系列Ø 模式類與模式使用時(shí)，模式表示具體的事物，而模式類則是對(duì)這一類事物的概念性描述n 模式識(shí)別的定義Ø 根據(jù)圖像中對(duì)象的特征組成的模式，確定對(duì)象是屬于那一個(gè)模式類，即為模式識(shí)別Ø 模式識(shí)別是從樣本到類別的14第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類n 模式與模式類舉例&#

10、216; 已知汽車的長、寬、高（x1,x2,x3），希望識(shí)別出： 大客車、小轎車、卡車（w1,w2,w3）9汽車的長、寬、高（L,W,H）模式大客車：(L,W,H)大；小轎車：(L,W,H)??；卡 車：(L,W,H)卡從而有模式類（w大, w小, w卡）Ø 定義了不同汽車的載重量，希望識(shí)別出大客車、小轎車、卡車（w1,w2,w3）9汽車的載重量M模式大客車：M大；小轎車：M??；卡車：M卡從而有模式類（w大, w小, w卡）第十章 模式識(shí)別的理論與方法15對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類n 常用的模式序列模式Ø 模式、模式串、模式樹用粗體的小寫字母表示，如x,y

11、形式如下：x1 x29模式.xnx =其中每一個(gè)x 代表第i個(gè)描述子，n是這種描述子的數(shù)量。模式被表示為一列或表示成x = (x1, x2, , xn)T16第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類Ø 模式舉例假設(shè)我們想描述三種蝴蝶花（多毛的、多色的）通過測(cè)量它們花瓣的寬度和長度。這里涉及一個(gè)兩維的模式：x1 x2x =其中x1、x2分別對(duì)應(yīng)花瓣的長和寬三種模式類用w1、w2、w3表示17第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類由于所有的花瓣在寬和長上都有某種程度的變化，所以描述這些花瓣的模式也將有變化，不僅在不同的

12、類之間，而且也在類的內(nèi)部在這種情況下每一種花變成二維空間的一個(gè)點(diǎn)18第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類x2 花瓣寬3.02.52.01.51.00.5多毛的多色的x1 花瓣長123456719第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類Ø 對(duì)結(jié)果的分析對(duì)花瓣長寬的測(cè)量， 它兩種分離，但對(duì)于分離的。地將多毛的蝴蝶花與其和多色的是失敗這個(gè)結(jié)論說明了分類的特性選擇問題，在這個(gè)問題中，類的可分離性的程度，完全依賴于對(duì)模式尺寸測(cè)量的選擇20第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類Ø

13、 模式串以對(duì)象特征的結(jié)構(gòu)或空間關(guān)系作為模式時(shí)，形成模式串Ø 模式串舉例：梯狀的模式a(1) S->aA(2) A->bS(3) A->bbaababb21第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心基本概念模式與模式類¾模式樹以分層目錄結(jié)構(gòu)排序的模式類，一般多采用樹結(jié)構(gòu)¾模式樹舉例圖像城市田園城區(qū)內(nèi)城市郊公路草地森林區(qū) 商業(yè)區(qū)區(qū) 商業(yè)區(qū)22第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 統(tǒng)計(jì)模式識(shí)別決策論法¾統(tǒng)計(jì)模式識(shí)別基本概念與過程¾決策論法的基本概念¾最小距離分類器¾相關(guān)

14、匹配分析¾¾特征的抽取與選擇23第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 統(tǒng)計(jì)模式識(shí)別基本概念Ø 假定我們所處理的模式每一個(gè)樣本都表示為N維特征矢量N )¢x = (Ø 將樣本表示為N維特征矢量空間中的一個(gè)點(diǎn)，在特征空間中研究不同樣本歸屬不同類別的問題Ø 假設(shè)我們要把一個(gè)樣本集合分成M類：xr , xr , w ,w,.,w1212MØ 在N如何找到一個(gè)正確的子空間劃分Ø 對(duì)樣本x進(jìn)行分類統(tǒng)計(jì)決策理論24第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 統(tǒng)計(jì)模式識(shí)別基

15、本過程Ø 分析階段（學(xué)習(xí)階段）9確定需分類的目標(biāo)與類別9對(duì)每一種類別，選定一組目標(biāo)樣本9對(duì)樣本數(shù)據(jù)進(jìn)行分析（訓(xùn)練、學(xué)習(xí)），形成不同類別目標(biāo)的特征Ø 識(shí)別階段，每個(gè)一個(gè)模式9對(duì)待分類圖像進(jìn)行必要的預(yù)處理與特征提取9按照上述各類別的特征，對(duì)提取的特征進(jìn)行判決分類（匹配），確定其歸屬的類別25第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 統(tǒng)計(jì)模式識(shí)別基本過程26第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 統(tǒng)計(jì)圖像識(shí)別基本過程識(shí)別分析27第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心改進(jìn)規(guī)則誤差檢測(cè)規(guī)則學(xué)習(xí)特征選擇特征提取預(yù)處

16、理訓(xùn)練樣本圖像輸入分類特征選擇特征提取預(yù)處理圖像輸入統(tǒng)計(jì)模式識(shí)別n 決策論法的基本概念¾決策論識(shí)別法的定義：x = (x1, x2, ,xn)T，設(shè)：模式對(duì)于：M個(gè)模式類 w1，w2，wM，尋找M個(gè)決策函數(shù)d1(x)，d2(x)，dM(x)，具有這樣的特性：如果模式x屬于模式類wi，那么：di(x) > dj(x)j = 1, 2, , M; j i換句話說，如果一個(gè)未知模式x屬于第i個(gè)模式類，把x代入所有的決策函數(shù)，di(x)的數(shù)值最大。28第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 決策論法的基本概念Ø 決策邊界的定義9對(duì)于模式x，如果決

17、策函數(shù)值有：di(x) - dj(x) = 0此x值，被稱為wi與wj的決策邊界。9通常用一個(gè)單一的函數(shù)標(biāo)識(shí)兩個(gè)類之間的決策邊界， 定義為：dij(x) = di(x) - dj(x) = 0如果 dij(x) > 0 x 屬于類wi 如果 dij(x) < 0 x 屬于類wj29第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 最小距離分類器以蝴蝶花的例子為例：1為多色（w ）和多毛（w2 ）的兩種蝴蝶花，（或稱模板）m1和m2確定兩個(gè)2對(duì)于一個(gè)未知模式x，x與m1和m2的距離，如果與m1 的距離小于與m2 的距離，則x屬于w1，否則屬于w2 。30第十章 模

18、式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別x2 花瓣寬3.02.52.01.51.00.5m1m2多毛的多色的xx1 花瓣長123456731第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 最小距離分類器1）算法思想：9對(duì)于M個(gè)模式類 wjj = 1,2,.,Mmj為每一個(gè)模式類確定一個(gè)模式x，如果x與mj 的距離最9對(duì)于一個(gè)未知模式小，就稱x屬于wj。32第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 最小距離分類器2）最小距離分類器定義：1計(jì)算模式類wj的：mj = 1/Nj å xj = 1,2, , MxÎw

19、j其中Nj是屬于模式類wj的模式通過計(jì)算已知屬于wj的模式的個(gè)數(shù)。的各分量的均值，得到模式mj2計(jì)算x 與 mj的距離dj(x) = | x mj |其中 | a | = (aTa)1/2是j = 1, 2, , M范式（平方和開方）33第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 最小距離分類器3 決策如果，di(x) = min(dj(x)就說：x 屬于wij = 1, 2, , M改寫最大的標(biāo)準(zhǔn)形式，決策函數(shù)為：dj(x) = xTmj 1/2mjmjT如果，di(x) = max(dj(x)就說：x 屬于wij = 1,2, , Mj = 1, 2, , M4類

20、wi和wj之間的決策邊界是：dij(x) = di(x) - dj(x)= xT(mi mj) 1/2(mi mj)T(mi mj) = 034第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別3）舉例：多色的和多毛的蝴蝶花，用w1和w2分別表示，有簡(jiǎn)單的m1 = (4.4, 1.3)T決策函數(shù)是：m2 = (1.5, 0.3)Td1(x) = xTm1 1/2m1m1 = 4.3x1 + 1.3x2 10.1Td2(x) = xTm2 1/2m2m2 = 1.5x1 + 0.3x2 1.17T決策邊界的等式：d12(x) = d1(x) d2(x) = 2.8x1 1.0x2

21、 8.9 = 035第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別x2 花瓣寬3.02.52.01.51.00.5m1m2多毛的多色的決策邊界2.8x1 +1.0x2x- 8.9 = 0-+5x1 花瓣長12346736第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 相關(guān)匹配(1) 相關(guān)匹配的基本思想:a. 用樣板子圖像直接作為模式（不是用描述子）b. 通過子圖像與原圖像直接進(jìn)行相關(guān)計(jì)算，把相關(guān)計(jì)算結(jié)果作為決策函數(shù)。c.相關(guān)計(jì)算獲得最大值的位置，就被認(rèn)為匹配。37第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 相關(guān)匹配(1) 相關(guān)

22、匹配基本思想38第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別ytn 相關(guān)匹配(2) 算法描述決策函數(shù)是相關(guān)函數(shù)c(s,t) = f(x,y)w(x-s,y-t)xyN原點(diǎn)Ks對(duì)圖像的每一個(gè)點(diǎn)進(jìn)行相關(guān)計(jì)算，只計(jì)算重疊部分。J(s,t)Mxw(x-s,y-t)f(x,y)39第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 相關(guān)匹配（3）問題：Ø 在邊界處將失去準(zhǔn)確性，其誤差與子圖像的正比成Ø 相關(guān)函數(shù)對(duì)振幅的變化太敏感，f(x,y)加倍，c(s,t)也加倍。40第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 相關(guān)

23、匹配(4) 改進(jìn)用相關(guān)系數(shù)函數(shù)代替相關(guān)函數(shù)f(x,y) f(x,y)w(x-s,y-t) w(s,t)=f(x,y)f(x,y)2w(x-s,y-t) w21/2xyxy(s,t)的值域?yàn)椋?1，1）實(shí)例41第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 相關(guān)性匹配(5) 對(duì)旋轉(zhuǎn)和比例變化的分析9當(dāng)被匹配圖像中，對(duì)象的致，此方法將失效和角度與模式不一9的正則化，解決空間比例的問題9如果知道原圖像的旋轉(zhuǎn)角度，我們可以通過旋轉(zhuǎn)原圖像，對(duì)齊模式解決9如果被匹配的對(duì)象的角度任意，有結(jié)論：此方法不能用于這種問題42第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別（

24、Bayes）分析Ø 當(dāng)特征抽取時(shí)存在噪聲干擾，則抽取的特征可能代表不了相應(yīng)的模式，具有某種隨機(jī)性Ø 利用訓(xùn)練樣本產(chǎn)生的不同類別的模式，每個(gè)模式難于用一個(gè)來表示，只能得到每一類模式的一個(gè)概率分布Ø 為對(duì)此類特征進(jìn)行分類，需采用統(tǒng)計(jì)意義上最佳的分類方法Ø 統(tǒng)計(jì)分類方法的最基本方法之一：分析分類器、貝分析包括：葉斯估計(jì)理論、決策方法、距離等¾43第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別（Bayes）分析公式¾設(shè)有N個(gè)互不相容的率為P(Bi) ；已知僅當(dāng)其中某些：B1, B2, BN，每個(gè)發(fā)生的概件A才發(fā)生。若其中某

25、一發(fā)生Bi發(fā)生，A發(fā)生的可能性以概率P(A/ Bi)描述。A確實(shí)已發(fā)生，則對(duì)于A反過來，若發(fā)生條件下Bi發(fā)生的概率應(yīng)給與重新估計(jì)，可有公式：P ( B i ) P ( A / B i )/ A ) =P ( BiNåj = 1P ( B) P ( A / B)jj44第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別分析分類法設(shè)有M類圖像：B1, B2, BM若已知Bi的先驗(yàn)概率：和某觀察特征值X的條件概率：則由特征X 所決定的Bi的概率由¾P(Bi) P(X/ Bi)公式?jīng)Q定：P(Bi )P( X / Bi )P(B / X ) =iNå P(Bj

26、 )P( X / B j )j =1分類實(shí)質(zhì)：從統(tǒng)計(jì)角度，在已知分類模式概率分布的條件下， 模式所應(yīng)歸屬的類別¾新出現(xiàn)的45第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別分析分類法兩個(gè)類別的分類¾如果某觀察特征值X使P(B1/X)>P(B2/X)，則表明在X特征值出現(xiàn)的情況下，類別B1的可能性較高分類法則：P(B1/X) > P(B2/X)，則決策B1若反之，若 P(B1/X) < P(B2/X)，則決策B2公式，不同模式間重要的區(qū)別是其等價(jià)決策法則為：項(xiàng)，可有另一若P(X/B1)P(B1) > P(X/B2)P(B2)，則決策B

27、1反之，若 P(X/B1)P(B1) < P(X/B2)P(B2)，則決策B246第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別分析分類法兩個(gè)類別的分類（例）分布的兩個(gè)模式類1和2，假定每個(gè)類中的模式均服從高斯分布，即有¾在三- 1 ( X - M )T C -1 ( X - M )1P ( X / w ) =iiie2i1 / 2( 2p ) n / 2Ci即每一個(gè)模式類中變量的密度函數(shù)均由其均值和協(xié)方差矩陣惟一確定Ei ( X - M i )( X - M i ) TMi = Ei Xé3ùC i =- 484- 4ù

28、50;é 8é1ùC = C= ê- 41 ê1 êúú48M1 = 4 ê1úM2 = 4 ê3úêêë- 4úúû12êë1úûêë3úû47第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別分析公式，可得出決策函數(shù)為：由P(wi / X) = P(X / wi )P(wi )為計(jì)算方便，采用對(duì)數(shù)形式：i = 1,2d

29、i (x) = lnP(wi / X) = ln P(X / wi ) + ln P(wi )進(jìn)一步假定P(1)=P(2)=1/2 ，可有：i = 1,21d (x) = X T C -1M -M T C -1Mi = 1,2iiii2d1(x) = 4x1 -1.5d2 (x) = -4- 5.53進(jìn)一步得出兩個(gè)類別的決策面為：d1(x) - d2 (x) = 8+ 4 = 0348第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別分析分類法對(duì)多類別問題，可有：若 P(Bi/X)>P(Bj/X)對(duì)所有j¹i成立，則決策Bi¾¾分類器利用上述

30、函數(shù)分類器如右圖實(shí)例49第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇Ø 合適的特征抽取與選擇是正確分類的基礎(chǔ)Ø 特征的選擇影響到?jīng)Q策方法的采用與實(shí)施效果Ø 特征的提取與選擇與模式定義密切相關(guān)n 什么是好的特征？Ø 好的特征之間是相互可區(qū)別的Ø 好的特征常常必須由來確定Ø 好的特征有通過統(tǒng)計(jì)方法來確定性假設(shè)Ø 相似類別目標(biāo)的特征在特征空間中聚在一起Ø 不相似類別目標(biāo)的特征在特征空間中可能聚在一起或相互遠(yuǎn)離50第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n

31、 特征的抽取與選擇Ø 所要提取的應(yīng)當(dāng)是具有可區(qū)別性、可靠性、獨(dú)立性好的少量特征Ø 特征選擇可以看作是一個(gè)（從的開始）不斷刪除無用的特征和組合有關(guān)聯(lián)的特征的過程，直到特征的數(shù)目減少到易于駕馭的程度， 同時(shí)分類器的性能仍能滿足要求為止51第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇多種方式（例）統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例Ø 魚群的特征抽取魚的長度x1 魚的面積x2Ø 在（x1 , x2 ）空間形成兩種類別的聚類群53第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例特

32、征選擇存在問題ü 噪聲與生物多樣性使每種魚的特征類散布在一定區(qū)域ü 特征類別的重迭將導(dǎo)致分類誤差¾聚類的距離與密度問題ü ？處如何分類屬于A：與A類十分靠近屬于B：因?yàn)锽在該特征區(qū)域的密度最高¾54第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例通過特征空間的尺度變換可改變特征的聚合狀況特征空間尺度變換可能帶來的問題¾¾55第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例特征空間尺度變換可能帶來的問題改進(jìn)方法：使變化量相同¾56第十章模

33、式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例直接由測(cè)量特征進(jìn)行分類，最好結(jié)果將不可避免地存在誤差¾57第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例Ø 通過統(tǒng)計(jì)方法改進(jìn)特征空間類別的確定對(duì)每一類別樣本，分別計(jì)算其均值和方差，假定其分布為高斯分布58第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例Ø 通過統(tǒng)計(jì)方法改進(jìn)特征空間類別的確定形成二統(tǒng)計(jì)特征分布59第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心統(tǒng)計(jì)模式識(shí)別n 特征的抽取與選擇實(shí)例通過

34、統(tǒng)計(jì)方法改進(jìn)特征空間類別的確定通過Mahalanobis距離確定新的特征空間¾¾60第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別Ø 統(tǒng)計(jì)模式識(shí)別，通過量化的方法處理模式，最大限度地忽略了模式形狀的內(nèi)在結(jié)構(gòu)關(guān)系Ø 句法模式識(shí)別，則力求通過準(zhǔn)確地抓住這些不同模式類的內(nèi)在結(jié)構(gòu)關(guān)系來進(jìn)行模式識(shí)別Ø 以形式語言為理論基礎(chǔ)以圖像描述語言形成樣本的字符描述，通過句法分析方法完成識(shí)別61第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別的有關(guān)基本概念Ø 字符集9一個(gè)任意的有限符號(hào)集合

35、Ø 句子9在某一字符集上的句子是任一有限長度字符串，該字 取自于這一字符集上的字符組成如，給定一字符集0,1，它上面的有效句子集合為：0,1,00,01,10,.。Ø 語言9定義為某一字符集上的任一句子集合，該集合不一定 是有限的62第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別的有關(guān)基本概念Ø 語法9定義為一個(gè)四元組：G = (VN ,VT , P, S )l VN為一非終止符（變量）集合l VT為終止符（常量）集合； VN與VT為互不相交的兩個(gè)集合l P為產(chǎn)生式或重寫規(guī)則的集合，即終止符與非終止符之間的關(guān)系表達(dá)式l S為起始

36、符由語法G產(chǎn)生的語言L(G)是滿足下面兩個(gè)條件的句子的集合：1.2.每一字符串中只包含終止符每一字符串可由起始符S出發(fā)，按照P的規(guī)則推導(dǎo)形成63第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別的有關(guān)基本概念Ø 定義了字符集、句子、語言，既明確了基本規(guī)則：字符組成句子，句子組成語言Ø 字符按照一定規(guī)則組成句子，進(jìn)而組成語言語則形成的要素Ø 與任何一種自然語言一樣，語法在形式語言中起中心作用Ø 句法模式識(shí)別中的各個(gè)環(huán)節(jié)，都是開n 介紹兩種方法Ø 匹配形狀數(shù)Ø 串匹配著語法的研究展64第十章 模式識(shí)別的理論與

37、方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別的有關(guān)基本概念Ø 例定義有向線段之間的運(yùn)算：語法定義：VT= a, b, c, dVN= S, A1 , A2 , A3 , A4G = (VN ,VT , P, S )65第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 句法模式識(shí)別的有關(guān)基本概念Ø 例P： S ® A * AA ® A * c1213A3 ® d + A4A2 ® a + bA4 ® c + (» d )”表示有向線段d 的反向。其中“ » d該語法產(chǎn)生的語

38、言類是：d + c + (» d )*(a + b) * c它可描述的圖形結(jié)構(gòu)為：66第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 匹配形狀數(shù)(1) 匹配形狀數(shù)的基本思想形狀數(shù)：描述一個(gè)對(duì)象的邊界、結(jié)構(gòu)時(shí)，所得到表達(dá)式或特征數(shù)；可看作為模式串、模式樹的一種通用表述。通過比較兩個(gè)對(duì)象邊界的形狀數(shù)的相似程度， 來匹配對(duì)象。例如：未知模式模式類67第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 匹配形狀數(shù)(2) 基本概念a.兩個(gè)區(qū)域邊界的相似級(jí)別k的定義： 相同形狀數(shù)的最大序號(hào)。如：當(dāng)考慮用4碼表示的封閉區(qū)域邊界的形狀數(shù)時(shí)，A和B具有相似級(jí)別k

39、，如果滿足s4(A) = s4(B), s6(A) = s6(B), s8(A) = s8(B), sk(A) = sk(B),sk+2(A) ¹ sk+2(B), sk+4(A) ¹ sk+4(B), ，這里s表示形狀數(shù),下標(biāo)表示序號(hào)。68第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 匹配形狀數(shù)(2) 基本概念b.兩個(gè)區(qū)域邊界A和B形狀數(shù)的距離D(A,B)， 定義為相似級(jí)別k的倒數(shù) ：D(A,B) = 1 / k距離滿足如下性質(zhì)：D(A,B) ³ 0D(A,B) = 0 iff A=BD(A,C) £ maxD(A,B),D(B

40、,C)69第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 匹配形狀數(shù)(3) 算法思想a. 用不同密度的網(wǎng)格劃分邊界區(qū)域，獲得不同序數(shù)的形狀數(shù)。b. 如果使用相似級(jí)別k，k越大說明越相似。c.如果使用相似距離D，D越小說明越相似d 可以利用相似進(jìn)行判別70第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 匹配形狀數(shù)（4）舉例假設(shè)我們有一個(gè)形狀F，想在另5個(gè)形狀（A，B，C，D，E）中找到與其最相似的形狀A(yù)BCDE71第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心F句法模式識(shí)別這個(gè)問題類似于有五個(gè)原型形狀，想找出一個(gè)給定的尚不確定的形狀的最佳匹配的

41、問題。這個(gè)問題可以利用相似進(jìn)行可視化判別468ABCDEF ABCDEFBCDEFAA AA10DDCFCFBE12BBEE14D實(shí)例72第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心CF句法模式識(shí)別n 串匹配（1） 串匹配的基本思想比較兩個(gè)邊界的串編碼的相似程度，來進(jìn)行匹配（2） 三個(gè)基本概念設(shè): 兩個(gè)區(qū)域邊界A和B已分別被編碼為串a(chǎn)1a2an和b1b2bm。73第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 串匹配a. 兩個(gè)串的匹配數(shù)M:當(dāng) ak= bk 時(shí)我們說發(fā)生了一個(gè)匹配。令M代表A、B中匹配的總數(shù)。b. 不匹配的符號(hào)數(shù)量Q：Q = max（|A|，|B|）- M這里|arg|是字符串的長度。當(dāng)且僅當(dāng)A和B 完全相同時(shí)，Q = 0。74第十章 模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別串匹配c. A和B相似度的簡(jiǎn)便衡量R:R = M/Q = M / max(|A|,|B|) - M因此，當(dāng)A和B完全匹配時(shí)，R = ¥； 當(dāng)A和B中任何字符都不匹配時(shí)，M = 0，R = 0。75第十章模式識(shí)別的理論與方法對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心句法模式識(shí)別n 串匹配（3）算法思想a. 由于匹配是逐字符進(jìn)行的，b. 選擇一個(gè)好的開始點(diǎn)，可以大大減少計(jì)算量。任何將兩個(gè)串規(guī)則化為相