模式識(shí)別原理及其應(yīng)用

1、.模式識(shí)別- 概念、原理及其應(yīng)用 / 劉純熙（助教）cxliu .引 言 .課程對(duì)象 計(jì)算機(jī)應(yīng)用技術(shù)專(zhuān)業(yè)碩士研究生的專(zhuān)業(yè)基礎(chǔ)課 電子科學(xué)與技術(shù)學(xué)科碩士研究生的專(zhuān)業(yè)基礎(chǔ)課 .與模式識(shí)別相關(guān)的學(xué)科 統(tǒng)計(jì)學(xué) 概率論 線性代數(shù)（矩陣計(jì)算） 形式語(yǔ)言 機(jī)器學(xué)習(xí) 人工智能 圖像處理 計(jì)算機(jī)視覺(jué) .教學(xué)方法 著重講述模式識(shí)別的基本概念，基本方法和算法原理。 注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中 避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。 .教學(xué)目標(biāo) 掌握模式識(shí)別的基本概念和方法 有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題 為研究新的模式識(shí)別的理論和方法打下基礎(chǔ) .題外話 基本：完

2、成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。 提高：能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究，解決實(shí)際問(wèn)題。 飛躍：通過(guò)模式識(shí)別的學(xué)習(xí)，改進(jìn)思維方式，為將來(lái)的工作打好基礎(chǔ)，終身受益。.教材/參考文獻(xiàn) R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中譯本）. 邊肇祺，模式識(shí)別（第二版），清華大學(xué)出版社，2000。 蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。.機(jī)構(gòu)、會(huì)議、刊物 1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”（此后兩年一次），成立了國(guó)際模式識(shí)別協(xié)會(huì)-“IAPR” 1977年

3、IEEE成立PAMI委員會(huì)，創(chuàng)立IEEE Trans. on PAMI，并支持ICCV, CVPR兩個(gè)會(huì)議 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI).第一章 模式識(shí)別概論.什么是模式（Pattern）？.什么是模式？ 廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我們可以

4、區(qū)別它們是否相同或是否相似，都可以稱(chēng)之為模式。 模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性.模式識(shí)別的概念 模式識(shí)別 直觀，無(wú)所不在，“人以類(lèi)聚，物以群分” 周?chē)矬w的認(rèn)知：桌子、椅子 人的識(shí)別：張三、李四 聲音的辨別：汽車(chē)、火車(chē)，狗叫、人語(yǔ) 氣味的分辨：炸帶魚(yú)、紅燒肉 人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。.模式識(shí)別的研究 目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類(lèi)，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。 Y = F(X)X的定義域取自特征集Y的值域?yàn)轭?lèi)別的

5、標(biāo)號(hào)集F是模式識(shí)別的判別方法.模式識(shí)別簡(jiǎn)史 1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計(jì)分類(lèi)理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。 50年代 Noam Chemsky 提出形式語(yǔ)言理論傅京蓀 提出句法結(jié)構(gòu)模式識(shí)別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。 90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。.模式識(shí)別的應(yīng)用（舉例） 生物學(xué) 自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究 天文學(xué) 天文望

6、遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué) 經(jīng)濟(jì)學(xué) 股票交易預(yù)測(cè)、企業(yè)行為分析 醫(yī)學(xué) 心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析.模式識(shí)別的應(yīng)用（舉例） 工程 產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析 軍事 航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類(lèi)、自動(dòng)目標(biāo)識(shí)別 安全 指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng).模式識(shí)別方法 模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱(chēng)之為假說(shuō)。 特征空間：從模式得到的對(duì)分類(lèi)有用的度量、屬性或基元構(gòu)成的空間。 解釋空間：將c個(gè)類(lèi)別表示為其中 為所屬類(lèi)別的集合，稱(chēng)為解釋空間。 .假說(shuō)的兩種獲得方法 監(jiān)督學(xué)習(xí)、概念驅(qū)動(dòng)或歸納假說(shuō)：在特征空間中找到一個(gè)與

7、解釋空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。在給定模式下假定一個(gè)解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說(shuō)也都必須在“未知”的樣本上得到近似的結(jié)果。 依靠已知所屬類(lèi)別的的訓(xùn)練樣本集，按它們特征向量的分布來(lái)確定假說(shuō) （通常為一個(gè)判別函數(shù)），只有在判別函數(shù)確定之后才能用它對(duì)未知的模式進(jìn)行分類(lèi)； 對(duì)分類(lèi)的模式要有足夠的先驗(yàn)知識(shí)，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。.假說(shuō)的兩種獲得方法（續(xù)） 非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說(shuō)。 在沒(méi)有先驗(yàn)知識(shí)的情況下，通常采用聚類(lèi)分析方法，基于“物以類(lèi)聚”的觀點(diǎn)，用數(shù)

8、學(xué)方法分析各特征向量之間的距離及分散情況； 如果特征向量集聚集若干個(gè)群，可按群間距離遠(yuǎn)近把它們劃分成類(lèi)； 這種按各類(lèi)之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類(lèi)，則可獲得更好的分類(lèi)結(jié)果。.模式分類(lèi)的主要方法 數(shù)據(jù)聚類(lèi) 統(tǒng)計(jì)分類(lèi) 結(jié)構(gòu)模式識(shí)別 神經(jīng)網(wǎng)絡(luò).數(shù)據(jù)聚類(lèi) 目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。 是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動(dòng)的。.統(tǒng)計(jì)分類(lèi) 基于概率統(tǒng)計(jì)模型得到各類(lèi)別的特征向量的分布，以取得分類(lèi)的方法。 特征向量分布的獲得是基于一個(gè)類(lèi)別已知的訓(xùn)練樣本集。 是一種監(jiān)督分類(lèi)的方法，分類(lèi)器是概念驅(qū)動(dòng)的。.結(jié)構(gòu)模式識(shí)別 該方法通過(guò)考慮識(shí)別對(duì)象的各部分

9、之間的聯(lián)系來(lái)達(dá)到識(shí)別分類(lèi)的目的。 識(shí)別采用結(jié)構(gòu)匹配的形式，通過(guò)計(jì)算一個(gè)匹配程度值（matching score）來(lái)評(píng)估一個(gè)未知的對(duì)象或未知對(duì)象某些部分與某種典型模式的關(guān)系如何。 當(dāng)成功地制定出了一組可以描述對(duì)象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識(shí)別方法 句法模式識(shí)別，來(lái)檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語(yǔ)法。.神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號(hào)。 增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)（weight）實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督

10、學(xué)習(xí)條件下的分類(lèi)。.模式識(shí)別系統(tǒng) 模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類(lèi)決策分類(lèi)器設(shè)計(jì).模式識(shí)別系統(tǒng)組成單元 數(shù)據(jù)獲取：用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象 二維圖像：文字、指紋、地圖、照片等 一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等 物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述 預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原.模式識(shí)別系統(tǒng)組成單元 特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類(lèi)本質(zhì)的特征 測(cè)量空間：原始數(shù)據(jù)組成的空間 特征空間：分類(lèi)識(shí)別賴(lài)以進(jìn)行的空間 模式表示：維數(shù)較高的測(cè)量空間-維數(shù)較低的特征空間 分類(lèi)

11、決策：在特征空間中用模式識(shí)別方法把被識(shí)別對(duì)象歸為某一類(lèi)別 基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小.模式識(shí)別過(guò)程實(shí)例 在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類(lèi)鱸魚(yú)(Seabass)品種鮭魚(yú)(Salmon).識(shí)別過(guò)程 數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù) 預(yù)處理：去噪聲，用一個(gè)分割操作把魚(yú)和魚(yú)之間以及魚(yú)和背景之間分開(kāi).識(shí)別過(guò)程 特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)測(cè)量某些特征來(lái)減少信息量 長(zhǎng)度 亮度 寬度 魚(yú)翅的數(shù)量和形狀 嘴的位置，等等 分類(lèi)決策：把特征送入決策分類(lèi)器.模式分類(lèi)器的獲

12、取和評(píng)測(cè)過(guò)程 數(shù)據(jù)采集 特征選取 模型選擇 訓(xùn)練和測(cè)試 計(jì)算結(jié)果和復(fù)雜度分析，反饋.訓(xùn)練和測(cè)試 訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開(kāi)發(fā)出模式分類(lèi)器。 測(cè)試集：在設(shè)計(jì)識(shí)別和分類(lèi)系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。 系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。.實(shí)例：統(tǒng)計(jì)模式識(shí)別 19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：.實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)） 待識(shí)別的模式：性別（男或女） 測(cè)量的特征：身高和體重 訓(xùn)練樣本：15名已知性別的樣本特征 目標(biāo)：希

13、望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）.實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)） 由訓(xùn)練樣本得到的特征空間分布圖.實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)） 從圖中訓(xùn)練樣本的分布情況，找出男、女兩類(lèi)特征各自的聚類(lèi)特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。 只要給出待分類(lèi)的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。.實(shí)例：句法模式識(shí)別 問(wèn)題：如何利用對(duì)圖像的結(jié)構(gòu)信息描述，識(shí)別如下所示圖片：.實(shí)例：句法模式識(shí)別（續(xù)） 將整個(gè)場(chǎng)景圖像結(jié)構(gòu)分解成一些比較簡(jiǎn)單的子圖像的組合； 子圖像又用一些更為簡(jiǎn)單的基本圖像單元來(lái)表示，直至子圖像達(dá)到了我們認(rèn)為的最簡(jiǎn)單的圖像單元（基元）； 所有這些基元按一定

14、的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。.實(shí)例：句法模式識(shí)別（續(xù)） 多級(jí)樹(shù)描述結(jié)構(gòu).實(shí)例：句法模式識(shí)別（續(xù)） 訓(xùn)練過(guò)程： 用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面）和它們之間的連接關(guān)系（例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成），并用字母符號(hào)代表之； 然后用構(gòu)造句子的文法來(lái)描述生成這幅場(chǎng)景的過(guò)程，由此推斷出生成該場(chǎng)景的一種文法。.實(shí)例：句法模式識(shí)別（續(xù)） 識(shí)別過(guò)程： 先對(duì)未知結(jié)構(gòu)信息的圖像進(jìn)行基元提取及其相互結(jié)構(gòu)關(guān)系的識(shí)別； 然后用訓(xùn)練過(guò)程獲得的文法做句法分析； 如果能被已知結(jié)構(gòu)信息的文法分析出來(lái)，則該幅未知圖像與

15、訓(xùn)練樣本具有相同的結(jié)構(gòu)（識(shí)別成功），否則就不是這種結(jié)構(gòu)（識(shí)別失?。?。.本門(mén)課程的主要內(nèi)容第一章 概論第二章 聚類(lèi)分析第三章 判別函數(shù)第四章 統(tǒng)計(jì)識(shí)別第五章特征選擇和提取第六章 句法模式識(shí)別第七章 神經(jīng)網(wǎng)絡(luò).相關(guān)數(shù)學(xué)概念 隨機(jī)向量及其分布 隨機(jī)向量 如果一個(gè)對(duì)象的特征觀察值為x1, x2, , xn，它可構(gòu)成一個(gè)n維的特征向量值x，即 x = (x1, x2, , xn)T 式中， x1, x2, , xn為特征向量x的各個(gè)分量。 一個(gè)特征可以看作n維空間中的向量或點(diǎn)，此空間稱(chēng)為模式的特征空間Rn。.相關(guān)數(shù)學(xué)概念 隨機(jī)向量及其分布 隨機(jī)向量 在模式識(shí)別過(guò)程中，要對(duì)許多具體對(duì)象進(jìn)行測(cè)量，以獲得許多次觀