模式識別與圖像處理PPT課件

1、引 言 第1頁/共53頁與模式識別相關(guān)的學(xué)科 統(tǒng)計(jì)學(xué) 概率論 線性代數(shù)（矩陣計(jì)算） 形式語言 機(jī)器學(xué)習(xí) 人工智能 圖像處理 計(jì)算機(jī)視覺 第2頁/共53頁教學(xué)方法 著重講述模式識別的基本概念、 基本方法。 介紹圖像處理的相關(guān)知識。第3頁/共53頁教學(xué)目標(biāo) 掌握模式識別的基本概念和方法 為研究新的模式識別的理論和方法打下基礎(chǔ) 第4頁/共53頁參考文獻(xiàn) R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中譯本）. 邊肇祺，模式識別（第二版），清華大學(xué)出版社，2000。 蔡元龍，模式識別，西北電訊工程學(xué)院

2、出版社，1986。第5頁/共53頁機(jī)構(gòu)、會(huì)議、刊物 1973年 IEEE發(fā)起了第一次關(guān)于模式識別的國際會(huì)議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會(huì)-“IAPR” 1977年IEEE成立PAMI委員會(huì)，創(chuàng)立IEEE Trans. on PAMI，并支持ICCV, CVPR兩個(gè)會(huì)議 世界計(jì)算機(jī)視覺和模式識別領(lǐng)域頂尖期刊IEEE PAMI ，全稱IEEE Transactions on Pattern Analysis and Machine Intelligence第6頁/共53頁 國際計(jì)算機(jī)視覺大會(huì)ICCV，全稱International Conference on Computer

3、 Vision 世界計(jì)算機(jī)視覺和模式識別領(lǐng)域頂級國際會(huì)議CVPR全稱IEEE Conference on Computer Vision and Pattern Recognition第7頁/共53頁 其它刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI)模式識別的國內(nèi)學(xué)術(shù)組織 國內(nèi)的

4、組織有電子學(xué)會(huì)，通信學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。第8頁/共53頁第 1 章 緒論第9頁/共53頁1.1 模式識別和模式的概念第10頁/共53頁什么是模式？ 廣義地說，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。 模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性第11頁/共53頁模式識別的概念 模式識別（ Pattern Recognition ） 直觀，無所不在，“人以類聚，物以群分” 周圍物體的認(rèn)知：桌子、椅子 人的識別：張三、李四 聲音的辨別：汽車、

5、火車，狗叫、人語 氣味的分辨：炸帶魚、紅燒肉 用計(jì)算機(jī)實(shí)現(xiàn)人對各種事物或現(xiàn)象的分析,描述,判斷,識別。 人和動(dòng)物的模式識別能力是極其平常的，但對計(jì)算機(jī)來說卻是非常困難的。第12頁/共53頁模式識別的研究 目的：利用計(jì)算機(jī)對物理對象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。 Y = F(X) X的定義域取自特征集 Y的值域?yàn)轭悇e的標(biāo)號集 F是模式識別的判別方法第13頁/共53頁模式識別簡史 1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。 30年代 Fisher（Ronald Aylmer Fisher ）提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識別的基礎(chǔ)

6、。因此，在6070年代，統(tǒng)計(jì)模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問題得到一定克服。統(tǒng)計(jì)模式識別仍是模式識別的主要理論。第14頁/共53頁 50年代 Noam Chemsky 提出形式語言理論 美籍華人傅京蓀 提出句法結(jié)構(gòu)模式識別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。 90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。第15頁/共53頁模式識別的應(yīng)用 1 .字

7、符識別：包括印刷體字符的識別；手寫體字符的識別（脫機(jī)），各種OCR設(shè)備例如信函分揀、文件處理、卡片輸入、支票查對、自動(dòng)排板、期刊閱讀、稿件輸入；在線手寫字符的識別（聯(lián)機(jī)），各種書寫輸入板。 2. 醫(yī)療診斷：心電圖，腦電圖，染色體，癌細(xì)胞識別，疾病診斷，例如關(guān)幼波肝炎專家系統(tǒng)。 3. 遙感：資源衛(wèi)星照片，氣象衛(wèi)星照片處理，數(shù)字化地球，圖象分辨率可以達(dá)到1米。第16頁/共53頁模式識別的應(yīng)用 4. 指紋識別 臉形識別 5. 檢測污染分析，大氣，水源，環(huán)境監(jiān)測。 6. 自動(dòng)檢測：產(chǎn)品質(zhì)量自動(dòng)檢測 7. 語聲識別，機(jī)器翻譯，電話號碼自動(dòng)查詢，偵聽，機(jī)器故障判斷。 8. 軍事應(yīng)用第17頁/共53頁模式識

8、別方法 模式識別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說。 特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。 解釋空間：將c個(gè)類別表示為其中 為所屬類別的集合，稱為解釋空間。 第18頁/共53頁假說的兩種獲得方法 監(jiān)督學(xué)習(xí)、概念驅(qū)動(dòng)或歸納假說：在特征空間中找到一個(gè)與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個(gè)解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。 依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來確定假說 （通常為一個(gè)判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進(jìn)行分類； 對分類的模式要

9、有足夠的先驗(yàn)知識，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。第19頁/共53頁假說的兩種獲得方法（續(xù)） 非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。 在沒有先驗(yàn)知識的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點(diǎn)，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況； 如果特征向量集聚集若干個(gè)群，可按群間距離遠(yuǎn)近把它們劃分成類； 這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。第20頁/共53頁模式分類的主要方法 數(shù)據(jù)聚類 統(tǒng)計(jì)分類 結(jié)構(gòu)模式識別 神經(jīng)網(wǎng)絡(luò)第

10、21頁/共53頁數(shù)據(jù)聚類 目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。 是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動(dòng)的。第22頁/共53頁統(tǒng)計(jì)分類 基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分類的方法。 特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。 是一種監(jiān)督分類的方法，分類器是概念驅(qū)動(dòng)的。第23頁/共53頁結(jié)構(gòu)模式識別 該方法通過考慮識別對象的各部分之間的聯(lián)系來達(dá)到識別分類的目的。 識別采用結(jié)構(gòu)匹配的形式，通過計(jì)算一個(gè)匹配程度值（matching score）來評估一個(gè)未知的對象或未知對象某些部分與某種典型模式的關(guān)系如何。 當(dāng)成功地制定出了一組可以描述

11、對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法 句法模式識別，來檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語法。第24頁/共53頁神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號。 增強(qiáng)或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。第25頁/共53頁1.2 模式識別系統(tǒng) 模式識別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計(jì)第26頁/共53頁模式識別系統(tǒng)組成單元 數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)

12、算的符號來表示所研究的對象 二維圖像：文字、指紋、地圖、照片等 一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等 物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述 預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原第27頁/共53頁模式識別系統(tǒng)組成單元 特征提取和選擇：對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征 測量空間：原始數(shù)據(jù)組成的空間 特征空間：分類識別賴以進(jìn)行的空間 模式表示：維數(shù)較高的測量空間-維數(shù)較低的特征空間 分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別 基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對被識別對象進(jìn)行

13、分類所造成的錯(cuò)誤識別率最小或引起的損失最小第28頁/共53頁模式識別過程實(shí)例 在傳送帶上用光學(xué)傳感器件對魚按品種分類鱸魚(Seabass)品種鮭魚(Salmon)第29頁/共53頁識別過程 數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù) 預(yù)處理：去噪聲，用一個(gè)分割操作把魚和魚之間以及魚和背景之間分開第30頁/共53頁識別過程 特征提取和選擇：對單個(gè)魚的信息進(jìn)行特征選擇，從而通過測量某些特征來減少信息量 長度 亮度 寬度 魚翅的數(shù)量和形狀 嘴的位置，等等 分類決策：把特征送入決策分類器第31頁/共53頁第32頁/共53頁1.3 模式識別的基本問題一.模式(樣本)表示方法1. 向量表示

14、: 假設(shè)一個(gè)樣本有n個(gè)變量(特征) = (X1,X2,Xn)T2. 矩陣表示: N個(gè)樣本，n個(gè)變量(特征)第33頁/共53頁3. 幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T第34頁/共53頁4. 基元（鏈碼）表示：在右側(cè)的圖中八個(gè)基元分別表示0，1，2，3，4，5，6，7，八個(gè)方向和基元線段長度。則右側(cè)樣本可以表示為 X1=006666這種方法將在句法模式識別中用到。第35頁/共53頁二.模式類的緊

15、致性1. 緊致集：同一類模式類樣本的分布比較集中，沒有或臨界樣本很少，這樣的模式類稱緊致集。第36頁/共53頁2. 臨界點(diǎn)(樣本)：在多類樣本中，某些樣本的值有微小變化時(shí)就變成另一類樣本稱為臨界樣本（點(diǎn)）。3. 緊致集的性質(zhì) 要求臨界點(diǎn)很少 集合內(nèi)的任意兩點(diǎn)的連線,在線上的點(diǎn)屬于同 一集合 集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點(diǎn)4. 模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.第37頁/共53頁三.相似與分類 1.兩個(gè)樣本xi ，xj之間的相似度量滿足以下要求： 應(yīng)為非負(fù)值 樣本本身相似性度量應(yīng)最大 度量應(yīng)滿足對稱性 在滿

16、足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的 單調(diào)函數(shù) 2. 用各種距離表示相似性： 絕對值距離 已知兩個(gè)樣本 xi=(xi1, xi2 , xi3,xin)T xj= ( xj 1, xj 2 , xj3,xjn)T 第38頁/共53頁 歐幾里德距離明考夫斯基距離 其中當(dāng)q=1時(shí)為絕對值距離，當(dāng)q=2時(shí)為歐氏距離nkjkikijXXd1|nkjkikijXXd12nkjkikqijXXqqd1|1)(第39頁/共53頁 切比雪夫距離 q趨向無窮大時(shí)明氏距離的極限情況 馬哈拉諾比斯距離 其中xi ，xj為特征向量， 為協(xié)方差。使用的條件是 樣 本符合正態(tài)分布|max)(1jkiknkijXXd1)

17、(jijiTijXXXXMd第40頁/共53頁 夾角余弦 為xi xj的均值 即樣本間夾角小的為一類，具有相似性例： x1 , x2 , x3的夾角如圖：因?yàn)閤1 , x2 的夾角小，所以x1 , x2 最相似。nkjknkiknkjkikijXXXXC12121x1x2x1x2x3,ijXX第41頁/共53頁 相關(guān)系數(shù) 為xi xj的均值注意：在求相關(guān)系數(shù)之前，要將數(shù)據(jù)標(biāo)準(zhǔn)化3. 分類的主觀性和客觀性 分類帶有主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學(xué)的角度來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。 分類的客觀性：科學(xué)性 判斷分類必須有客觀標(biāo)準(zhǔn)，因此分

18、類是追求客觀性的，但主觀性也很難避免，這就是分類的復(fù)雜性。nknkjkjikinkjkjikiXXXXXXXXrij11221,ijXX第42頁/共53頁四.特征的生成 1.低層特征： 無序尺度：有明確的數(shù)量和數(shù)值。 有序尺度：有先后、好壞的次序關(guān)系，如酒 分為上，中，下三個(gè)等級。 名義尺度：無數(shù)量、無次序關(guān)系，如有紅， 黃兩種顏色 2. 中層特征：經(jīng)過計(jì)算，變換得到的特征 3. 高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過運(yùn) 算形成例如：椅子的重量=體積*比重 體積與長，寬，高有關(guān)；比重與材料，紋理，顏色有關(guān)。這里低、中、高三層特征都有了。第43頁/共53頁五.數(shù)據(jù)的標(biāo)準(zhǔn)化 1.極差標(biāo)準(zhǔn)化，一批樣本中，每個(gè)特征的最大值與最小值之差。 極差 極差標(biāo)準(zhǔn)化 2. 方差標(biāo)準(zhǔn)化 Si 為方差標(biāo)準(zhǔn)化的方法很多，原始數(shù)據(jù)是否應(yīng)該標(biāo)準(zhǔn)化，應(yīng)采用什么方法標(biāo)準(zhǔn)化，都要根據(jù)具體情況來定。iji