模式識(shí)別-1課件

1、碩士研究生學(xué)位課程模式識(shí)別Pattern Recognition主講教師：陶青川使用教材：孫即祥等編著，現(xiàn)代模式識(shí)別，長(zhǎng)沙， 國(guó)防科技大學(xué)出版社，模式識(shí)別的基本定義 模式(pattern) - 存在于時(shí)間，空間中可觀察 的事物，具有時(shí)間或空間分布的信息。 模式識(shí)別(Pattern Recognition) - 用計(jì)算機(jī)（機(jī)器系統(tǒng)）實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析,描述,判斷,識(shí)別。模式識(shí)別與圖象識(shí)別，圖象處理的關(guān)系模式識(shí)別是模擬人的某些功能 模擬人的視覺(jué): 計(jì)算機(jī)+光學(xué)系統(tǒng) 模擬人的聽(tīng)覺(jué): 計(jì)算機(jī)+聲音傳感器 模擬人的嗅覺(jué)和觸覺(jué): 計(jì)算機(jī)+傳感器 基于統(tǒng)計(jì)方法的模式識(shí)別系統(tǒng)組成信息獲取預(yù)處理特征提

2、取和選取分類(lèi)器設(shè)計(jì)分類(lèi)決策（1 ）、信息獲取二維圖象 如文字、指紋、地圖、照片一維波形 如腦電圖、心電圖、機(jī)械震動(dòng)波形物理參量和邏輯值通過(guò)測(cè)量、采樣和量化，可以用矩陣或向量表示二維圖象或一維波形（2）、預(yù)處理目的：去除噪聲，加強(qiáng)有用信息，復(fù)原信息預(yù)處理：包括AD,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等, 主要指圖象處理。（3）、特征提取和選取特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類(lèi)本質(zhì)的特征 測(cè)量空間：原始數(shù)據(jù)組成的空間 特征空間：分類(lèi)識(shí)別賴以進(jìn)行的空間 模式表示：維數(shù)較高的測(cè)量空間-維數(shù)較低的特征空間例如，一幅64x64的圖象可以得到4096個(gè)數(shù)據(jù)，這種在測(cè)量空間的原始數(shù)據(jù)

3、通過(guò)變換獲得在特征空間最能反映分類(lèi)本質(zhì)的特征。（4）、分類(lèi)決策在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類(lèi)別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)時(shí)所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小當(dāng)務(wù)之急模式識(shí)別與人工智能需要更多的數(shù)學(xué)知識(shí)。簡(jiǎn)單的寫(xiě)程序的工作，將逐漸變?yōu)檐浖と说氖虑?。信息科學(xué)面臨來(lái)自數(shù)學(xué)家與物理學(xué)家的嚴(yán)重生存挑戰(zhàn)補(bǔ)充數(shù)學(xué)也許是信息科學(xué)研究者的當(dāng)務(wù)之急。盡管數(shù)學(xué)不是萬(wàn)能的，但是沒(méi)有數(shù)學(xué)是萬(wàn)萬(wàn)不能的！作業(yè)：上機(jī)作業(yè)題考試：閉卷考試（70)+平時(shí)成績(jī)（30）主要參考文獻(xiàn)1邊肇祺等，模式識(shí)別（第二版），北京，清華大學(xué)出版社，2000年1月.2楊光正等

4、，模式識(shí)別，合肥，中國(guó)科技大學(xué)出版社，2001年3 (美)Richard O.Duda Peter E.Hart Dovid G. Stork著 李宏?yáng)| 姚天翔等譯，模式分類(lèi)（第二版）（attern Classification Second Edition）北京，機(jī)械工業(yè)出版、 中信出版社（中英兩種版本） 2003.1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”，成立了國(guó)際模式識(shí)別協(xié)會(huì)-“IAPR”，每2年召開(kāi)一次國(guó)際學(xué)術(shù)會(huì)議。1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)，每2年召開(kāi)一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議。國(guó)內(nèi)的組織有電子學(xué)會(huì)，通信學(xué)

5、會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。CVPR: IEEE Conf on Comp Vision and Pattern Recognition (0.96)ICML: Intl Conf on Machine Learning (0.95)ICPR: Intl Conf on Pattern Recognition (0.76)關(guān)于模式識(shí)別的學(xué)術(shù)組織和重要會(huì)議課程主要內(nèi)容一、引論 模式識(shí)別的基本概念；模式識(shí)別系統(tǒng)；模式識(shí)別理論與技術(shù)；模式識(shí)別的發(fā)展和應(yīng)用；二、統(tǒng)計(jì)模式識(shí)別1聚類(lèi)分析： 聚類(lèi)分析的概念；模式相似性測(cè)度及聚類(lèi)準(zhǔn)則函數(shù)；譜系聚類(lèi)算法；動(dòng)態(tài)聚類(lèi)算法；最小張樹(shù)分類(lèi)法；聚類(lèi)有效性評(píng)價(jià)。2線性

6、判別函數(shù) 線性判別函數(shù)；Fisher線性判別；感知準(zhǔn)則函數(shù)和梯度下降法；最小均方誤差準(zhǔn)則函數(shù)及算法；廣義線性判別函數(shù)；二次判別函數(shù)；非線性分類(lèi)器及分類(lèi)方法。3統(tǒng)計(jì)決策 最小錯(cuò)誤率的Bayes決策；最小風(fēng)險(xiǎn)的Bayes決策；正態(tài)分布時(shí)的統(tǒng)計(jì)決策；最小最大損失決策；N-P（Neyman-Pearson）決策；Fisher準(zhǔn)則判別 4概率密度函數(shù)的估計(jì) 統(tǒng)計(jì)推斷概述；參數(shù)估計(jì)；非參數(shù)估計(jì)；錯(cuò)誤率測(cè)試；平均損失及最小誤判概率的估計(jì)方法；經(jīng)驗(yàn)風(fēng)險(xiǎn)設(shè)計(jì)；隱馬爾可夫模型。5近鄰法 最近鄰法：K近鄰法；剪輯近鄰法；引入拒絕決策的近鄰法；近鄰法中最佳距離及其實(shí)際計(jì)算。一、智能科學(xué)人類(lèi)的夢(mèng)想 1. 1001夜的故

7、事：芝麻開(kāi)門(mén) 2. 好萊塢大導(dǎo)演斯皮爾博格的大片：人工智能新版鐵臂阿童木的故事 3. 1997年美國(guó)微軟總裁比爾蓋茨在清華大學(xué)演講時(shí)播放的錄相電腦識(shí)別人體語(yǔ)言 4. 2001年中國(guó)電子工業(yè)博覽會(huì)（大連）：女機(jī)器人“溫文雅”。 模式識(shí)別（Pattern Recognition）是20世紀(jì)60年代初迅速發(fā)展起來(lái)的、與高新技術(shù)研究開(kāi)發(fā)密切相關(guān)的一門(mén)新興學(xué)科。它所研究的理論與方法在很多科學(xué)和技術(shù)領(lǐng)域中得到了廣泛應(yīng)用，取得了一系列重大成果，為人類(lèi)邁進(jìn)智能時(shí)代奠定了基礎(chǔ)。其研究方興未艾，前景誘人！二、人工智能 1 .定義（人工智能）：使機(jī)器具有人類(lèi)智能活動(dòng)的學(xué)科推理、學(xué)習(xí)、規(guī)劃、感知、識(shí)別、知識(shí)獲取、知識(shí)

8、搜索、其它博奕定理證明模式識(shí)別專(zhuān)家系統(tǒng)機(jī)器人學(xué)人 工 智 能哲學(xué)與認(rèn)知科學(xué)數(shù)學(xué)心理學(xué)計(jì)算機(jī)科學(xué)電子信息科學(xué)控制科學(xué)2. 分類(lèi) （1）專(zhuān)家系統(tǒng)：是使計(jì)算機(jī)具有某種專(zhuān)門(mén)知識(shí)或若干常識(shí)，并能綜合運(yùn)用這些知識(shí)，以便在某些特定領(lǐng)域內(nèi)代替或幫助專(zhuān)家從事某項(xiàng)工作的知識(shí)系統(tǒng)。人機(jī)接口知識(shí)工程師和領(lǐng)域?qū)＜抑?識(shí) 獲 取 機(jī) 制推 理 機(jī)解 釋 機(jī) 制用戶知識(shí)庫(kù)(動(dòng)態(tài)庫(kù))(2)模式識(shí)別： 20世紀(jì)60年代開(kāi)始，美國(guó)科學(xué)家G .Tauschek提出光學(xué)模板匹配：20世紀(jì)60年代：數(shù)學(xué)發(fā)展統(tǒng)計(jì)決策理論，計(jì)算機(jī)技術(shù)發(fā)展，模式識(shí)別；代表人物：(美)付京蓀、黃煦濤20世紀(jì)80年代：中國(guó)模式識(shí)別開(kāi)始（3）機(jī)器人：三、模式識(shí)別

9、技術(shù) 1. 模式：人類(lèi)能用其感官直接或間接接收到的外界信息?？捎帽举|(zhì)屬性（特征）或結(jié)構(gòu)信息（基元）表示。 2. 模式識(shí)別：是研究人類(lèi)識(shí)別機(jī)理和實(shí)現(xiàn)實(shí)別功能的科學(xué)。聲信息模式信息光信息視覺(jué)能力圖像識(shí)別與理解，景像分析與識(shí)別聽(tīng)覺(jué)能力語(yǔ)音識(shí)別與理解3. 模式識(shí)別技術(shù)過(guò)程 例1 指紋識(shí)別系統(tǒng) 指紋識(shí)別主要內(nèi)容：指紋圖象的獲取指紋圖象的增強(qiáng)指紋圖象的特征提取指紋的特征比對(duì)指紋紋理特征螺形、拱形、箕形等指紋紋線方向特征指紋細(xì)節(jié)特征端點(diǎn)、分叉點(diǎn)、斷點(diǎn)、橋點(diǎn)等指紋分類(lèi)螺形、拱形、箕形等四川大學(xué)圖像信息研究所指紋識(shí)別采集方式：墨水涂印法活體采集法1、光學(xué)。2、超聲波。3、CMOS法4、熱敏法。5、聲波法。四川大

10、學(xué)圖像信息研究所指紋識(shí)別系統(tǒng)：四川大學(xué)圖像信息研究所RS232/485應(yīng)用：重要場(chǎng)所人物監(jiān)視檢測(cè)，如銀行、武器庫(kù)、海關(guān)等進(jìn)入/離開(kāi)某個(gè)重要場(chǎng)所的人物、人數(shù)，如商場(chǎng)、車(chē)站、碼頭等身份認(rèn)證，如門(mén)禁、公安偵破等主要方面：人臉檢測(cè)人臉識(shí)別四川大學(xué)圖像信息研究所例2 人臉人像識(shí)別 人臉人像識(shí)別人臉檢測(cè)：16路界面四川大學(xué)圖像信息研究所人臉人像識(shí)別人臉檢測(cè)：實(shí)例四川大學(xué)圖像信息研究所場(chǎng)景 人物進(jìn)入場(chǎng)景 人臉檢測(cè) 人臉檢測(cè)定位1 人臉檢測(cè)定位2 人臉檢測(cè)定位3 人臉人像識(shí)別人臉識(shí)別：四川大學(xué)天思智能系統(tǒng)研究所主要流程 人臉人像識(shí)別人臉識(shí)別：四川大學(xué)天思智能系統(tǒng)研究所特征檢測(cè) 灰度分布特征特征模板人臉人像識(shí)人

11、臉識(shí)別應(yīng)用：四川大學(xué)通緝犯自動(dòng)查詢系統(tǒng)四川大學(xué)天思智能系統(tǒng)研究所例3 字符識(shí)別 例4 身份識(shí)別 例5 目標(biāo)識(shí)別 模式識(shí)別系統(tǒng)組成框圖實(shí)現(xiàn)：待識(shí)別模式數(shù)據(jù)采集預(yù)處理特征基元提取與選擇決策識(shí)別輸出結(jié)果設(shè)計(jì)：訓(xùn)練模式數(shù)據(jù)采集預(yù)處理特征基元提取與選擇分類(lèi)器設(shè)計(jì)4. 模式識(shí)別理論 （1）統(tǒng)計(jì)模式識(shí)別技術(shù) 定義：以統(tǒng)計(jì)決策理論為基礎(chǔ)，通過(guò)對(duì)表征模式本質(zhì)屬性的特征提取，把模式表為n維特征向量，再通過(guò)變換降低特征維數(shù)，從而將模式表為特征空間的一個(gè)點(diǎn)，運(yùn)用統(tǒng)計(jì)決策理論的各種方法，給出一個(gè)特征空間的劃分，使每個(gè)區(qū)域?qū)?yīng)一類(lèi)模式，從而達(dá)到識(shí)別目的。這種方法也叫幾何模式識(shí)別。（2）句法模式識(shí)別技術(shù)定義：將模式的結(jié)構(gòu)信

12、息分解為基元及其關(guān)系（符號(hào)串、樹(shù)或關(guān)系圖），導(dǎo)出各類(lèi)形式語(yǔ)言的模式文法，然后應(yīng)用形式語(yǔ)言學(xué)理論對(duì)模式進(jìn)行分類(lèi)識(shí)別。這種方式又叫結(jié)構(gòu)模式識(shí)別。（3）模糊模式識(shí)別技術(shù) 定義：以模糊數(shù)學(xué)為基礎(chǔ)，把人類(lèi)大腦的感覺(jué)、分析、推理、分類(lèi)識(shí)別和理解的能力，用計(jì)算機(jī)來(lái)模擬實(shí)現(xiàn)。（4）智能模式識(shí)別技術(shù)定義：引入人工智能的理論與技術(shù)（主要是學(xué)習(xí)、知識(shí)表示、推理等技術(shù)），對(duì)模式進(jìn)行分類(lèi)識(shí)別與理解的方法叫智能模式識(shí)別。通常有兩種方法：基于邏輯推理的智能模式識(shí)別基于人工神經(jīng)網(wǎng)絡(luò)的智能模式識(shí)別5. 模式識(shí)別技術(shù)應(yīng)用 （1）人的身份識(shí)別 1990年日本人像識(shí)別機(jī)，1秒內(nèi)從3500人中找出你要找的人 1997年 中國(guó)武漢市應(yīng)用指紋識(shí)別系統(tǒng)成功破案 美國(guó)日本已建立上千萬(wàn)人指紋檔案，世界上最快指 紋識(shí)別系統(tǒng)可在0.1秒查證一個(gè)人的資料。 人臉識(shí)別 聲紋識(shí)別 步態(tài)識(shí)別（2）文字識(shí)別 模塊字典庫(kù)：印刷體文字，電腦可一目十行 手寫(xiě)體字識(shí)別：（3）圖像與景物識(shí)別（4）語(yǔ)音識(shí)別 1997年IBM公司在中國(guó)開(kāi)發(fā)了漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)，1998年又開(kāi)發(fā)了上海話、四川話、廣東話等地方口語(yǔ)的語(yǔ)音識(shí)別系統(tǒng)，具有65000詞匯和糾錯(cuò)功能，平均識(shí)別率95% 清華大學(xué)語(yǔ)音識(shí)別系統(tǒng)，可識(shí)別普通話、四川話、識(shí)別率98.73% 電話語(yǔ)音識(shí)別，通過(guò)自動(dòng)語(yǔ)音交互應(yīng)答，自動(dòng)識(shí)別用戶的付費(fèi)方式，美