pr-lzh1-模式識(shí)別引論課件

1、1模式識(shí)別與智能系統(tǒng)概論李振華 副教授Email: 手機(jī)東大學(xué) 控制科學(xué)與工程學(xué)院2課程簡(jiǎn)介模式識(shí)別是研究用計(jì)算機(jī)自動(dòng)識(shí)別事物的一門科學(xué)，其目的是用機(jī)器完成類似于人類只能通過(guò)視覺(jué)、聽覺(jué)等感官去識(shí)別外界環(huán)境所進(jìn)行的工作，它包括語(yǔ)音識(shí)別、圖像識(shí)別等典型應(yīng)用。人工智能是研究怎樣使計(jì)算機(jī)模擬人腦所從事的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，來(lái)解決需專家才能處理的復(fù)雜問(wèn)題，如醫(yī)療診斷、氣象預(yù)報(bào)、管理決策等。從實(shí)用觀點(diǎn)來(lái)看，人工智能是一門知識(shí)工程學(xué)：以知識(shí)為對(duì)象，研究知識(shí)的獲取、知識(shí)的表示方法和知識(shí)的使用。 3教材與教學(xué)參考書 模式識(shí)別的理論與方法，舒寧，馬洪超等，武漢大學(xué)出版社，2

2、004 模式識(shí)別的原理與應(yīng)用，李弼程，劭美珍等，西安電子科技大學(xué)出版社，2008模式識(shí)別(第二版)，邊肇祺，張學(xué)工等，清華大學(xué)出版社， 2000 人工智能技術(shù)與方法，夏定純，徐濤，華中科技大學(xué)出版社，2004人工智能方法與應(yīng)用，尹朝慶，華中科技大學(xué)出版社，2007圖書館、超星數(shù)字圖書館、網(wǎng)絡(luò)資源等4課程教學(xué)：講一些模式識(shí)別和人工智能的基本理論，以及一些前沿性的知識(shí)介紹?？荚嚦煽?jī)：考察成績(jī)和平時(shí)成績(jī)相結(jié)合。以考察成績(jī)?yōu)橹鳌?第一章 引論1.1 概述1.2 特征矢量和特征空間1.3 隨機(jī)矢量的描述1.4 正態(tài)分布特征(Features)：能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模式識(shí)別方法中，通常用一

3、個(gè)矢量 表示，稱之為特征矢量，記為 模式類(Class)：具有某些共同特性的模式的集合。概念模式識(shí)別的例子計(jì)算機(jī)自動(dòng)診斷疾病:獲取情況(信息采集) 測(cè)量體溫、血壓、心率、血液化驗(yàn)、X光透射、B超、心電圖、CT等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。當(dāng)然在實(shí)際應(yīng)用中要考慮采集的成本，這就是說(shuō)特征要進(jìn)行選擇的。運(yùn)行在電腦中的專家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進(jìn)行分類，得出正?；虿徽５呐袛?，不正常情況還要指出是什么問(wèn)題。101.1 概述模式識(shí)別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類識(shí)別待識(shí)對(duì)象識(shí)別結(jié)果通常在采集信息過(guò)程中，還要去除所獲取信息中的噪聲，增強(qiáng)有用的信息等工作。這種使信息純

4、化的處理過(guò)程叫做信息的預(yù)處理。分類識(shí)別是根據(jù)事先確定的分類規(guī)則對(duì)前面選取的特征進(jìn)行分類（即識(shí)別）。通常能描述對(duì)象的元素很多，為節(jié)約資源和提高處理速度，有時(shí)更為了可行性，在滿足分類識(shí)別正確率要求的條件下，按某種準(zhǔn)則盡量選用對(duì)正確分類識(shí)別作用較大的特征。使得用較少的特征就能完成分類識(shí)別任務(wù)。預(yù)處理這個(gè)環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體問(wèn)題有關(guān)，例如，從圖象中將汽車車牌的號(hào)碼識(shí)別出來(lái)，就需要先將車牌從圖像中找出來(lái)，再對(duì)車牌進(jìn)行劃分，將每個(gè)數(shù)字分別劃分開。做到這一步以后，才能對(duì)每個(gè)數(shù)字進(jìn)行識(shí)別。以上工作都應(yīng)該在預(yù)處理階段完成。數(shù)字化比特流111.1 概述模式識(shí)別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類

5、識(shí)別待識(shí)對(duì)象識(shí)別結(jié)果數(shù)據(jù)采集特征提取改進(jìn)分類識(shí)別規(guī)則二次特征提取與選擇訓(xùn)練樣本改進(jìn)采集提取方法改進(jìn)特征提取與選擇制定改進(jìn)分類識(shí)別規(guī)則人工干預(yù)正確率測(cè)試121.1 概述模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的主要環(huán)節(jié)：特征提?。悍?hào)表示，如長(zhǎng)度、波形、。特征選擇：選擇有代表性的特征，能夠正確分類學(xué)習(xí)和訓(xùn)練：利用已知樣本建立分類和識(shí)別規(guī)則分類識(shí)別：對(duì)所獲得樣本按建立的分類規(guī)則進(jìn)行分類識(shí)別141.1 概述系統(tǒng)實(shí)例 長(zhǎng)度(mm) 寬度(mm)5元1366310元1417020元1467050元15170100元15677151.1 概述系統(tǒng)實(shí)例磁性金屬條位置(大約)5元有 54/8210元有 54/8720元有 5

6、7/8950元有 60/91100元有 63/93171.1 概述系統(tǒng)實(shí)例數(shù)據(jù)采集、特征提?。?長(zhǎng)度、寬度、磁性、磁性的位置，光反射亮度、光透射亮度等等 特征選擇： 長(zhǎng)度、磁性及位置、反射亮度分類識(shí)別： 確定紙幣的面額及真?zhèn)?81.1 概述系統(tǒng)實(shí)例訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開發(fā)出模式分類器。測(cè)試集：在設(shè)計(jì)識(shí)別和分類系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。19例:汽車車牌識(shí)別從攝像頭獲取包含車牌的彩色圖象車牌定位和獲取字符分割和識(shí)別輸入圖象特征提取粗略定位分割字符確定類型精細(xì)定位識(shí)別、

7、輸出2021221.1 概述模式識(shí)別的基本方法一、統(tǒng)計(jì)模式識(shí)別二、句法模式識(shí)別三、模糊模式識(shí)別四、人工神經(jīng)網(wǎng)絡(luò)法五、人工智能方法241.1 概述模式識(shí)別的基本方法一、統(tǒng)計(jì)模式識(shí)別理論基礎(chǔ)：概率論，數(shù)理統(tǒng)計(jì)主要方法：線性、非線性分類、Bayes決策、聚類分析主要優(yōu)點(diǎn)： 1）比較成熟 2）能考慮干擾噪聲等影響 3）識(shí)別模式基元能力強(qiáng)主要缺點(diǎn)： 1）對(duì)結(jié)構(gòu)復(fù)雜的模式抽取特征困難2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)3）難以從整體角度考慮識(shí)別問(wèn)題251.1 概述模式識(shí)別的基本方法二、句法模式識(shí)別模式描述方法： 符號(hào)串，樹，圖模式判定： 是一種語(yǔ)言，用一個(gè)文法表示一個(gè)類，m類就有m個(gè)文法，然后判

8、定未知模式遵循哪一個(gè)文法。27解：圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡(jiǎn)單的子圖（背景、物體）。構(gòu)成一個(gè)多級(jí)樹結(jié)構(gòu)：1.1 概述模式識(shí)別的基本方法28在學(xué)習(xí)過(guò)程中，確定基元與基元之間的關(guān)系，推斷出生成景物的方法。判決過(guò)程中，首先提取基元，識(shí)別基元之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入的景物屬于相應(yīng)的類型。1.1 概述模式識(shí)別的基本方法29理論基礎(chǔ)：形式語(yǔ)言，自動(dòng)機(jī)技術(shù)主要方法：自動(dòng)機(jī)技術(shù)、CYK剖析算法、Early算法、轉(zhuǎn)移圖法主要優(yōu)點(diǎn)：1）識(shí)別方便，可以從簡(jiǎn)單的基元開始，由簡(jiǎn)至繁。2）能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)。3）對(duì)圖象畸變的抗干擾能力較強(qiáng)。主要缺點(diǎn)：當(dāng)存在

9、干擾及噪聲時(shí)，抽取特征基元困難，且易失誤。1.1 概述模式識(shí)別的基本方法301.1 概述模式識(shí)別的基本方法三、模糊模式識(shí)別模式描述方法： 模糊集合 A=(a,a), (b,b),. (n,n)模式判定： 是一種集合運(yùn)算。用隸屬度將模糊集合劃分為若干子集， m類就有m個(gè)子集，然后根據(jù)擇近原則分類。31理論基礎(chǔ)：模糊數(shù)學(xué)主要方法：模糊統(tǒng)計(jì)法、二元對(duì)比排序法、推理法、模糊集運(yùn)算規(guī)則、模糊矩陣主要優(yōu)點(diǎn)：由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。主要缺點(diǎn)：準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用。1.1 概述模式識(shí)別的基本

10、方法321.1 概述模式識(shí)別的基本方法四、人工神經(jīng)網(wǎng)絡(luò)法模式描述方法： 以不同活躍度表示的輸入節(jié)點(diǎn)集（神經(jīng)元）模式判定： 是一個(gè)非線性動(dòng)態(tài)系統(tǒng)。通過(guò)對(duì)樣本的學(xué)習(xí)建立起記憶，然后將未知模式判決為其最接近的記憶。33理論基礎(chǔ)：神經(jīng)生理學(xué)，心理學(xué)主要方法：BP模型、HOP模型、高階網(wǎng)主要優(yōu)點(diǎn)：可處理一些環(huán)境信息十分復(fù)雜，背景知識(shí)不清楚，推理規(guī)則不明確的問(wèn)題。允許樣本有較大的缺損、畸變。主要缺點(diǎn)：模型在不斷豐富與完善中，目前能識(shí)別的模式類還不夠多。1.1 概述模式識(shí)別的基本方法341.1 概述模式識(shí)別的基本方法五、邏輯推理法（人工智能法）模式描述方法： 字符串表示的事實(shí)模式判定： 是一種布爾運(yùn)算。從事

11、實(shí)出發(fā)運(yùn)用一系列規(guī)則，推理得到不同結(jié)果，m個(gè)類就有m個(gè)結(jié)果。35理論基礎(chǔ)：演繹邏輯，布爾代數(shù)主要方法：產(chǎn)生式推理、語(yǔ)義網(wǎng)推理、框架推理主要優(yōu)點(diǎn)：已建立了關(guān)于知識(shí)表示及組織，目標(biāo)搜索及匹配的完整體系。對(duì)需要眾多規(guī)則的推理達(dá)到識(shí)別目標(biāo)確認(rèn)的問(wèn)題，有很好的效果。主要缺點(diǎn)：當(dāng)樣本有缺損，背景不清晰，規(guī)則不明確甚至有歧義時(shí)，效果不好。1.1 概述模式識(shí)別的基本方法361.1 概述模式識(shí)別的發(fā)展簡(jiǎn)史1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。30年代 Fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。50年代 Noam Chemsky 提出形式語(yǔ)言理論傅京蓀提出句法/結(jié)構(gòu)模

12、式識(shí)別。60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。371.1 概述模式識(shí)別的發(fā)展簡(jiǎn)史80年代 以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。90年代 小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。381.1 概述模式識(shí)別的應(yīng)用(舉例)生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析391.1 概述主要實(shí)用系統(tǒng)舉例文字識(shí)別（Character Recognition）OCR（Optical Charact

13、er Recognition）智能交通（Intelligent Traffic）車牌、車型。語(yǔ)音識(shí)別（Speech recognition）翻譯機(jī)，身份識(shí)別等目標(biāo)識(shí)別ATR（Automaic Target Recognition）40411.2 特征矢量和特征空間421.3 隨機(jī)矢量的描述隨機(jī)矢量： 在模式識(shí)別過(guò)程中，要對(duì)許多具體對(duì)象進(jìn)行測(cè)量，以獲得許多次觀測(cè)值。 每次觀測(cè)值不一定相同，所以對(duì)許多對(duì)象而言，各個(gè)特征分量都是隨機(jī)變量，即許多對(duì)象的特征向量在n維空間中呈隨機(jī)性分布，稱為隨機(jī)矢量。431.3 隨機(jī)矢量的描述(一)隨機(jī)矢量的分布函數(shù)：設(shè) 為隨機(jī)矢量， 為確定性矢量。 隨機(jī)矢量的聯(lián)合概率

14、分布函數(shù)定義為： 式中 表示括號(hào)中事件同時(shí)發(fā)生的概率。 441.3 隨機(jī)矢量的描述(一)隨機(jī)矢量的分布函數(shù)：隨機(jī)矢量 的聯(lián)合概率密度函數(shù)定義為： 451.3 隨機(jī)矢量的描述461.3 隨機(jī)矢量的描述xp(x)(1wxp)(2wxp471.3 隨機(jī)矢量的描述481.3 隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征：其中， 的分量： 式中， 是 的第 個(gè)分量的邊緣密度。隨機(jī)矢量 的均值矢量 的各分量是相應(yīng)的各隨機(jī)分量的均值。491.3 隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征： 條件期望在模式識(shí)別中，經(jīng)常以類別 作為條件，在這種情況下隨機(jī)矢量 的條件期望矢量定義為501.3 隨機(jī)矢量的描述隨機(jī)矢量 的自協(xié)方差矩陣表征各分量圍繞其均值的散布情況及各分量間的相關(guān)關(guān)系，其定義為：(二)隨機(jī)矢量的數(shù)字特征： 協(xié)方差矩陣 511.3 隨機(jī)矢量的描述521.3 隨機(jī)矢量的描述531.3 隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征： 相關(guān)系數(shù) 由布尼亞科夫斯基不等式知: 相關(guān)系數(shù)矩陣定義為 :541.3 隨機(jī)矢量的描述551.3 隨機(jī)矢量的描述561.3 隨機(jī)矢量的描述571.3 隨機(jī)矢量的描述581.4 正態(tài)分布591.4 正態(tài)分布（1）一維隨機(jī)變量的正態(tài)分布601.