模式識(shí)別引論

模式識(shí)別引論第1頁(yè)，共65頁(yè)，2023年，2月20日，星期五2課程簡(jiǎn)介模式識(shí)別是研究用計(jì)算機(jī)自動(dòng)識(shí)別事物的一門科學(xué)，其目的是用機(jī)器完成類似于人類只能通過(guò)視覺(jué)、聽覺(jué)等感官去識(shí)別外界環(huán)境所進(jìn)行的工作，它包括語(yǔ)音識(shí)別、圖像識(shí)別等典型應(yīng)用。人工智能是研究怎樣使計(jì)算機(jī)模擬人腦所從事的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，來(lái)解決需專家才能處理的復(fù)雜問(wèn)題，如醫(yī)療診斷、氣象預(yù)報(bào)、管理決策等。從實(shí)用觀點(diǎn)來(lái)看，人工智能是一門知識(shí)工程學(xué)：以知識(shí)為對(duì)象，研究知識(shí)的獲取、知識(shí)的表示方法和知識(shí)的使用。第2頁(yè)，共65頁(yè)，2023年，2月20日，星期五3教材與教學(xué)參考書模式識(shí)別的理論與方法，舒寧，馬洪超等，武漢大學(xué)出版社，2004

模式識(shí)別的原理與應(yīng)用，李弼程，劭美珍等，西安電子科技大學(xué)出版社，2008模式識(shí)別(第二版)，邊肇祺，張學(xué)工等，清華大學(xué)出版社，2000人工智能技術(shù)與方法，夏定純，徐濤，華中科技大學(xué)出版社，2004人工智能方法與應(yīng)用，尹朝慶，華中科技大學(xué)出版社，2007圖書館、超星數(shù)字圖書館、網(wǎng)絡(luò)資源等第3頁(yè)，共65頁(yè)，2023年，2月20日，星期五4課程教學(xué)：講一些模式識(shí)別和人工智能的基本理論，以及一些前沿性的知識(shí)介紹?？荚嚦煽?jī)：考察成績(jī)和平時(shí)成績(jī)相結(jié)合。以考察成績(jī)?yōu)橹?。?頁(yè)，共65頁(yè)，2023年，2月20日，星期五5第一章引論1.1概述1.2特征矢量和特征空間1.3隨機(jī)矢量的描述1.4正態(tài)分布第5頁(yè)，共65頁(yè)，2023年，2月20日，星期五概念模式識(shí)別(PatternRecognition)：確定一個(gè)樣本的類別屬性（模式類）的過(guò)程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類型。樣本（Sample)：一個(gè)具體的研究（客觀）對(duì)象。如患者，某人寫的一個(gè)漢字，一幅圖片等。模式(Pattern)：對(duì)客體（研究對(duì)象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測(cè)量值的集合（或綜合）。第6頁(yè)，共65頁(yè)，2023年，2月20日，星期五特征(Features)：能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模式識(shí)別方法中，通常用一個(gè)矢量表示，稱之為特征矢量，記為

模式類(Class)：具有某些共同特性的模式的集合。概念第7頁(yè)，共65頁(yè)，2023年，2月20日，星期五模式識(shí)別的例子計(jì)算機(jī)自動(dòng)診斷疾病:獲取情況(信息采集)

測(cè)量體溫、血壓、心率、血液化驗(yàn)、X光透射、B超、心電圖、CT等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。當(dāng)然在實(shí)際應(yīng)用中要考慮采集的成本，這就是說(shuō)特征要進(jìn)行選擇的。運(yùn)行在電腦中的專家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進(jìn)行分類，得出正?；虿徽５呐袛?，不正常情況還要指出是什么問(wèn)題。第8頁(yè)，共65頁(yè)，2023年，2月20日，星期五9對(duì)象空間模式空間特征空間類型空間各類空間（Space)的概念模式采集：從客觀世界（對(duì)象空間）到模式空間的過(guò)程稱為模式采集。特征提取和特征選擇：由模式空間到特征空間的變換和選擇。類型判別：特征空間到類型空間所作的操作。模式識(shí)別三大任務(wù)第9頁(yè)，共65頁(yè)，2023年，2月20日，星期五101.1概述－模式識(shí)別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類識(shí)別待識(shí)對(duì)象識(shí)別結(jié)果通常在采集信息過(guò)程中，還要去除所獲取信息中的噪聲，增強(qiáng)有用的信息等工作。這種使信息純化的處理過(guò)程叫做信息的預(yù)處理。分類識(shí)別是根據(jù)事先確定的分類規(guī)則對(duì)前面選取的特征進(jìn)行分類（即識(shí)別）。通常能描述對(duì)象的元素很多，為節(jié)約資源和提高處理速度，有時(shí)更為了可行性，在滿足分類識(shí)別正確率要求的條件下，按某種準(zhǔn)則盡量選用對(duì)正確分類識(shí)別作用較大的特征。使得用較少的特征就能完成分類識(shí)別任務(wù)。預(yù)處理這個(gè)環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體問(wèn)題有關(guān)，例如，從圖象中將汽車車牌的號(hào)碼識(shí)別出來(lái)，就需要先將車牌從圖像中找出來(lái)，再對(duì)車牌進(jìn)行劃分，將每個(gè)數(shù)字分別劃分開。做到這一步以后，才能對(duì)每個(gè)數(shù)字進(jìn)行識(shí)別。以上工作都應(yīng)該在預(yù)處理階段完成。數(shù)字化——比特流第10頁(yè)，共65頁(yè)，2023年，2月20日，星期五111.1概述－模式識(shí)別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類識(shí)別待識(shí)對(duì)象識(shí)別結(jié)果數(shù)據(jù)采集特征提取改進(jìn)分類識(shí)別規(guī)則二次特征提取與選擇訓(xùn)練樣本改進(jìn)采集提取方法改進(jìn)特征提取與選擇制定改進(jìn)分類識(shí)別規(guī)則人工干預(yù)正確率測(cè)試第11頁(yè)，共65頁(yè)，2023年，2月20日，星期五121.1概述－模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的主要環(huán)節(jié)：特征提?。?符號(hào)表示，如長(zhǎng)度、波形、。。。特征選擇： 選擇有代表性的特征，能夠正確分類學(xué)習(xí)和訓(xùn)練：利用已知樣本建立分類和識(shí)別規(guī)則分類識(shí)別： 對(duì)所獲得樣本按建立的分類規(guī)則進(jìn)行分類識(shí)別第12頁(yè)，共65頁(yè)，2023年，2月20日，星期五13紙幣識(shí)別器對(duì)紙幣按面額進(jìn)行分類

面額

1.1概述－系統(tǒng)實(shí)例5元10元20元50元100元第13頁(yè)，共65頁(yè)，2023年，2月20日，星期五141.1概述－系統(tǒng)實(shí)例 長(zhǎng)度(mm)寬度(mm) 5元 136 63 10元 141 70 20元 146 70 50元 151 70 100元 156 77第14頁(yè)，共65頁(yè)，2023年，2月20日，星期五151.1概述－系統(tǒng)實(shí)例 磁性 金屬條位置(大約) 5元 有 54/82 10元 有 54/87 20元 有 57/89 50元 有 60/91 100元 有 63/93第15頁(yè)，共65頁(yè)，2023年，2月20日，星期五5元10元20元50元100元12345678反射光波形第16頁(yè)，共65頁(yè)，2023年，2月20日，星期五171.1概述－系統(tǒng)實(shí)例數(shù)據(jù)采集、特征提取：

長(zhǎng)度、寬度、磁性、磁性的位置，光反射亮度、光透射亮度等等

特征選擇：

長(zhǎng)度、磁性及位置、反射亮度分類識(shí)別：

確定紙幣的面額及真?zhèn)蔚?7頁(yè)，共65頁(yè)，2023年，2月20日，星期五181.1概述－系統(tǒng)實(shí)例訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開發(fā)出模式分類器。測(cè)試集：在設(shè)計(jì)識(shí)別和分類系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。第18頁(yè)，共65頁(yè)，2023年，2月20日，星期五19例:汽車車牌識(shí)別從攝像頭獲取包含車牌的彩色圖象車牌定位和獲取字符分割和識(shí)別輸入圖象特征提取粗略定位分割字符確定類型精細(xì)定位識(shí)別、輸出第19頁(yè)，共65頁(yè)，2023年，2月20日，星期五20第20頁(yè)，共65頁(yè)，2023年，2月20日，星期五21第21頁(yè)，共65頁(yè)，2023年，2月20日，星期五221.1概述－模式識(shí)別的基本方法一、統(tǒng)計(jì)模式識(shí)別二、句法模式識(shí)別三、模糊模式識(shí)別四、人工神經(jīng)網(wǎng)絡(luò)法五、人工智能方法第22頁(yè)，共65頁(yè)，2023年，2月20日，星期五231.1概述－模式識(shí)別的基本方法一、統(tǒng)計(jì)模式識(shí)別模式描述方法：特征向量模式判定：模式類用條件概率分布P(X/i)表示,m類就有m個(gè)分布，然后判定未知模式屬于哪一個(gè)分布。第23頁(yè)，共65頁(yè)，2023年，2月20日，星期五241.1概述－模式識(shí)別的基本方法一、統(tǒng)計(jì)模式識(shí)別理論基礎(chǔ)：概率論，數(shù)理統(tǒng)計(jì)主要方法：線性、非線性分類、Bayes決策、聚類分析主要優(yōu)點(diǎn)：

1）比較成熟

2）能考慮干擾噪聲等影響

3）識(shí)別模式基元能力強(qiáng)主要缺點(diǎn)：

1）對(duì)結(jié)構(gòu)復(fù)雜的模式抽取特征困難

2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)

3）難以從整體角度考慮識(shí)別問(wèn)題第24頁(yè)，共65頁(yè)，2023年，2月20日，星期五251.1概述－模式識(shí)別的基本方法二、句法模式識(shí)別模式描述方法：

符號(hào)串，樹，圖模式判定：

是一種語(yǔ)言，用一個(gè)文法表示一個(gè)類，m類就有m個(gè)文法，然后判定未知模式遵循哪一個(gè)文法。第25頁(yè)，共65頁(yè)，2023年，2月20日，星期五26例2：如下圖中一幅圖形，要識(shí)別圖中的物體，選用句法模式識(shí)別方法.1.1概述－模式識(shí)別的基本方法第26頁(yè)，共65頁(yè)，2023年，2月20日，星期五27解：圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡(jiǎn)單的子圖（背景、物體）。 構(gòu)成一個(gè)多級(jí)樹結(jié)構(gòu)：1.1概述－模式識(shí)別的基本方法第27頁(yè)，共65頁(yè)，2023年，2月20日，星期五28在學(xué)習(xí)過(guò)程中，確定基元與基元之間的關(guān)系，推斷出生成景物的方法。判決過(guò)程中，首先提取基元，識(shí)別基元之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入的景物屬于相應(yīng)的類型。1.1概述－模式識(shí)別的基本方法第28頁(yè)，共65頁(yè)，2023年，2月20日，星期五29理論基礎(chǔ)：形式語(yǔ)言，自動(dòng)機(jī)技術(shù)主要方法：自動(dòng)機(jī)技術(shù)、CYK剖析算法、Early算法、轉(zhuǎn)移圖法主要優(yōu)點(diǎn)：

1）識(shí)別方便，可以從簡(jiǎn)單的基元開始，由簡(jiǎn)至繁。

2）能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)。

3）對(duì)圖象畸變的抗干擾能力較強(qiáng)。主要缺點(diǎn)：

當(dāng)存在干擾及噪聲時(shí)，抽取特征基元困難，且易失誤。1.1概述－模式識(shí)別的基本方法第29頁(yè)，共65頁(yè)，2023年，2月20日，星期五301.1概述－模式識(shí)別的基本方法三、模糊模式識(shí)別模式描述方法：

模糊集合A={(a,a),(b,b),...(n,n)}模式判定：

是一種集合運(yùn)算。用隸屬度將模糊集合劃分為若干子集，m類就有m個(gè)子集，然后根據(jù)擇近原則分類。第30頁(yè)，共65頁(yè)，2023年，2月20日，星期五31理論基礎(chǔ)：模糊數(shù)學(xué)主要方法：模糊統(tǒng)計(jì)法、二元對(duì)比排序法、推理法、模糊集運(yùn)算規(guī)則、模糊矩陣 主要優(yōu)點(diǎn)：

由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。主要缺點(diǎn)：

準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用。1.1概述－模式識(shí)別的基本方法第31頁(yè)，共65頁(yè)，2023年，2月20日，星期五321.1概述－模式識(shí)別的基本方法四、人工神經(jīng)網(wǎng)絡(luò)法模式描述方法：

以不同活躍度表示的輸入節(jié)點(diǎn)集（神經(jīng)元）模式判定：

是一個(gè)非線性動(dòng)態(tài)系統(tǒng)。通過(guò)對(duì)樣本的學(xué)習(xí)建立起記憶，然后將未知模式判決為其最接近的記憶。第32頁(yè)，共65頁(yè)，2023年，2月20日，星期五33理論基礎(chǔ)：神經(jīng)生理學(xué)，心理學(xué)主要方法：BP模型、HOP模型、高階網(wǎng) 主要優(yōu)點(diǎn)：

可處理一些環(huán)境信息十分復(fù)雜，背景知識(shí)不清楚，推理規(guī)則不明確的問(wèn)題。允許樣本有較大的缺損、畸變。主要缺點(diǎn)：

模型在不斷豐富與完善中，目前能識(shí)別的模式類還不夠多。1.1概述－模式識(shí)別的基本方法第33頁(yè)，共65頁(yè)，2023年，2月20日，星期五341.1概述－模式識(shí)別的基本方法五、邏輯推理法（人工智能法）模式描述方法：

字符串表示的事實(shí)模式判定：是一種布爾運(yùn)算。從事實(shí)出發(fā)運(yùn)用一系列規(guī)則，推理得到不同結(jié)果，m個(gè)類就有m個(gè)結(jié)果。第34頁(yè)，共65頁(yè)，2023年，2月20日，星期五35理論基礎(chǔ)：演繹邏輯，布爾代數(shù)主要方法：產(chǎn)生式推理、語(yǔ)義網(wǎng)推理、框架推理 主要優(yōu)點(diǎn)：

已建立了關(guān)于知識(shí)表示及組織，目標(biāo)搜索及匹配的完整體系。對(duì)需要眾多規(guī)則的推理達(dá)到識(shí)別目標(biāo)確認(rèn)的問(wèn)題，有很好的效果。主要缺點(diǎn)：

當(dāng)樣本有缺損，背景不清晰，規(guī)則不明確甚至有歧義時(shí)，效果不好。1.1概述－模式識(shí)別的基本方法第35頁(yè)，共65頁(yè)，2023年，2月20日，星期五361.1概述－模式識(shí)別的發(fā)展簡(jiǎn)史1929年

G.Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。30年代

Fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。50年代

NoamChemsky提出形式語(yǔ)言理論——傅京蓀提出句法/結(jié)構(gòu)模式識(shí)別。60年代

L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。第36頁(yè)，共65頁(yè)，2023年，2月20日，星期五371.1概述－模式識(shí)別的發(fā)展簡(jiǎn)史80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。第37頁(yè)，共65頁(yè)，2023年，2月20日，星期五381.1概述－模式識(shí)別的應(yīng)用(舉例)生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析第38頁(yè)，共65頁(yè)，2023年，2月20日，星期五391.1概述－主要實(shí)用系統(tǒng)舉例文字識(shí)別（CharacterRecognition）OCR（OpticalCharacterRecognition）智能交通（IntelligentTraffic）車牌、車型。語(yǔ)音識(shí)別（Speechrecognition）翻譯機(jī)，身份識(shí)別等目標(biāo)識(shí)別ATR（AutomaicTargetRecognition）第39頁(yè)，共65頁(yè)，2023年，2月20日，星期五40第40頁(yè)，共65頁(yè)，2023年，2月20日，星期五411.2特征矢量和特征空間第41頁(yè)，共65頁(yè)，2023年，2月20日，星期五421.3隨機(jī)矢量的描述隨機(jī)矢量：

在模式識(shí)別過(guò)程中，要對(duì)許多具體對(duì)象進(jìn)行測(cè)量，以獲得許多次觀測(cè)值。每次觀測(cè)值不一定相同，所以對(duì)許多對(duì)象而言，各個(gè)特征分量都是隨機(jī)變量，即許多對(duì)象的特征向量在n維空間中呈隨機(jī)性分布，稱為隨機(jī)矢量。第42頁(yè)，共65頁(yè)，2023年，2月20日，星期五431.3隨機(jī)矢量的描述(一)隨機(jī)矢量的分布函數(shù)：設(shè)為隨機(jī)矢量，

為確定性矢量。

隨機(jī)矢量的聯(lián)合概率分布函數(shù)定義為：

式中表示括號(hào)中事件同時(shí)發(fā)生的概率。

第43頁(yè)，共65頁(yè)，2023年，2月20日，星期五441.3隨機(jī)矢量的描述(一)隨機(jī)矢量的分布函數(shù)：隨機(jī)矢量的聯(lián)合概率密度函數(shù)定義為：第44頁(yè)，共65頁(yè)，2023年，2月20日，星期五451.3隨機(jī)矢量的描述第45頁(yè)，共65頁(yè)，2023年，2月20日，星期五461.3隨機(jī)矢量的描述xp(x))(1wxp)(2wxp第46頁(yè)，共65頁(yè)，2023年，2月20日，星期五471.3隨機(jī)矢量的描述第47頁(yè)，共65頁(yè)，2023年，2月20日，星期五481.3隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征：其中，的分量：式中，是的第個(gè)分量的邊緣密度。隨機(jī)矢量的均值矢量的各分量是相應(yīng)的各隨機(jī)分量的均值。第48頁(yè)，共65頁(yè)，2023年，2月20日，星期五491.3隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征：

⑵條件期望在模式識(shí)別中，經(jīng)常以類別作為條件，在這種情況下隨機(jī)矢量的條件期望矢量定義為第49頁(yè)，共65頁(yè)，2023年，2月20日，星期五501.3隨機(jī)矢量的描述隨機(jī)矢量的自協(xié)方差矩陣表征各分量圍繞其均值的散布情況及各分量間的相關(guān)關(guān)系，其定義為：(二)隨機(jī)矢量的數(shù)字特征：

⑶協(xié)方差矩陣

第50頁(yè)，共65頁(yè)，2023年，2月20日，星期五511.3隨機(jī)矢量的描述第51頁(yè)，共65頁(yè)，2023年，2月20日，星期五521.3隨機(jī)矢量的描述第52頁(yè)，共65頁(yè)，2023年，2月20日，星期五531.3隨機(jī)矢量的描述(二)隨機(jī)矢量的數(shù)字特征：⑷相關(guān)系數(shù)

由布尼亞科夫斯基不等式知:相關(guān)系數(shù)矩陣定義為