模式識別引論

模式識別引論第1頁，課件共65頁，創(chuàng)作于2023年2月2課程簡介模式識別是研究用計算機自動識別事物的一門科學，其目的是用機器完成類似于人類只能通過視覺、聽覺等感官去識別外界環(huán)境所進行的工作，它包括語音識別、圖像識別等典型應用。人工智能是研究怎樣使計算機模擬人腦所從事的推理、學習、思考、規(guī)劃等思維活動，來解決需專家才能處理的復雜問題，如醫(yī)療診斷、氣象預報、管理決策等。從實用觀點來看，人工智能是一門知識工程學：以知識為對象，研究知識的獲取、知識的表示方法和知識的使用。第2頁，課件共65頁，創(chuàng)作于2023年2月3教材與教學參考書模式識別的理論與方法，舒寧，馬洪超等，武漢大學出版社，2004

模式識別的原理與應用，李弼程，劭美珍等，西安電子科技大學出版社，2008模式識別(第二版)，邊肇祺，張學工等，清華大學出版社，2000人工智能技術(shù)與方法，夏定純，徐濤，華中科技大學出版社，2004人工智能方法與應用，尹朝慶，華中科技大學出版社，2007圖書館、超星數(shù)字圖書館、網(wǎng)絡(luò)資源等第3頁，課件共65頁，創(chuàng)作于2023年2月4課程教學：講一些模式識別和人工智能的基本理論，以及一些前沿性的知識介紹?？荚嚦煽儯嚎疾斐煽兒推綍r成績相結(jié)合。以考察成績?yōu)橹?。?頁，課件共65頁，創(chuàng)作于2023年2月5第一章引論1.1概述1.2特征矢量和特征空間1.3隨機矢量的描述1.4正態(tài)分布第5頁，課件共65頁，創(chuàng)作于2023年2月概念模式識別(PatternRecognition)：確定一個樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。樣本（Sample)：一個具體的研究（客觀）對象。如患者，某人寫的一個漢字，一幅圖片等。模式(Pattern)：對客體（研究對象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測量值的集合（或綜合）。第6頁，課件共65頁，創(chuàng)作于2023年2月特征(Features)：能描述模式特性的量（測量值）。在統(tǒng)計模式識別方法中，通常用一個矢量表示，稱之為特征矢量，記為

模式類(Class)：具有某些共同特性的模式的集合。概念第7頁，課件共65頁，創(chuàng)作于2023年2月模式識別的例子計算機自動診斷疾病:獲取情況(信息采集)

測量體溫、血壓、心率、血液化驗、X光透射、B超、心電圖、CT等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。當然在實際應用中要考慮采集的成本，這就是說特征要進行選擇的。運行在電腦中的專家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進行分類，得出正?；虿徽５呐袛啵徽Ｇ闆r還要指出是什么問題。第8頁，課件共65頁，創(chuàng)作于2023年2月9對象空間模式空間特征空間類型空間各類空間（Space)的概念模式采集：從客觀世界（對象空間）到模式空間的過程稱為模式采集。特征提取和特征選擇：由模式空間到特征空間的變換和選擇。類型判別：特征空間到類型空間所作的操作。模式識別三大任務(wù)第9頁，課件共65頁，創(chuàng)作于2023年2月101.1概述－模式識別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類識別待識對象識別結(jié)果通常在采集信息過程中，還要去除所獲取信息中的噪聲，增強有用的信息等工作。這種使信息純化的處理過程叫做信息的預處理。分類識別是根據(jù)事先確定的分類規(guī)則對前面選取的特征進行分類（即識別）。通常能描述對象的元素很多，為節(jié)約資源和提高處理速度，有時更為了可行性，在滿足分類識別正確率要求的條件下，按某種準則盡量選用對正確分類識別作用較大的特征。使得用較少的特征就能完成分類識別任務(wù)。預處理這個環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體問題有關(guān)，例如，從圖象中將汽車車牌的號碼識別出來，就需要先將車牌從圖像中找出來，再對車牌進行劃分，將每個數(shù)字分別劃分開。做到這一步以后，才能對每個數(shù)字進行識別。以上工作都應該在預處理階段完成。數(shù)字化——比特流第10頁，課件共65頁，創(chuàng)作于2023年2月111.1概述－模式識別系統(tǒng)數(shù)據(jù)采集特征提取二次特征提取與選擇分類識別待識對象識別結(jié)果數(shù)據(jù)采集特征提取改進分類識別規(guī)則二次特征提取與選擇訓練樣本改進采集提取方法改進特征提取與選擇制定改進分類識別規(guī)則人工干預正確率測試第11頁，課件共65頁，創(chuàng)作于2023年2月121.1概述－模式識別系統(tǒng)模式識別系統(tǒng)的主要環(huán)節(jié)：特征提?。?符號表示，如長度、波形、。。。特征選擇： 選擇有代表性的特征，能夠正確分類學習和訓練：利用已知樣本建立分類和識別規(guī)則分類識別： 對所獲得樣本按建立的分類規(guī)則進行分類識別第12頁，課件共65頁，創(chuàng)作于2023年2月13紙幣識別器對紙幣按面額進行分類

面額

1.1概述－系統(tǒng)實例5元10元20元50元100元第13頁，課件共65頁，創(chuàng)作于2023年2月141.1概述－系統(tǒng)實例 長度(mm)寬度(mm) 5元 136 63 10元 141 70 20元 146 70 50元 151 70 100元 156 77第14頁，課件共65頁，創(chuàng)作于2023年2月151.1概述－系統(tǒng)實例 磁性 金屬條位置(大約) 5元 有 54/82 10元 有 54/87 20元 有 57/89 50元 有 60/91 100元 有 63/93第15頁，課件共65頁，創(chuàng)作于2023年2月5元10元20元50元100元12345678反射光波形第16頁，課件共65頁，創(chuàng)作于2023年2月171.1概述－系統(tǒng)實例數(shù)據(jù)采集、特征提取：

長度、寬度、磁性、磁性的位置，光反射亮度、光透射亮度等等

特征選擇：

長度、磁性及位置、反射亮度分類識別：

確定紙幣的面額及真?zhèn)蔚?7頁，課件共65頁，創(chuàng)作于2023年2月181.1概述－系統(tǒng)實例訓練集：是一個已知樣本集，在監(jiān)督學習方法中，用它來開發(fā)出模式分類器。測試集：在設(shè)計識別和分類系統(tǒng)時沒有用過的獨立樣本集。系統(tǒng)評價原則：為了更好地對模式識別系統(tǒng)性能進行評價，必須使用一組獨立于訓練集的測試集對系統(tǒng)進行測試。第18頁，課件共65頁，創(chuàng)作于2023年2月19例:汽車車牌識別從攝像頭獲取包含車牌的彩色圖象車牌定位和獲取字符分割和識別輸入圖象特征提取粗略定位分割字符確定類型精細定位識別、輸出第19頁，課件共65頁，創(chuàng)作于2023年2月20第20頁，課件共65頁，創(chuàng)作于2023年2月21第21頁，課件共65頁，創(chuàng)作于2023年2月221.1概述－模式識別的基本方法一、統(tǒng)計模式識別二、句法模式識別三、模糊模式識別四、人工神經(jīng)網(wǎng)絡(luò)法五、人工智能方法第22頁，課件共65頁，創(chuàng)作于2023年2月231.1概述－模式識別的基本方法一、統(tǒng)計模式識別模式描述方法：特征向量模式判定：模式類用條件概率分布P(X/i)表示,m類就有m個分布，然后判定未知模式屬于哪一個分布。第23頁，課件共65頁，創(chuàng)作于2023年2月241.1概述－模式識別的基本方法一、統(tǒng)計模式識別理論基礎(chǔ)：概率論，數(shù)理統(tǒng)計主要方法：線性、非線性分類、Bayes決策、聚類分析主要優(yōu)點：

1）比較成熟

2）能考慮干擾噪聲等影響

3）識別模式基元能力強主要缺點：

1）對結(jié)構(gòu)復雜的模式抽取特征困難

2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)

3）難以從整體角度考慮識別問題第24頁，課件共65頁，創(chuàng)作于2023年2月251.1概述－模式識別的基本方法二、句法模式識別模式描述方法：

符號串，樹，圖模式判定：

是一種語言，用一個文法表示一個類，m類就有m個文法，然后判定未知模式遵循哪一個文法。第25頁，課件共65頁，創(chuàng)作于2023年2月26例2：如下圖中一幅圖形，要識別圖中的物體，選用句法模式識別方法.1.1概述－模式識別的基本方法第26頁，課件共65頁，創(chuàng)作于2023年2月27解：圖形結(jié)構(gòu)復雜，首先應分解為簡單的子圖（背景、物體）。 構(gòu)成一個多級樹結(jié)構(gòu)：1.1概述－模式識別的基本方法第27頁，課件共65頁，創(chuàng)作于2023年2月28在學習過程中，確定基元與基元之間的關(guān)系，推斷出生成景物的方法。判決過程中，首先提取基元，識別基元之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入的景物屬于相應的類型。1.1概述－模式識別的基本方法第28頁，課件共65頁，創(chuàng)作于2023年2月29理論基礎(chǔ)：形式語言，自動機技術(shù)主要方法：自動機技術(shù)、CYK剖析算法、Early算法、轉(zhuǎn)移圖法主要優(yōu)點：

1）識別方便，可以從簡單的基元開始，由簡至繁。

2）能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)。

3）對圖象畸變的抗干擾能力較強。主要缺點：

當存在干擾及噪聲時，抽取特征基元困難，且易失誤。1.1概述－模式識別的基本方法第29頁，課件共65頁，創(chuàng)作于2023年2月301.1概述－模式識別的基本方法三、模糊模式識別模式描述方法：

模糊集合A={(a,a),(b,b),...(n,n)}模式判定：

是一種集合運算。用隸屬度將模糊集合劃分為若干子集，m類就有m個子集，然后根據(jù)擇近原則分類。第30頁，課件共65頁，創(chuàng)作于2023年2月31理論基礎(chǔ)：模糊數(shù)學主要方法：模糊統(tǒng)計法、二元對比排序法、推理法、模糊集運算規(guī)則、模糊矩陣 主要優(yōu)點：

由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當程度的干擾與畸變。主要缺點：

準確合理的隸屬度函數(shù)往往難以建立，故限制了它的應用。1.1概述－模式識別的基本方法第31頁，課件共65頁，創(chuàng)作于2023年2月321.1概述－模式識別的基本方法四、人工神經(jīng)網(wǎng)絡(luò)法模式描述方法：

以不同活躍度表示的輸入節(jié)點集（神經(jīng)元）模式判定：

是一個非線性動態(tài)系統(tǒng)。通過對樣本的學習建立起記憶，然后將未知模式判決為其最接近的記憶。第32頁，課件共65頁，創(chuàng)作于2023年2月33理論基礎(chǔ)：神經(jīng)生理學，心理學主要方法：BP模型、HOP模型、高階網(wǎng) 主要優(yōu)點：

可處理一些環(huán)境信息十分復雜，背景知識不清楚，推理規(guī)則不明確的問題。允許樣本有較大的缺損、畸變。主要缺點：

模型在不斷豐富與完善中，目前能識別的模式類還不夠多。1.1概述－模式識別的基本方法第33頁，課件共65頁，創(chuàng)作于2023年2月341.1概述－模式識別的基本方法五、邏輯推理法（人工智能法）模式描述方法：

字符串表示的事實模式判定：是一種布爾運算。從事實出發(fā)運用一系列規(guī)則，推理得到不同結(jié)果，m個類就有m個結(jié)果。第34頁，課件共65頁，創(chuàng)作于2023年2月35理論基礎(chǔ)：演繹邏輯，布爾代數(shù)主要方法：產(chǎn)生式推理、語義網(wǎng)推理、框架推理 主要優(yōu)點：

已建立了關(guān)于知識表示及組織，目標搜索及匹配的完整體系。對需要眾多規(guī)則的推理達到識別目標確認的問題，有很好的效果。主要缺點：

當樣本有缺損，背景不清晰，規(guī)則不明確甚至有歧義時，效果不好。1.1概述－模式識別的基本方法第35頁，課件共65頁，創(chuàng)作于2023年2月361.1概述－模式識別的發(fā)展簡史1929年

G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數(shù)字。30年代

Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。50年代

NoamChemsky提出形式語言理論——傅京蓀提出句法/結(jié)構(gòu)模式識別。60年代

L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應用。第36頁，課件共65頁，創(chuàng)作于2023年2月371.1概述－模式識別的發(fā)展簡史80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導致人工神經(jīng)元網(wǎng)絡(luò)復活，并在模式識別得到較廣泛的應用。90年代小樣本學習理論，支持向量機也受到了很大的重視。第37頁，課件共65頁，創(chuàng)作于2023年2月381.1概述－模式識別的應用(舉例)生物學自動細胞學、染色體特性研究、遺傳研究天文學天文望遠鏡圖像分析、自動光譜學經(jīng)濟學股票交易預測、企業(yè)行為分析醫(yī)學心電圖分析、腦電圖分析、醫(yī)學圖像分析第38頁，課件共65頁，創(chuàng)作于2023年2月391.1概述－主要實用系統(tǒng)舉例文字識別（CharacterRecognition）OCR（OpticalCharacterRecognition）智能交通（IntelligentTraffic）車牌、車型。語音識別（Speechrecognition）翻譯機，身份識別等目標識別ATR（AutomaicTargetRecognition）第39頁，課件共65頁，創(chuàng)作于2023年2月40第40頁，課件共65頁，創(chuàng)作于2023年2月411.2特征矢量和特征空間第41頁，課件共65頁，創(chuàng)作于2023年2月421.3隨機矢量的描述隨機矢量：

在模式識別過程中，要對許多具體對象進行測量，以獲得許多次觀測值。每次觀測值不一定相同，所以對許多對象而言，各個特征分量都是隨機變量，即許多對象的特征向量在n維空間中呈隨機性分布，稱為隨機矢量。第42頁，課件共65頁，創(chuàng)作于2023年2月431.3隨機矢量的描述(一)隨機矢量的分布函數(shù)：設(shè)為隨機矢量，

為確定性矢量。

隨機矢量的聯(lián)合概率分布函數(shù)定義為：

式中表示括號中事件同時發(fā)生的概率。

第43頁，課件共65頁，創(chuàng)作于2023年2月441.3隨機矢量的描述(一)隨機矢量的分布函數(shù)：隨機矢量的聯(lián)合概率密度函數(shù)定義為：第44頁，課件共65頁，創(chuàng)作于2023年2月451.3隨機矢量的描述第45頁，課件共65頁，創(chuàng)作于2023年2月461.3隨機矢量的描述xp(x))(1wxp)(2wxp第46頁，課件共65頁，創(chuàng)作于2023年2月471.3隨機矢量的描述第47頁，課件共65頁，創(chuàng)作于2023年2月481.3隨機矢量的描述(二)隨機矢量的數(shù)字特征：其中，的分量：式中，是的第個分量的邊緣密度。隨機矢量的均值矢量的各分量是相應的各隨機分量的均值。第48頁，課件共65頁，創(chuàng)作于2023年2月491.3隨機矢量的描述(二)隨機矢量的數(shù)字特征：

⑵條件期望在模式識別中，經(jīng)常以類別作為條件，在這種情況下隨機矢量的條件期望矢量定義為第49頁，課件共65頁，創(chuàng)作于2023年2月501.3隨機矢量的描述隨機矢量的自協(xié)方差矩陣表征各分量圍繞其均值的散布情況及各分量間的相關(guān)關(guān)系，其定義為：(二)隨機矢量的數(shù)字特征：

⑶協(xié)方差矩陣

第50頁，課件共65頁，創(chuàng)作于2023年2月511.3隨機矢量的描述第51頁，課件共65頁，創(chuàng)作于2023年2月521.3隨機矢量的描述第52頁，課件共65頁，創(chuàng)作于2023年2月531.3隨機矢量的描述(二)隨機矢量的數(shù)字特征：⑷相關(guān)系數(shù)

由布尼亞科夫斯