模式識別(chapter1)

1、1模式識別主講：主講： 陳曉艷陳曉艷 教授教授 電話：電話： 6027371560273715（O O） E-mailE-mail：單位單位: : 天津科技大學(xué)天津科技大學(xué) 電子信息與自動化學(xué)院電子信息與自動化學(xué)院2 相關(guān)學(xué)科統(tǒng)計學(xué)統(tǒng)計學(xué)概率論概率論線性代數(shù)（矩陣計算）線性代數(shù)（矩陣計算）形式語言形式語言人工智能人工智能圖像處理圖像處理計算機(jī)視覺計算機(jī)視覺 等等等等3 教學(xué)目標(biāo)掌握模式識別的基本概念和方法掌握模式識別的基本概念和方法有效地運(yùn)用所學(xué)知識和方法解決實際問題有效地運(yùn)用所學(xué)知識和方法解決實際問題為研究新的模式識別的理論和方法打下基礎(chǔ)為研究新的模式識別的理論和方法打下基礎(chǔ) 4 基本要求基

2、本基本：完成課程學(xué)習(xí)，通過：完成課程學(xué)習(xí)，通過考試（或者小論考試（或者小論文），文），獲得學(xué)分。獲得學(xué)分。提高提高：能夠?qū)⑺鶎W(xué)知識和內(nèi)容用于課題研究，：能夠?qū)⑺鶎W(xué)知識和內(nèi)容用于課題研究，解決實際問題。解決實際問題。飛躍：飛躍：通過模式識別的學(xué)習(xí)，改進(jìn)思維方式，通過模式識別的學(xué)習(xí)，改進(jìn)思維方式，為將來的工作打好基礎(chǔ)，終身受益。為將來的工作打好基礎(chǔ)，終身受益。5教材教材/ /參考文獻(xiàn)參考文獻(xiàn)范九倫等，范九倫等，模式識別導(dǎo)論，西安電子科技大學(xué)出版社模式識別導(dǎo)論，西安電子科技大學(xué)出版社，20122012年。年。孫孫即祥，現(xiàn)代模式識別，高等教育出版社，即祥，現(xiàn)代模式識別，高等教育出版社，20082008

3、年。年。（國防科技大學(xué)出版社，（國防科技大學(xué)出版社，20032003版版）邊肇祺等邊肇祺等，模式識別，清華大學(xué)出版社，模式識別，清華大學(xué)出版社，20062006年。年。6講授課程內(nèi)容及安排第一章第一章 引論引論 第二章第二章 聚類分析聚類分析第三章第三章 判別域代數(shù)界面方程法判別域代數(shù)界面方程法 第四章第四章 統(tǒng)計判決統(tǒng)計判決 第五章第五章 特征提取和選擇特征提取和選擇 7第一章 引論1.1 1.1 概述概述1.2 1.2 特征矢量和特征空間特征矢量和特征空間1.3 1.3 隨機(jī)矢量的描述隨機(jī)矢量的描述1.4 1.4 正態(tài)分布正態(tài)分布概念概念n模式識別模式識別(Pattern Recognit

4、ion)(Pattern Recognition)：確定一個確定一個樣本的類別屬性（模式類）的過程，即把某一樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。樣本歸屬于多個類型中的某個類型。n樣本（樣本（Sample)Sample)：一個具體的研究（客觀）對象。一個具體的研究（客觀）對象。如患者，某人寫的一個漢字，一幅圖片等。如患者，某人寫的一個漢字，一幅圖片等。n模式模式(Pattern)(Pattern)：對客體（研究對象）特征的對客體（研究對象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測量值的集合（或綜合）

5、。界的某一樣本的測量值的集合（或綜合）。x),(21nxxxxn特征特征(Features)(Features)：能描述模式特性的量（測能描述模式特性的量（測量值）。在統(tǒng)計模式識別方法中，通常用一量值）。在統(tǒng)計模式識別方法中，通常用一個矢量個矢量 表示，稱之為特征矢量，記為表示，稱之為特征矢量，記為 n模式類模式類(Class)(Class)：具有某些共同特性的模式具有某些共同特性的模式的集合。的集合。概念概念模式識別的例子模式識別的例子計算機(jī)自動診斷疾病計算機(jī)自動診斷疾病:1.1. 獲取情況獲取情況( (信息采集信息采集) ) 測量體溫、血壓、心率、測量體溫、血壓、心率、血液化驗、血液化驗、

6、X X光透射、光透射、B B超、心電圖、超、心電圖、CTCT等盡可等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。能多的信息，并將這些信息數(shù)字化后輸入電腦。當(dāng)然在實際應(yīng)用中要考慮采集的成本，這就是當(dāng)然在實際應(yīng)用中要考慮采集的成本，這就是說說特征要進(jìn)行選擇特征要進(jìn)行選擇的。的。2.2. 運(yùn)行在電腦中的運(yùn)行在電腦中的專家系統(tǒng)專家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治龌驅(qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進(jìn)行這些數(shù)據(jù)并進(jìn)行分類分類，得出正?；虿徽５呐?，得出正常或不正常的判斷，不正常情況還要指出是什么問題。斷，不正常情況還要指出是什么問題。11對象空間對象空間模式空間模式空間特征空間特征空間類型空間類型空間各類空間（各類空間

7、（Space)Space)的概念的概念模式采集：模式采集：從客觀世界（對象從客觀世界（對象空間）到模式空間的過程稱為空間）到模式空間的過程稱為模式采集。模式采集。特征提取和特征選擇：特征提取和特征選擇：由模式由模式空間到特征空間的變換和選擇?？臻g到特征空間的變換和選擇。類型判別：類型判別：特征空間到類型空特征空間到類型空間所作的操作。間所作的操作。模模式式識識別別三三大大任任務(wù)務(wù)121.1 概述模式識別系統(tǒng)基本原理數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征提取二次特征二次特征提取與選擇提取與選擇分類分類識別識別待識待識對象對象識別結(jié)果識別結(jié)果通常在采集信息過程中，還要去除所獲取信息通常在采集信息過程中，還要

8、去除所獲取信息中的噪聲，增強(qiáng)有用的信息等工作。這種使信息中的噪聲，增強(qiáng)有用的信息等工作。這種使信息純化的處理過程叫做信息的純化的處理過程叫做信息的預(yù)處理預(yù)處理。分類識別是根據(jù)事先確定的分類識別是根據(jù)事先確定的分類規(guī)則分類規(guī)則對前面選對前面選取的特征進(jìn)行取的特征進(jìn)行分類分類（即識別）。（即識別）。通常能描述對象的元素很多，為節(jié)約資源和提通常能描述對象的元素很多，為節(jié)約資源和提高處理速度，有時更為了可行性，在滿足分類識高處理速度，有時更為了可行性，在滿足分類識別正確率要求的條件下，按某種準(zhǔn)則盡量選用對別正確率要求的條件下，按某種準(zhǔn)則盡量選用對正確分類識別作用較大的特征。使得用較少的特正確分類識別作

9、用較大的特征。使得用較少的特征就能完成分類識別任務(wù)。征就能完成分類識別任務(wù)。預(yù)處理預(yù)處理這個環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具這個環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體問題有關(guān)，例如，從體問題有關(guān)，例如，從圖象圖象中將中將汽車車牌汽車車牌的號碼的號碼識別識別出來，就需要先將出來，就需要先將車牌車牌從從圖像圖像中找出來，再中找出來，再對對車牌車牌進(jìn)行進(jìn)行劃分劃分，將每個，將每個數(shù)字?jǐn)?shù)字分別分別劃分劃分開。做到開。做到這一步以后，才能對每個這一步以后，才能對每個數(shù)字?jǐn)?shù)字進(jìn)行進(jìn)行識別識別。以上工。以上工作都應(yīng)該在預(yù)處理階段完成。作都應(yīng)該在預(yù)處理階段完成。數(shù)字化數(shù)字化比特流比特流13數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征

10、提取二次特征二次特征提取與選擇提取與選擇分類分類識別識別待識待識對象對象識別結(jié)果識別結(jié)果數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征提取改進(jìn)分類改進(jìn)分類識別規(guī)則識別規(guī)則二次特征提二次特征提取與選擇取與選擇訓(xùn)練訓(xùn)練樣本樣本改進(jìn)采集改進(jìn)采集提取方法提取方法改進(jìn)特征提改進(jìn)特征提取與選擇取與選擇制定改進(jìn)分制定改進(jìn)分類識別規(guī)則類識別規(guī)則人工人工干預(yù)干預(yù)正確率正確率測試測試14模式識別系統(tǒng)的主要環(huán)節(jié)：模式識別系統(tǒng)的主要環(huán)節(jié)：特征提?。禾卣魈崛。悍柋硎?，如長度、波形、。符號表示，如長度、波形、。特征選擇：特征選擇：選擇有代表性的特征，能夠正確分類選擇有代表性的特征，能夠正確分類學(xué)習(xí)和訓(xùn)練：學(xué)習(xí)和訓(xùn)練：利用已知樣本建立分類

11、和識別規(guī)則利用已知樣本建立分類和識別規(guī)則分類識別：分類識別：對所獲得樣本按建立的分類規(guī)則進(jìn)行對所獲得樣本按建立的分類規(guī)則進(jìn)行分類識別分類識別15紙幣識別器對紙幣按面額進(jìn)行分類紙幣識別器對紙幣按面額進(jìn)行分類 面額面額1.1 概述系統(tǒng)實例5元10元20元50元100元161.1 概述系統(tǒng)實例 長度長度(mm) (mm) 寬度寬度(mm)(mm)5 5元元13613663631010元元14114170702020元元14614670705050元元1511517070100100元元1561567777171.1 概述系統(tǒng)實例磁性磁性金屬條位置金屬條位置( (大約大約) )5 5元元有有 54/8

12、254/821010元元有有 54/8754/872020元元有有 57/8957/895050元元有有 60/9160/91100100元元有有 63/9363/935元 10元 20元 50元 100元12345678反反射射光光波波形形191.1 概述系統(tǒng)實例數(shù)據(jù)采集、特征提?。簲?shù)據(jù)采集、特征提?。?長度、寬度、磁性、磁性的位置，光反射亮度、光長度、寬度、磁性、磁性的位置，光反射亮度、光透射亮度等等透射亮度等等 特征選擇：特征選擇： 長度、磁性及位置、反射亮度長度、磁性及位置、反射亮度分類識別：分類識別： 確定紙幣的面額及真?zhèn)未_定紙幣的面額及真?zhèn)?01.1 概述系統(tǒng)實例訓(xùn)練集：訓(xùn)練集：是

13、一個已知樣本集，在監(jiān)督學(xué)習(xí)方法是一個已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來開發(fā)出模式分類器。中，用它來開發(fā)出模式分類器。測試集：測試集：在設(shè)計識別和分類系統(tǒng)時沒有用過的在設(shè)計識別和分類系統(tǒng)時沒有用過的獨立樣本集。獨立樣本集。系統(tǒng)評價原則：系統(tǒng)評價原則：為了更好地對模式識別系統(tǒng)性為了更好地對模式識別系統(tǒng)性能進(jìn)行評價，必須使用一組獨立于訓(xùn)練集的測能進(jìn)行評價，必須使用一組獨立于訓(xùn)練集的測試集對系統(tǒng)進(jìn)行測試。試集對系統(tǒng)進(jìn)行測試。21例:汽車車牌識別n從攝像頭獲取包含車牌的彩色圖象從攝像頭獲取包含車牌的彩色圖象n車牌定位和獲取車牌定位和獲取n字符分割和識別字符分割和識別輸入圖象輸入圖象特征提取特征提取粗略

14、定位粗略定位分割字符分割字符確定類型確定類型精細(xì)定位精細(xì)定位識別、輸出識別、輸出2223241.1 概述模式識別的基本方法一、統(tǒng)計模式識別一、統(tǒng)計模式識別二、句法模式識別二、句法模式識別三、模糊模式識別三、模糊模式識別四、人工神經(jīng)網(wǎng)絡(luò)法四、人工神經(jīng)網(wǎng)絡(luò)法五、人工智能方法五、人工智能方法251.1 概述模式識別的基本方法一、統(tǒng)計模式識別一、統(tǒng)計模式識別模式描述方法：模式描述方法： 特征向量特征向量 模式判定：模式判定： 模式類用條件概率分布模式類用條件概率分布P(X/P(X/ i i) )表示表示,m,m類就有類就有m m個分布，然后判定未知模式屬于哪一個分布。個分布，然后判定未知模式屬于哪一個

15、分布。),(21nxxxx261.1 概述模式識別的基本方法一、統(tǒng)計模式識別一、統(tǒng)計模式識別理論基礎(chǔ)：理論基礎(chǔ)：概率論，數(shù)理統(tǒng)計概率論，數(shù)理統(tǒng)計主要方法：主要方法：線性、非線性分類、線性、非線性分類、BayesBayes決策、聚類分析決策、聚類分析主要優(yōu)點：主要優(yōu)點： 1 1）比較成熟）比較成熟 2 2）能考慮干擾噪聲等影響）能考慮干擾噪聲等影響 3 3）識別模式基元能力強(qiáng)）識別模式基元能力強(qiáng)主要缺點：主要缺點： 1 1）對結(jié)構(gòu)復(fù)雜的模式抽取特征困難）對結(jié)構(gòu)復(fù)雜的模式抽取特征困難2 2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)3 3）難以從整體角度

16、考慮識別問題）難以從整體角度考慮識別問題271.1 概述模式識別的基本方法二、句法模式識別二、句法模式識別模式描述方法：模式描述方法： 符號串，樹，圖符號串，樹，圖模式判定：模式判定： 是一種語言，用一個文法表示一個類，是一種語言，用一個文法表示一個類，m m類就類就有有m m個文法，然后判定未知模式遵循哪一個文法。個文法，然后判定未知模式遵循哪一個文法。28例例2 2：如下圖中一幅圖形，要識別圖中的物體，：如下圖中一幅圖形，要識別圖中的物體，選用句法模式識別方法選用句法模式識別方法. .1.1 概述模式識別的基本方法29解：解：圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡單的子圖圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡

17、單的子圖（背景、物體）。（背景、物體）。構(gòu)成一個多級樹結(jié)構(gòu)：構(gòu)成一個多級樹結(jié)構(gòu)：1.1 概述模式識別的基本方法30n在學(xué)習(xí)過程中，確定基元與基元之間的在學(xué)習(xí)過程中，確定基元與基元之間的關(guān)系，推斷出生成景物的方法。關(guān)系，推斷出生成景物的方法。n判決過程中，首先提取基元，識別基元判決過程中，首先提取基元，識別基元之間的連接關(guān)系，使用推斷的文法規(guī)則之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入做句法分析。若分析成立，則判斷輸入的景物屬于相應(yīng)的類型。的景物屬于相應(yīng)的類型。1.1 概述模式識別的基本方法31理論基礎(chǔ)：理論基礎(chǔ)：形式語言，自動機(jī)技術(shù)形式語言，自動機(jī)技術(shù)主要方法：主要方

18、法：自動機(jī)技術(shù)、自動機(jī)技術(shù)、CYKCYK剖析算法、剖析算法、EarlyEarly算法、算法、轉(zhuǎn)移圖法轉(zhuǎn)移圖法主要優(yōu)點主要優(yōu)點：1 1）識別方便，可以從簡單的基元開始，由簡至繁。）識別方便，可以從簡單的基元開始，由簡至繁。2 2）能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)。）能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)。3 3）對圖象畸變的抗干擾能力較強(qiáng)。）對圖象畸變的抗干擾能力較強(qiáng)。主要缺點：主要缺點：當(dāng)存在干擾及噪聲時，抽取特征基元困難，且易失誤。當(dāng)存在干擾及噪聲時，抽取特征基元困難，且易失誤。1.1 概述模式識別的基本方法321.1 概述模式識別的基本方法三、模糊模式識別三、模糊模式識別模式描述方法

19、：模式描述方法： 模糊集合模糊集合 A=(A=( a a,a), (,a), ( b b,b),. (,b),. ( n n,n),n)模式判定：模式判定： 是一種集合運(yùn)算。用隸屬度將模糊集合劃分是一種集合運(yùn)算。用隸屬度將模糊集合劃分為若干子集，為若干子集， m m類就有類就有m m個子集，然后根據(jù)擇近原個子集，然后根據(jù)擇近原則分類。則分類。33理論基礎(chǔ)：理論基礎(chǔ)：模糊數(shù)學(xué)模糊數(shù)學(xué)主要方法：主要方法：模糊統(tǒng)計法、二元對比排序法、推理法、模糊統(tǒng)計法、二元對比排序法、推理法、模糊集運(yùn)算規(guī)則、模糊矩陣模糊集運(yùn)算規(guī)則、模糊矩陣主要優(yōu)點主要優(yōu)點：由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，由于隸屬度函

20、數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。相當(dāng)程度的干擾與畸變。主要缺點：主要缺點：準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用。應(yīng)用。1.1 概述模式識別的基本方法341.1 概述模式識別的基本方法四、人工神經(jīng)網(wǎng)絡(luò)法四、人工神經(jīng)網(wǎng)絡(luò)法模式描述方法：模式描述方法： 以不同活躍度表示的輸入節(jié)點集（神經(jīng)元）以不同活躍度表示的輸入節(jié)點集（神經(jīng)元）模式判定：模式判定： 是一個非線性動態(tài)系統(tǒng)。通過對樣本的學(xué)習(xí)是一個非線性動態(tài)系統(tǒng)。通過對樣本的學(xué)習(xí)建

21、立起記憶，然后將未知模式判決為其最接近的建立起記憶，然后將未知模式判決為其最接近的記憶。記憶。35理論基礎(chǔ)：理論基礎(chǔ)：神經(jīng)生理學(xué)，心理學(xué)神經(jīng)生理學(xué)，心理學(xué)主要方法：主要方法：BPBP模型、模型、HOPHOP模型、高階網(wǎng)模型、高階網(wǎng)主要優(yōu)點主要優(yōu)點：可處理一些環(huán)境信息十分復(fù)雜，背景知識不清楚，推可處理一些環(huán)境信息十分復(fù)雜，背景知識不清楚，推理規(guī)則不明確的問題。允許樣本有較大的缺損、畸變。理規(guī)則不明確的問題。允許樣本有較大的缺損、畸變。主要缺點：主要缺點：模型在不斷豐富與完善中，目前能識別的模式類還不模型在不斷豐富與完善中，目前能識別的模式類還不夠多。夠多。1.1 概述模式識別的基本方法361.1

22、 概述模式識別的基本方法五、邏輯推理法（人工智能法）五、邏輯推理法（人工智能法）模式描述方法：模式描述方法： 字符串表示的事實字符串表示的事實模式判定：模式判定： 是一種布爾運(yùn)算。從事實出發(fā)運(yùn)用一系列規(guī)是一種布爾運(yùn)算。從事實出發(fā)運(yùn)用一系列規(guī)則，推理得到不同結(jié)果，則，推理得到不同結(jié)果，m m個類就有個類就有m m個結(jié)果。個結(jié)果。37理論基礎(chǔ)：理論基礎(chǔ)：演繹邏輯，布爾代數(shù)演繹邏輯，布爾代數(shù)主要方法：主要方法：產(chǎn)生式推理、語義網(wǎng)推理、框架推理產(chǎn)生式推理、語義網(wǎng)推理、框架推理主要優(yōu)點主要優(yōu)點：已建立了關(guān)于知識表示及組織，目標(biāo)搜索及匹配的完已建立了關(guān)于知識表示及組織，目標(biāo)搜索及匹配的完整體系。對需要眾多

23、規(guī)則的推理達(dá)到識別目標(biāo)確認(rèn)的整體系。對需要眾多規(guī)則的推理達(dá)到識別目標(biāo)確認(rèn)的問題，有很好的效果。問題，有很好的效果。主要缺點：主要缺點：當(dāng)樣本有缺損，背景不清晰，規(guī)則不明確甚至有歧義當(dāng)樣本有缺損，背景不清晰，規(guī)則不明確甚至有歧義時，效果不好。時，效果不好。1.1 概述模式識別的基本方法381.1 概述模式識別的發(fā)展簡史19291929年年 G. TauschekG. Tauschek發(fā)明閱讀機(jī)發(fā)明閱讀機(jī) ，能夠閱，能夠閱讀讀0-90-9的數(shù)字。的數(shù)字。3030年代年代 FisherFisher提出統(tǒng)計分類理論，奠定了提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。統(tǒng)計模式識別的基礎(chǔ)。5050年代年代

24、 Noam Chemsky Noam Chemsky 提出形式語言理論提出形式語言理論傅京蓀提出句法傅京蓀提出句法/ /結(jié)構(gòu)模式識別。結(jié)構(gòu)模式識別。6060年代年代 L.A.ZadehL.A.Zadeh提出了模糊集理論，模糊提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。模式識別方法得以發(fā)展和應(yīng)用。391.1 概述模式識別的發(fā)展簡史8080年代年代 以以HopfieldHopfield網(wǎng)、網(wǎng)、BPBP網(wǎng)為代表的神經(jīng)網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。并在模式識別得到較廣泛的應(yīng)用。9090年代年代 小樣本學(xué)習(xí)理論，支持向量

25、機(jī)也受小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。到了很大的重視。401.1 概述模式識別的應(yīng)用(舉例)n生物學(xué)生物學(xué)自動細(xì)胞學(xué)、染色體特性研究、遺傳研究自動細(xì)胞學(xué)、染色體特性研究、遺傳研究n天文學(xué)天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動光譜學(xué)天文望遠(yuǎn)鏡圖像分析、自動光譜學(xué)n經(jīng)濟(jì)學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測、企業(yè)行為分析股票交易預(yù)測、企業(yè)行為分析n醫(yī)學(xué)醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析411.1 概述主要實用系統(tǒng)舉例n文字識別（文字識別（Character Recognition）OCR（Optical Character Recognition）n智能交通（智能交通

26、（Intelligent Traffic）車牌、車型。車牌、車型。n語音識別（語音識別（Speech recognition）翻譯機(jī)，身份識別等翻譯機(jī)，身份識別等n目標(biāo)識別目標(biāo)識別ATR（Automaic Target Recognition）42431.2 特征矢量和特征空間441.3 隨機(jī)矢量的描述隨機(jī)矢量：隨機(jī)矢量： 在模式識別過程中，要對許多具體對在模式識別過程中，要對許多具體對象進(jìn)行測量，以獲得許多次觀測值。象進(jìn)行測量，以獲得許多次觀測值。 每次觀測值不一定相同，所以對許多每次觀測值不一定相同，所以對許多對象而言，各個特征分量都是隨機(jī)變量，對象而言，各個特征分量都是隨機(jī)變量，即許多對

27、象的特征向量在即許多對象的特征向量在n n維空間中呈隨維空間中呈隨機(jī)性分布，稱為隨機(jī)矢量。機(jī)性分布，稱為隨機(jī)矢量。451.3 隨機(jī)矢量的描述P),(21nXXXX),(21nxxxx),(),(221121nnnxXxXxXPxxxF)()(xXPxF(一一)隨機(jī)矢量的分布函數(shù)：隨機(jī)矢量的分布函數(shù)：設(shè)設(shè) 為隨機(jī)矢量，為隨機(jī)矢量， 為確定性矢量。為確定性矢量。 隨機(jī)矢量的聯(lián)合概率分布函數(shù)定義為：隨機(jī)矢量的聯(lián)合概率分布函數(shù)定義為： 式中式中 表示括號中事件同時發(fā)生的概率。表示括號中事件同時發(fā)生的概率。 461.3 隨機(jī)矢量的描述( (一一) )隨機(jī)矢量的分布函數(shù)：隨機(jī)矢量的分布函數(shù)：)(),(21

28、xpxxxpnnnnxxxxxxF2121),(X隨機(jī)矢量隨機(jī)矢量 的聯(lián)合概率密度函數(shù)定義為：的聯(lián)合概率密度函數(shù)定義為： 471.3 隨機(jī)矢量的描述4812X1X121.3 隨機(jī)矢量的描述x xp(x)p(x)(1xp)(2xp2491.3 隨機(jī)矢量的描述501.3 隨機(jī)矢量的描述( (二二) )隨機(jī)矢量的數(shù)字特征：隨機(jī)矢量的數(shù)字特征：其中，其中， 的分量：的分量： 1212E()d.(,.,)d d.diiiiiinniXx p xxx p x xxxxxX)(ixpXiX式中，式中， 是是 的第的第 個分量的邊緣個分量的邊緣密度。隨機(jī)矢量密度。隨機(jī)矢量 的均值矢量的均值矢量 的各的各分量是

29、相應(yīng)的各隨機(jī)分量的均值。分量是相應(yīng)的各隨機(jī)分量的均值。511.3 隨機(jī)矢量的描述( (二二) )隨機(jī)矢量的數(shù)字特征：隨機(jī)矢量的數(shù)字特征： 條件期望條件期望在模式識別中，經(jīng)常以類別在模式識別中，經(jīng)常以類別 作為條件，在這作為條件，在這種情況下隨機(jī)矢量種情況下隨機(jī)矢量 的條件期望矢量定義為的條件期望矢量定義為iE|(|)dniiiXXxp xxX521.3 隨機(jī)矢量的描述隨機(jī)矢量隨機(jī)矢量 的自協(xié)方差矩陣表征各分量圍繞的自協(xié)方差矩陣表征各分量圍繞其均值的散布情況及各分量間的相關(guān)關(guān)系，其均值的散布情況及各分量間的相關(guān)關(guān)系，其定義為：其定義為：XE()() XXXX2()() ( )d()nijn nXxxp xx (二二)隨機(jī)矢量的數(shù)字特征：隨機(jī)矢量的數(shù)