模式識別基礎(chǔ)課件：第一章 緒論

1、1模 式 識 別相關(guān)學(xué)科2統(tǒng)計(jì)學(xué)概率論線性代數(shù)（矩陣分析）形式語言人工智能圖像處理計(jì)算機(jī)視覺教學(xué)目的3著重講述模式識別的基本概念，基本方法和算法原理注重理論與實(shí)踐的緊密結(jié)合大作業(yè)課堂講解掌握思想，為研究新的模式識別理論和方法打下基礎(chǔ)4課 程 簡 介教材和參考書 模式識別 張學(xué)工 等 編著 清華大學(xué)出版社 Pattern Classification Richard O. Duda Peter E. Hart David G. Stork China Machine Press （有中譯本）5課 程 簡 介Pattern Classification講授內(nèi)容1. 緒論2. Bayes決策理論3.

2、 線性判別函數(shù)4. 人工神經(jīng)網(wǎng)絡(luò)5. 近鄰法6. 非監(jiān)督學(xué)習(xí)的方法7. 模式識別的應(yīng)用78課 程 簡 介教學(xué)安排 總學(xué)時32課堂教學(xué) 28實(shí)驗(yàn) 4第4周、第7周考試2考試方式開卷筆試成績評定考試（50） 實(shí)驗(yàn)（30） 平時（20）9第一章 緒 論1.1 課程簡介1.2設(shè)計(jì)實(shí)例1.3 模式識別系統(tǒng)1.4 設(shè)計(jì)循環(huán)1.5 學(xué)習(xí)和自適應(yīng)1.6 小結(jié)10課 程 簡 介主要內(nèi)容 模式識別的基本概念 模式識別系統(tǒng)的構(gòu)成 模式識別的基本理論與方法 最新進(jìn)展和存在的問題11課 程 簡 介基本概念模式 (Pattern) 存在于時間和空間中可觀察的事物，具有時間或空間分布的信息。模式識別 (Pattern Re

3、cognition) 用計(jì)算機(jī)通過各種數(shù)學(xué)的方法實(shí)現(xiàn)自動的對各種事物或現(xiàn)象的描述、分析、判斷、識別。確定一個樣本類別屬性（模式類）的過程，即把某一個樣本歸屬于多個類型中的某一類型?；靖拍顦颖荆╯ample）:一個具體的研究對象，如：患者、某一個漢字、一副圖片等。特征（Feature）:能夠描述模式特性的量（測量值）。在統(tǒng)計(jì)模式識別方法中，通常用向量表示，如模式類（Class）：具有某些共同特性的模式的集合。12基本概念1314 Optical Character Recognition (OCR) Biometrics Diagnostic systems Military applicat

4、ions Handwritten: sorting letters by postal code, input device for PDAs. Printed texts: reading machines for blind people, digitalization of text documents. Face recognition, verification, retrieval. Finger prints recognition. Speech recognition. Medical diagnosis: X-Ray, EKG analysis. Machine diagn

5、ostics, waster detection. Automated Target Recognition (ATR). Image segmentation and analysis (recognition from aerial or satelite photographs).模式識別的應(yīng)用模式的例子模式（另一種定義）：對客體（研究對象）特征的描述（定量或結(jié)構(gòu)上的描述），是取自客觀世界某一樣本的測量值的集合（或綜合）。例子：15模式的例子16Biological PatternsPeople Recognition模式的例子17A broad range of texture pat

6、terns are generated by stochastic processes. 模式的例子18Discovery and Association of PatternsStatistics show connections between the shape of ones face (adults) and his/her Character. There is also evidence that the outline of childrens face is related to alcohol abuse during pregnancy.19應(yīng)用舉例20應(yīng)用舉例應(yīng)用舉例2

7、122應(yīng)用舉例23應(yīng)用舉例模式識別系統(tǒng)典型的模式識別系統(tǒng)2425設(shè) 計(jì) 實(shí) 例魚類加工廠需要將傳送帶上的魚自動進(jìn)行分類 鱸魚類別馬哈魚26問題分析采用攝像機(jī)獲取圖像，根據(jù)圖像對魚進(jìn)行分類?？赡苡龅降膯栴}：目標(biāo)的提取預(yù)處理分類的依據(jù)特征提取判別的規(guī)則分類器設(shè)計(jì)設(shè) 計(jì) 實(shí) 例27設(shè) 計(jì) 實(shí) 例28預(yù)處理 方便后續(xù)操作，同時又不損失關(guān)鍵信息。去除噪聲光照調(diào)整目標(biāo)提取方向、位置調(diào)整大小規(guī)一化 在本例中需要采用分割技術(shù)將魚和魚、魚和背景分開設(shè) 計(jì) 實(shí) 例29設(shè) 計(jì) 實(shí) 例特征提取 原始數(shù)據(jù)量巨大，往往含有很多冗余信息，為了有效實(shí)現(xiàn)分類識別，需要對原始數(shù)據(jù)進(jìn)行變換，以便得到最能反映分類本質(zhì)的特征。 可以考

8、慮的特征：長度光澤寬度鰭的數(shù)目和形狀嘴的位置, 等等30分類 根據(jù)某種判決規(guī)則將被識別對象歸為某一類別。 基本方法是在訓(xùn)練樣本集上確定某個判決規(guī)則，使按這種判決規(guī)則對被識別對象進(jìn)行分類所造成的錯誤識別率最小或引起的損失最小。設(shè) 計(jì) 實(shí) 例31設(shè) 計(jì) 實(shí) 例采用長度作為特征32結(jié)論單獨(dú)使用長度錯誤率太高必須考慮其它特征改進(jìn)措施采用光澤度進(jìn)行新的嘗試設(shè) 計(jì) 實(shí) 例33設(shè) 計(jì) 實(shí) 例“Customers do not want sea bass in their cans of salmon”選擇決策域的問題34運(yùn)用多種特征 光澤度和寬度魚 xT = x1, x2光澤度寬度設(shè) 計(jì) 實(shí) 例35設(shè) 計(jì)

9、實(shí) 例36我們可以嘗試增加其他特征，但必須注意兩點(diǎn)：新增特征與已有特征不相關(guān)不會引起性能的下降我們還可以改進(jìn)分類器模型，達(dá)到如下圖所示的效果：設(shè) 計(jì) 實(shí) 例37設(shè) 計(jì) 實(shí) 例38討論這樣的效果好嗎？是否具有廣泛適用性？設(shè) 計(jì) 實(shí) 例39設(shè) 計(jì) 實(shí) 例討論 我們的目標(biāo)是使所設(shè)計(jì)的分類器能夠正確識別未知樣本, 對已知樣本的正確分類是否能夠保證對未知樣本正確分類？ 泛化能力!40設(shè) 計(jì) 實(shí) 例存在的問題決策邊界過于復(fù)雜運(yùn)算量大數(shù)學(xué)表達(dá)困難對未知樣本的分類錯誤率高41設(shè) 計(jì) 實(shí) 例理想狀況42決策規(guī)則考慮決策邊界和損失 如果兩種錯誤代價相同，則以最小錯誤率為準(zhǔn)則；如果兩 種錯誤代價不等，則以最小風(fēng)險為

10、準(zhǔn)則?？梢哉{(diào)整將閾值邊界，確定最優(yōu)的分界點(diǎn)。確定某種決策規(guī)則，使得決策所引起的損失最小，這是決策理論的核心任務(wù)。設(shè) 計(jì) 實(shí) 例43模 式 識 別 系 統(tǒng)信號獲取使用傳感器，將各種其他性質(zhì)的信號轉(zhuǎn)換為電信號。模式識別系統(tǒng)的性能依賴于傳感器的性能，如帶寬、分辨率、靈敏度、失真、信噪比等。在實(shí)踐中盡管同樣重要，但已超出了本課的范圍。44模 式 識 別 系 統(tǒng)預(yù)處理 去除噪聲，加強(qiáng)有用信息，對輸入設(shè)備或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。方便后續(xù)處理的操作：目標(biāo)提取，分割，位置、大小、方向的規(guī)一化等等。 分割悖論：分割與識別互為前提 要正確識別，須準(zhǔn)確分割；要正確分割，則須準(zhǔn)確識別。45模 式 識 別 系

11、 統(tǒng)特征提取原始數(shù)據(jù)量巨大，往往含有很多冗余信息，為了有效實(shí)現(xiàn)分類識別，需要對原始數(shù)據(jù)進(jìn)行變換，以便得到最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過程。原始數(shù)據(jù)組成的空間叫做測量空間，分類識別賴以進(jìn)行的空間叫做特征空間。通過變換，可以把在維數(shù)較高的測量空間中表示的模式變?yōu)樵诰S數(shù)較低的特征空間中表示的模式。在特征空間中的一個模式通常也叫做一個樣本，它往往可以表示為一個向量，即特征空間中的一個點(diǎn)。46模 式 識 別 系 統(tǒng)分類決策根據(jù)某種判決規(guī)則將被識別對象規(guī)為某一類別?；痉椒ㄓ袃纱箢悾航y(tǒng)計(jì)方法和結(jié)構(gòu)（句法）方法。 統(tǒng)計(jì)模式識別的基本作法是在訓(xùn)練樣本集上確定某個判決規(guī)則，使按這種判決規(guī)則對被

12、識別對象進(jìn)行分類所造成的錯誤識別率最小或引起的損失最小。通?？梢越o每個類別命名，并且用特定的符號來表達(dá)這個名字，稱之為類別空間。這樣，分類可以看成是從特征空間到類別空間的映射。47模 式 識 別 系 統(tǒng)后處理利用分類器的輸出結(jié)果來確定合適的動作。采用上下文信息來改善系統(tǒng)的性能，上下文信息通常來自于輸入數(shù)據(jù)，而不是目標(biāo)模式本身。其他改善系統(tǒng)性能的技術(shù)，如多分類器的組合等。48模 式 識 別 系 統(tǒng)49設(shè) 計(jì) 循 環(huán)數(shù)據(jù)采集特征選擇模型選擇訓(xùn)練評估計(jì)算復(fù)雜度50設(shè) 計(jì) 循 環(huán)51數(shù)據(jù)采集數(shù)據(jù)采集耗時費(fèi)力花錢；數(shù)據(jù)要盡量多；數(shù)據(jù)要有代表性；數(shù)據(jù)至少應(yīng)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)；如何確定數(shù)據(jù)是否足夠？設(shè)

13、計(jì) 循 環(huán)52設(shè) 計(jì) 循 環(huán)特征選擇取決于特定問題領(lǐng)域的性質(zhì)；先驗(yàn)知識非常重要；容易提取、對不相關(guān)變形具有不變性、對噪聲不敏感等；對區(qū)分不同類別模式的有效性；如何將先驗(yàn)知識和實(shí)驗(yàn)數(shù)據(jù)結(jié)合起來，以發(fā)現(xiàn)有效的特征？53模型選擇有很多分類器模型可供選擇；不同的模型適用于不同的問題；盡量使選擇的模型與實(shí)際問題相符；如何知道應(yīng)該拒絕某類模型而去嘗試其他模型？設(shè) 計(jì) 循 環(huán)54訓(xùn)練利用樣本數(shù)據(jù)來確定分類器參數(shù)的過程稱為分類器的訓(xùn)練；實(shí)踐表明，基于樣本學(xué)習(xí)的方法是目前設(shè)計(jì)分類器的最有效的方法；基于樣本學(xué)習(xí)的方法是分類器設(shè)計(jì)的核心，是模式識別的核心，也是本課程的核心；如何組織訓(xùn)練樣本、確定訓(xùn)練參數(shù)？設(shè) 計(jì) 循

14、 環(huán)55評估評價系統(tǒng)性能；決定是否需要改進(jìn)系統(tǒng)的組成部件；避免過擬合（Overfitting），所謂過擬合，是指系統(tǒng)過于復(fù)雜，以至于對訓(xùn)練樣本集識別率很高，但對于新樣本則可能效果不佳；折中模型的復(fù)雜程度，既不能太簡單以至于不足以描述模式類間的差異，又不能太復(fù)雜而對新樣本的分類能力太差；是否存在原則性的方法能確定分類器具有最佳的復(fù)雜度？設(shè) 計(jì) 循 環(huán)56計(jì)算復(fù)雜度考慮不同算法的計(jì)算資源消耗和計(jì)算復(fù)雜度有著重要的實(shí)踐意義。要考慮某個算法的計(jì)算復(fù)雜度是特征維數(shù)、模式數(shù)目或類別數(shù)的什么函數(shù)？如何在算法性能和計(jì)算復(fù)雜度之間進(jìn)行折中？設(shè) 計(jì) 循 環(huán)57學(xué) 習(xí) 和 自 適 應(yīng)對于任何實(shí)際的識別問題都難以事先

15、給出最佳分類規(guī)則，因此必須研究機(jī)器學(xué)習(xí)問題；分類器的設(shè)計(jì)過程為：選擇某種分類器模型，利用訓(xùn)練樣本來學(xué)習(xí)或估計(jì)分類器模型的參數(shù)。學(xué)習(xí)的方法是采用某種算法來降低模型對訓(xùn)練樣本的分類誤差。58學(xué) 習(xí) 和 自 適 應(yīng)監(jiān)督學(xué)習(xí)有“教師”為訓(xùn)練樣本集中的每個輸入樣本提供類別標(biāo)號。非監(jiān)督學(xué)習(xí)沒有顯式的“教師”，系統(tǒng)對輸入樣本自動形成“聚類”。強(qiáng)化學(xué)習(xí) 不需要“教師”指明類別標(biāo)號，但需要“教師”對當(dāng)前分類結(jié)果給出對或錯的反饋，系統(tǒng)從這種不明確的反饋中進(jìn)行學(xué)習(xí)。即“教師”只需給出對或錯，無需指明錯在哪里。59小 結(jié)統(tǒng)計(jì)模式識別的基本概念樣本 Sample: 待研究對象的個體，包括性質(zhì)已知或未知的個體。類別 Cl

16、ass: 將所研究的樣本性質(zhì)離散化為有限的類別，認(rèn)為同一類的樣本在該性質(zhì)上是不可區(qū)分的。 習(xí)慣上，類別用 表示，如1、2，也可用 -1,1 或 0,1 表示。已知樣本 Known samples: 類別情況已知的樣本。未知樣本 Unknown samples: 類別情況未知的樣本。樣本集 Sample set: 若干樣本的集合，分已知樣本集和未知樣本集。訓(xùn)練樣本集 Training set: 簡稱訓(xùn)練集，用于設(shè)計(jì)分類器（確定分類器參數(shù)）的樣本集。測試樣本集 Testing set: 簡稱測試集，用于測試分類器和識別系統(tǒng)性能的樣本集。60小 結(jié)特征 Features：樣本的任何可區(qū)分的（且可觀測的）方面。 包括定量特征和定性特征，但通常最后轉(zhuǎn)化為定量特征。特征向量 Feature vectors：樣本的所有特征組成的n 維向量，是樣本在數(shù)學(xué)上的表達(dá)，因此也稱作樣本。特征空間 Feature space：特征向量所在的n 維空間，每一個樣本（特征向量）是該空間中的一個點(diǎn)，一個類別是該空間中的一個區(qū)域。61小 結(jié)分類器 Classifier: 能夠