模式識(shí)別導(dǎo)論

1、2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院1模式識(shí)別模式識(shí)別Pattern Recognition2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院2聯(lián)系方式n劉波nEmail: 2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院3教材與參考書教材與參考書o（一）推薦教材（一）推薦教材 邊肇祺邊肇祺,張學(xué)工張學(xué)工模式識(shí)別模式識(shí)別（第二版，第三版）（第二版，第三版） 北京：清華大學(xué)出版社，北京：清華大學(xué)出版社，2000（2010）。）。o（二）參考書（二）參考書 1.Richard O.Duda,Peter E.Hart,David G.Stork 模式分類（第二版）模式分類（第二版） 北京：北京：

2、機(jī)械工業(yè)出版社機(jī)械工業(yè)出版社 2003.9 2.Sergios Theodoridis 模式識(shí)別（第二版翻譯）北京：電子工業(yè)出版社模式識(shí)別（第二版翻譯）北京：電子工業(yè)出版社2004.8 3. J.P. Marques de sa模式識(shí)別原理、方法及應(yīng)用模式識(shí)別原理、方法及應(yīng)用，北京：清華大學(xué)出，北京：清華大學(xué)出版社，版社，2002。 4. 楊光正等楊光正等模式識(shí)別模式識(shí)別， 北京：中國科學(xué)科技大學(xué)出版社，北京：中國科學(xué)科技大學(xué)出版社，2003。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院4相關(guān)的國內(nèi)、國際學(xué)術(shù)組織相關(guān)的國內(nèi)、國際學(xué)術(shù)組織o1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國際會(huì)議

3、“ICPR”，成立了國際模式識(shí)別協(xié)會(huì)-“IAPR”，每2年召開一次國際學(xué)術(shù)會(huì)議。o1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)，每2年召開一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議。o國內(nèi)的組織有電子學(xué)會(huì)，通信學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。本領(lǐng)域相關(guān)期刊o外文期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI);o中文期刊：模式識(shí)別與人工智能，中國自動(dòng)化學(xué)會(huì)等主辦，月刊2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院5學(xué)習(xí)及考核o相關(guān)背景n概率論，n線性代數(shù)（矩陣計(jì)算）o考核方式n筆試

4、（閉卷）n各教學(xué)環(huán)節(jié)占總分的比例：平時(shí)成績占40%，期末考試成績占60%2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院62021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院7第一章第一章 概論概論 1-1 模式識(shí)別的基本概念模式識(shí)別的基本概念o模式識(shí)別廣泛存在于我們的日常生活中，我模式識(shí)別廣泛存在于我們的日常生活中，我們幾乎每時(shí)每刻都在進(jìn)行模式識(shí)別們幾乎每時(shí)每刻都在進(jìn)行模式識(shí)別n人們?cè)谟^察各種事物或接受各種客觀現(xiàn)象的時(shí)人們?cè)谟^察各種事物或接受各種客觀現(xiàn)象的時(shí)候，常把它們分成由各個(gè)相似的但又不完全相候，常把它們分成由各個(gè)相似的但又不完全相同的事物或現(xiàn)象組成的類別，幾乎每一項(xiàng)活動(dòng)同的事物或現(xiàn)象組成的類別

5、，幾乎每一項(xiàng)活動(dòng)都離不開對(duì)外界事物的分類和識(shí)別。都離不開對(duì)外界事物的分類和識(shí)別。n比如，我們今天來這里上課就要先識(shí)別課表比如，我們今天來這里上課就要先識(shí)別課表（字符識(shí)別），來教室的路線（環(huán)境識(shí)別），（字符識(shí)別），來教室的路線（環(huán)境識(shí)別），以及教室的識(shí)別（數(shù)字識(shí)別）等等，聽課（聲以及教室的識(shí)別（數(shù)字識(shí)別）等等，聽課（聲音識(shí)別）；音識(shí)別）；2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院8人和動(dòng)物都具有模式識(shí)別的能力人和動(dòng)物都具有模式識(shí)別的能力o人腦具有模式識(shí)別的能力人腦具有模式識(shí)別的能力n比如，字母比如，字母“B”可以有各種各樣的寫法，但是他們都可以有各種各樣的寫法，但是他們都屬于同一類別。更重要

6、的是，即使有某個(gè)寫法屬于同一類別。更重要的是，即使有某個(gè)寫法“B”，人們過去從未見過，也很容易把它分到人們過去從未見過，也很容易把它分到“B”這個(gè)類別這個(gè)類別中去。中去。n又比如，我們今天見到的張三和上次見到的張三已經(jīng)又比如，我們今天見到的張三和上次見到的張三已經(jīng)不完全相同，但我們?nèi)匀荒軌蛘_地識(shí)別不完全相同，但我們?nèi)匀荒軌蛘_地識(shí)別o除了人，很多動(dòng)物也具有一定的模式識(shí)別能力除了人，很多動(dòng)物也具有一定的模式識(shí)別能力n蝙蝠的雷達(dá)系統(tǒng)蝙蝠的雷達(dá)系統(tǒng)n夠看到主人會(huì)搖頭擺尾，見到生人會(huì)狂吠不止夠看到主人會(huì)搖頭擺尾，見到生人會(huì)狂吠不止n為了生存，最低等的動(dòng)物也要識(shí)別食物和敵害，并做為了生存，最低等的動(dòng)物

7、也要識(shí)別食物和敵害，并做出不同的反應(yīng)出不同的反應(yīng)2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院9模式的概念模式的概念n 模式(pattern)l代表事物的模板或原型；l表征事物特點(diǎn)的特征或性狀的組合；l模式是一種規(guī)律，可以看作是對(duì)象的組成部分或影響因素間存在的規(guī)律性關(guān)系，或者是因素間存在確定性或隨機(jī)性規(guī)律的對(duì)象，過程或事件的集合；l廣義地說，存在于時(shí)間和空間中可觀察的事物，如果我們可以區(qū)分它們是否相同或是否相似，都可以稱之為模式；l模式所指的不是事物本身，而是我們從事物獲得的信息l模式往往表現(xiàn)為具有時(shí)間或空間分布的信息 模式的概念（續(xù)）o模式（pattern）n凡是人類能用其感官直接或間接接受

8、的外界信息都稱為模式，例如o文字，圖片，景物，聲音，語言；o心電圖，腦電圖，地震波；o社會(huì)經(jīng)濟(jì)現(xiàn)象，某個(gè)系統(tǒng)的狀態(tài)；n模式的直觀特性o可觀察性o可區(qū)分性o相似性2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院10模式識(shí)別的概念o模式識(shí)別（Pattern Recognition）n把對(duì)象分門別類地認(rèn)出來；n對(duì)以前見過的對(duì)象的再認(rèn)識(shí)（re-cognition）；n對(duì)模式的區(qū)分和認(rèn)識(shí)；n把對(duì)象根據(jù)其特征歸到若干類別中適當(dāng)?shù)囊活?，因此模式識(shí)別也稱為模式分類（pattern classification）n對(duì)于復(fù)雜的模式除了分類之外還要描述其結(jié)構(gòu)特征，如 漢字識(shí)別和景物識(shí)別2021-11-25西安電子科技

9、大學(xué)計(jì)算機(jī)學(xué)院11模式識(shí)別應(yīng)用舉例2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院12o人民幣防偽技術(shù)一直是模式識(shí)別應(yīng)用領(lǐng)域之一，而欺騙這些防偽措施一直是偽造集團(tuán)的努力方向。據(jù)說（沒有驗(yàn)證過，為相關(guān)公司人員提供）早期投幣電話是通過投幣之后落入內(nèi)部的聲音來判斷投幣是何幣種。這個(gè)策略是抓住了不同幣值的硬幣在相同的條件下造成的聲音差異來區(qū)分幣種，是一種簡單的必要條件識(shí)別法。據(jù)說一個(gè)聰明的學(xué)生偶爾有一次在北京學(xué)院路的一個(gè)投幣電話上發(fā)現(xiàn)了這個(gè)規(guī)律，聰明的學(xué)生拿著一個(gè)錄音機(jī)，播放類似的硬幣掉落的聲音，居然可以欺騙電話。當(dāng)這個(gè)策略公開的時(shí)候，由于偽造的代價(jià)特當(dāng)這個(gè)策略公開的時(shí)候，由于偽造的代價(jià)特別低，導(dǎo)致該方

10、法的迅速失效。別低，導(dǎo)致該方法的迅速失效。o 故事還沒有結(jié)束，后來又發(fā)明了稱重法。就是內(nèi)置一個(gè)尺寸測(cè)量加上稱重裝置，根據(jù)硬幣的大小和重量的范圍，判斷是不是硬幣，是什么幣種。這種方法就比原來好很多，但是依然沒有解決真正的造假問題。假幣集團(tuán)發(fā)現(xiàn)硬幣（一元硬幣）內(nèi)部是貴金屬，于是他們就想法用廉價(jià)的鉛替換內(nèi)部的重金屬，以較低的代價(jià)獲得更高的價(jià)值，據(jù)說東南某省的一個(gè)造假作坊短期內(nèi)就賺取了幾百萬。尺寸加重量也不能擋住造假的手段。于是，在后來的機(jī)器上，越來越多的傳感器被裝進(jìn)去，包括磁性等，以獲得越來越多硬幣的各種物理和化學(xué)屬性，提高識(shí)別的精確性。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院132021-1

11、1-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院14模式識(shí)別的基本術(shù)語模式識(shí)別的基本術(shù)語o樣本（sample）:所研究對(duì)象的一個(gè)個(gè)體o樣本集（sample set）:若干樣本的集合o類或類別（class）:在所有樣本上定義的一個(gè)子集，處于同一類的樣本在我們所關(guān)心的性質(zhì)上是不可區(qū)分的，即具有相同的模式o特征（feature）:用于表征樣本的觀測(cè)信息，通常是數(shù)值表示的，有時(shí)也稱為屬性（attribute）；如果是高維則稱為特征向量，樣本的特征（向量）構(gòu)成了特征空間，每個(gè)樣本是特征空間中的一個(gè)點(diǎn)；模式識(shí)別的基本術(shù)語o已知樣本（known sample）:事先知道類別標(biāo)號(hào)的樣本（訓(xùn)練樣本）；o未知樣本（unknow

12、n sample）:類別標(biāo)號(hào)未知但特征已知的樣本（待識(shí)別的樣本）2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院152021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院16模式識(shí)別的研究內(nèi)容模式識(shí)別的研究內(nèi)容oPattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the catego

13、ries of the patterns. (Anil K. Jain)o利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。模式識(shí)別的目標(biāo)o研究出能自動(dòng)進(jìn)行模式分類和描述的機(jī)器系統(tǒng)，以完成人類的模式識(shí)別的功能。這同人工智能范疇的其他分支的目標(biāo)是一致的，都是要用機(jī)器來代替人類的部分智力活動(dòng)2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院17相關(guān)學(xué)科o模式識(shí)別是一門邊緣學(xué)科，與人工智能，信號(hào)處理，計(jì)算機(jī)科學(xué)與技術(shù)，概率統(tǒng)計(jì)，模糊集論，信息論，數(shù)字圖像處理，形式語言學(xué)，心理學(xué)，語言學(xué)等都有密切的關(guān)系，而且隨著這門學(xué)科的發(fā)展，還會(huì)與其它更多學(xué)科發(fā)生關(guān)系2021-11

14、-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院18模式識(shí)別系統(tǒng)舉例o機(jī)器視覺：制造業(yè)的自動(dòng)檢測(cè)和自動(dòng)裝配線o語音識(shí)別：讓計(jì)算機(jī)聽懂人類的指令，在有害環(huán)境中遠(yuǎn)程控制機(jī)器，殘障人士通過談話控制機(jī)器，語音輸入o說話人識(shí)別：根據(jù)語音確定說話人的身份o字符與文字識(shí)別：信件的自動(dòng)分揀，手寫輸入法，銀行支票的機(jī)器讀取，o計(jì)算機(jī)輔助診斷技術(shù)：X-射線，超聲，心腦電圖等o復(fù)雜圖像中特定目標(biāo)的識(shí)別：道路圖像中汽車的檢測(cè)，人臉檢測(cè)，行路人檢測(cè)等o根據(jù)地震勘探數(shù)據(jù)對(duì)地下儲(chǔ)層性質(zhì)的識(shí)別（石油勘探）o數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)：多媒體檢索，基因表達(dá)數(shù)據(jù)分析2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院19一個(gè)例子：問題的提出有一家魚包裝公司（

15、fish-packing plant）要根據(jù)傳送帶上的魚的種類實(shí)現(xiàn)自動(dòng)分揀2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院20鱸魚（sea bass）鮭魚(salmon)一個(gè)例子：可能的解決方案o架設(shè)一臺(tái)照相機(jī)，采集一些圖像o通過初步觀察，注意到兩種魚之間的一些外在的差異（分類器的備用特征）n長度（length）n光澤度(lightness)n寬度(width)n鰭(fins)的數(shù)目和形狀n嘴的位置2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院21系統(tǒng)的雛形2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院22o攝像機(jī)拍下魚的照片o圖像的預(yù)處理：將魚從背景中分割出來，并彼此分開o單條魚的信息送到一個(gè)

16、特征提取器（feature extractor）o提取的特征送到分類器（classifier）進(jìn)行分類決策特征提取器和分類器的設(shè)計(jì)o一般來說，鱸魚的長度要比鮭魚長，因此先考慮用長度作為分類特征o分類基于的模型：鱸魚和鮭魚都有一個(gè)典型的長度，并且鱸魚的這個(gè)長度要大于鮭魚的長度o通過樣本訓(xùn)練確定分類的閾值l*o決策規(guī)則：看一條魚的長度是否超過閾值l*2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院23以長度分類樣本的結(jié)果2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院24數(shù)目鮭魚鱸魚長度分類結(jié)果分析o盡管平均意義下鱸魚的平均長度大于鮭魚，但用單一的長度作為分類標(biāo)準(zhǔn)結(jié)果并不理想o無論我們?nèi)绾芜x擇閾值l*

17、 ，都無法可靠地把兩種魚分開來o因此，需要考慮其他的特征2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院25以平均光澤度作為分類特征2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院26o結(jié)論：以光澤度作為分類特征的效果要好得多代價(jià)的考量o前面我們假定犯兩類錯(cuò)誤的代價(jià)是相同的o盡管這一假定很多時(shí)候適用，但也有例外o由于鮭魚比鱸魚更美味，因此顧客更容易接受鮭魚被錯(cuò)分為鱸魚，而難以接受鱸魚被錯(cuò)分為鮭魚。o為減少錯(cuò)誤分類的代價(jià)，必須減少鱸魚錯(cuò)分為鮭魚的概率：決策邊界向光澤度小的方向偏移2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院27如果我們對(duì)分類效果還不滿意o我們將繼續(xù)尋找新的能實(shí)現(xiàn)更好分類效果的單一特

18、征o假定在單一特征中光澤度的分類效果是最好的，則我們必須考慮多個(gè)特征o例如，我們觀察到鱸魚一般來說要比鮭魚寬，就可以用光澤度和寬度來構(gòu)造二維特征向量：2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院2812.xxx分類結(jié)果2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院29結(jié)果分析o二維特征的分類結(jié)果看起來好于一維特征o所以我們可以考慮加入更多的特征來進(jìn)一步提高分類效果，比如背鰭的頂角，嘴的位置等等o問題：是否加入的特征越多，分類效果越好？o答：不一定2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院30為什么特征不是越多越好o特征越多，測(cè)量的代價(jià)就越多o即使不考慮代價(jià)，加入冗余特征也不會(huì)提高分類效果

19、，比如如果眼睛的顏色與寬度是完全相關(guān)的，則加入這一特征便不會(huì)提高分類效果o特征越多，模型就越復(fù)雜，分類邊界也越復(fù)雜，盡管可以實(shí)現(xiàn)對(duì)樣本的完美分類，卻偏離了我們?cè)O(shè)計(jì)分類器的初衷2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院31訓(xùn)練樣本的完美分類2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院32推廣能力問題（Generalization）o分類器設(shè)計(jì)的核心目標(biāo)是實(shí)現(xiàn)對(duì)未知樣本的正確分類，也就是要有好的推廣能力。o而一個(gè)過于復(fù)雜的決策界面一般來說不太可能有好的推廣能力，它只是針對(duì)個(gè)別訓(xùn)練樣本的調(diào)整，而沒有真正地反映所要識(shí)別對(duì)象模型的本質(zhì)特征。o結(jié)論：我們必須在訓(xùn)練樣本的分類錯(cuò)誤率和推廣能力之間權(quán)衡以

20、得到滿意的設(shè)計(jì)2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院33模式識(shí)別系統(tǒng)2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院34信息獲取o信息獲取一般是通過某種傳感器將光或聲音等信信息獲取一般是通過某種傳感器將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖像如文字息轉(zhuǎn)化為電信息。信息可以是二維的圖像如文字，指紋，地圖，照片等；可以是一維的波形如心，指紋，地圖，照片等；可以是一維的波形如心電圖，腦電圖，機(jī)械振動(dòng)波形；也可以是物理量電圖，腦電圖，機(jī)械振動(dòng)波形；也可以是物理量與邏輯值，前者如疾病診斷中病人的體溫及各種與邏輯值，前者如疾病診斷中病人的體溫及各種化驗(yàn)數(shù)據(jù)，后者如對(duì)某參量正常與否的判斷或?qū)?/p>

21、驗(yàn)數(shù)據(jù)，后者如對(duì)某參量正常與否的判斷或?qū)ΠY狀有無的描述等。此外，還可以是模糊值，如癥狀有無的描述等。此外，還可以是模糊值，如大，很大，比較大等。大，很大，比較大等。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院352021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院36預(yù)處理預(yù)處理o由感知器輸入的信息往往需要進(jìn)行適當(dāng)?shù)挠筛兄鬏斎氲男畔⑼枰M(jìn)行適當(dāng)?shù)念A(yù)處理，預(yù)處理，n圖像識(shí)別中將圖像從背景中分割出來圖像識(shí)別中將圖像從背景中分割出來n在語音識(shí)別中，區(qū)分單個(gè)的音素（在語音識(shí)別中，區(qū)分單個(gè)的音素（phoneme）n合成對(duì)象的各個(gè)組成部分正確分組（合成對(duì)象的各個(gè)組成部分正確分組（i有有兩個(gè)部分，但我們將

22、它們識(shí)別為一個(gè)符號(hào)）兩個(gè)部分，但我們將它們識(shí)別為一個(gè)符號(hào)）o預(yù)處理可以去除噪聲，加強(qiáng)有用的信息預(yù)處理可以去除噪聲，加強(qiáng)有用的信息o預(yù)處理的方法：包括預(yù)處理的方法：包括AD,二值化，圖象的二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等處理平滑，變換，增強(qiáng)，恢復(fù)，濾波等處理特征提取和選擇o 一般由原始測(cè)量所獲得的數(shù)據(jù)量是相當(dāng)大的，一般由原始測(cè)量所獲得的數(shù)據(jù)量是相當(dāng)大的，為了有效地實(shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行為了有效地實(shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征，這就是特變換，得到最能反映分類本質(zhì)的特征，這就是特征提取和選擇的過程。征提取和選擇的過程。o所選的特征必須使同類的樣

23、本相距較近，而不同所選的特征必須使同類的樣本相距較近，而不同類的樣本相距較遠(yuǎn)，并對(duì)無關(guān)變換具有不變性，類的樣本相距較遠(yuǎn)，并對(duì)無關(guān)變換具有不變性，比如在前面鱸魚比如在前面鱸魚 和鮭魚的例子中，所選特征要和鮭魚的例子中，所選特征要對(duì)平移，旋轉(zhuǎn)，伸縮等具有不變性對(duì)平移，旋轉(zhuǎn)，伸縮等具有不變性2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院372021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院38分類決策分類決策o分類目標(biāo)：分類目標(biāo)：n 把特征空間劃分成類型空間。把特征空間劃分成類型空間。n 把未知類別屬性的樣本確定為類型空間的某一個(gè)類型把未知類別屬性的樣本確定為類型空間的某一個(gè)類型o實(shí)際分類過程中，對(duì)于預(yù)

24、先給定的條件，分類中實(shí)際分類過程中，對(duì)于預(yù)先給定的條件，分類中出現(xiàn)錯(cuò)誤是不可避免的。因此，分類過程只能以出現(xiàn)錯(cuò)誤是不可避免的。因此，分類過程只能以某種錯(cuò)誤率來完成。顯然，錯(cuò)誤率越小越好。但某種錯(cuò)誤率來完成。顯然，錯(cuò)誤率越小越好。但是，分類錯(cuò)誤率又受很多條件的制約：分類方法、是，分類錯(cuò)誤率又受很多條件的制約：分類方法、分類器設(shè)計(jì)、選用的樣本及提取的特征等。因此，分類器設(shè)計(jì)、選用的樣本及提取的特征等。因此，分類錯(cuò)誤率不能任意小。分類錯(cuò)誤率不能任意小。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院39o分類器設(shè)計(jì)：分類器設(shè)計(jì)的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時(shí)，錯(cuò)誤率最低。o分類

25、決策：在特征空間中把被識(shí)別對(duì)象進(jìn)行分類，歸為某一類別。分類決策后處理o錯(cuò)誤率和風(fēng)險(xiǎn)評(píng)估，從而改進(jìn)設(shè)計(jì)，提高分類性能（從理論上估計(jì)最小錯(cuò)誤率/風(fēng)險(xiǎn)，看我們?cè)O(shè)計(jì)的分類器還有多大差距）o利用上下文信息解釋分類結(jié)果，提高分類性能o利用多個(gè)分類器來提高分類效果2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院40模式識(shí)別的分類o監(jiān)督模式識(shí)別/學(xué)習(xí)（supervised pattern recognition/learning）o非監(jiān)督模式識(shí)別/學(xué)習(xí)，聚類（unsupervised pattern recognition/learning，clustering）o半監(jiān)督模式識(shí)別（semi-supervised

26、 pattern recognition）2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院41監(jiān)督模式識(shí)別o在機(jī)器學(xué)習(xí)里稱為監(jiān)督學(xué)習(xí)（supervised learning）,存在有已知樣本的訓(xùn)練集，比如在鱸魚和鮭魚的例子里，有一定數(shù)量的訓(xùn)練樣本，可以利用的先驗(yàn)信息相對(duì)比較多2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院42非監(jiān)督模式識(shí)別o給定的是未知樣本集合，按其特征把相似的歸為一類o在工程和社會(huì)科學(xué)中出現(xiàn)較多，比如多光譜遙感(multispectral remote sensing)，圖像分割(image segmentation)，圖像和語音編碼(image and speech codi

27、ng)等o關(guān)鍵是如何定義兩個(gè)特征向量之間的相似性（similarity），并選擇一個(gè)合適的度量o一般來說，不同的聚類算法會(huì)產(chǎn)生不同的聚類結(jié)果，需要專家來解釋2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院43半監(jiān)督模式識(shí)別o其分類目標(biāo)與監(jiān)督模式識(shí)別相同，但是在已知樣本之外還有一部分未知樣本o一般出現(xiàn)在系統(tǒng)設(shè)計(jì)者只能得到很少的已知樣本的情況下（用未知樣本做進(jìn)一步的補(bǔ)充）o也可以看成帶有約束條件（已知樣本）的聚類2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院442021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院45二.模式識(shí)別的發(fā)展史o1929年 G. Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。

28、o30年代 Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。因此，在6070年代，統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問題得到一定克服。統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院46o50年代喬姆斯基年代喬姆斯基 （ Noam Chemsky） 提提出形式語言理論。出形式語言理論。o美籍華人付京蓀美籍華人付京蓀 提出句法結(jié)構(gòu)模式識(shí)別。提出句法結(jié)構(gòu)模式識(shí)別。o60年代年代 L.A.Zadeh提出了模糊集理論，模提出了模糊集理論，模糊模式識(shí)別理論得到了較廣泛的應(yīng)用。糊

29、模式識(shí)別理論得到了較廣泛的應(yīng)用。o80年代年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛的應(yīng)用。智能上得到較廣泛的應(yīng)用。o90年代年代Vapnik基于小樣本學(xué)習(xí)理論發(fā)展了基于小樣本學(xué)習(xí)理論發(fā)展了支持向量機(jī)，支持向量機(jī)也受到了很大的支持向量機(jī)，支持向量機(jī)也受到了很大的重視。重視。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院471-3 模式識(shí)別的方法o模版匹配法(template matching)o統(tǒng)計(jì)方法(statistical pattern recognition)o神經(jīng)網(wǎng)絡(luò)方

30、法(neural network)o結(jié)構(gòu)方法(句法方法)(structural pattern recognition )2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院48模版匹配o模板匹配模式認(rèn)為在人的長時(shí)記憶中,存在著代表各種景物形態(tài)的“模板”。當(dāng)人注視景物時(shí),景物通過眼睛及其視覺系統(tǒng)進(jìn)入大腦與存儲(chǔ)在大腦中的模板進(jìn)行匹配。若某個(gè)模板與輸入景物匹配一致或相關(guān)量最大,就認(rèn)為人已經(jīng)對(duì)這一景物能夠再認(rèn)了。 o實(shí)現(xiàn)方式：首先對(duì)每個(gè)類別建立一個(gè)或多個(gè)模版輸入樣本和數(shù)據(jù)庫中每個(gè)類別的模版進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策 2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院49o優(yōu)點(diǎn)：直接、簡

31、單 例如，當(dāng)我們看一個(gè)字母A，視網(wǎng)膜接收的信息便傳到大腦，刺激信息在腦中得到相應(yīng)的編碼，并與記憶中貯存的各式各樣的模板進(jìn)行比較；通過決策過程判定它與模板A有最佳的匹配，于是字母A就得到識(shí)別。o缺點(diǎn)：適應(yīng)性差 然而現(xiàn)實(shí)世界輸入視覺系統(tǒng)的景物是復(fù)雜的。就拿字符“F”來說，輸入“F”字符可能是拉伸的、壓縮的、旋轉(zhuǎn)的、歪扭的、斷裂的，等等，這使得模板匹配工作變得困難和復(fù)雜起來。 模版匹配2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院50統(tǒng)計(jì)方法o根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) n統(tǒng)計(jì)決策理論根據(jù)每一類總體的概率分布決定決策邊界n判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)

32、某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)o本課程的重點(diǎn)內(nèi)容2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院51統(tǒng)計(jì)方法o例1：男女19人進(jìn)行體檢，測(cè)量身高和體重，如下表。但事后發(fā)現(xiàn)4人忘了寫性別，試問，這4人是男是女？序號(hào)身高（cm）體重（kg）性別序號(hào)身高（cm）體重（kg）性別117068男1114062男213066女1215064女318071男1312066女419073男1415066男516070女1513065男615066男1614070？719068男1715060？821076男1814565？910058女1916075？1017075男2021-11-25西安電子科技大學(xué)

33、計(jì)算機(jī)學(xué)院52統(tǒng)計(jì)方法o解：解：試驗(yàn)樣本是人，分為男、女兩個(gè)類別。二維的主要特征是身高、體重，構(gòu)成二維特征空間。已知15人的性別，可以作為訓(xùn)練樣本，根據(jù)其值確定他們?cè)谔卣骺臻g的位置。如下圖所示：2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院53統(tǒng)計(jì)方法2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院54統(tǒng)計(jì)方法2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院55統(tǒng)計(jì)方法o現(xiàn)考察1619號(hào)體檢者，由身高、體重確定在上圖中的位置。顯然，16()、19()在負(fù)線一側(cè)，判定他們?yōu)榕浴?7()、18()位于正線一側(cè)，判為男性。2021-11-25西安電子科技大學(xué)計(jì)算機(jī)學(xué)院56人工神經(jīng)網(wǎng)絡(luò)o受人的大腦神經(jīng)網(wǎng)絡(luò)的啟發(fā)提出的進(jìn)行