模式識(shí)別介紹和案例講解

1、模式識(shí)別介紹和案例講解第一章 模式識(shí)別概述例子1：醫(yī)生診病過(guò)程 1)測(cè)量病人的體溫和血壓，化驗(yàn)血沉，詢問(wèn)臨床表現(xiàn)； 2)通過(guò)綜合分析，抓住主要病癥； 3)醫(yī)生運(yùn)用自己的知識(shí)、經(jīng)驗(yàn)，根據(jù)主要病癥、測(cè)量化驗(yàn)結(jié)果，作出正確的診斷。在模式識(shí)別技術(shù)中，常用的術(shù)語(yǔ)有：樣本、模式、特征、類(lèi)型等等，對(duì)照醫(yī)生診病過(guò)程，有：a.樣本：醫(yī)院里的眾多患者，每個(gè)患者都是一個(gè)樣本； 單一樣本：醫(yī)生診斷的某一患者，就是樣本空間中的一個(gè)單一樣本； 樣本值：某一患者的化驗(yàn)、檢查結(jié)果與表征現(xiàn)象。例子1：醫(yī)生診病過(guò)程b.模式：各樣本值按一定的數(shù)據(jù)準(zhǔn)則綜合的結(jié)果； 模式樣本：具有某種模式的樣本； 模式采集：獲取某樣本的測(cè)量數(shù)值的過(guò)程

2、；c.特征：患者某些具有顯著特征的化驗(yàn)數(shù)據(jù)及表征； 特征選擇與提?。耗鼙碚?疾病)特異性的化驗(yàn)結(jié)果與表征；d.判決：醫(yī)生運(yùn)用知識(shí)、病例經(jīng)驗(yàn)綜合分析給出診斷； 判決準(zhǔn)則/規(guī)則：醫(yī)生的知識(shí) 判決結(jié)果：將患者明確(或以概率)確定為某一種病癥(或多種/并發(fā)病癥)的患者(及病患嚴(yán)重程度)醫(yī)生診病過(guò)程事實(shí)上，最后的結(jié)果也成為分類(lèi)。因此有預(yù)先知道類(lèi)別(已知病癥)與未知類(lèi)別(未知病癥)的區(qū)別。模式識(shí)別：就是以計(jì)算機(jī)為工具、各種傳感器為信息來(lái)源，數(shù)據(jù)計(jì)算與處理為方法，對(duì)各種現(xiàn)象、事物、狀態(tài)等進(jìn)行準(zhǔn)確地分析、判斷識(shí)別與歸類(lèi)。1.1 模式識(shí)別和模式的概念感知：從環(huán)境獲取信息模式Pattern 存在于時(shí)間和空間中可觀

3、察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性1.1 模式識(shí)別和模式的概念模式（Pattern）實(shí)例計(jì)算機(jī)模式識(shí)別模式識(shí)別：使計(jì)算機(jī)模仿人的感知能力，從感知數(shù)據(jù)中提取信息（判別物體和行為）的過(guò)程。數(shù)據(jù)獲取模式分割模式識(shí)別姚明ROCKETS11概念模式識(shí)別和模式的概念Pattern recognition is the study of how machines can observe the environment, learn to dist

4、inguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念模式識(shí)別 直觀，無(wú)所不在，“人以類(lèi)聚，物以群分”周?chē)矬w的認(rèn)知：桌子、椅子人的識(shí)別：張三、李四聲音的辨別：汽車(chē)、火車(chē)，狗叫、人語(yǔ)氣味的分辨：炸帶魚(yú)、紅燒肉人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。模式識(shí)別和模式的概念模式識(shí)別的難點(diǎn)數(shù)字化感知數(shù)據(jù)：來(lái)源豐富、數(shù)量巨大概念模式識(shí)別的難點(diǎn)感

5、知數(shù)據(jù)：非結(jié)構(gòu)化（像素、聲波等）概念模式與模式類(lèi)樣本(sample, object)：一類(lèi)事物的一個(gè)具體體現(xiàn)，對(duì)具體的個(gè)別事物進(jìn)行觀測(cè)所得到的某種形式的信號(hào)。模式(pattern)：表示一類(lèi)事物，如印刷體A與手寫(xiě)體A屬同一模式。B與A則屬于不同模式。樣本是具體的事物，而模式是對(duì)同一類(lèi)事物概念性的概括。模式類(lèi)與模式聯(lián)合使用時(shí)，模式表示具體的事物，而模式類(lèi)則是對(duì)這一類(lèi)事物的概念性描述。模式識(shí)別是從樣本到類(lèi)別的映射。概念模式識(shí)別和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defi

6、ned, that could be given a name.” a fingerprint image a handwritten cursive word a human face a speech signal 概念模式識(shí)別的發(fā)展1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。30年代 Fisher提出統(tǒng)計(jì)分類(lèi)理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。因此，在6070年代，統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來(lái)愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。隨著計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問(wèn)題得到一定克服。目前，統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論。50年代 Noam Che

7、msky 提出形式語(yǔ)言理論，在此基礎(chǔ)上，美籍華人付京蓀 提出句法結(jié)構(gòu)模式識(shí)別。60年代 提出了模糊集理論，模糊模式識(shí)別理論得到了較廣泛的應(yīng)用。模式識(shí)別的發(fā)展80年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛的應(yīng)用。90年代 小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”，成立了國(guó)際模式識(shí)別協(xié)會(huì)-“IAPR”，每2年召開(kāi)一次國(guó)際學(xué)術(shù)會(huì)議；1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)，每2年召開(kāi)一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議；國(guó)內(nèi)的組織有電子學(xué)會(huì)，通信

8、學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。模式識(shí)別的發(fā)展模式識(shí)別的應(yīng)用領(lǐng)域更加廣泛： 生物、醫(yī)學(xué)、軍事、農(nóng)業(yè)、工業(yè)、社會(huì)、教育、航天、航空、經(jīng)濟(jì)、金融、生物認(rèn)證、數(shù)字水印基于語(yǔ)音： 重點(diǎn)人物通信監(jiān)控語(yǔ)音識(shí)別系統(tǒng)/規(guī)模音頻資料檢索基于圖像： 光學(xué)字符識(shí)別(Optical Character Recognition OCR)/車(chē)牌識(shí)別(Vehicle License Plate Recognition VLPR)/人臉識(shí)別/指紋識(shí)別/簽名認(rèn)證/支票認(rèn)證/表情和手勢(shì)識(shí)別/農(nóng)作物分類(lèi)與害蟲(chóng)識(shí)別/生物信息學(xué)：DNA識(shí)別/航空與衛(wèi)星遙測(cè)遙感數(shù)據(jù)資源調(diào)查/軍用目標(biāo)的圖像識(shí)別/基于圖形模式識(shí)別的機(jī)器人控制等基于工程數(shù)

9、據(jù)： 振動(dòng)模式分析與故障診斷/石油鉆井?dāng)?shù)據(jù)分析與事故預(yù)報(bào)/基于狀態(tài)模式的智能控制/數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)等模式識(shí)別的發(fā)展模式識(shí)別的計(jì)算手段更加先進(jìn)： 海量存儲(chǔ)技術(shù)、高速計(jì)算/并行計(jì)算技術(shù)、 網(wǎng)格技術(shù)、網(wǎng)絡(luò)技術(shù)、 新型前端器件(激光、紅外、MEMS、傳感器網(wǎng)絡(luò))模式識(shí)別的新型算法層出不窮： Computation with word(Zadeh) Soft Computation DNA Computation國(guó)內(nèi)外模式識(shí)別的學(xué)術(shù)活動(dòng)從未間斷: 小波/模式識(shí)別國(guó)際會(huì)議、機(jī)器學(xué)習(xí)/模式識(shí)別國(guó)際會(huì)議、圖像處理/模式識(shí)別國(guó)際會(huì)議、數(shù)據(jù)挖掘/模式識(shí)別國(guó)際會(huì)議模式識(shí)別與其他學(xué)科的關(guān)系概念模式識(shí)別學(xué)科位置模式識(shí)

10、別：計(jì)算機(jī)科學(xué)與電子工程交叉學(xué)科中國(guó)：“控制科學(xué)與工程”一級(jí)學(xué)科二級(jí)學(xué)科：控制理論與控制工程、模式識(shí)別與智能系統(tǒng)、系統(tǒng)工程等西方：沒(méi)有自動(dòng)控制系自動(dòng)控制：電子工程系、機(jī)械工程系模式識(shí)別：電子工程系、計(jì)算機(jī)科學(xué)系主要組織國(guó)際組織IAPR (International Association for Pattern Recognition) IEEE Computer Society: TC on PAMI (Pattern Analysis and Machine Intelligence)國(guó)內(nèi)組織中國(guó)自動(dòng)化學(xué)會(huì)：模式識(shí)別與機(jī)器智能(PRMI)專(zhuān)業(yè)委員會(huì)，1981年成立，IAPR成員組織中國(guó)計(jì)算

11、機(jī)學(xué)會(huì)：人工智能與模式識(shí)別專(zhuān)業(yè)委員會(huì)中國(guó)人工智能學(xué)會(huì)主要機(jī)構(gòu)國(guó)外USA: MIT (Poggio), UIUC (Thomas Huang), CMU (T. Kanade), MSU (A.K. Jain), Maryland (Resenfeld, Chellappa)Canada: Toronto (Hinton), Concordia (C.Y. Suen)UK: Surrey (Kittler), MSR Cambridge (Bishop)France: INRIA國(guó)內(nèi)MSRA(微軟亞洲研究院), HKUST(香港科技大學(xué)) 中科院自動(dòng)化所、清華大學(xué)、北京大學(xué)、上海交大、西安交大、

12、南京理工大學(xué)、武漢大學(xué)等模式識(shí)別系統(tǒng)的原理框圖1.2 模式識(shí)別系統(tǒng)1.2 模式識(shí)別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類(lèi)決策分類(lèi)器設(shè)計(jì)信號(hào)空間特征空間模式識(shí)別系統(tǒng)的組成系統(tǒng)模式識(shí)別過(guò)程實(shí)例在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類(lèi) 鱸魚(yú)(Seabass) 鮭魚(yú)(Salmon)鱸魚(yú)鮭魚(yú)數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個(gè)分割操作把魚(yú)和魚(yú)之間以及魚(yú)和背景之間分開(kāi)模式識(shí)別過(guò)程實(shí)例特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)測(cè)量某些特征來(lái)減少信息量長(zhǎng)度亮度寬度魚(yú)翅的數(shù)量和形狀嘴的位置，等等 分類(lèi)決策：把特征送入決策分類(lèi)器模式識(shí)別過(guò)程實(shí)例模式識(shí)別過(guò)程實(shí)例模式識(shí)

13、別過(guò)程實(shí)例模式識(shí)別過(guò)程實(shí)例模式識(shí)別過(guò)程實(shí)例模式識(shí)別過(guò)程實(shí)例模式識(shí)別過(guò)程實(shí)例模式識(shí)別研究?jī)?nèi)容數(shù)據(jù)預(yù)處理視頻、圖像、信號(hào)處理模式分割模式/背景分離、模式-模式分離運(yùn)動(dòng)分析目標(biāo)跟蹤、運(yùn)動(dòng)模式描述模式描述與分類(lèi)特征提取/選擇、模式分類(lèi)、聚類(lèi)、機(jī)器學(xué)習(xí)模式識(shí)別應(yīng)用研究針對(duì)具體應(yīng)用的方法與系統(tǒng)系統(tǒng)1.3 模式識(shí)別的方法模版匹配法(Templete matching)統(tǒng)計(jì)方法(Statistical pattern recognition)： 1950s-神經(jīng)網(wǎng)絡(luò)方法(Neural network)： 1980s-結(jié)構(gòu)方法(Structural pattern recognition )： 1970s- 支

14、持向量機(jī)、核方法：1990s-多分類(lèi)器、集成學(xué)習(xí)：1990s-Bayes學(xué)習(xí)：1990s-1990s-: 模式識(shí)別技術(shù)大規(guī)模應(yīng)用模版匹配首先對(duì)每個(gè)類(lèi)別建立一個(gè)或多個(gè)模版輸入樣本和數(shù)據(jù)庫(kù)中每個(gè)類(lèi)別的模版進(jìn)行比較，例如求相關(guān)或距離根據(jù)相似性（相關(guān)性或距離）大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡(jiǎn)單缺點(diǎn)：適應(yīng)性差擴(kuò)展：彈性模版法方法統(tǒng)計(jì)方法根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) 統(tǒng)計(jì)決策理論根據(jù)每一類(lèi)總體的概率分布決定決策邊界判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)方法句法方法許多復(fù)雜的模式可以分解為簡(jiǎn)單的子模式，這些子模式組成所謂 “基元”每個(gè)模式

15、都可以由基元根據(jù)一定的關(guān)系來(lái)組成基元可以認(rèn)為是語(yǔ)言中的詞語(yǔ)，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)系可以認(rèn)為是語(yǔ)法模式的相似性由句子的相似性來(lái)決定1970s由付京蓀(K.S. Fu, Purdue Univ.)提出優(yōu)點(diǎn)：適合結(jié)構(gòu)性強(qiáng)的模式缺點(diǎn)：抗噪聲能力差，計(jì)算復(fù)雜度高方法神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模并行計(jì)算的數(shù)學(xué)模型具有學(xué)習(xí)、推廣、自適應(yīng)、容錯(cuò)、分布表達(dá)和計(jì)算的能力優(yōu)點(diǎn)：可以有效的解決一些復(fù)雜的非線性問(wèn)題缺點(diǎn)：缺少有效的學(xué)習(xí)理論方法幾種方法比較方法表達(dá)方式識(shí)別函數(shù)評(píng)價(jià)準(zhǔn)則模版匹配樣本，像元，曲線相關(guān)，距離度量分類(lèi)錯(cuò)誤統(tǒng)計(jì)方法特征決策函數(shù)分類(lèi)錯(cuò)誤句法方法基元規(guī)則，語(yǔ)法接受錯(cuò)誤神經(jīng)網(wǎng)絡(luò)樣本，像元，特征網(wǎng)絡(luò)函數(shù)均

16、值方差錯(cuò)誤方法神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)模式識(shí)別的關(guān)系統(tǒng)計(jì)模式識(shí)別人工神經(jīng)網(wǎng)絡(luò)線性決策函數(shù)感知機(jī)PCA自相關(guān)網(wǎng)絡(luò)，PCA網(wǎng)絡(luò)后驗(yàn)概率估計(jì)多層感知機(jī)非線性決策分析多層感知機(jī)Parzen窗密度估計(jì)分類(lèi)器徑向基函數(shù)網(wǎng)絡(luò)K近鄰Kohonens LVQ方法1.4 模式識(shí)別應(yīng)用文本圖像分析，文本分類(lèi)語(yǔ)音識(shí)別工業(yè)自動(dòng)化：零部件/物品分類(lèi)數(shù)據(jù)挖掘多媒體數(shù)據(jù)檢索（文檔、圖像、視頻、音樂(lè)檢索 ）生物特征識(shí)別，生物信息學(xué)，醫(yī)學(xué)圖像空間探測(cè)與環(huán)境資源檢測(cè)，遙感圖像安全監(jiān)控（身份識(shí)別、視頻監(jiān)控、交通監(jiān)控、音視頻監(jiān)聽(tīng)）生物特征識(shí)別應(yīng)用遙感圖像地表分類(lèi)應(yīng)用醫(yī)學(xué)圖像分析應(yīng)用車(chē)牌識(shí)別應(yīng)用信函分揀應(yīng)用實(shí)例：統(tǒng)計(jì)模式識(shí)別19名男女同學(xué)進(jìn)行體檢

17、，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：待識(shí)別的模式：性別（男或女）測(cè)量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）由訓(xùn)練樣本得到的特征空間分布圖從圖中訓(xùn)練樣本的分布情況，找出男、女兩類(lèi)特征各自的聚類(lèi)特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。只要給出待分類(lèi)的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。奧卡姆剃刀原理 14世紀(jì)邏輯學(xué)家、圣方濟(jì)各會(huì)修士奧卡姆的威廉提出一個(gè)原理“如無(wú)必要，勿增實(shí)體”，殺雞焉用宰牛刀，在多種實(shí)現(xiàn)方法中提

18、倡選擇最簡(jiǎn)單的假設(shè)和模型，盡量不要把問(wèn)題復(fù)雜化，盡力把沒(méi)用的和會(huì)把問(wèn)題復(fù)雜化的因素去掉。1.5 有關(guān)模式識(shí)別的若干問(wèn)題沒(méi)有免費(fèi)的午餐定理 該定理指出：沒(méi)有最好的算法，每種算法總有它的優(yōu)勢(shì)和缺陷。NFL定理可簡(jiǎn)單表述為：對(duì)于所有可能的問(wèn)題，任意給定兩個(gè)算法A，A，如果A在某些問(wèn)題上表現(xiàn)得比A好，那么A在其他問(wèn)題上表現(xiàn)一定比A差。 該定理隱含指出：任何一種分類(lèi)算法甚至不比搜索空間的線性列舉或者純隨機(jī)搜索算法更優(yōu)。1.5 有關(guān)模式識(shí)別的若干問(wèn)題丑小鴨定理 20世紀(jì)60年代，美籍日本學(xué)者渡邊慧證明了“丑小鴨定理”。定理說(shuō)：丑小鴨和白天鵝之間的區(qū)別和兩只白天鵝之間的區(qū)別一樣大。這個(gè)看起來(lái)完全違背常識(shí)的定理實(shí)際上說(shuō)的是：世界上不存在分類(lèi)的客觀標(biāo)準(zhǔn)，一切分類(lèi)的標(biāo)準(zhǔn)都是主觀的。1.5 有關(guān)模式識(shí)別的若干問(wèn)題渡邊慧舉了一個(gè)鯨魚(yú)的例子： 按照生物學(xué)的分類(lèi)方法，鯨魚(yú)屬于哺乳類(lèi)的偶蹄目，和牛是一類(lèi)；但是在產(chǎn)業(yè)界，鯨和魚(yú)同屬于水產(chǎn)業(yè)，而不屬于包括牛的畜牧業(yè)。分類(lèi)結(jié)果取決于選擇什么特征作為分類(lèi)標(biāo)準(zhǔn)，而特征