模式識(shí)別理論及應(yīng)用PatternRecognition-Methodsand

1、模式識(shí)別理論及應(yīng)用Pattern Recognition - Methods and ApplicationIPL第一章 模式識(shí)別概述內(nèi)容目錄IPL第一章 模式識(shí)別概述 1.1 模式識(shí)別和模式的概念2134 1.2 模式識(shí)別系統(tǒng)1.3 模式識(shí)別的主要方法1.4 模式識(shí)別應(yīng)用1.5 有關(guān)模式識(shí)別的若干問(wèn)題5模式識(shí)別與神經(jīng)網(wǎng)絡(luò)1.1 模式識(shí)別和模式的概念人類(lèi)具有很強(qiáng)的模式識(shí)別能力，時(shí)刻在完成某種模式識(shí)別的任務(wù)。模式識(shí)別作為一門(mén)學(xué)科，是研究用機(jī)器完成自動(dòng)識(shí)別事物的工作。模式識(shí)別形成于5060年代，它與人工智能關(guān)系密切。模式識(shí)別是一門(mén)理論與應(yīng)用并重的技術(shù)科學(xué)。有廣泛的需求?，F(xiàn)有的理論與方法還有不足。3

2、模式識(shí)別和模式的概念Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念4模式與模式類(lèi)樣本(sample, object)：一類(lèi)事物的一個(gè)具體體現(xiàn)，對(duì)具體的個(gè)別事物進(jìn)行觀測(cè)所得到的

3、某種形式的信號(hào)。模式(pattern)：表示一類(lèi)事物，如印刷體A與手寫(xiě)體A屬同一模式。B與A則屬于不同模式。樣本是具體的事物，而模式是對(duì)同一類(lèi)事物概念性的概括。模式類(lèi)與模式聯(lián)合使用時(shí)，模式表示具體的事物，而模式類(lèi)則是對(duì)這一類(lèi)事物的概念性描述。模式識(shí)別是從樣本到類(lèi)別的映射。概念5模式識(shí)別和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” a fingerprint image a handwritten cu

4、rsive word a human face a speech signal 概念6模式識(shí)別和模式的概念識(shí)別是時(shí)時(shí)刻刻發(fā)生的活動(dòng)識(shí)別（Recognition)再認(rèn)知（Re-Cognition)主要研究相似和分類(lèi)問(wèn)題有監(jiān)督分類(lèi)無(wú)監(jiān)督分類(lèi)與其他學(xué)科的關(guān)系統(tǒng)計(jì)學(xué)人工智能機(jī)器學(xué)習(xí)運(yùn)籌學(xué)概念71.2 模式識(shí)別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類(lèi)決策分類(lèi)器設(shè)計(jì)信號(hào)空間特征空間8模式識(shí)別系統(tǒng)的組成數(shù)據(jù)獲取和預(yù)處理(data acquisition and preprocessing) ：測(cè)量，采樣和量化，去噪，復(fù)原特征提取與選擇(feature extraction and selection)分類(lèi)決策

5、(classification decision)系統(tǒng)91.3 模式識(shí)別的方法模版匹配法統(tǒng)計(jì)方法神經(jīng)網(wǎng)絡(luò)方法結(jié)構(gòu)方法(句法方法)10模版匹配首先對(duì)每個(gè)類(lèi)別建立一個(gè)或多個(gè)模版輸入樣本和數(shù)據(jù)庫(kù)中每個(gè)類(lèi)別的模版進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡(jiǎn)單缺點(diǎn)：適應(yīng)性差形變模版方法11統(tǒng)計(jì)方法根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) 統(tǒng)計(jì)決策理論根據(jù)每一類(lèi)總體的概率分布決定決策邊界判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容方法12句法方法許多復(fù)雜的模式可以分解為簡(jiǎn)單的子模式，這些子模式組成所謂 “基元”每

6、個(gè)模式都可以由基元根據(jù)一定的關(guān)系來(lái)組成基元可以認(rèn)為是語(yǔ)言中的詞語(yǔ)，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)系可以認(rèn)為是語(yǔ)法模式的相似性由句子的相似性來(lái)決定優(yōu)點(diǎn)：適合結(jié)構(gòu)性強(qiáng)的模式缺點(diǎn)：抗噪聲能力差，計(jì)算復(fù)雜度高方法13神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模并行計(jì)算的數(shù)學(xué)模型具有學(xué)習(xí)、推廣、自適應(yīng)、容錯(cuò)、分布表達(dá)和計(jì)算的能力優(yōu)點(diǎn)：可以有效的解決一些復(fù)雜的非線性問(wèn)題缺點(diǎn)：缺少有效的學(xué)習(xí)理論方法14幾種方法比較方法表達(dá)識(shí)別函數(shù)評(píng)價(jià)準(zhǔn)則模版匹配樣本，像元，曲線相關(guān)，距離度量分類(lèi)錯(cuò)誤統(tǒng)計(jì)方法特征決策函數(shù)分類(lèi)錯(cuò)誤句法方法基元規(guī)則，語(yǔ)法接受錯(cuò)誤神經(jīng)網(wǎng)絡(luò)樣本，像元，特征網(wǎng)絡(luò)函數(shù)均值方差錯(cuò)誤方法15神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)模式識(shí)別的關(guān)系統(tǒng)計(jì)模式識(shí)別

7、人工神經(jīng)網(wǎng)絡(luò)線性決策函數(shù)感知機(jī)PCA自相關(guān)網(wǎng)絡(luò)，PCA網(wǎng)絡(luò)后驗(yàn)概率估計(jì)多層感知機(jī)非線性決策分析多層感知機(jī)Parzen窗密度估計(jì)分類(lèi)器徑向基函數(shù)網(wǎng)絡(luò)K近鄰Kohonens LVQ方法161.4 模式識(shí)別應(yīng)用文本分類(lèi)文本圖像分析工業(yè)自動(dòng)化數(shù)據(jù)挖掘多媒體數(shù)據(jù)庫(kù)檢索生物特征識(shí)別語(yǔ)音識(shí)別生物信息學(xué)遙感171.5 有關(guān)模式識(shí)別的若干問(wèn)題模式類(lèi)的緊致性：集合中任意兩個(gè)內(nèi)點(diǎn)可以用光滑線連接，在該連線上的點(diǎn)也屬于這個(gè)集合。每個(gè)內(nèi)點(diǎn)都有一個(gè)足夠大的鄰域，在該鄰域中只包含同一集合中的點(diǎn)。假若每個(gè)模式類(lèi)都滿足緊致性假設(shè)，則解決模式識(shí)別間題就不會(huì)碰到什么原則上的困難。但對(duì)于很多實(shí)際問(wèn)題這個(gè)假設(shè)是不成立的。只耍各個(gè)模式類(lèi)是可分的，總存在這樣一個(gè)空間，使變換到這個(gè)空間中的集合滿足緊致性要求。18有關(guān)模式識(shí)別的若干問(wèn)題相似與分類(lèi)：相似與分類(lèi)問(wèn)題遠(yuǎn)不像集合表達(dá)那樣簡(jiǎn)單明了。集合的概念可用來(lái)表現(xiàn)已經(jīng)分好的類(lèi)，但對(duì)于怎樣分類(lèi)和歸類(lèi)則缺乏指導(dǎo)意義。相似性度量：樣本xi和 xj是Rn空間中兩個(gè)點(diǎn)，它們間的某種距離的函數(shù) s(xi, xj)。距離: d(xi, xj)=(xi - xj)T.(xi - xj)1/2相似性度量1: s(xi, xj)=f(d(xi, xj)相似性度量2: s(xi, xj)=cos(