新版課件一信息科學(xué)技術(shù)學(xué)院智能科學(xué)系

1、模式識別導(dǎo)論f信息科學(xué)技術(shù)學(xué)院智能科學(xué)系第一章 導(dǎo)論模式識別基本概念模式識別主要方法roductionPattern recognition is the study of how machines can observe the environment, learnto distinguish patterns oferest from theirbackground, and make sound and reasonabledecis about the categories of the patterns.(Anil K. Jain)What is a Pattern ?Watanab

2、e defines a pattern “as op chaos; it is an entity, vaguely defined, could be given a name.”ite of a t a fingrimagea handwritten cursive worda human facea speech signal識別識別是時(shí)時(shí)刻刻發(fā)生的識別（Recognition)再認(rèn)知（Re-Cognition)認(rèn)識、區(qū)別訓(xùn)練樣本在設(shè)計(jì)分類器時(shí)，需要用已經(jīng)由人標(biāo)注了類別的數(shù)據(jù)（類別已知），稱作訓(xùn)練樣本。所有的訓(xùn)練樣本組成訓(xùn)練樣本集X=x1,xn，它們分別來自K個(gè)類別， Y =1, K。每

3、個(gè)訓(xùn)練樣本xi有一個(gè)類別標(biāo)號yiY。訓(xùn)練樣本分類器設(shè)計(jì)通過已知類別的訓(xùn)練樣本，建立從樣本空間到類別標(biāo)號: XY。的一個(gè)需要一個(gè)準(zhǔn)則函數(shù)（損失函數(shù)） (解”。如：, fx)來“求yf x L( y,x)通過訓(xùn)練樣本的“學(xué)習(xí)”或訓(xùn)練來設(shè)計(jì)分類器，是模式識別研究的主要內(nèi)容。學(xué)習(xí)Machine learning addresses the question ofhow to build computrogramst improvetheir performance at some task throughexperience.(T. M. Mitc）A learning method isgorith

4、mtestimates an unknown map(dependency)betn a systems inputs and outputs fromthe available data, namely from known (input,output) sles.(V. Cherkassky)分類器分類器性能是否對訓(xùn)練樣本的識別率越高，分類器性能越好呢？不一定！測試樣本類別未知的數(shù)據(jù)稱作測試樣本。通過測試樣本來“測試”分類器的性能。測試樣本分類器選擇分類器性能的最終評價(jià)標(biāo)準(zhǔn)“泛化或推廣”（ generalize ）能力：對所有測試樣本的平均識別正確率。模式識別研究的重要內(nèi)容。General

5、izeTo reduce to a general form, class, or law.使一般化賦予一普遍形式、種類或定律To render indefinite or unspecific.使概括使不確定或不具體To infer from many particulars.概括出，歸納從許多特殊事物中推論To draw inferenor a generalfrom.概括從中得出推論或一普遍結(jié)論To make generally or universally applicable.使普遍適用，使全球適用To popularize.推廣沒有免費(fèi)的午餐定理不存在一種與“問題無關(guān)”的最優(yōu)算法。

6、當(dāng)面對一個(gè)具體問題時(shí)，要充分利用先驗(yàn)信息和數(shù)據(jù)的分布，選擇合適的訓(xùn)練樣本和準(zhǔn)則函數(shù)（損失函數(shù)），來設(shè)計(jì)分類器。剃刀原理Ockhams razor：Entities should not bemultip體。）d unnesary.（如無必要，勿增實(shí)簡單性原則：不應(yīng)該選擇比“必要”更加復(fù)雜的分類器?；蛘哒f，更“偏愛”簡單的分類器。模式識別系統(tǒng)訓(xùn)練樣本預(yù)處理特征提取學(xué)習(xí)分類器測試樣本預(yù)處理特征提取決策模式識別應(yīng)用文本分類、檢索多檢索數(shù)據(jù)挖掘生物特征識別語音識別生物信息學(xué)。模式識別方法模板匹配統(tǒng)計(jì)方法句法方法神經(jīng)網(wǎng)絡(luò)模板匹配首先對每個(gè)類別建立一個(gè)或多個(gè)模板輸入樣本和數(shù)據(jù)庫中每個(gè)類別的模板進(jìn)行比較，求

7、相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡單缺點(diǎn)：適應(yīng)性差關(guān)鍵在于建立模板，定義合適的距離?？梢圆捎脧椥阅０?。統(tǒng)計(jì)方法根據(jù)訓(xùn)練樣本，建立決策邊界統(tǒng)計(jì)決策理論根據(jù)每一類總體的概率分布決定決策邊界判別分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容統(tǒng)計(jì)方法統(tǒng)計(jì)決策理論假設(shè)不同類別的數(shù)據(jù)采樣于不同的分布，根據(jù)類別概率分布來決定決策邊界。統(tǒng)計(jì)方法判別分析方法直接在空間中尋找判別函數(shù)。句法方法許多復(fù)雜的模式可以分解為簡單的子模式，這些子模式組成所謂“基元”每個(gè)模式都可以由基元根據(jù)一定的關(guān)系來組成基元可以認(rèn)為是語言中的字母，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)

8、系可以認(rèn)為是語法模式的相似性由句子的相似性來決定優(yōu)點(diǎn)：適合結(jié)構(gòu)性強(qiáng)的模式缺點(diǎn)：抗噪聲能力差，計(jì)算復(fù)雜度高人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元連接權(quán)重輸出信號輸入信號人工神經(jīng)網(wǎng)絡(luò)大規(guī)模并行計(jì)算學(xué)習(xí)、推廣、自適應(yīng)、容錯(cuò)、分布表達(dá)和計(jì)算優(yōu)點(diǎn)：可以有效的解決一些復(fù)雜的非線性問題缺點(diǎn)：缺少有效的學(xué)習(xí)理論預(yù)備知識數(shù)理統(tǒng)計(jì)線性代數(shù)與矩陣分析最優(yōu)化方法主要內(nèi)容1。2。3。4。5。6。7。8。9。導(dǎo)論Bayes決策理論概率密度估計(jì)近鄰識別方法線性判別方法神經(jīng)網(wǎng)絡(luò)簡介正則化網(wǎng)絡(luò)統(tǒng)計(jì)學(xué)習(xí)理論簡介非線性SVM10。核方法11。分類器組合與集成12?；跇涞淖R別方法13。特征選擇與變換14。聚類分析主要參考書1 Rich

9、ard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification. 2nd Edition, John Wiley & Sons, Inc. 2001. （模式分類（英文版，第2版），Richard O.DudaPeter E.Hart，David G.Stork 著，機(jī)械工業(yè)，2004年。中譯本模式分類 李，2003年9月。）宏東等譯，機(jī)械工業(yè)統(tǒng)計(jì)模式識別, Andrew R. Webb著，社，2004年10月。模式識別（英文版，第3版），（希臘），譯，電子工業(yè)（Thridis, S.）等著，2006年9月。機(jī)械工業(yè)4 模式識別，2000年1月第2版。，張學(xué)工等編著，5 Nello Cristianini, John Shawe-Taylor, Anroduction to Support Vector Machinesand other kernel-based learning methods. Cambridge University Press, 2000. （中譯，2005年1月。）本支持向量機(jī)導(dǎo)論,，譯，電子工業(yè)6 S. Haykin, Neural Networ