(完整)模式識別文獻綜述

（完整）模式識別文獻綜述編輯整理：尊敬的讀者朋友們：這里是精品文檔編輯中心，本文檔內容是由我和我的同事精心編輯整理后發(fā)布的，發(fā)布之前我們對文中內容進行仔細校對，但是難免會有疏漏的地方，但是任然希望（（完整）模式識別文獻綜述）的內容能夠給您的工作和學習帶來便利。同時也真誠的希望收到您的建議和反饋，這將是我們進步的源泉，前進的動力。本文可編輯可修改，如果覺得對您有幫助請收藏以便隨時查閱，最后祝您生活愉快業(yè)績進步，以下為（完整）模式識別文獻綜述的全部內容。模式模式（完識整）模別式識文別文獻獻綜述綜述摘要自20世紀60年代以來，模式識別的理論與方法研究及在工程中的實際應用取得了很大的進展。本文先簡要回顧模式識別領域的發(fā)展歷史和主要方法的演變，然后圍繞模式分類這個模式識別的核心問題，就概率密度估計、特征選擇和變換、分類器設計幾個方面介紹近年來理論和方法研究的主要進展，最后簡要分析將來的發(fā)展趨勢.前言模式識別（PatternRecognition）是對感知信號（圖像、視頻、聲音等）進行分析，對其中的物體對象或行為進行判別和解釋的過程。模式識別能力普遍存在于人和動物的認知系統(tǒng)，是人和動物獲取外部環(huán)境知識，并與環(huán)境進行交互的重要基礎.我們現(xiàn)在所說的模式識別一般是指用機器實現(xiàn)模式識別過程，是人工智能領域的一個重要分支。早期的模式識別研究是與人工智能和機器學習密不可分的，如Rosenblatt的感知機［1］和Nilsson的學習機［2］就與這三個領域密切相關。后來，由于人工智能更關心符號信息和知識的推理，而模式識別更關心感知信息的處理,二者逐漸分離形成了不同的研究領域.介于模式識別和人工智能之間的機器學習在20世紀80年代以前也偏重于符號學習，后來人工神經網絡重新受到重視，統(tǒng)計學習逐漸成為主流，與模式識別中的學習問題漸趨重合，重新拉近了模式識別與人工智能的距離。模式識別與機器學習的方法也被廣泛用于感知信號以外的數(shù)據分析問題（如文本分析、商業(yè)數(shù)據分析、基因表達數(shù)據分析等），形成了數(shù)據挖掘領域。模式分類是模式識別的主要任務和核心研究內容.分類器設計是在訓練樣本集合上進行優(yōu)化（如使每一類樣本的表達誤差最小或使不同類別樣本的分類誤差最?。┑倪^程，也就是一個機器學習過程。由于模式識別的對象是存在于感知信號中的物體和現(xiàn)象,它研究的內容還包括信號/圖像/視頻的處理、分割、形狀和運動分析等，以及面向應用（如文字識別、語音識別、生物認證、醫(yī)學圖像分析、遙感圖像分析等）的方法和系統(tǒng)研究.本文簡要回顧模式識別領域的發(fā)展歷史和主要方法的演變，介紹模式識別理論方法研究的最新進展并分析未來的發(fā)展趨勢。由于Jain等人的綜述［3］已經全面介紹了2000年以前模式分類方面的進展,本文側重于2000年以后的研究進展.歷史回顧現(xiàn)代模式識別是在20世紀40年代電子計算機發(fā)明以后逐漸發(fā)展起來的。在更早的時候已有用光學和機械手段實現(xiàn)模式識別的例子，如在1929年GustavTauschek就在德國獲得了光學字符識別的專利.作為統(tǒng)計模式識別基礎的多元統(tǒng)計分析和鑒別分析［4］也在電子計算機出現(xiàn)之前提出來了。1957年IBM的C.K.Chow將統(tǒng)計決策方法用于字符識別［5］.然而，“模式識別”這個詞被廣泛使用并形成一個領域則是在20世紀60年代以后。1966年由IBM組織在波多黎各召開了第一次以“模式識別”為題的學術會議［6］。Nagy的綜述［7］和Kanal的綜述［8］分別介紹了1968年以前和1968—1974的研究進展。70年代幾本很有影響的模式識別教材（如Fukunaga［9］,Duda＆Hart［10］）的相繼出版和1972年第一屆國際模式識別大會（ICPR）的召開標志著模式識別領域的形成。同時，國際模式識別協(xié)會（IAPR）在1974年的第二屆國際模式識別大會上開始籌建，在1978年的第四屆大會上正式成立。統(tǒng)計模式識別的主要方法，包括Bayes決策、概率密度估計（參數(shù)方法和非參數(shù)方法）、特征提取（變換）和選擇、聚類分析等,在20世紀60年代以前就已經成型。由于統(tǒng)計方法不能表示和分析模式的結構，70年代以后結構和句法模式識別方法受到重視。尤其是付京蓀（K。S.Fu）提出的句法結構模式識別理論在70—80年代受到廣泛的關注。但是，句法模式識別中的基元提取和文法推斷（學習）問題直到現(xiàn)在還沒有很好地解決，因而沒有太多的實際應用。20世紀80年代Back—propagation（BP）算法的重新發(fā)現(xiàn)和成功應用推動了人工神經（完整）模式識別文獻綜述網絡研究和應用的熱潮。神經網絡方法與統(tǒng)計方法相比具有不依賴概率模型、參數(shù)自學習、泛化性能良好等優(yōu)點，至今仍在模式識別中廣泛應用。然而,神經網絡的設計和實現(xiàn)依賴于經驗泛化性能不能確保最優(yōu)。90年代支持向量機（SVM）的提出吸引了模式識別界對統(tǒng)計學習理論和核方法（Kernelmethods）的極大興趣。與神經網絡相比，支持向量機的優(yōu)點是通過優(yōu)化一個泛化誤差界限自動確定一個最優(yōu)的分類器結構，從而具有更好的泛化性能。而核函數(shù)的引入使很多傳統(tǒng)的統(tǒng)計方法從線性空間推廣到高維非線性空間，提高了表示和判別能力。結合多個分類器的方法從90年代前期開始在模式識別界盛行，后來受到模式識別界和機器學習界的共同重視。多分類器結合可以克服單個分類器的性能不足，有效提高分類的泛化性能。這個方向的主要研究問題有兩個：給定一組分類器的最佳融合和具有互補性的分類器組的設計。其中一種方法，Boosting,現(xiàn)已得到廣泛應用，被認為是性能最好的分類方法。進入21世紀，模式識別研究的趨勢可以概括為以下四個特點。一是Bayes學習理論越來越多地用來解決具體的模式識別和模型選擇問題，產生了優(yōu)異的分類性能[11].二是傳統(tǒng)的問題,如概率密度估計、特征選擇、聚類等不斷受到新的關注，新的方法或改進/混合的方法不斷提出。三是模式識別領域和機器學習領域的相互滲透越來越明顯，如特征提取和選擇、分類、聚類、半監(jiān)督學習等問題成為二者共同關注的熱點.四是由于理論、方法和性能的進步，模式識別系統(tǒng)開始大規(guī)模地用于現(xiàn)實生活,如車牌識別、手寫字符識別、生物特征識別等。模式識別方法的細節(jié)可以參考一些優(yōu)秀的教材，比如Bishop（2006）[11],Fukunaga（1990）[12],Duda,Hart&Stork（2001）[13]等。3。模式識別研究現(xiàn)狀P(w)p(x|w)ii丈P(w)p(xIw)jjj=1(w)p(x|w)ii3.1模式識別系統(tǒng)和方法概述模式識別過程包括以下幾個步驟：信號預處理、模式分割、特征提取、模式分類、上下文后處理。預處理通過消除信號/圖像/視頻中的噪聲來改善模式和背景間的可分離性；模式分割是將對象模式從背景分離或將多個模式分開的過程；特征提取是從模式中提取表示該模式結構或性質的特征并用一個數(shù)據結構（通常為一個多維特征矢量）來表示；在特征表示基礎上，分類器將模式判別為屬于某個類別或賦予其屬于某些類別的概率;后處理則是利用對象模式與周圍模式的相關性驗證模式類別的過程。模式識別系統(tǒng)中預處理、特征提?。ㄟ@里指特征度量的計算，即特征生成）和后處理的方法依賴于應用領域的知識.廣義的特征提取包括特征生成、特征選擇和特征變換（維數(shù)削減）。后兩個過程和分類器設計一樣,需要在一個樣本集上進行學習（訓練）：在訓練樣本上確定選用哪些特征、特征變換的權值、分類器的結構和參數(shù)。由于句法和結構模式識別方法是建立在完全不同于特征矢量的模式表示基礎上且還沒有得到廣泛應用，本文與P(w)p(x|w)ii丈P(w)p(xIw)jjj=1(w)p(x|w)iiP（wi|x）=其中P（o）是第i類的先驗概率。根據Bayes決策規(guī)則,模式x被判別為后驗概率最大的類別（最小錯誤率決策）或期望風險最小的類別（最小代價決策）。后驗概率或鑒別函數(shù)把特征空間劃分為對應各個類別的決策區(qū)域.模式分類可以在概率密度估計的基礎上計算后驗概率密度,也可以不需要概率密度而直接近似估計后驗概率或鑒別函數(shù)（直接劃分特征空間）?；诟怕拭芏裙烙嫷姆诸惼鞅环Q為生成模型（Generativemodel），如高斯密度分類器、Bayes網絡等;基于特征空間劃分的分類器又被(完整)模式識別文獻綜述稱為判別模型(Discriminativemodel)，如神經網絡、支持向量機等。生成模型每一類的參數(shù)在一類的訓練樣本上分別估計，當參數(shù)模型符合樣本的實際分布或訓練樣本數(shù)比較少時，生成模型的分類性能優(yōu)良。判別模型在訓練中直接調整分類邊界，以使不同類別的樣本盡可能分開，在訓練樣本數(shù)較多時能產生很好的泛化性能。但是，判別模型在訓練時每一類參數(shù)的估計要同時考慮所有類別的樣本，因而訓練的計算量較大。3.2概率密度估計概率密度估計和聚類一樣，是一個非監(jiān)督學習過程。研究概率密度估計主要有三個意義：分類、聚類(分割)、異常點監(jiān)測(Noveltydetection).在估計每個類別概率密度函數(shù)的基礎上，可以用Bayes決策規(guī)則來分類。概率密度模型經常采用高斯混合密度模型(Gaussianmixturemodel，GMM)，其中每個密度成分可以看作是一個聚類。異常點監(jiān)測又稱為一類分類(One—classclassification),由于只有一類模式的訓練樣本，在建立這類模式的概率密度模型的基礎上，根據相對于該模型的似然度來判斷異常模式。高斯混合密度估計常用的Expectation—Maximization(EM)算法［14］被普遍認為存在三個問題：估計過程易陷于局部極值點，估計結果依賴于初始化值，不能自動確定密度成分的個數(shù)。對于成分個數(shù)的確定，提出了一系列的模型選擇準則,如Bayes準則［15］、最小描述長度(MDL)、BayesianInformationCriterion(BIC)、AkaikeInformationCriterion(AIC)、最小消息長度(MML)等［16］。Figueiredo和Jain在一個擴展的EM算法中引入密度成分破壞(Annihilation)機制［16］，可以達到自動確定成分個數(shù)的目的。Ueda和Ghahramani提出一種基于變分Bayes的準則，并用分裂—合并算法進行估計自動確定成分個數(shù)［17］.分裂—合并算法還可以同時克服局部極值影響。高斯混合密度用于高維數(shù)據時會造成密度函數(shù)的參數(shù)太多，用于分類時還會降低泛化性能。這個問題可以通過限制協(xié)方差矩陣(為對角矩陣或單位矩陣的倍數(shù))、參數(shù)共享或特征降維來克服.在多類分類時，不同類別的概率密度要建立在相同的特征空間.如果對不同類別或不同密度成分提取不同的子空間，則要將子空間的密度函數(shù)反投影到原來的特征空間［18］.Moghaddam和Pentland的概率密度模型是主成分分析(PCA)子空間內的混合高斯密度和補子空間中的高斯密度的結合［19］。最近，Bouguila等人提出一種新的混合密度形式:Dirichlet混合密度［20］［21］。Dirichlet分布表示離散概率(介于0到1之間且和等于1)的聯(lián)合分布，可以用于直方圖、和歸一化特征矢量等的概率密度估計。Dirichlet密度可以是非對稱的，比高斯密度函數(shù)更為靈活，但計算也更復雜。Dirichlet混合密度可以用類似于EM的隨機優(yōu)化算法進行估計,在模式分類和圖像聚類等應用中取得了優(yōu)異的性能［21］。概率密度估計的另一種新方法是稀疏核函數(shù)描述(支持向量描述)［22］［23］.Scholkopf等人采用類似支持向量機的方法,用一個核特征空間的超平面將樣本分為兩類，使超平面外的樣本數(shù)不超過一個事先給定的比例［22］。該超平面的函數(shù)是一個樣本子集(支持向量)的核函數(shù)的加權平均，可以像支持向量機那樣用二次規(guī)劃算法求得。Tax和Duin的方法是用核空間的一個球面來區(qū)分區(qū)域內和區(qū)域外樣本［23］，同樣地可以用二次規(guī)劃進行優(yōu)化。3。3特征選擇特征選擇和特征變換都是為了達到維數(shù)削減的目的，在降低分類器復雜度的同時可以提高分類的泛化性能。二者也經常結合起來使用，如先選擇一個特征子集，然后對該子集進行變換。近年來由于適應越來越復雜(特征維數(shù)成千上萬,概率密度偏離高斯分布)的分類問題的要求，不斷提出新的特征選擇方法，形成了新的研究熱點［24］。特征選擇的方法按照特征選擇過程與分類器之間的交互程度可以分為過濾式(Filter)Wrapper［25］、嵌入式、混合式幾種類型。過濾式特征選擇是完全獨立于分類器的,這也是最常見的一種特征選擇方式，選擇過程計算量小,但是選擇的特征不一定很適合分類。在Wrapper(完整)模式識別文獻綜述方法中，特征子集的性能使用一個分類器在驗證樣本上的正確率來衡量，這樣選擇的特征比較適合該分類器，但不一定適合其他的分類器。由于在特征選擇過程中要評價很多特征子集(子集的數(shù)量呈指數(shù)級增長)，即使采用順序前向搜索,Wrapper的計算量都是很大的，只適合特征維數(shù)不太高的情況.Wrapper的另一個問題是當訓練樣本較少時會造成過擬合，泛化性能變差。嵌入式方法是在分類器的訓練過程中包含了特征選擇功能,因此跟Wrapper一樣也是依賴于分類器的。一個經典的方法是LASS0［26］。近來有代表性的兩種嵌入式方法是稀疏支持向量機［27］和Boosting特征選擇［28］?；旌鲜教卣鬟x擇結合不同的方法以實現(xiàn)更好的計算復雜性—分類性能的折衷，在初始特征數(shù)量非常大時經常使用，如［29］的方法在三個階段先后用三種方法削減特征個數(shù):過濾、聚類、組合式選擇.過濾方法和Wrapper也經常結合使用。特征選擇領域大部分的研究工作都集中在過濾式方法。模式識別領域早期的工作多把關注點放在搜索策略上［30］［31］，特征子集評價準則多采用基于高斯密度假設的距離準則,如Fisher準則、Mahalanobis距離等。其實，特征子集的評價準則更為重要，當準則較好地衡量特征子集的可分性且比較穩(wěn)定時，簡單的搜索策略就能產生良好的分類性能.下面分析兩類比較有代表性的特征評價方法：基于間隔(Margin)的方法和基于互信息的方法。RELIEF［32］是一種被廣泛引用的過濾式特征選擇方法，基本思想是根據特征空間中每個樣本在正確類別和不同類別中的最近鄰距離之差迭代調整特征的權值.這兩個距離之差即我們今天所說的間隔.不過RELIEF并沒有對一個全局的目標函數(shù)進行優(yōu)化。最近提出來的一種迭代RELIEF(I—RELIEF)方法設計一種基于間隔的全局目標函數(shù)，用類似EM的算法對特征的權值進行優(yōu)化［33］。另一種方法則對特征子集的空間中最近鄰分類的間隔進行優(yōu)化［34］。特征選擇的基本原則是選擇類別相關(Relevant)的特征而排除冗余的特征。這種類別相關性和冗余性通常用互信息(Mutualinformation,MI)來度量。特征與類別之間的互信息很好地度量了特征的相關性,而特征與特征之間的互信細則度量他們之間的相似性(冗余性).因此，基于互信息的特征選擇方法一般遵循這樣一種模式：在順序前向搜索中尋找與類別互信息最大而與前面已選特征互信息最小的特征［35］.［36］中提出的條件互信息用來度量在一個已選特征的條件下另一個新的候選特征對分類的相關性.［37］通過分析一種相關度,SymmetricalUncertainty(SU)與特征的Markovblanket之間的關系，設計一種快速的兩步特征選擇方法：先根據單個特征與類別之間的相關度選出相關特征，第二步對相關特征根據特征-類別相關度和特征-特征相關度進行篩選。3。4特征變換特征變換也常被稱為特征提取，指從原始信號經過變換得到特征量的過程。傳統(tǒng)的線性變換方法主要有主成分分析(PCA)和線性鑒別分析(LDA)，后者又叫Fisher鑒別分析(FDA)。LDA的子空間學習是有監(jiān)督的，目的是使子空間中類間離散度(Sb)和類內離散度(Sw)的行列式之比達到最大。LDA假設各類樣本服從高斯分布且不同類的協(xié)方差矩陣相同,而且所有樣本在總體上服從高斯分布?另外,LDA提取的特征個數(shù)受到類別數(shù)的限制，而當訓練樣本數(shù)相對特征維數(shù)較小時,Sw為奇異，會帶來很多計算上的問題.由于非高斯分布、小樣本等問題的存在，特征變換也是近年來研究的一個熱點，這方面的工作可以分為以下幾個方向:(1)針對小樣本的線性特征提取方法；(2)類內協(xié)方差矩陣不同時的異方差(Heteroscedastic)鑒別分析;(3)非高斯分布下的特征提取方法；(4)局部空間特性保持的特征提取方法；(5)非線性特征提取方法;(6)二維模式特征提取方法。小樣本學習的一個典型例子是圖像分類，如果直接用圖像中所有象素點的值作為特征量，矢量的維數(shù)非常高,而每一類的樣本數(shù)又很少?？朔w奇異性的一個直接方法是正則化(Regularized)鑒別分析［38］，通過矩陣平滑使Sw變得非奇異。Fisherface方法則用PCA把特征維數(shù)從D降到N-M(N是樣本數(shù)，M是類別數(shù))使Sw變得非奇異［39］。但是，Sw的維數(shù)由D降到N-M會損失一些鑒別信息，而降到N—1維則不會有損失［40］。而這時Sw（完整）模式識別文獻綜述仍然是奇異的，就需要從Sw的零空間（對應本征值為0）提取一些特征［41］。與一般的LDA方法先對Sw對角化然后對Sb對角化相反,一種DirectLDA方法先對Sb對角化后從變換后的Sw提取對應較小本征值的鑒別矢量［42］.對于類別協(xié)方差矩陣不同的情況異方差鑒別分析方法（如［43］）可以得到比LDA更好的分類性能。對于非高斯分布或任意分布的情況,非參數(shù)鑒別分析是提取鑒別特征的一個基本思路。由此發(fā)展起來的方法還包括基于決策邊界的鑒別分析。在不假設參數(shù)概率密度的情況下也可以用分類性能準則直接對鑒別投影矢量進行優(yōu)化，這樣的準則如最小分類錯誤（MCE）和特征與類別之間的互信息。對于每類樣本為多模態(tài)分布的情況可以采用基于混合高斯密度的鑒別分析.局部性保持特征提取方法借鑒了流形學習（如LLE和Isomap）的思想，目的是在子空間中保持樣本點之間的相鄰關系。流形學習的問題是只對訓練樣本進行投影，要推廣到測試樣本就需要用一個參數(shù)模型或回歸網絡來表示投影的過程。He等人提出的局部性保持投影（LPP）方法通過優(yōu)化一個局部性保持準則來估計投影矢量，可轉換為矩陣本征值分解問題。Yan等人提出一種基于樣本鄰近關系分析的特征提取的統(tǒng)一框架，稱為嵌入圖（Embeddedgraph），并在此基礎上提出一種新的鑒別分析方法。LPP是一種非監(jiān)督學習方法，被推廣到監(jiān)督學習和核空間。另外，Isomap流形學習方法也被推廣到監(jiān)督學習用于非線性特征提取.幾乎所有的線性特征投影方法都可以推廣到核空間。Scholkopf等人最先將核函數(shù)引入PCA,提出KernelPCA（KPCA）方法.類似地，將核函數(shù)引入Fisher鑒別分析，提出了KernelFDA（KFDA）。對核空間中結合PCA降維和FDA特征提取進行了深入的分析并提出了有效的算法.核空間的特征提取方法還有KernelDirectLDA，KernelLPP等。二維模式主成分分析（2D-PCA）或鑒別分析（2D-LDA）是近年提出的一種針對圖像模式的特征提取方法。這類方法直接在圖像矩陣上計算協(xié)方差（離散度）矩陣。該矩陣的維數(shù)等于圖像的行數(shù)或列數(shù)，計算起來簡便多了。另外,矩陣投影到每個本征矢量得到一個矢量,而不是一個值，這樣得到的特征值個數(shù)也遠遠多于LDA。在高維圖像人臉識別實驗中，2D-PCA和2D—LDA的分類性能分別優(yōu)于PCA和LDA。二維變換方法實際上是基于圖像行或列的變換方法，即對每一行或每一列分別投影得到特征，可以推廣到基于圖像塊的投影。4。發(fā)展趨勢除了上面介紹的最新研究進展，模式識別領域的前沿研究方向還有:Bayes學習、半監(jiān)督學習、弱監(jiān)督學習等.Bayes學習得到的分類器參數(shù)并不是一些固定值，而是參數(shù)的概率分布。參數(shù)的先驗概率分布函數(shù)形式的選擇、超參數(shù)（先驗概率分布的參數(shù)）的確定在計算上是比較復雜的。在識別時,需要對分類器的參數(shù)進行隨機采樣，然后把很多個參數(shù)值得到的分類結果組合起來，因而識別的計算量也是很大的.近年來，基于Bayes學習的分類器設計取得了明顯進展［11］等,得到了優(yōu)異的分類性能.但是，這些方法的計算還是很復雜的，對于大類別數(shù)、大樣本集的學習問題還難以實現(xiàn)。在大部分應用情況下，模式分類器經過訓練后就固定不變,或者使用相當長一段時間才重新訓練一次。在訓練分類器時，樣本的數(shù)量和代表性總是不夠的，這就希望分類器能不斷地適應新的樣本而不損失對原來訓練過的樣本的分類性能。這樣的增量學習問題很早就受到關注,提出了很多具體的方法,但還沒有一個統(tǒng)一的理論框架。新增加的樣本可能是沒有類別標記的,因為無標記樣本很容易得到，而標記過程費時費力。同時對標記樣本和無標記樣本進行學習的過程稱為半監(jiān)督學習，這是近年來機器學習領域的一個研究熱點。在標記樣本比較少的情況下采用無標記樣本能有效提高完全監(jiān)督學習的分類性能。大多數(shù)模式識別問題假設模式是與背景信號和其他模式分離的且表示成一個特征矢量。實際上，模式的分割不是一件簡單的事情，一個固定長度的特征矢量也不一定能最好地表示模式的特性.在實際應用問題中經常要將模式分類與分割問題統(tǒng)一考慮，有些模式被表示成結構性數(shù)據結構（如屬性圖、概率圖）。這些方面出現(xiàn)了大量的研究工作，這里不打算細述.目前有一（完整）模式識別文獻綜述類廣受關注的模式識別問題,識別對象是沒有分割的圖像，訓練圖像的標記是其中有沒有某一類目標，而不知道目標的具體位置、大小和方位.對這種標記不足的樣本進行訓練和識別的方法可以統(tǒng)稱為弱監(jiān)督學習，可用于目標識別、圖像檢索、景物分類等。5?？偨Y本文圍繞模式分類這個模式識別的核心問題概述了近年來在概率密度估計、特征選擇和變換、分類器設計等方面的重要研究進展，并分析了最近的發(fā)展趨勢。由于本人對模式識別認識有限,對模式識別的其他問題,包括分割、上下文處理、計算機視覺、以及重要的應用領域（語音識別、文字識別、生物特征識別等）沒有展開闡述。參考文獻F.Rosenblatt，Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain，PsychologicalReview,65：386-408,1958。N.J.Nilsson,LearningMachines，McGraw-Hill,NewYork,1965.A.K.Jain,R。P。W。Duin,J。Mao,Statisticalpatternrecognition:areview,IEEETrans.PAMI,22（1）：4-37,2000。R。A。Fisher,Theuseofmultiplemeasurementsintaxonomicproblems,AnnalsofEugenics,7:179-188,1936。C.K.Chow,Anoptimumcharacterrecognitionsystemusingdecisionfunctions,IRETrans。ElectronicComputers,6:247-254,1957。G.Nagy,PatternRecognition1966IEEEWorkshop,IEEESpectrum,92—94,Feb.1967。G。Nagy,Stateoftheartinpatternrecognition,Proc.IEEE,56（5）：836-862,1968.L.N.Kanal,Patternsinpatternrecognition:1968-1974,IEEETrans.InformationTheory,20（6）：697-722,1974。K.Fukunaga,IntroductiontoStatisticalPatternRecognition,AcademicPress,1972.R.O.Duda,P。E.Hart,PatternClassificationandSceneAnalysis,JohnWiley＆Sons,NewYork,1973.[11]C.M。Bishop,PatternRecognitionandMachineLearning,Springer,2006。K。Fukunaga,IntroductiontoStatisticalPatternRecognition,secondedition,AcademicPress,1990.R。O。Duda,P.E.Hart,D。G.Stork,PatternClassification,secondedition,JohnWiley＆Sons,NewYork,2001.A。P。Dempster,N。M.Laird,D.B.Rubin,Maximum—likelihoodfromincompletedataviatheEMalgorithm,J.RoyalStatisticsSocietyB,39：1—38,1977。S。J。Roberts,D.Husmeier,L.Rezek,W.Penny,BayesianapproachestoGaussianmixturemodeling,IEEETrans。PAMI,20（11）:1133-1142,1998.M。A。T.Figueiredo,A。K。Jain,Unsupervisedlearningoffinitemixturemodels,IEEETrans.PAMI,24（3）：381—396,2002.N.Ueda,Z.Ghahramani,Bayesianmodelsearchformixturemodelsbasedonoptimizingvariationalbounds,NeuralNetworks,15（10）：1223—1241,2003。P。M。Baggenstoss,ThePDFprojectiontheoremandtheclass—specificmethod,IEEETrans.SignalProcessing,51（3）:672-685,2003。

(完整)模式識別文獻綜述B.Moghaddam,A。Pentland，Probabilisticvisuallearningforobjectrepresentation,IEEETrans.PAMI,19(7):696-710，1997.N。Bouguila，D。Ziou,J。Vaillancourt,UnsupervisedlearningofafinitemixturemodelbasedontheDirichletdistributionanditsapplication,IEEETrans.ImageProcessing，13(11):1533-1543,2004。N.Bouguila,D.Ziou，AhybridSEMalgorithmforhigh-dimensionalunsupervisedlearningusingafinitegeneralizedDirichletmixture，IEEETrans.ImageProcessing，15(9)：2657-2668，2006.B。Scholkopf,J.Platt,J。Shawe—Taylor,A。J。Smola，R.C.Williamson,Estimatingthesupportofahigh—dimensionaldistribution，NeuralComputation,13(7)：1443-1471，2001。[23]D。M.J。Tax,R.P.W.Duin,Supportvectordatadescription,MachineLearning,54(1)：45—66，2004。[24]I。Guyon，A。Elisseeff,Anintroductiontovariableandfeatureselection，J。MachineLearningResearch，3:1157-1182,2003.[25]R.Kohavi，G。Tohu,Wrappersforfeatureselection,ArtificialIntelligence，97(1—2)：273-324，1997.R。Tibshirani，Regressionselectionandshrinkageviathelasso,J.RoyalStatisticalSocietySeriesB,58(1)：267—288,1996.J.Bi，K.Bennett,M.Embrecht，C.Breneman,M。Song，Dimensionalityreductionviasparsesupportvectormachines,J.MachineLearningResearch,3：1229—1243，2003。P.Viola,M。J。Jones,Rapidobjectdetectionusingaboostedcascadeofsimplefeatures,Proc.CVPR2001,Hawaii,2001,Vol。1,pp.511—518.J。Bins,B.A。Draper，F(xiàn)eatureselectionfromhugefeaturesets，Proc.8thICCV，2001，Vol.2,pp.159-165,2001。TOC\o"1-5"\h\zA.Jain，D.Zongker,Featureselection:evaluation，applicationandsmallsampleperformance，IEEETrans.PAMI，29(2)：153—158，1997.[31]M.Kudo，J.Sklansky，Comparisonofalgorithmsthatselectfeaturesforpatternclassifiers，PatternRecognition，33(1):25-41，2000。[32]I.Kononenko,Estimatingattributes：analysisandextensionsofRELIEF，Proc。ECML，Catana,Italy，Sprin