模式識別方法及其研究進展

模式識別方法及其研究進展PatternRecorgnitionMethodAndItsResearchReview1主要內(nèi)容有關(guān)組織與出版物模式識別的基本概念模式識別系統(tǒng)模式識別過程模式識別方法與進展未來展望2機構(gòu)、會議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會---“IAPR”1977年IEEE成立PAMI委員會，創(chuàng)立IEEETrans.onPAMI，并支持ICCV,CVPR兩個會議其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)3統(tǒng)計學(xué)概率論線性代數(shù)（矩陣計算）形式語言機器學(xué)習(xí)人工智能圖像處理計算機視覺…與模式識別相關(guān)的學(xué)科4什么是模式（Pattern）？5廣義地說，存在于時間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性什么是模式？6模式識別–直觀，無所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識別：張三、李四聲音的辨別：汽車、火車，狗叫、人語氣味的分辨：炸帶魚、紅燒肉人和動物的模式識別能力是極其平常的，但對計算機來說卻是非常困難的。模式識別的概念7目的：利用計算機對物理對象進行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域為類別的標(biāo)號集F是模式識別的判別方法模式識別的研究81929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法結(jié)構(gòu)模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機也受到了很大的重視。模式識別簡史9生物學(xué)自動細胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠鏡圖像分析、自動光譜學(xué)經(jīng)濟學(xué)股票交易預(yù)測、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析模式識別的應(yīng)用（一）10工程產(chǎn)品缺陷檢測、特征識別、語音識別、自動導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達和聲納信號檢測和分類、自動目標(biāo)識別安全指紋識別、人臉識別、監(jiān)視和報警系統(tǒng)模式識別的應(yīng)用（二）11模式識別目標(biāo)模式識別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說。特征空間：從模式得到的對分類有用的度量屬性或基元構(gòu)成的空間。解釋空間：將c個類別表示為 其中為所屬類別的集合，稱為解釋空間。

12兩種實現(xiàn)假說：歸納監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說：在特征空間中找到一個與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來確定假說（通常為一個判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進行分類；對分類的模式要有足夠的先驗知識，通常需要采集足夠數(shù)量的具有典型性的樣本進行訓(xùn)練。13兩種實現(xiàn)假說：演繹非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。在沒有先驗知識的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況；如果特征向量集聚集若干個群，可按群間距離遠近把它們劃分成類；這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。14模式識別系統(tǒng)的基本構(gòu)成模式識別系統(tǒng)數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計15數(shù)據(jù)獲取：用計算機可以運算的符號來表示所研究的對象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動波形等物理參量和邏輯值：體溫、化驗數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復(fù)原模式識別系統(tǒng)組成（一）16特征提取和選擇：對原始數(shù)據(jù)進行變換，得到最能反映分類本質(zhì)的特征測量空間：原始數(shù)據(jù)組成的空間特征空間：分類識別賴以進行的空間模式表示：維數(shù)較高的測量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個判決規(guī)則，使得按這種規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小模式識別系統(tǒng)組成（二）17由訓(xùn)練樣本所得特征空間分布圖18光學(xué)傳感器對魚分類：鱸魚(Seabass)鮭魚(Salmon)模式識別過程實例19數(shù)據(jù)獲取：架設(shè)一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個分割操作把魚和魚之間以及魚和背景之間分開特征提取和選擇：對單個魚的信息進行特征選擇，從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器識別過程202122232425數(shù)據(jù)聚類、PCA統(tǒng)計模式識別結(jié)構(gòu)模式識別（句法）神經(jīng)網(wǎng)絡(luò)支持向量機模糊理論特征提取理論分形理論小波分析模式分類的主要方法26目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動的。數(shù)據(jù)聚類2728基于概率統(tǒng)計模型得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動的。統(tǒng)計模式識別29該方法通過考慮識別對象的各部分之間的聯(lián)系來達到識別分類的目的。識別采用結(jié)構(gòu)匹配的形式，通過計算一個匹配程度值（matchingscore）來評估一個未知的對象或未知對象某些部分與某種典型模式的關(guān)系如何。當(dāng)成功地制定出了一組可以描述對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法–句法模式識別，來檢查一個模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語法。結(jié)構(gòu)模式識別30神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號。增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。神經(jīng)網(wǎng)絡(luò)31MP模型32多層感知器如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。

33支持向量機基于統(tǒng)計學(xué)習(xí)理論的支持向量機（supportvectormachines,SVM），作為一種新的強大數(shù)據(jù)分類和函數(shù)估計工具以及神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一種新的重要方法學(xué)，得到了巨大的發(fā)展。目前SVM已經(jīng)達到了一個比較成熟的水平，被成功地應(yīng)用于模式識別和目標(biāo)檢測、函數(shù)估計、基因分析等領(lǐng)域。34線性分類器f

xy+1-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?35f

xy+1-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?36f

x+1-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?37f

x+1-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?38f

xy+1-1f(x,w,b)=sign(w.x

-b)Anyofthesewouldbefine....butwhichisbest?39xy+1-1f(x,w,b)=sign(w.x

-b)線性分類器的間隔（margin）：到超平面最近的樣本與此超平面之間的距離。40最大間隔f

xy+1-1f(x,w,b)=sign(w.x

-b)具有最大間隔的線性分類器叫做最大間隔線性分類器。其就是一種最簡單的支持向量機(SVM)(稱為線性支持向量機，即LSVM)線性支持向量機41f

xy+1-1f(x,w,b)=sign(w.x

-b)支持向量(SupportVectors):是那些距離超平面最近的點。具有最大間隔的線性分類器叫做最大間隔線性分類器。其就是一種最簡單的支持向量機(SVM)(稱為線性支持向量機，即LSVM)線性支持向量機最大間隔42Why…最大間隔?+1-1f(x,w,b)=sign(w.x

-b)支持向量(SupportVectors):是那些距離超平面最近的點。具有最大間隔的線性分類器叫做最大間隔線性分類器。其就是一種最簡單的支持向量機(SVM)(稱為線性支持向量機，即LSVM)線性支持向量機直觀上感覺很好.學(xué)習(xí)得到的線性分類器.其對未知樣本的預(yù)測能力與分類器間隔有如下關(guān)系：43OverfittingandunderfittingProblem:howrichclassofclassificationsq(x;θ)touse.underfittingoverfittinggoodfitProblemofgeneralization:asmallempricalriskRempdoesnotimplysmalltrueexpectedriskR.44分形理論的創(chuàng)始人曼德布羅特(Mandelprot)曾說過：“浮云不呈球形，山峰不呈錐體，海岸線不是圓圈，樹干不是光溜溜的，閃電永不會沿直線行進”，說的就是人們一般不應(yīng)以簡單的、理想的體系去對待實際體系。

大自然中存在的不規(guī)則的物體，可能存在不同尺度上的相似性，稱為自相似性。例如：

1.布朗微粒軌跡圖存在自相似性：雖然記錄時間間隔相差很大，但它們?nèi)远季哂邢嗤膹?fù)雜性。

2.不管漫步在海岸邊以厘米量級觀察，還是從人造衛(wèi)星上以數(shù)千米跨度觀察，海岸線的彎曲的復(fù)雜程度也可能是相同的。以不同尺度去測量都有相似結(jié)果說明，測量對象沒有特征尺寸，它們具有尺度（標(biāo)度）不變性。分形多姿的大自然體形45布朗微粒軌跡

皮蘭（Perrin）于1908年用顯微鏡測量了布朗運動的軌跡，他每隔30秒記錄一次某個微粒的位置，再將相繼得到的兩點位置連成直線，得到一幅由長短不等的直線段連接成的軌跡圖。他又將測量時間間隔縮短為每隔3秒，畫出的另外一幅微粒的軌跡圖。將兩圖進行比較可以發(fā)現(xiàn)，兩幅圖雖不盡相同，它們具有同等的復(fù)雜程度。以不同尺度去測量都有相似結(jié)果說明，測量對象沒有特征尺寸，它們具有尺度（標(biāo)度）不變性。46大自然中的自相似體

不管漫步在海岸邊以厘米量級觀察，還是從人造衛(wèi)星上以數(shù)千米跨度觀察，海岸線的彎曲的復(fù)雜程度也可能是相同的。

大自然中的許多不規(guī)則物體，可能存在不同尺度上的相似性，稱為自相似性。47多彩的大自然大自然是異常復(fù)雜、豐富多彩的，那些簡單、正規(guī)的理想對象只是少數(shù)。人們不應(yīng)以簡單的、理想的體系去對待實際體系。48理不清的相軌線49奇妙的計算圖形50基于測量對象體形上的自相似性與標(biāo)度不變性，曼德布羅特提出了分形理論。1973年，在法蘭商學(xué)院講學(xué)期間提出了分形的幾何學(xué)的基本思想，1977年，出版了第一本著作：《分形對象：形、機遇與維數(shù)》，1982年，出版了第二本著作：《自然界的形幾何學(xué)》

分形的英文詞是“fractal”，是曼德布羅特創(chuàng)造的，用以表征某些不規(guī)則的幾何形體。分形定義“Afractalisashapemadeofpartssimslartothewholeinsomeway”，“分形是其組成部分以某種方式與整體相似的圖形”，或者說：

分形是指一類體形復(fù)雜的體系，其局部與整體具有相似性。維數(shù)：與人們熟悉的整規(guī)體形的整數(shù)維不同，分形體的維數(shù)不一定是整數(shù)，它可取連續(xù)變化的各種數(shù)值，稱為分形維數(shù)（簡稱分維）。根據(jù)分形體不同特征，分形維數(shù)的定義有多種，而且不同維數(shù)定義計算出的維數(shù)也有一些差別。分形的定義51分形的研究現(xiàn)已大大地超出了數(shù)學(xué)、物理學(xué)的范疇，它不僅廣泛用于處理自然科學(xué)中相關(guān)問題，象雷電、相變、聚合物生長等等，而且在擴展到生態(tài)、生命、經(jīng)濟、人文的許多領(lǐng)域。在地震、氣象的預(yù)報預(yù)測、石油的多次開采等應(yīng)用領(lǐng)域，甚至在股票漲落分析等方面，分形也都得到了廣泛的應(yīng)用。分形與系統(tǒng)的混沌運動是密切相關(guān)的，是非線性科學(xué)的一個重要分支。分形研究領(lǐng)域有如下方面1.數(shù)學(xué)，這是分形的基礎(chǔ)領(lǐng)域；2.物理學(xué)、化學(xué)等自然科學(xué)，如雷電、相變、聚合物生長、天文、地理地質(zhì)、生態(tài)、生命等自然現(xiàn)象；3.非線性動力系統(tǒng)中的分形研究；4.人文、經(jīng)濟如股票漲落分析等；5.國民經(jīng)濟：如地震、氣象的預(yù)報預(yù)測、石油的多次開采等領(lǐng)域。分形研究52小波分析時頻分析局部化時頻分析局部化的特點提高了信號分析的能力。Fourier變換無法做局部分析，小波分析正式為了克服Fourier變換這些不足而提出來的。具有多分辨率（multi-resolution），也叫多尺度