模式識別概論

模式識別概論第一頁，共六十六頁，2022年，8月28日課程對象智能科學(xué)與技術(shù)自動化計算機應(yīng)用技術(shù)專業(yè)本科專業(yè)的高年級學(xué)生使用第二頁，共六十六頁，2022年，8月28日與模式識別相關(guān)的學(xué)科統(tǒng)計學(xué)概率論線性代數(shù)（矩陣計算）高等數(shù)學(xué)機器學(xué)習(xí)人工智能圖像處理計算機視覺…第三頁，共六十六頁，2022年，8月28日教學(xué)方法著重講述模式識別的基本概念，基本方法和算法原理。注重理論與實踐緊密結(jié)合實例教學(xué)：通過大量實例講述如何將所學(xué)知識運用到實際應(yīng)用之中避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)。

第四頁，共六十六頁，2022年，8月28日教學(xué)目標(biāo)掌握模式識別的基本概念和方法有效地運用所學(xué)知識和方法解決實際問題為研究新的模式識別的理論和方法打下基礎(chǔ)

第五頁，共六十六頁，2022年，8月28日題外話基本：完成課程學(xué)習(xí)，通過考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識和內(nèi)容用于課題研究，解決實際問題。飛躍：通過模式識別的學(xué)習(xí)，改進(jìn)思維方式，為將來的工作打好基礎(chǔ)，終身受益。第六頁，共六十六頁，2022年，8月28日教材/參考文獻(xiàn)范九倫，趙鳳，雷博等，模式識別導(dǎo)論，西安電子科技大學(xué)出版社，2012。邊肇祺，模式識別（第二版），清華大學(xué)出版社，2000。齊敏，李大建，郝重陽，模式識別導(dǎo)論，清華大學(xué)出版社，2009。R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中譯本）.第七頁，共六十六頁，2022年，8月28日機構(gòu)、會議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會---“IAPR”1977年IEEE成立PAMI委員會，創(chuàng)立IEEETrans.onPAMI，并支持ICCV,CVPR兩個會議其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)第八頁，共六十六頁，2022年，8月28日第一章引論第九頁，共六十六頁，2022年，8月28日什么是模式（Pattern）？第十頁，共六十六頁，2022年，8月28日什么是模式？廣義地說，存在于時間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性第十一頁，共六十六頁，2022年，8月28日認(rèn)知模式識別模式識別是生物體的基本活動，與感覺、記憶、學(xué)習(xí)、思維等心理過程緊密聯(lián)系。因此，模式識別是研究生物體如何感知對象的學(xué)科，屬于認(rèn)識科學(xué)的范疇，是生理學(xué)家、心理學(xué)家、生物學(xué)家和神經(jīng)生理學(xué)家的研究內(nèi)容，常被稱做認(rèn)知模式識別。具體而言…第十二頁，共六十六頁，2022年，8月28日什么是模式？狹義地講，模式是為了能讓計算機執(zhí)行和完成分類識別任務(wù)，通過對具體的個別事物進(jìn)行觀測所得到的具體時間和空間分布的信息。把模式所屬的類別或同一類中模式的總體稱為模式類。第十三頁，共六十六頁，2022年，8月28日計算機模式識別根據(jù)待識別對象的特征或?qū)傩?，利用以計算機為中心的機器系統(tǒng)，運用一定的分析算法確定對象的類別的學(xué)科，是數(shù)學(xué)家、信息學(xué)專家和計算機專家的研究內(nèi)容模式識別定義：

研究一些自動技術(shù)，利用這些技術(shù)，計算機自動地把待識別模式分到各自的模式類中。

例如：數(shù)字識別第十四頁，共六十六頁，2022年，8月28日模式識別模式識別–直觀，無所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識別：張三、李四聲音的辨別：汽車、火車，狗叫、人語氣味的分辨：炸帶魚、紅燒肉人和動物的模式識別能力是極其平常的，但對計算機來說卻是非常困難的。第十五頁，共六十六頁，2022年，8月28日認(rèn)識模式識別認(rèn)知模式識別是認(rèn)知心理學(xué)研究領(lǐng)域的核心問題之一，是人的一種最基本的認(rèn)知能力。匹配過程可以采用：

1.模板匹配理論

2.原形匹配理論

3.特征匹配理論

4.結(jié)構(gòu)優(yōu)勢描述理論第十六頁，共六十六頁，2022年，8月28日計算機模式識別模式識別系統(tǒng)模式識別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計第十七頁，共六十六頁，2022年，8月28日模式識別系統(tǒng)組成單元數(shù)據(jù)獲?。河糜嬎銠C可以運算的符號來表示所研究的對象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動波形等物理參量和邏輯值：體溫、化驗數(shù)據(jù)、參量正常與否的描述

通過各種傳感器把研究對象的各種物理變量轉(zhuǎn)化為計算機可以接受的數(shù)值和符號集合,習(xí)慣上稱這種數(shù)值或符號串所組成的空間為模式空間預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原第十八頁，共六十六頁，2022年，8月28日模式識別系統(tǒng)組成單元特征提取和選擇：對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征測量空間：原始數(shù)據(jù)組成的空間特征空間：分類識別賴以進(jìn)行的空間模式表示：維數(shù)較高的測量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個判決規(guī)則，使得按這種規(guī)則對被識別對象進(jìn)行分類所造成的錯誤識別率最小或引起的損失最小第十九頁，共六十六頁，2022年，8月28日模式識別系統(tǒng)一個功能完善的計算機模式識別系統(tǒng)除了具有分類識別過程外,通常還應(yīng)該具有學(xué)習(xí)功能,具體如下圖.第二十頁，共六十六頁，2022年，8月28日模式識別系統(tǒng)的原理框圖第二十一頁，共六十六頁，2022年，8月28日統(tǒng)計模式識別過程實例在傳送帶上用光學(xué)傳感器件對魚按品種分類 鱸魚(Seabass)

品種 鮭魚(Salmon)第二十二頁，共六十六頁，2022年，8月28日識別過程數(shù)據(jù)獲?。杭茉O(shè)一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個分割操作把魚和魚之間以及魚和背景之間分開第二十三頁，共六十六頁，2022年，8月28日識別過程特征提取和選擇：對單個魚的信息進(jìn)行特征選擇，從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器第二十四頁，共六十六頁，2022年，8月28日第二十五頁，共六十六頁，2022年，8月28日第二十六頁，共六十六頁，2022年，8月28日第二十七頁，共六十六頁，2022年，8月28日第二十八頁，共六十六頁，2022年，8月28日第二十九頁，共六十六頁，2022年，8月28日第三十頁，共六十六頁，2022年，8月28日模式分類器的獲取和評測過程數(shù)據(jù)采集特征選取模型選擇訓(xùn)練和測試計算結(jié)果和復(fù)雜度分析，反饋第三十一頁，共六十六頁，2022年，8月28日第三十二頁，共六十六頁，2022年，8月28日訓(xùn)練和測試訓(xùn)練集：是一個已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來開發(fā)出模式分類器。測試集：在設(shè)計識別和分類系統(tǒng)時沒有用過的獨立樣本集。系統(tǒng)評價原則：為了更好地對模式識別系統(tǒng)性能進(jìn)行評價，必須使用一組獨立于訓(xùn)練集的測試集對系統(tǒng)進(jìn)行測試。第三十三頁，共六十六頁，2022年，8月28日模式識別的研究目的：利用計算機對物理對象進(jìn)行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域為類別的標(biāo)號集F是模式識別的判別方法第三十四頁，共六十六頁，2022年，8月28日模式識別方法模式識別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說。特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將c個類別表示為 其中為所屬類別的集合，稱為解釋空間。第三十五頁，共六十六頁，2022年，8月28日假說的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說：在特征空間中找到一個與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來確定假說（通常為一個判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進(jìn)行分類；對分類的模式要有足夠的先驗知識，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。第三十六頁，共六十六頁，2022年，8月28日假說的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。在沒有先驗知識的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況；如果特征向量集聚集若干個群，可按群間距離遠(yuǎn)近把它們劃分成類；這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。第三十七頁，共六十六頁，2022年，8月28日模式分類的主要方法數(shù)據(jù)聚類統(tǒng)計分類結(jié)構(gòu)模式識別神經(jīng)網(wǎng)絡(luò)第三十八頁，共六十六頁，2022年，8月28日數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動的。第三十九頁，共六十六頁，2022年，8月28日統(tǒng)計分類基于概率統(tǒng)計模型(概率密度函數(shù)、后驗概率)得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動的。第四十頁，共六十六頁，2022年，8月28日結(jié)構(gòu)模式識別對于具有復(fù)雜結(jié)構(gòu)特征的對象，僅用一些復(fù)雜特征已不能對其進(jìn)行充分描述，此時需要采用結(jié)構(gòu)模式識別方法。該方法首先將對象分解為若干基本單元（基元），然后利用這些基元和它們之間的結(jié)構(gòu)關(guān)系來描述對象。在結(jié)構(gòu)模式識別中，基元以及基元之間的結(jié)構(gòu)關(guān)系采用圖和字符串來表示，這些圖和字符串稱為形式語言的句子，再根據(jù)代表類的文法運用形式語言理論和技術(shù)對句子進(jìn)行句法分析，根據(jù)其是否符合某一類的文法來確定其類別。因此，結(jié)構(gòu)模式識別也稱為句法模式識別。第四十一頁，共六十六頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號。增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。第四十二頁，共六十六頁，2022年，8月28日模式識別的一些基本準(zhǔn)則奧卡姆剃刀原理

14世紀(jì)邏輯學(xué)家、圣方濟(jì)各會修士奧卡姆的威廉提出一個原理“如無必要，勿增實體”，殺雞焉用宰牛刀，在多種實現(xiàn)方法中提倡選擇最簡單的假設(shè)和模型，盡量不要把問題復(fù)雜化，盡力把沒用的和會把問題復(fù)雜化的因素去掉。第四十三頁，共六十六頁，2022年，8月28日模式識別的一些基本準(zhǔn)則沒有免費的午餐定理（NoFreeLunch,NFL）該定理指出：沒有最好的算法，每種算法總有它的優(yōu)勢和缺陷。NFL定理可簡單表述為：對于所有可能的問題，任意給定兩個算法A，A’，如果A在某些問題上表現(xiàn)得比A’好，那么A在其他問題上表現(xiàn)一定比A’差。該定理隱含指出：任何一種分類算法甚至不比搜索空間的線性列舉或者純隨機搜索算法更優(yōu)。第四十四頁，共六十六頁，2022年，8月28日模式識別的一些基本準(zhǔn)則丑小鴨定理

20世紀(jì)60年代，美籍日本學(xué)者渡邊慧證明了“丑小鴨定理”。定理說：丑小鴨和白天鵝之間的區(qū)別和兩只白天鵝之間的區(qū)別一樣大。這個看起來完全違背常識的定理實際上說的是：世界上不存在分類的客觀標(biāo)準(zhǔn)，一切分類的標(biāo)準(zhǔn)都是主觀的。第四十五頁，共六十六頁，2022年，8月28日渡邊慧舉了一個鯨魚的例子：按照生物學(xué)的分類方法，鯨魚屬于哺乳類的偶蹄目，和牛是一類；但是在產(chǎn)業(yè)界，鯨和魚同屬于水產(chǎn)業(yè)，而不屬于包括牛的畜牧業(yè)。分類結(jié)果取決于選擇什么特征作為分類標(biāo)準(zhǔn)，而特征的選擇又依存于人的目的。丑小鴨是白天鵝的幼雛，在畫家的眼里，丑小鴨和白天鵝的區(qū)別大于兩只白天鵝的區(qū)別；但是在遺傳學(xué)家的眼里，丑小鴨與其父親或母親的差別小于父母之間的差別。由此引出的一個問題是，事物有沒有“本質(zhì)”？一個蘋果，牛頓看到的是它的質(zhì)量，遺傳學(xué)家看到的是它的染色體中的DNA序列，美食家關(guān)心的是它的味道，畫家看到的是它的顏色和形狀，孔融還可能關(guān)注其大小并從中看出道德因素。這里面沒有誰對誰錯的問題，所以不可能知道蘋果的“本質(zhì)”是什么。在說到“本質(zhì)”的時候，充其量說的只是“我認(rèn)為最重要的特征”，只代表個人的立場。第四十六頁，共六十六頁，2022年，8月28日模式識別簡史1929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法結(jié)構(gòu)模式識別。60年代提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機也受到了很大的重視。第四十七頁，共六十六頁，2022年，8月28日模式識別的應(yīng)用（舉例）生物學(xué)—生物特征識別自動細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析第四十八頁，共六十六頁，2022年，8月28日模式識別的應(yīng)用（舉例）工程產(chǎn)品缺陷檢測、特征識別、語音識別、自動導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達(dá)和聲納信號檢測和分類、自動目標(biāo)識別安全指紋識別、人臉識別、監(jiān)視和報警系統(tǒng)第四十九頁，共六十六頁，2022年，8月28日實例：統(tǒng)計模式識別19名男女同學(xué)進(jìn)行體檢，測量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問（在最小錯誤的條件下）這4人是男是女？體檢數(shù)值如下：第五十頁，共六十六頁，2022年，8月28日實例：統(tǒng)計模式識別（續(xù)）待識別的模式：性別（男或女）測量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）第五十一頁，共六十六頁，2022年，8月28日實例：統(tǒng)計模式識別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖第五十二頁，共六十六頁，2022年，8月28日實例：統(tǒng)計模式識別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點，從而求取一個判別函數(shù)（直線或曲線）。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。第五十三頁，共六十六頁，2022年，8月28日實例：句法模式識別問題：如何利用對圖像的結(jié)構(gòu)信息描述，識別如下所示圖片：第五十四頁，共六十六頁，2022年，8月28日實例：句法模式識別（續(xù)）將整個場景圖像結(jié)構(gòu)分解成一些比較簡單的子圖像的組合；子圖像又用一些更為簡單的基本圖像單元來表示，直至子圖像達(dá)到了我們認(rèn)為的最簡單的圖像單元（基元）；所有這些基元按一定的結(jié)構(gòu)關(guān)系來表示，利用多級樹結(jié)構(gòu)對其進(jìn)行描述（這種描述可以采用形式語言理論）。第五十五頁，共六十六頁，2022年，8月28日實例：句法模式識別（續(xù)）多級樹描述結(jié)構(gòu)第五十六頁，共六十六頁，2022年，8月28日實例：句法模式識別（續(xù)）訓(xùn)練過程：用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識別出基元（比如場景圖中的X、Y、Z等簡單平面）和它們之間的連接關(guān)系（例如長方體E是由X、Y和Z三個面拼接而成），并用字母符號代表之；然后用構(gòu)造句子的文法來描述生成這幅場景的過程，由此推斷出生成該場景的一種文法。第五十七頁，共六十六頁，2022年，8月28日實例：句法模式識別（續(xù)）識別過程：先對未知結(jié)構(gòu)信息的圖像進(jìn)行基元提取及其相互結(jié)構(gòu)關(guān)系的識別；然后用訓(xùn)練過程獲得的文法做句法分析；如果能被已知結(jié)構(gòu)信息的文法分析出來，則該幅未知圖像與訓(xùn)練樣本具有相同的結(jié)構(gòu)（識別成功），否則就不是這種結(jié)構(gòu)（識別失敗）。第五十八頁，共六十六頁，2022年，8月