模式識別原理及其應(yīng)用

精品文檔引言

課程對象計算機應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課電子科學(xué)與技術(shù)學(xué)科碩士研究生的專業(yè)基礎(chǔ)課

與模式識別相關(guān)的學(xué)科統(tǒng)計學(xué)概率論線性代數(shù)（矩陣計算）形式語言機器學(xué)習(xí)人工智能圖像處理計算機視覺…教學(xué)方法著重講述模式識別的基本概念，基本方法和算法原理。注重理論與實踐緊密結(jié)合實例教學(xué)：通過大量實例講述如何將所學(xué)知識運用到實際應(yīng)用之中避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)。

教學(xué)目標(biāo)掌握模式識別的基本概念和方法有效地運用所學(xué)知識和方法解決實際問題為研究新的模式識別的理論和方法打下基礎(chǔ)

題外話基本：完成課程學(xué)習(xí)，通過考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識和內(nèi)容用于課題研究，解決實際問題。飛躍：通過模式識別的學(xué)習(xí)，改進思維方式，為將來的工作打好基礎(chǔ)，終身受益。教材/參考文獻R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中譯本）.邊肇祺，模式識別（第二版），清華大學(xué)出版社，2000。蔡元龍，模式識別，西北電訊工程學(xué)院出版社，1986。機構(gòu)、會議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會---“IAPR”1977年IEEE成立PAMI委員會，創(chuàng)立IEEETrans.onPAMI，并支持ICCV,CVPR兩個會議其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)第一章模式識別概論什么是模式（Pattern）？什么是模式？廣義地說，存在于時間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性模式識別的概念模式識別–直觀，無所不在，“人以類聚，物以群分”周圍物體的認知：桌子、椅子人的識別：張三、李四聲音的辨別：汽車、火車，狗叫、人語氣味的分辨：炸帶魚、紅燒肉人和動物的模式識別能力是極其平常的，但對計算機來說卻是非常困難的。模式識別的研究目的：利用計算機對物理對象進行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域為類別的標(biāo)號集F是模式識別的判別方法模式識別簡史1929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法結(jié)構(gòu)模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機也受到了很大的重視。模式識別的應(yīng)用（舉例）生物學(xué)自動細胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠鏡圖像分析、自動光譜學(xué)經(jīng)濟學(xué)股票交易預(yù)測、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析模式識別的應(yīng)用（舉例）工程產(chǎn)品缺陷檢測、特征識別、語音識別、自動導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達和聲納信號檢測和分類、自動目標(biāo)識別安全指紋識別、人臉識別、監(jiān)視和報警系統(tǒng)模式識別方法模式識別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說。特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將c個類別表示為 其中為所屬類別的集合，稱為解釋空間。假說的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說：在特征空間中找到一個與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來確定假說（通常為一個判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進行分類；對分類的模式要有足夠的先驗知識，通常需要采集足夠數(shù)量的具有典型性的樣本進行訓(xùn)練。假說的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。在沒有先驗知識的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況；如果特征向量集聚集若干個群，可按群間距離遠近把它們劃分成類；這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。模式分類的主要方法數(shù)據(jù)聚類統(tǒng)計分類結(jié)構(gòu)模式識別神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動的。統(tǒng)計分類基于概率統(tǒng)計模型得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動的。結(jié)構(gòu)模式識別該方法通過考慮識別對象的各部分之間的聯(lián)系來達到識別分類的目的。識別采用結(jié)構(gòu)匹配的形式，通過計算一個匹配程度值（matchingscore）來評估一個未知的對象或未知對象某些部分與某種典型模式的關(guān)系如何。當(dāng)成功地制定出了一組可以描述對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法–句法模式識別，來檢查一個模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語法。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號。增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。模式識別系統(tǒng)模式識別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計模式識別系統(tǒng)組成單元數(shù)據(jù)獲?。河糜嬎銠C可以運算的符號來表示所研究的對象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動波形等物理參量和邏輯值：體溫、化驗數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復(fù)原模式識別系統(tǒng)組成單元特征提取和選擇：對原始數(shù)據(jù)進行變換，得到最能反映分類本質(zhì)的特征測量空間：原始數(shù)據(jù)組成的空間特征空間：分類識別賴以進行的空間模式表示：維數(shù)較高的測量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個判決規(guī)則，使得按這種規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小模式識別過程實例在傳送帶上用光學(xué)傳感器件對魚按品種分類 鱸魚(Seabass)

品種 鮭魚(Salmon)識別過程數(shù)據(jù)獲?。杭茉O(shè)一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個分割操作把魚和魚之間以及魚和背景之間分開識別過程特征提取和選擇：對單個魚的信息進行特征選擇，從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器模式分類器的獲取和評測過程數(shù)據(jù)采集特征選取模型選擇訓(xùn)練和測試計算結(jié)果和復(fù)雜度分析，反饋訓(xùn)練和測試訓(xùn)練集：是一個已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來開發(fā)出模式分類器。測試集：在設(shè)計識別和分類系統(tǒng)時沒有用過的獨立樣本集。系統(tǒng)評價原則：為了更好地對模式識別系統(tǒng)性能進行評價，必須使用一組獨立于訓(xùn)練集的測試集對系統(tǒng)進行測試。實例：統(tǒng)計模式識別19名男女同學(xué)進行體檢，測量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問（在最小錯誤的條件下）這4人是男是女？體檢數(shù)值如下：實例：統(tǒng)計模式識別（續(xù)）待識別的模式：性別（男或女）測量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）實例：統(tǒng)計模式識別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖實例：統(tǒng)計模式識別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點，從而求取一個判別函數(shù)（直線或曲線）。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。實例：句法模式識別問題：如何利用對圖像的結(jié)構(gòu)信息描述，識別如下所示圖片：實例：句法模式識別（續(xù)）將整個場景圖像結(jié)構(gòu)分解成一些比較簡單的子圖像的組合；子圖像又用一些更為簡單的基本圖像單元來表示，直至子圖像達到了我們認為的最簡單的圖像單元（基元）；所有這些基元按一定的結(jié)構(gòu)關(guān)系來表示，利用多級樹結(jié)構(gòu)對其進行描述（這種描述可以采用形式語言理論）。實例：句法模式識別（續(xù)）多級樹描述結(jié)構(gòu)實例：句法模式識別（續(xù)）訓(xùn)練過程：用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識別出基元（比如場景圖中的X、Y、Z等簡單平面）和它們之間的連接關(guān)系（例如長方體E是由X、Y和Z三個面拼接而成），并用字母符號代表之；然后用構(gòu)造句子的文法來描述生成這幅場景的過程，由此推斷出生成該場景的一種文法。實例：句法模式識別（續(xù)）識別過程：先對未知結(jié)構(gòu)信息的圖像進行基元提取及其相互結(jié)構(gòu)關(guān)系的識別；然后用訓(xùn)練過程獲得的文法做句法分析；如果能被已知結(jié)構(gòu)信息的文法分析出來，則該幅未知圖像與訓(xùn)練樣本具有相同的結(jié)構(gòu)（識別成功），否則就不是這種結(jié)構(gòu)（識別失?。１鹃T課程的主要內(nèi)容第一章概論第二章聚類分析第三章判別函數(shù)第四章統(tǒng)計識別第五章 特征選擇和提取第六章句法模式識別第七章神經(jīng)網(wǎng)絡(luò)相關(guān)數(shù)學(xué)概念隨機向量及其分布隨機向量如果一個對象的特征觀察值為{x1,x2,…,xn}，它可構(gòu)成一個n維的特征向量值x，即

x=(x1,x2,…,xn)T

式中，x1,x2,…,xn為特征向量x的各個分量。一個特征可以看作n維空間中的向量或點，此空間稱為模式的特征空間Rn

。相關(guān)數(shù)學(xué)概念隨機向量及其分布隨機向量在模式識別過程中，要對許多具體對象進行測量，以獲得許多次觀測值。每次觀測值不一定相同，所以對許多對象而言，各個特征分量都是隨即變量，即許多對象的特征向量在n維空間中呈隨機性分布，稱為隨即向量。相關(guān)數(shù)學(xué)概念隨機向量及其分布隨機向量的參數(shù)[數(shù)學(xué)期望][協(xié)方差矩陣]相關(guān)數(shù)學(xué)概念正態(tài)分布[一維正態(tài)密度函數(shù)]相關(guān)數(shù)學(xué)概念正態(tài)分布[多維正態(tài)密度函數(shù)]歷史ⅱ岳麓版第13課交通與通訊的變化資料精品課件歡迎使用[自讀教材·填要點]一、鐵路，更多的鐵路1．地位鐵路是

建設(shè)的重點，便于國計民生，成為國民經(jīng)濟發(fā)展的動脈。2．出現(xiàn)1881年，中國自建的第一條鐵路——唐山

至胥各莊鐵路建成通車。1888年，宮廷專用鐵路落成。交通運輸開平

3．發(fā)展(1)原因：①甲午戰(zhàn)爭以后列強激烈爭奪在華鐵路的

。②修路成為中國人

的強烈愿望。(2)成果：1909年

建成通車；民國以后，各條商路修筑權(quán)收歸國有。4．制約因素政潮迭起，軍閥混戰(zhàn)，社會經(jīng)濟凋敝，鐵路建設(shè)始終未入正軌。修筑權(quán)救亡圖存京張鐵路

二、水運與航空1．水運(1)1872年,

正式成立，標(biāo)志著中國新式航運業(yè)的誕生。(2)1900年前后，民間興辦的各種輪船航運公司近百家，幾乎都是在列強排擠中艱難求生。2．航空(1)起步：1918年，附設(shè)在福建馬尾造船廠的海軍飛機工程處開始研制

。(2)發(fā)展：1918年，北洋政府在交通部下設(shè)“

”；此后十年間，航空事業(yè)獲得較快發(fā)展。輪船招商局水上飛機籌辦航空事宜處三、從驛傳到郵政1．郵政(1)初辦郵政：1896年成立“大清郵政局”，此后又設(shè)

，郵傳正式脫離海關(guān)。(2)進一步發(fā)展：1913年，北洋政府宣布裁撤全部驛站；1920年，中國首次參加

。郵傳部萬國郵聯(lián)大會2．電訊(1)開端：1877年，福建巡撫在

架設(shè)第一條電報線，成為中國自辦電報的開端。(2)特點：進程曲折，發(fā)展緩慢，直到20世紀30年代情況才發(fā)生變化。3．交通通訊變化的影響(1)新式交通促進了經(jīng)濟發(fā)展，改變了人們的通訊手段和

，

轉(zhuǎn)變了人們的思想觀念。(2)交通近代化使中國同世界的聯(lián)系大大增強，使異地傳輸更為便捷。(3)促進了中國的經(jīng)濟與社會發(fā)展，也使人們的生活

。臺灣出行方式多姿多彩[合作探究·提認知]

電視劇《闖關(guān)東》講述了濟南章丘朱家峪人朱開山一家，從清末到九一八事變爆發(fā)闖關(guān)東的前塵往事。下圖是朱開山一家從山東輾轉(zhuǎn)逃亡到東北途中可能用到的四種交通工具。依據(jù)材料概括晚清中國交通方式的特點，并分析其成因。

提示：特點：新舊交通工具并存(或：傳統(tǒng)的帆船、獨輪車，近代的小火輪、火車同時使用)。

原因：近代西方列強的侵略加劇了中國的貧困，阻礙社會發(fā)展；西方工業(yè)文明的沖擊與示范；中國民族工業(yè)的興起與發(fā)展；政府及各階層人士的提倡與推動。[串點成面·握全局]

一、近代交通業(yè)發(fā)展的原因、特點及影響1．原因(1)先進的中國人為救國救民，積極興辦近代交通業(yè)，促進中國社會發(fā)展。(2)列強侵華的需要。為擴大在華利益，加強控制、鎮(zhèn)壓中國人民的反抗，控制和操縱中國交通建設(shè)。(3)工業(yè)革命的成果傳入中國，為近代交通業(yè)的發(fā)展提供了物質(zhì)條件。2．特點(1)近代中國交通業(yè)逐漸開始近代化的進程，鐵路、水運和航空都獲得了一定程度的發(fā)展。(2)近代中國交通業(yè)受到西方列強的控制和操縱。(3)地域之間的發(fā)展不平衡。3．影響(1)積極影響：促進了經(jīng)濟發(fā)展，改變了人們的出行方式，一定程度上轉(zhuǎn)變了人們的思想觀念；加強了中國與世界各地的聯(lián)系，豐富了人們的生活。(2)消極影響：有利于西方列強的政治侵略和經(jīng)濟掠奪。1．李鴻章1872年在上海創(chuàng)辦輪船招商局，“前10年盈和，成為長江上重要商局，招商局和英商太古、怡和三家呈鼎立之勢”。這說明該企業(yè)的創(chuàng)辦 (

)A．打破了外商對中國航運業(yè)的壟斷B．阻止了外國對中國的經(jīng)濟侵略C．標(biāo)志著中國近代化的起步D．使李鴻章轉(zhuǎn)變?yōu)槊褡遒Y本家解析：李鴻章是地主階級的代表，并未轉(zhuǎn)化為民族資本家；洋務(wù)運動標(biāo)志著中國近代化的開端，但不是具體以某個企業(yè)的創(chuàng)辦為標(biāo)志；洋務(wù)運動中民用企業(yè)的創(chuàng)辦在一定程度上抵制了列強的經(jīng)濟侵略，但是并未能阻止其侵略。故B、C、D三項表述都有錯誤。答案：A二、近代以來交通、通訊工具的進步對人們社會生活的影響(1)交通工具和交通事業(yè)的發(fā)展，不僅推動各地經(jīng)濟文化交流和發(fā)展，而且也促進信息的傳播，開闊人們的視野，加快生活的節(jié)奏，對人們的社會生活產(chǎn)生了深刻影響。(2)通訊工具的變遷和電訊事業(yè)的發(fā)展，使信息的傳遞變得快捷簡便，深刻地改變著人們的思想觀念，影響著人們的社會生活。2．清朝黃遵憲曾作詩曰：“鐘聲一及時，頃刻不少留。雖有萬鈞柁，動如繞指柔。”這是在描寫 (

)A．電話B．汽車C．電報 D．火車解析：從“萬鈞柁”“動如繞指柔”可推斷為火車。答案：D[典題例析][例1]

上海世博會曾吸引了大批海內(nèi)外人士利用各種交通工具前往參觀。然而在19世紀七十年代，江蘇沿江居民到上海，最有可能乘坐的交通工具是 (

)A．江南制造總局的汽車B．洋人發(fā)明的火車C．輪船招商局的輪船D．福州船政局的軍艦[解析]由材料信息“19世紀七十年代，由江蘇沿江居民到上?！笨膳袛嘧钣锌赡苁禽喆猩叹值妮喆?。[答案]

C[題組沖關(guān)]1．中國近代史上首次打破列強壟斷局面的交通行業(yè)是(

)A．公路運輸 B．鐵路運輸C．輪船運輸 D．航空運輸解析：根據(jù)所學(xué)1872年李鴻章創(chuàng)辦輪船招商局，這是洋務(wù)運動中由軍工企業(yè)轉(zhuǎn)向兼辦民用企業(yè)、由官辦轉(zhuǎn)向官督商辦的第一個企業(yè)。具有打破外輪壟斷中國航運業(yè)的積極意義，這在一定程度上保護了中國的權(quán)利。據(jù)此本題選C項。答案：C2.右圖是1909年《民呼日報》上登載的一幅漫畫，其要表達的主題是(

)A．帝國主義掠奪中國鐵路權(quán)益B．西方國家學(xué)習(xí)中國文化C．西方列強掀起瓜分中國狂潮D．西方八國組成聯(lián)軍侵略中國解析：從圖片中可以了解到各國舉的燈籠是火車形狀，20世紀初的這一幅漫畫正反映了帝國主義掠奪中國鐵路權(quán)益。B項說法錯誤，C項不能反映漫畫的主題，D項時間上不一致。答案：A[典題例析][例2]

(2010·福建高考)上海是近代中國茶葉的一個外銷中心。1884年，福建茶葉市場出現(xiàn)了茶葉收購價格與上海出口價格同步變動的現(xiàn)象。與這一現(xiàn)象直接相關(guān)的近代事業(yè)是(

)A．電報業(yè) B．大眾報業(yè)C．鐵路交通業(yè) D．輪船航運業(yè)[解析]材料主要反映了信息交流的快捷，故選A。[答案]

A[題組沖關(guān)]3．假如某愛國實業(yè)家在20世紀初需要了解全國各地商業(yè)信息，可采用的最快捷的方式是 (

)A．乘坐飛機赴各地了解B．通過無線電報輸送訊息C．通過互聯(lián)網(wǎng)D．乘坐火車赴各地了解解析：本題考查中國近代物質(zhì)生活的變遷。注意題干信息“20世紀初”“最快捷的方式”，因此應(yīng)選B，火車速度遠不及電報快。20世紀30年代民航飛機才在中國