模式識別第一講-緒論

模式識別

PatternRecognition計算機(jī)學(xué)院

第一章緒論

模式識別的研究內(nèi)容、方法和應(yīng)用

模式識別的例子人的識別能力是司空見慣的。如何使機(jī)器具有人和動物的識別能力？使機(jī)器具有智能是人類的愿望。（機(jī)器是人手的延長，智能機(jī)是人腦的延長。）但使機(jī)器具有智能這個工作很不容易，仍然有許多謎，人腦的識別機(jī)制不明。盡管已有近五十年的歷史，但仍有許多問題有待解決，也可以說剛起步。一.什么是模式識別

識別的本質(zhì)是分類。使機(jī)器具有能夠自動地對物體描述、分類、分組的能力是科技、工程中的重要問題。模式——模式可以是一個手寫的字符、一幅指紋圖像、一幅人臉的圖像、一段語音信號等。模式識別——研究模式的分類、聚類、和估計問題。模式識別中的兩大類問題

1、分類。（有監(jiān)督的分類/識別,SupervisedClassification）：把模式分到預(yù)先定義好的類里去。

2、聚類。（無監(jiān)督的分類/識別，UnsupervisedClassification,clustering）：基于相似性，把模式聚合成一定的類。二.模式識別的應(yīng)用在社會科學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、市場分析預(yù)測、自動化、計算機(jī)視覺、人工智能、遙感、軍事、生物特征識別等問題中有重要應(yīng)用。隨著計算機(jī)性能的提高、Internet的迅速發(fā)展，模式識別的應(yīng)用不僅在它的傳統(tǒng)領(lǐng)域，如文字識別、語音識別、指紋識別、遙感圖像、醫(yī)學(xué)…等領(lǐng)域越做越好，而且涌現(xiàn)了很多新的應(yīng)用。例如數(shù)據(jù)挖掘（datamining）、文檔的分類（documentclassification）、財政金融、股票的預(yù)測、預(yù)報，多媒體數(shù)據(jù)庫的檢索，基于biometrics（生物統(tǒng)計學(xué)）的人的身份鑒別，甚至有的人研究識別人的情感。模式識別應(yīng)用的一些例子問題的領(lǐng)域應(yīng)用輸入模式模式類生物信息科學(xué)序列分析DNA/蛋白質(zhì)(Protein)序列DNA/蛋白質(zhì)(Protein)序列數(shù)據(jù)挖掘搜索有用的模式多維空間的點緊湊（Compact）且分得開的聚類文檔分類（document）Internet搜索文本文件語義（semantic）類，如商業(yè)、體育、文娛等

模式識別應(yīng)用的一些例子（續(xù)）文本圖像分類盲人閱讀機(jī)，OCR，支票閱讀，郵件分揀文本圖像字符工業(yè)自動化（計算機(jī)視覺）印刷電路板的質(zhì)量檢查，裝配線灰度或距離（深度）圖像缺陷有/無，抓、裝配零件模式識別應(yīng)用的一些例子（續(xù)）多媒體數(shù)據(jù)庫檢索Internet搜索VideoclipVideo生物特征識別（biometric）身份鑒別指紋、面部、虹膜（iris）人的認(rèn)證，訪問控制遙感農(nóng)作物等的預(yù)測、預(yù)報多頻譜圖像地形地貌的分類，生長情況模式識別應(yīng)用的一些例子（續(xù)）語音識別電話的自動應(yīng)答，翻譯機(jī)，人機(jī)通信語音波形語音的單字（詞）計算機(jī)輔助診斷X－片、CT、fMRI、ECG、EEG、機(jī)器故障一維、兩維信號正常/異常三.幾個例子（字符識別）印刷體、手寫體

通過OCR（OpticalCharacterReader）等設(shè)備獲取字符的圖像G1.字符識別特征空間特征向量特征：每一個區(qū)域中，屬于字符部分的面積占該區(qū)域面積的比例。統(tǒng)計性、緊致性與可分性模式不是確定性的，具有一定的統(tǒng)計分布。假設(shè)同一類別的樣本在特征空間中較為相近，而與其他類別的樣本分得較開。此即緊致性假設(shè)。分類區(qū)域、形式線性（或分段線性）R1R2R3二次的R3R2R1R2一般的R1R3R4小結(jié)：

模式可以用多維向量空間中的一個矢量（一個點）來表示。要用到線性代數(shù)等工具。

模式不是確定性的，而是具有統(tǒng)計分布。要用到概率論與數(shù)理統(tǒng)計等工具。

分類就是要把特征空間劃分為一些區(qū)域，不相交，類間不重迭。

2.兩類字符識別10原始特征向量:0000.3...000.6...作直方圖，可以得到“0”和“1”的分布分界面的確定:使錯誤率最小

小結(jié)：

設(shè)計分類器時不是要求沒有錯分類的，而是在一定意義下使錯誤率最小

下面我們再看一個稍微復(fù)雜的問題

3.三類字符識別---除了“0”、“1”之外，還要識別“x”

X一個特征（占的總面積）就不夠了?！?”、“x”的覆蓋面積近似相等。加上另一特征（對角線上1、7、13、19、25面積之和）10分類規(guī)則：

ifelse特征提取兩類字符識別：從25維原始特征→1維的特征矢量三類字符識別：從25維原始特征→2維的特征矢量特征提?。簩υ继卣鬟M(jìn)行變換，得到對給定分類問題更有效的新特征，并實現(xiàn)降維。

例子小結(jié)：

通過上面幾個例子，我們接觸到了如下幾個重要概念：特征向量，特征空間，特征提取,決策區(qū)域

也看到了一個模式識別系統(tǒng)的基本工作過程。

四.模式識別系統(tǒng)在解決不同的具體問題時，要根據(jù)該問題的性質(zhì)，確定傳感器、預(yù)處理、特征提取和分類的算法。信息獲取預(yù)處理特征提取與選擇分類器設(shè)計、訓(xùn)練分類決策特征提取與選擇：應(yīng)區(qū)分能力強(qiáng)、特征數(shù)較少。運(yùn)用先驗知識。分類器設(shè)計：采用何種分類方法？五.常用的模式識別方法

模板匹配（templatematching）統(tǒng)計的方法（statisticalP.R.）人工神經(jīng)網(wǎng)絡(luò)的方法（artificialneuralnetwork,ANN）句法或結(jié)構(gòu)的方法（syntacticorstructuralP.R.）這些方法不是絕對獨立的，同一種方法有不同的解釋，有時要混合使用。

1.模板匹配

模式識別中使用最早、最簡單、直觀的方法

所謂匹配是一類運(yùn)算，用來確定兩個對象間的相似性。在模板匹配中，要有一個模板（一般是一個二維形狀）或一個模式原型（prototype），待匹配的模式和這個預(yù)先存儲好的模板相匹配

模板匹配一般要花費較大的計算量，隨著計算機(jī)速度的加快，這種方法變得更可行了

1.模板匹配(續(xù)）例子：字符匹配剛性模板匹配的缺點：處理畸變模式難使用變形模板2.統(tǒng)計模式識別

在統(tǒng)計模式識別中，每一模式是用一個d維的測量值、特征向量來表示的，它是d維特征空間的一個點。目標(biāo)是選擇這樣的一些特征，使同一類的模式在空間中盡量緊湊，而不同類的模式間盡量分開、不相交。給定一組樣本，模式識別的任務(wù)是要確定決策（分界）面、邊界，以把不同的類分開。

三類統(tǒng)計模式識別方法在統(tǒng)計決策理論的方法下，決策邊界是根據(jù)模式的概率分布確定的。這些概率分布是事先知道，或通過學(xué)習(xí)估計得到。另外一種統(tǒng)計模式識別的工具是判別分析（discriminantanalysis）。這種方法是先假定決策邊界的數(shù)學(xué)形式（一次、二次…），然后利用訓(xùn)練樣本確定最好的邊界（方程中的一些參數(shù)）。再一種方法是從樣本中直接構(gòu)造決策邊界。如Vapnik的支撐向量機(jī)（supportvectormachine,SVM）推廣（泛化，generalization）能力：如何使設(shè)計的分類器具有較好的推廣能力？3.人工神經(jīng)網(wǎng)絡(luò)的方法

模擬人腦的計算。人工神經(jīng)網(wǎng)絡(luò)由大量簡單的計算單元相互連接組成。輸入層隱層輸出層人工神經(jīng)網(wǎng)絡(luò)的突出優(yōu)點是它可以學(xué)習(xí)復(fù)雜的非線性輸入輸出關(guān)系（從樣本序列中）盡管統(tǒng)計的方法和人工神經(jīng)網(wǎng)絡(luò)在基本原理上有很多不同，但它們在方法上是等價或相似的。4.句法或結(jié)構(gòu)的方法

句法模式識別的方法來源于這樣的思想：復(fù)雜的模式是由簡單的子模式組成的，而子模式又可能由更簡單的子模式組成。最簡單的子模式稱為基元（primitives），復(fù)雜模式就是由這些基元以及它們間的相互關(guān)系確定。例：醫(yī)療診斷問題-心電圖正常/異常

句法模式識別的方法來源于形式語言和自動機(jī)：模式—句子，基元—字母表，模式結(jié)構(gòu)—語法規(guī)則，模式分類—語法分析。結(jié)構(gòu)模式識別的優(yōu)點是它的層次結(jié)構(gòu)，用少量的基元和規(guī)則來描述物體。這種方法常用在有一定結(jié)構(gòu)的模式上，例如心電圖（ECG）、物體輪廓的分析上

本章小結(jié)

介紹了模式模式識別的一些基本概念。

模式識別的一些常用方法：

六、課程內(nèi)容統(tǒng)計決策理論概率密度估計線性判別分析近鄰法特征提取與選擇聚類實際模式識別例子課程總結(jié)與研究前沿簡介參考書：