模式識(shí)別課件(第一章2010)

《模式識(shí)別》電子工程學(xué)院王建國(guó)wangjg@模式識(shí)別（PatternRecognition）重要性：相關(guān)信息處理專業(yè)的基礎(chǔ)課程；解決信息分類識(shí)別問(wèn)題；對(duì)決策系統(tǒng)，神經(jīng)網(wǎng)絡(luò)，人工智能等的普及和發(fā)展起了推動(dòng)作用，是其發(fā)展基礎(chǔ)；對(duì)于研究信息獲取、處理的人員非常重要，是信息科學(xué)和人工智能的重要組成部分。課程對(duì)象計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課電子信息學(xué)科碩士研究生的專業(yè)基礎(chǔ)課

與模式識(shí)別相關(guān)的學(xué)科統(tǒng)計(jì)學(xué)概率論線性代數(shù)（矩陣計(jì)算）形式語(yǔ)言機(jī)器學(xué)習(xí)人工智能圖像處理計(jì)算機(jī)視覺(jué)…教學(xué)方法著重講述模式識(shí)別的基本概念，基本方法和算法原理。注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。

課程要求：基本：完成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究，解決實(shí)際問(wèn)題。飛躍：通過(guò)模式識(shí)別的學(xué)習(xí)，改進(jìn)思維方式，為將來(lái)的工作打好基礎(chǔ)，終身受益。參考文獻(xiàn)邊肇祺，模式識(shí)別（第二版），清華大學(xué)出版社，2000。R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中譯本）.教學(xué)目標(biāo)掌握模式識(shí)別的基本概念和方法有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題為研究新的模式識(shí)別的理論和方法打下基礎(chǔ)

第一章緒論目標(biāo)分類與識(shí)別：

研究用機(jī)器（如電腦）代替人去對(duì)物體（對(duì)象）進(jìn)行辨別和區(qū)分的技術(shù)例車牌識(shí)別找出車牌位置識(shí)別車牌號(hào)碼車牌特點(diǎn)是什么？車牌號(hào)碼差異？例指紋識(shí)別“相似”的標(biāo)準(zhǔn)？“差異”的標(biāo)準(zhǔn)？找出“相似”的方法問(wèn)題怎樣找出相同的指紋？數(shù)據(jù)獲取/采集預(yù)處理特征提取與選擇識(shí)別規(guī)則結(jié)果研究的基本思路測(cè)量空間到特征空間的轉(zhuǎn)換分類器設(shè)計(jì)與分類決策模式識(shí)別的研究?jī)?nèi)容問(wèn)題與難點(diǎn)特征（數(shù)據(jù)）的不確定性對(duì)象描述的模糊性處理對(duì)象的多樣性環(huán)境的復(fù)雜性。。。。不變特征非經(jīng)典普適性穩(wěn)健性“目標(biāo)分類識(shí)別”涉及的相關(guān)領(lǐng)域：模式識(shí)別人工智能神經(jīng)網(wǎng)絡(luò)知識(shí)發(fā)現(xiàn)（數(shù)據(jù)挖掘）模糊數(shù)學(xué)不確定性推理人工智能：

——思考過(guò)程的計(jì)算機(jī)實(shí)現(xiàn)，即：研究如何利用計(jì)算機(jī)去做人腦的智力才能做的工作。專家系統(tǒng)－－是人工智能的分支研究如何設(shè)計(jì)基于知識(shí)的計(jì)算機(jī)程序系統(tǒng)，來(lái)模仿人類專家求解專門問(wèn)題的能力。專家系統(tǒng)、模式識(shí)別、智能機(jī)器人等列為人工智能技術(shù)中最活躍的三個(gè)領(lǐng)域。神經(jīng)網(wǎng)絡(luò)：

——自下而上的綜合分析方法。問(wèn)題：神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練學(xué)習(xí)，需大量訓(xùn)練樣本集。且計(jì)算機(jī)模擬模型的并行操作，耗費(fèi)時(shí)間長(zhǎng)，可能達(dá)不到時(shí)間要求。具有很強(qiáng)的自適應(yīng)能力、學(xué)習(xí)能力、容錯(cuò)能力和魯棒性。知識(shí)發(fā)現(xiàn)數(shù)據(jù)挖掘（datamining）—方向之一

是一個(gè)從數(shù)據(jù)、信息到知識(shí)的過(guò)程，即信息從無(wú)序到有序的過(guò)程，從粗到精的過(guò)程。特點(diǎn)（與數(shù)據(jù)采集的區(qū)別）：數(shù)據(jù)已收集好，不是為了數(shù)據(jù)分析去收集例如：網(wǎng)頁(yè)中檢索有價(jià)值的文本，即文本數(shù)據(jù)庫(kù)挖掘不確定性推理根據(jù)證據(jù)的不確定性和知識(shí)的不確定性，求出新的假設(shè)（結(jié)論）的不確定，即：新的不確定知識(shí)的獲取過(guò)程?；蛘撸涸谥R(shí)不完全、不確定、有例外，甚至?xí)忻艿那闆r下，依據(jù)某些合理性標(biāo)準(zhǔn)，得到一些有錯(cuò)誤、但有用的結(jié)論。演繹推理：已知條件推導(dǎo)得結(jié)論不確定性推理：已知證據(jù)所得假設(shè)這些學(xué)科為我們提供了一個(gè)工具袋，所要做的工作之一就是結(jié)合具體問(wèn)題把各種已有的方法（模式識(shí)別、人工智能、專家系統(tǒng)、人工神經(jīng)網(wǎng)絡(luò)、不確定推理等等）結(jié)合起來(lái)，深入掌握其應(yīng)有的可能性，互相取長(zhǎng)補(bǔ)短，開(kāi)創(chuàng)目標(biāo)分類識(shí)別應(yīng)用的新局面。這些學(xué)科中，模式識(shí)別是最基本、最重要的組成部分，涉及很多基本理論、基本方法。很多領(lǐng)域的目標(biāo)分類識(shí)別問(wèn)題，其核心就是一個(gè)模式識(shí)別問(wèn)題。小結(jié)：1.1模式識(shí)別的基本概念什么是模式（Pattern）？什么是模式？廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的特性:可觀察性可區(qū)分性相似性模式事物（物理對(duì)象）具有時(shí)間和空間分布的信息。模式識(shí)別的概念模式識(shí)別–直觀，無(wú)所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識(shí)別：張三、李四聲音的辨別：汽車、火車，狗叫、人語(yǔ)氣味的分辨：炸帶魚(yú)、紅燒肉定義

存在于時(shí)間和空間中可觀察的事物，區(qū)分它們是否相似或相似的過(guò)程，稱為模式識(shí)別。模式識(shí)別的數(shù)學(xué)表述：目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域?yàn)轭悇e的標(biāo)號(hào)集F是模式識(shí)別的判別方法模式識(shí)別的應(yīng)用（舉例）生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析模式識(shí)別的應(yīng)用（舉例）工程產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類、自動(dòng)目標(biāo)識(shí)別安全指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng)1.2模式識(shí)別系統(tǒng)1．模式識(shí)別的方法統(tǒng)計(jì)模式識(shí)別：

結(jié)構(gòu)（句法）模式識(shí)別:

統(tǒng)計(jì)識(shí)別基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動(dòng)的。結(jié)構(gòu)模式識(shí)別該方法通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)達(dá)到識(shí)別分類的目的。識(shí)別采用結(jié)構(gòu)匹配的形式，通過(guò)計(jì)算一個(gè)匹配程度值（matchingscore）來(lái)評(píng)估一個(gè)未知的對(duì)象或未知對(duì)象某些部分與某種典型模式的關(guān)系如何。當(dāng)成功地制定出了一組可以描述對(duì)象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識(shí)別方法–句法模式識(shí)別，來(lái)檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語(yǔ)法。模式識(shí)別系統(tǒng)的組成：信息獲取預(yù)處理特征提取和選擇分類器設(shè)計(jì)分類決策對(duì)象分類結(jié)果學(xué)習(xí)過(guò)程1.信息獲?。〝?shù)據(jù)采集）：

對(duì)信號(hào)、圖像、數(shù)值表（數(shù)據(jù)）的采集。即：要用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象。如圖像：測(cè)量、采樣、量化等。2.預(yù)處理：減小或消除模式獲取過(guò)程中的噪聲、干擾、提高S/N；加強(qiáng)有用信息，進(jìn)行復(fù)原等，如減小數(shù)據(jù)圖像模糊及幾何失真，提高清晰度；非線性模式轉(zhuǎn)化成線性模式。這個(gè)環(huán)節(jié)的內(nèi)容及方法很多：如濾波、變換、編碼、標(biāo)準(zhǔn)化等

以某種判決規(guī)則為準(zhǔn)則，選取有效的特征,即為特征選擇。3．特征提取和選擇（特征空間）

采用某種變換對(duì)特征空間的壓縮，稱為特征提取。模式空間特征空間（維數(shù)高）（維數(shù)較低）變換4．分類器設(shè)計(jì)分類器設(shè)計(jì)就是所謂的學(xué)習(xí)訓(xùn)練過(guò)程。

用一定數(shù)量的樣本確定某種判別準(zhǔn)則，通過(guò)反復(fù)輸入、修正，直到分類錯(cuò)誤率不超過(guò)給定值為止（或錯(cuò)誤率最小，或損失最?。?，完成學(xué)習(xí)過(guò)程。訓(xùn)練學(xué)習(xí)方法：

監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)（無(wú)先驗(yàn)知識(shí)，甚至類別數(shù)也未知）。5．分類決策

按分類判別準(zhǔn)則，將被識(shí)別模式進(jìn)行分類判決，輸出分類結(jié)果。1.3一些基本問(wèn)題1．樣本集合是否可分的問(wèn)題原因：類別之間存在交集，以至分類器無(wú)法區(qū)分·用于分類器設(shè)計(jì)的樣本不夠全面?！ぬ卣鞑贿m當(dāng)、不充分·分類效率不高（維數(shù)災(zāi)難）

實(shí)際分類系統(tǒng)都存在缺陷。2．相似與分類的標(biāo)準(zhǔn)相似性（Similarity）的度量問(wèn)題類的表示方法:可利用集合論中的概念有些分類問(wèn)題中，距離作為一種相似性的度量。依據(jù)模式的不同，應(yīng)定義不同函數(shù)來(lái)反映模式間的相似度。類別性質(zhì)：自返：X~X（自己與自己相似）對(duì)稱：X~Y

Y~X（X與Y相似，則Y與X相似）

相似關(guān)系滿足對(duì)稱和自返關(guān)系，但不具有傳遞性。相似性度量的一些性質(zhì)：設(shè)樣本集合X，D維空間（相似度）1）非負(fù)值即：2）樣本自身的相似度為最大，即：3）對(duì)稱性4）相似性是點(diǎn)間距離的單調(diào)函數(shù)3．特征的生成

特征是決定相似性與分類的關(guān)鍵例：圖像256×25665536個(gè)值

特征太多可采用較少度量值作特征，如：亮度、紋理、大小、連同性不同層次的特征：低層特征中層特征高層特征可粗略分三層：像素級(jí)

低層特征：直接受信息源（目標(biāo)）的物理特性的影響，直接來(lái)自目標(biāo)本身。特征級(jí)

中間特征：在低層特征基礎(chǔ)上，通過(guò)學(xué)習(xí)建立起來(lái)，重視通用性。例如統(tǒng)計(jì)特征：均值、方差、能量（角二階矩）、