模式識(shí)別導(dǎo)論(一)

1、2022-2-3湖南大學(xué)電氣與信息工程學(xué)院主講：譚建豪主講：譚建豪2022-2-3湖南大學(xué)電氣與信息工程學(xué)院參考書(shū)參考書(shū) 模式識(shí)別模式識(shí)別 人民郵電出版社人民郵電出版社 羅耀光羅耀光 盛立東盛立東 模式識(shí)別模式識(shí)別 清華大學(xué)出版社清華大學(xué)出版社 邊肇祺邊肇祺 模式識(shí)別及應(yīng)用模式識(shí)別及應(yīng)用 科學(xué)出版社科學(xué)出版社 付京蓀付京蓀 Syntactic Pattern Recognition and Application K.S.Fu Pattern Recognition Principles J.T.Tom R.C.Gouzales2022-2-3湖南大學(xué)電氣與信息工程學(xué)院第一章第一章 概論概論

2、1-1 模式識(shí)別的基本概念模式識(shí)別的基本概念一、模式識(shí)別的基本定義模式識(shí)別的基本定義 模式(pattern) - 存在于時(shí)間，空間中可觀察的事物，具有 時(shí)間或空間分布的信息。 模式識(shí)別(Pattern Recognition) - 用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事 物或現(xiàn)象的分析,描述,判斷,識(shí)別。模式識(shí)別與圖象識(shí)別、圖象處理的關(guān)系 模式識(shí)別是模擬人的某些功能 模擬人的視覺(jué): 計(jì)算機(jī)+光學(xué)系統(tǒng) 模擬人的聽(tīng)覺(jué): 計(jì)算機(jī)+聲音傳感 模擬人的嗅覺(jué)和觸覺(jué): 計(jì)算機(jī)+傳感器2022-2-3湖南大學(xué)電氣與信息工程學(xué)院二、模式識(shí)別的發(fā)展史二、模式識(shí)別的發(fā)展史 1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0

3、-9的數(shù)字。 30年代 Fisher提出統(tǒng)計(jì)分類(lèi)理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。因此，在6070年代，統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來(lái)愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問(wèn)題得到一定克服。統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院 50年代 Noam Chemsky 提出形式語(yǔ)言理論 美籍華人付京蓀 提出句法結(jié)構(gòu)模式識(shí)別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別理論得到了較廣泛的應(yīng)用。 80年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛

4、的應(yīng)用。 90年代 小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院三、關(guān)于模式識(shí)別的國(guó)內(nèi)、國(guó)際學(xué)術(shù)組織三、關(guān)于模式識(shí)別的國(guó)內(nèi)、國(guó)際學(xué)術(shù)組織 1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”，成立了國(guó)際模式識(shí)別協(xié)會(huì)-“IAPR”，每2年召開(kāi)一次國(guó)際學(xué)術(shù)會(huì)議。 1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)，每2年召開(kāi)一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議。 國(guó)內(nèi)的組織有電子學(xué)會(huì)，通信學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院1-2 模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng) 信息的獲取：是通過(guò)傳感器，

5、將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖；也可以是物理量與邏輯值。 預(yù)處理：包括AD,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等, 主要指圖象處理。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院 特征抽取和選擇：在模式識(shí)別中，需要進(jìn)行特征的抽取和選擇，例如，一幅64x64的圖象可以得到4096個(gè)數(shù)據(jù)，這種在測(cè)量空間的原始數(shù)據(jù)通過(guò)變換獲得在特征空間最能反映分類(lèi)本質(zhì)的特征。這就是特征提取和選擇的過(guò)程。 分類(lèi)器設(shè)計(jì)：分類(lèi)器設(shè)計(jì)的主要功能是通過(guò)訓(xùn)練確定判決規(guī)則，使按此類(lèi)判決規(guī)則分類(lèi)時(shí)，錯(cuò)誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫(kù)。 分類(lèi)決策：在特征

6、空間中對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院1-3 模式識(shí)別的應(yīng)用模式識(shí)別的應(yīng)用1 .字符識(shí)別：包括印刷體字符的識(shí)別；手寫(xiě)體字符的識(shí)別（脫機(jī)），各種OCR設(shè)備例如信函分揀、文件處理、卡片輸入、支票查對(duì)、自動(dòng)排板、期刊閱讀、稿件輸入；在線手寫(xiě)字符的識(shí)別（聯(lián)機(jī)），各種書(shū)寫(xiě)輸入板。2. 醫(yī)療診斷：心電圖，腦電圖，染色體，癌細(xì)胞識(shí)別，疾病診斷，例如關(guān)幼波肝炎專(zhuān)家系統(tǒng)。3. 遙感：資源衛(wèi)星照片，氣象衛(wèi)星照片處理，數(shù)字化地球，圖象分辨率可以達(dá)到1米。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院4. 指紋識(shí)別 臉形識(shí)別5. 檢測(cè)污染分析，大氣，水源，環(huán)境監(jiān)測(cè)。6. 自動(dòng)檢測(cè)：產(chǎn)品質(zhì)量

7、自動(dòng)檢測(cè)7. 語(yǔ)聲識(shí)別，機(jī)器翻譯，電話號(hào)碼自動(dòng)查詢(xún)，偵聽(tīng)，機(jī)器故障判斷。8. 軍事應(yīng)用2022-2-3湖南大學(xué)電氣與信息工程學(xué)院1-4 模式識(shí)別的基本問(wèn)題模式識(shí)別的基本問(wèn)題一、模式一、模式( (樣本樣本) )表示方法表示方法向量表示 : 假設(shè)一個(gè)樣本有n個(gè)變量(特征) = (X1,X2,Xn)T2. 矩陣表示: N個(gè)樣本，n個(gè)變量(特征) 變 量 樣 本 x1 x2 xn X1 X11 X12 X1n X2 X21 X22 X2n XN XN1 XN2 XNn 2022-2-3湖南大學(xué)電氣與信息工程學(xué)院3. 幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2

8、)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T2022-2-3湖南大學(xué)電氣與信息工程學(xué)院4. 基元（鏈碼）表示：在右側(cè)的圖中八個(gè)基元分別表示0，1，2，3，4，5，6，7，八個(gè)方向和基元線段長(zhǎng)度。則右側(cè)樣本可以表示為 X1=006666這種方法將在句法模式識(shí)別中用到。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院二、模式類(lèi)的緊致性二、模式類(lèi)的緊致性1. 緊致集：同一類(lèi)模式類(lèi)樣本的分布比較集中，沒(méi)有或臨界樣本很少，這樣的模式類(lèi)稱(chēng)緊致集。2022-2-3湖南大學(xué)電氣與信息工程學(xué)院2. 臨界點(diǎn)(樣

9、本)：在多類(lèi)樣本中，某些樣本的值有微小變化時(shí)就變成另一類(lèi)樣本稱(chēng)為臨界樣本（點(diǎn)）。3. 緊致集的性質(zhì) 要求臨界點(diǎn)很少 集合內(nèi)的任意兩點(diǎn)的連線,在線上的點(diǎn)屬于同 一集合 集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點(diǎn)4. 模式識(shí)別的要求:滿(mǎn)足緊致集，才能很好的分類(lèi)；如果不滿(mǎn)足緊致集，就要采取變換的方法,滿(mǎn)足緊致集.2022-2-3湖南大學(xué)電氣與信息工程學(xué)院三、相似與分類(lèi)三、相似與分類(lèi) 1.兩個(gè)樣本xi ，xj之間的相似度量滿(mǎn)足以下要求： 應(yīng)為非負(fù)值 樣本本身相似性度量應(yīng)最大 度量應(yīng)滿(mǎn)足對(duì)稱(chēng)性 在滿(mǎn)足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的 單調(diào)函數(shù) 2. 用各種距離表示相似性： 絕對(duì)值

10、距離 已知兩個(gè)樣本 xi=(xi1, xi2 , xi3,xin)T xj=(xj1, xj2 , xj3,xjn)T 2022-2-3湖南大學(xué)電氣與信息工程學(xué)院 歐幾里德距離明考夫斯基距離 其中當(dāng)q=1時(shí)為絕對(duì)值距離，當(dāng)q=2時(shí)為歐氏距離nkjkikijXXd1|nkjkikijXXd12nkjkikqijXXqqd1|1)(2022-2-3湖南大學(xué)電氣與信息工程學(xué)院 切比雪夫距離 q趨向無(wú)窮大時(shí)明氏距離的極限情況 馬哈拉諾比斯距離 其中xi ，xj為特征向量， 為協(xié)方差。使用的條件是 樣 本符合正態(tài)分布|max)(1jkiknkijXXd1)(jijiTijXXXXMd2022-2-3湖南

11、大學(xué)電氣與信息工程學(xué)院 夾角余弦 為xi xj的均值 即樣本間夾角小的為一類(lèi)，具有相似性例： x1 , x2 , x3的夾角如圖：因?yàn)閤1 , x2 的夾角小，所以x1 , x2 最相似。nkjknkiknkjkikijXXXXC12121x1x2x1x2x3XXji,2022-2-3湖南大學(xué)電氣與信息工程學(xué)院 相關(guān)系數(shù) 為xi xj的均值注意：在求相關(guān)系數(shù)之前，要將數(shù)據(jù)標(biāo)準(zhǔn)化3. 分類(lèi)的主觀性和客觀性 分類(lèi)帶有主觀性：目的不同，分類(lèi)不同。例如：鯨魚(yú)，牛，馬從生物學(xué)的角度來(lái)講都屬于哺乳類(lèi)，但是從產(chǎn)業(yè)角度來(lái)講鯨魚(yú)屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。 分類(lèi)的客觀性：科學(xué)性判斷分類(lèi)必須有客觀標(biāo)準(zhǔn)，因此分類(lèi)是追求客觀性的，但主觀性也很難避免，這就是分類(lèi)的復(fù)雜性。nknkjkjikinkjkjikiXXXXXXXXrij11221jiXX,2022-2-3湖南大學(xué)電氣與信息工程學(xué)院四、特征的生成四、特征的生成 1.低層特征： 無(wú)序尺度：有明確的數(shù)量和數(shù)值。 有序尺度：有先后、好壞的次序關(guān)系，如酒 分為上，中，下三個(gè)等級(jí)。 名義尺度：無(wú)數(shù)量、無(wú)次序關(guān)系，如有紅， 黃兩種顏色 2. 中層特征：經(jīng)過(guò)計(jì)算，變換得到的特征 3. 高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過(guò)運(yùn) 算形成例如：椅子的重量=體積*比重 體積與長(zhǎng)，寬，高有關(guān)；比重與材料，紋理，顏色