哈工大模式識(shí)別課程期末總結(jié)分解ppt課件

1、哈爾濱工業(yè)大學(xué),課程總復(fù)習(xí),2,主要內(nèi)容,1. 關(guān)于期末考試/考察 2. 章節(jié)知識(shí)點(diǎn)整理,3,1. 關(guān)于期末考試/考察,4,1. 確認(rèn)考試人員名單； 2. 考試/考察方式 學(xué)位課：考試70%+報(bào)告30%； 選修課：報(bào)告100%（不用考試）。 3. 報(bào)告形式(見word文檔) 4. 考試題目（100分） 1簡答題（35分） 7*5=35分 2推導(dǎo)題（8分） 3證明題（8分） 4問答題（24分）3*8=24分 5計(jì)算題（25分） 9+8+8=25分 （記得要帶尺子，鉛筆，橡皮擦,關(guān)于期末考試,5,2.章節(jié)知識(shí)點(diǎn)整理,哈爾濱工業(yè)大學(xué),第1章 模式識(shí)別緒論,主要內(nèi)容,模式識(shí)別基本概念 模式識(shí)別系統(tǒng)組成

2、 模式識(shí)別基本問題 應(yīng)用領(lǐng)域 小結(jié),模式識(shí)別系統(tǒng)組成,模式識(shí)別系統(tǒng)組成,1. 信息的獲?。和ㄟ^測量、采樣、量化并用矩陣或向量表示。通常輸入對(duì)象的信息有三個(gè)類型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動(dòng)波形等）、物理參量和邏輯值（體檢中的溫度、血化驗(yàn)結(jié)果等,2. 預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測量儀器或其它因素造成的干擾進(jìn)行處理,3. 特征提取與選擇：為了實(shí)現(xiàn)有效的識(shí)別分類，要對(duì)原始數(shù)據(jù)進(jìn)行變換得到最能反映分類本質(zhì)的特征，此過程為特征提取和選擇,4. 分類決策：在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類?；咀鞣ㄊ窃跇颖居?xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，

3、使按這種判決規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小,5.后處理：針對(duì)決策采取相應(yīng)的行動(dòng),哈爾濱工業(yè)大學(xué),第2章 貝葉斯決策理論,主要內(nèi)容,概率論基礎(chǔ)知識(shí) 貝葉斯決策基礎(chǔ)知識(shí) 基于最小錯(cuò)誤率的貝葉斯決策 基于最小風(fēng)險(xiǎn)的貝葉斯決策 貝葉斯分類器設(shè)計(jì) 正態(tài)分布時(shí)的統(tǒng)計(jì)決策 小結(jié),貝葉斯決策基礎(chǔ)知識(shí),貝葉斯決策基礎(chǔ)知識(shí),基于最小錯(cuò)誤率的貝葉斯決策,基于最小錯(cuò)誤率的貝葉斯決策,基于最小錯(cuò)誤率的貝葉斯決策,基于最小錯(cuò)誤率的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小風(fēng)險(xiǎn)的貝葉斯

4、決策,基于最小風(fēng)險(xiǎn)的貝葉斯決策,基于最小錯(cuò)誤率的貝葉斯決策與最小風(fēng)險(xiǎn)的貝葉斯決策的關(guān)系,哈爾濱工業(yè)大學(xué),第3章 概率密度函數(shù)估計(jì),主要內(nèi)容,引言 參數(shù)估計(jì) 正態(tài)分布的參數(shù)估計(jì) 非參數(shù)估計(jì) 本章小結(jié),參數(shù)估計(jì),參數(shù)估計(jì),最大似然估計(jì),最大似然估計(jì),最大似然估計(jì),最大似然估計(jì),最大似然估計(jì),最大似然估計(jì),最大似然估計(jì),例子（梯度法不適合,不成功,貝葉斯估計(jì),貝葉斯估計(jì),貝葉斯估計(jì),貝葉斯學(xué)習(xí),三種方法總結(jié),三種方法總結(jié),哈爾濱工業(yè)大學(xué),第4章 線性判別函數(shù),主要內(nèi)容,線性判別函數(shù)的基本概念 Fisher線性判別準(zhǔn)則函數(shù) 感知準(zhǔn)則函數(shù) 最小平方誤差準(zhǔn)則函數(shù) 多類問題,4.1.1 概念的提出,線性判別

5、函數(shù),4.1.1 概念的提出,線性判別函數(shù),4.1.1 概念的提出,線性判別函數(shù),4.1.1 概念的提出,線性判別函數(shù),說明：判別函數(shù)g(x)正比于任意一點(diǎn)x到超平面的代數(shù)距離,Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),Fisher線性判別準(zhǔn)則函數(shù),哈爾濱工業(yè)大學(xué),第5章 非線性判別函數(shù),主要內(nèi)容,基本概念 基于距離的分段線性判別函數(shù) 分段線性分類器設(shè)計(jì) 二次判別函數(shù) 程序設(shè)計(jì)方法 實(shí)際應(yīng)用系統(tǒng)設(shè)計(jì)研究報(bào)告,哈爾濱工業(yè)大學(xué),第6章 特征的選擇與提取,主要內(nèi)容

6、,1.引言 2 類別可分離性判據(jù) 3 特征選擇 4.特征提取,60,哈爾濱工業(yè)大學(xué),第7章 近鄰法,61,主要內(nèi)容,0.引言 1.近鄰法原理及其決策規(guī)則 2.快速搜索近鄰法 3.剪輯近鄰法 4.壓縮近鄰法,62,1.近鄰法原理及其決策規(guī)則,63,基本原理,64,最近鄰法決策規(guī)則,65,-近鄰法決策規(guī)則,66,問題的提出,67,2.快速搜索近鄰法,68,3. 剪輯近鄰法,69,4. 壓縮近鄰法,70,哈爾濱工業(yè)大學(xué),第8章 主成分分析(PCA,71,主要內(nèi)容,1.引言 2 主成分分析(PCA) 3 基于K-L展開式的特征提取 4.應(yīng)用舉例,72,2.主成分分析,73,根據(jù)方差最大化原理，用一組新

7、的、線性無關(guān)且相互正交的向量來表征原來數(shù)據(jù)矩陣的行（或列）。這組新向量（主成分）是原始數(shù)據(jù)向量的線性組合。 通過對(duì)原始數(shù)據(jù)的平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新的坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下的投影(點(diǎn)積)來替代原始變量,一. 主成分分析的基本原理,74,主成分分析的優(yōu)點(diǎn) 它能找到表現(xiàn)原始數(shù)據(jù)陣最重要的變量的組合 通過表示最大的方差，能有效地直觀反映樣本之間的關(guān)系 能從最大的幾個(gè)主成分的得分來近似反映原始的數(shù)據(jù)陣的信息,75,人臉識(shí)別,76,人臉識(shí)別,77,人臉識(shí)別,78,人臉識(shí)別,79,基于PCA構(gòu)建特征臉空間是對(duì)圖像進(jìn)行K-L變換，以去除樣本間的相關(guān)性

8、，然后根據(jù)特征值的大小選擇特征向量。 這種方法首先將人臉圖像映射為高維空間的向量，然后應(yīng)用基于統(tǒng)計(jì)的離散K-L變換方法，構(gòu)造一個(gè)各分量互不相關(guān)的特征空間，即特征臉空間，再將人臉圖像在高維空間中的向量映射到特征臉空間，得到特征系數(shù),PCA構(gòu)建特征臉空間,哈爾濱工業(yè)大學(xué),第9章 人工神經(jīng)網(wǎng)絡(luò),主要內(nèi)容,1.基礎(chǔ)知識(shí) 2.前饋神經(jīng)網(wǎng)絡(luò) 3.反饋神經(jīng)網(wǎng)絡(luò) 4.自組織映射神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練,學(xué)習(xí)方式： 監(jiān)督學(xué)習(xí) 非監(jiān)督學(xué)習(xí) 再勵(lì)學(xué)習(xí) 學(xué)習(xí)規(guī)則： 誤差糾正學(xué)習(xí)算法 競爭學(xué)習(xí)算法,4.自組織映射

9、,自組織映射Self-Organizing Map 亦稱SOFM。 Kohonen 提出（1980s,SOM 用于非監(jiān)督模式識(shí)別,自組織學(xué)習(xí)過程本身就是一個(gè)非監(jiān)督學(xué)習(xí)過程SOMA(自組織分析) 基本思路： 用未知樣本集訓(xùn)練SOM; 計(jì)算象密度圖; 根據(jù)象密度圖劃分聚類(把結(jié)點(diǎn)代表的小聚類合并,特點(diǎn)： 對(duì)數(shù)據(jù)分布形狀少依賴性；可反映真實(shí)存在的聚類數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)的有效二維顯示) 數(shù)學(xué)上待研究的問題多： 象密度與樣本分布密度之間的關(guān)系？ 拓?fù)浔３痔匦裕?如何在SOM 平面上聚類,哈爾濱工業(yè)大學(xué),第10章 無監(jiān)督學(xué)習(xí),主要內(nèi)容,1. 引言 2. 單峰子集（類）的分離方法 3. 類

10、別分離的間接方法 4. 分級(jí)聚類方法,引言,根據(jù)：某種假設(shè)（對(duì)聚類應(yīng)具有的性質(zhì)的認(rèn)識(shí)） 結(jié)果：聚類（clusters） 屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理,應(yīng)用： 復(fù)雜系統(tǒng)未知特性分析（舉例） 航天、航空、航海（具體闡述,直接方法:基于概率密度函數(shù)估計(jì),相間接聚類方法:基于樣本間似性度量,動(dòng)態(tài)聚類,多次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則達(dá)到最優(yōu),三個(gè)要點(diǎn)： 選某種距離作為樣本相似性度量 定義某個(gè)準(zhǔn)則函數(shù)，用于評(píng)價(jià)聚類質(zhì)量。 初始分類方法及迭代算法,動(dòng)態(tài)聚類,動(dòng)態(tài)聚類,動(dòng)態(tài)聚類,初始劃分：一般可先選代表點(diǎn)，再進(jìn)行初始分類。 代表點(diǎn)選擇方法： 1. 經(jīng)驗(yàn)選擇 2. 隨機(jī)分成c

11、類，選各類重心作為代表點(diǎn) 3. “密度”法。計(jì)算每個(gè)樣本的一定球形鄰域內(nèi)的樣本數(shù)作為“密度”，選“密度”最大的樣本點(diǎn)作為第一個(gè)代表點(diǎn)，在離它一定距離選最大“密度”點(diǎn)作為第二個(gè)代表點(diǎn)，依次類推。 4. 用前c 個(gè)樣本點(diǎn)作為代表點(diǎn)。 5. 用c 1聚類求c 個(gè)代表點(diǎn)：各類中心外加離它們最遠(yuǎn)的樣本點(diǎn)，從1 類開始,動(dòng)態(tài)聚類,初始分類方法： 1. 最近距離法。離哪個(gè)代表點(diǎn)近就歸入哪一類。 2. 最近距離法歸類，但每次都重新計(jì)算該類代表點(diǎn)。 3. 直接劃分初始分類：每一個(gè)樣本自成一類，第二個(gè)樣本若離它小于某距離閾值則歸入此類，否則建新類， 4. 將特征歸一化，用樣本各特征之和作為初始分類依據(jù),說明： 初

12、始劃分無一定之規(guī)，多為啟發(fā)式方法。 C 均值方法結(jié)果受初值影響，是局部最優(yōu)解,動(dòng)態(tài)聚類,C 均值聚類方法用于非監(jiān)督模式識(shí)別的問題： 要求類別數(shù)已知； 是最小方差劃分，并不一定能反映內(nèi)在分布； 與初始劃分有關(guān)，不保證全局最優(yōu),4. 分級(jí)聚類方法 （Hierachical Clustering,分級(jí)聚類方法,思想：從各類只有一個(gè)樣本點(diǎn)開始，逐級(jí)合并，每級(jí)只合并兩類，直到最后所有樣本都?xì)w到一類,Hierarchical tree - dendrogram 聚類過程中逐級(jí)考查類間相似度，依此決定類別數(shù),樹枝長度：反映結(jié)點(diǎn)/樹枝之間的相似度或距離 樹枝位置：在不改變樹結(jié)構(gòu)情況下可以任意調(diào)整，調(diào)整方法需研

13、究 距離/相似性度量：多種選擇，如歐式距離、相關(guān)、City Block,分級(jí)聚類方法,距離（相似性度量）： 樣本之間的度量 聚類之間的度量,算法（從底向上）： （1）初始化，每個(gè)樣本形成一類 （2）把相似性最大（距離最?。┑膬深惡喜?（3）重復(fù)（2），直到所有樣本合并為兩類,分級(jí)聚類方法,分級(jí)聚類方法,哈爾濱工業(yè)大學(xué),第11章 模糊模式識(shí)別,主要內(nèi)容,1. 引言 2. 模糊集的基本知識(shí) 3. 模糊特征和模糊分類 4. 特征的模糊評(píng)價(jià) 5. 模糊聚類方法 6. 模糊k 近鄰分類器,模糊C 均值方法（FCM,C 均值算法,模糊C 均值,模糊C 均值,模糊C 均值,模糊C 均值算法,改進(jìn)的模糊C 均

14、值算法,模糊C 均值算法的一個(gè)缺點(diǎn),改進(jìn)的模糊C 均值算法,改進(jìn)的模糊C 均值算法,AFC 有更好的魯棒，且對(duì)給定的聚類數(shù)目不十分敏感。但有時(shí)可能會(huì)出現(xiàn)一個(gè)類中只包含一個(gè)樣本的情況，可通過在距離計(jì)算中引入非線性，使之不會(huì)小于革值來改進(jìn)。 AFC、FCM 與C 均值一樣，依賴于初值,實(shí)驗(yàn)效果舉例 例一：類別重迭及類別不明顯情況 +：C 圴值 ：FCM O：AFC,改進(jìn)的模糊C 均值算法,正確聚類(C=4,CM聚類(C=3,FCM聚類(C=3,AFC聚類(C=3,例二：給定類別數(shù)與實(shí)際類別數(shù)不一致的情況,109,改進(jìn)的模糊C均值算法 改進(jìn)的模糊C均值算法較前面提到的模糊C均值算法具有更好的魯棒性，

15、它不但可以在有孤立樣本存在的情況下得到較好的聚類效果，而且可以放松隸屬度條件，而且因?yàn)榉潘闪穗`屬度條件，使最終聚類結(jié)果對(duì)預(yù)先確定的聚類數(shù)目不十分敏感。 與確定性C均值算法和模糊C均值算法一樣，改進(jìn)的模糊C均值算法仍然對(duì)聚類中心的初值十分敏感，為了得到較好的結(jié)果，可以用確定性C均值算法或模糊C均值算法的結(jié)果作為初值,改進(jìn)的模糊C 均值算法,哈爾濱工業(yè)大學(xué),第12章 統(tǒng)計(jì)學(xué)習(xí)理論,主要內(nèi)容,1. 統(tǒng)計(jì)學(xué)習(xí)理論,2. 支持向量機(jī) 3. 核方法,2. 支持向量機(jī),根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差

16、，沒有最小化置信范圍值，因此其推廣能力較差,基本概念,Vapnik 與1995年提出的支持向量機(jī)（Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法,基本概念,由于SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM 的解是全局唯一的最優(yōu)解 SVM在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中 Joachims 最近采用SVM在Reuters-21578來進(jìn)行文本分類，并聲稱它比

17、當(dāng)前發(fā)表的其他方法都好,基本概念,由于SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM 的解是全局唯一的最優(yōu)解 SVM在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中 Joachims 最近采用SVM在Reuters-21578來進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表的其他方法都好,特點(diǎn),非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射; 對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心; 支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。 SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”(transductive inference) ,大大簡化了通常的分類和回歸等問題,基本概念,特點(diǎn),SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某