模式識別練習習題(簡答和計算)..

1、1、試說明Mahalanobis距離平方的定義，到某點的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis距離的平方定義為： 其中x，u為兩個數(shù)據(jù)，是一個正定對稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點的Mahalanobis距離相等點的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。2、試說明用監(jiān)督學習與非監(jiān)督學習兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學習方法的定義與它們間的區(qū)別。答：監(jiān)督學習方法用來對數(shù)據(jù)實現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學習方

2、法的訓(xùn)練過程是離線的。 非監(jiān)督學習方法不需要單獨的離線訓(xùn)練過程，也沒有帶分類號（標號）的訓(xùn)練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進行分析，如聚類，確定其分布的主分量等。 就道路圖像的分割而言，監(jiān)督學習方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進行分類器設(shè)計，然后用所設(shè)計的分類器對道路圖像進行分割。 使用非監(jiān)督學習方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進行聚類運算，以實現(xiàn)道路圖像的分割。3、已知一組數(shù)據(jù)的協(xié)方差矩陣為，試問(1) 協(xié)方差矩陣中各元素的含義。(2) 求該數(shù)組的兩個主分量。(3) 主分量分析或稱K-L變換，它的最佳準則是什么(4) 為什么說經(jīng)主分量分析后，消除了各分量之間的相

3、關(guān)性。答：協(xié)方差矩陣為，則(1) 對角元素是各分量的方差，非對角元素是各分量之間的協(xié)方差。(2) 主分量，通過求協(xié)方差矩陣的特征值，用0得，則 ，相應(yīng)地：，對應(yīng)特征向量為，對應(yīng)。這兩個特征向量，即為主分量。(3) K-L變換的最佳準則為：對一組數(shù)據(jù)進行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計算截尾誤差最小。(4) 在經(jīng)主分量分解后，協(xié)方差矩陣成為對角矩陣，因而各主分量間相關(guān)性消除。4、試說明以下問題求解是基于監(jiān)督學習或是非監(jiān)督學習：(1) 求數(shù)據(jù)集的主分量(2) 漢字識別(3) 自組織特征映射(4) CT圖像的分割答：(1) 求數(shù)據(jù)集的主分量是非監(jiān)督學習方法；(2) 漢字識別

4、：對待識別字符加上相應(yīng)類別號有監(jiān)督學習方法；(3) 自組織特征映射將高維數(shù)組按保留近似度向低維映射非監(jiān)督學習；(4) CT圖像分割按數(shù)據(jù)自然分布聚類非監(jiān)督學習方法；5、試列舉線性分類器中最著名的三種最佳準則以及它們各自的原理。答：線性分類器三種最優(yōu)準則：Fisher準則：根據(jù)兩類樣本一般類內(nèi)密集，類間分離的特點，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。這種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實現(xiàn)。感知準則函數(shù)：準則函數(shù)以使錯分類樣本到分界面距離之和最小為原則。其優(yōu)點是通過錯分類樣本提供的信息對分類器函數(shù)進行修正，這種準則是人工神經(jīng)元

5、網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機：基本思想是在兩類線性可分條件下，所設(shè)計的分類器界面使兩類之間的間隔為最大，它的基本出發(fā)點是使期望泛化風險盡可能小。6、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是： 1. 基于最小錯誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯誤率最小的分類規(guī)則。 2. 基于最小風險的貝葉斯決策，引入了損失函數(shù)，得出使決策風險最小的分類。當在0-1損失函數(shù)條件下，基于最小風險的貝葉斯決策變成基于最小錯誤率的貝葉斯決策。 3. 在限定一類錯誤率條件下使另一類錯誤率最小的兩類別決策。 4. 最大最小決策：類先驗概率未知，考察先驗概率變化對錯誤率的影響，找出使最

6、小貝葉斯奉獻最大的先驗概率，以這種最壞情況設(shè)計分類器。 5. 序貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時平衡總的損失，以求得最有效益。7、 1. 什么是特征選擇2. 什么是Fisher線性判別答：1. 特征選擇就是從一組特征中挑選出一些最有效的特征以達到降低特征空間維數(shù)的目的。 2. Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學上容易辦到，然而，即使樣本在d維空間里形成若干緊湊的互相分得開的集群，如果把它們投影到一條任意的直線上，也可能使得幾類樣本混在

7、一起而變得無法識別。但是在一般情況下，總可以找到某個方向，使得在這個方向的直線上，樣本的投影能分開得最好。問題是如何根據(jù)實際情況找到這條最好的、最易于分類的投影線，這就是Fisher算法所要解決的基本問題。8、寫出兩類和多類情況下最小風險貝葉斯決策判別函數(shù)和決策面方程。兩類問題：判別函數(shù) 決策面方程：C類問題：判別函數(shù) ，決策面方程：，數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計信號空間特征空間9、請論述模式識別系統(tǒng)的主要組成部分及其設(shè)計流程，并簡述各組成部分中常用方法的主要思想。信息獲?。和ㄟ^測量、采樣和量化，可以用矩陣或向量表示二維圖像或波形。預(yù)處理：去除噪聲，加強有用的信息，并對輸入測

8、量儀器或其他因素造成的退化現(xiàn)象進行復(fù)原。特征選擇和提?。簽榱擞行У貙崿F(xiàn)分類識別，就要對原始數(shù)據(jù)進行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計方法把識別對象歸為某一類。10、簡述支持向量機的基本思想。答：SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0)，且使分類間隔最大。SVM考慮尋找一個滿足分類要求的超平面，并且使訓(xùn)練集中的點距離分類面盡可能的遠，也就是尋找一個分類面使它兩側(cè)的空白區(qū)域(margin)最大。過兩類樣本中離分類面最近的點，且平行于最優(yōu)分類面的超平面上H1，H2的訓(xùn)練樣本就叫支持向量。四、計算題1、設(shè)兩類

9、樣本的類內(nèi)散布矩陣分別為， 兩類的類心分別為m1=(2,0)T, m2=(2,2)T, 試用fisher準則求其決策面方程。解：， 或 寫出決策面方程 2、已知兩個一維模式類別的類概率密度函數(shù)為: 先驗概率P(w1)=，P(w2)=，（1）求0-1代價Bayes判決函數(shù)；（2）求總錯誤概率P(e)；（3）判斷樣本x1=, x2=, x3=, x4= 各屬于哪一類別。答：(1) 基于0-1代價Bayes判決函數(shù)為：當 時，否則，(2) 總的誤判概率P(e)為：123x概率密度由， 得： (3) ，所以 ，所以 ，所以 ，所以3、假設(shè)在某個地區(qū)細胞識別中正常（w1）和異常（w2）兩類先驗概率分別為

10、，現(xiàn)有一待識別的細胞，其觀察值為x，從類條件概率密度分布曲線上查得，并且已知，試對該細胞x用一下兩種方法進行分類：(1) 基于最小錯誤率的貝葉斯決策；(2) 基于最小風險的貝葉斯決策；請分析兩種結(jié)果的異同及原因。答：(1) 利用貝葉斯公式，分別計算出和的后驗概率：根據(jù)貝葉斯決策規(guī)則：，所以把x歸為正常狀態(tài)。(2) 根據(jù)條件和上面算出的后驗概率，計算出條件風險：由于，即決策為的條件風險小于決策為的條件風險，因此采取決策行動，即判斷待識別的細胞x為類-異常細胞。將 (1) 與 (2) 相對比，其分類結(jié)果正好相反，這是因為這里影響決策結(jié)果的因素又多了一個，即“損失”；而且兩類錯誤決策所造成的損失相差

11、很懸殊，因此“損失”起了主導(dǎo)作用。4、有兩類樣本集 ， ，(1) 用K-L變換求其二維特征空間，并求出其特征空間的坐標軸；(2) 使用Fisher線性判別方法給出這兩類樣本的分類面。解：，其對應(yīng)的特征值和特征向量為： ，降到二維空間，取對應(yīng)的坐標：(2) , ， 所以 判別函數(shù)為5、假設(shè)兩類模式服從如下的正態(tài)分布： ，求使最大化的一維特征空間的變換矢量。答：，, , 因為的秩為1，所以只有一個非零特征值，是矩陣，即。 為求解的特征值，解方程 ，即 因為為標量，所以，。6、現(xiàn)有樣本集X=(0,0)T, (0,1) T, (2,1) T, (2,3) T, (3,4) T, (1,0) T , 試

12、用K-meansC-均值算法進行聚類分析(類數(shù)C=2), 初始聚類中心為(0, 0)T、(0, 1) T。解：第一步：由題意知C = 2，初始聚類中心為Z10=(0,0)T, Z20=(0,1) T第二步： |x1-Z10|=|(0,0) T -(0,0) T |=0|x1-Z20|=|(0,0) T -(0,1) T |=1因為|x1-Z10|x2-Z20|, 所以x2w2同理因為|x3-Z10|=51/2|x3-Z20|=2，所以x3w2因為|x4-Z10|=81/2|x4-Z20|=51/2，所以x4w2x5w2, x6w1由此得到新的類：w1=x1, x6 N1=2, w2=x2, x

13、3, x4, x5 N2=4 第三步：根據(jù)新分成的兩類計算新的聚類中心Z11=(x1+x6)/2=, 0)TZ21=(x2+x3+x4+x5)/4=, T第四步：因為新舊聚類中心不等，轉(zhuǎn)第二步第二步：重新計算x1, x2, x3, x4, x5, x6到Z11、Z12的距離，把它們歸為最近聚類中心，重新分為兩類w1=x1, x2, x6 N1=3, w2=x3, x4, x5 N2=3第三步：根據(jù)新分成的兩類計算新的聚類中心Z12=(x1+x2+x6)/3=(1/3, 1/3)TZ22=(x3+x4+x5)/3=(7/3, 8/3)T第四步：因為新舊聚類中心不等，轉(zhuǎn)第二步重新計算x1, x2,

14、 x3, x4, x5, x6到Z12、Z22的距離，把它們歸為最近聚類中心，重新分為兩類w1=x1, x2, x6，N1=3, w1=x3, x4, x5 ，N2=3和上次聚類結(jié)果一樣，計算結(jié)束。7、已知二維樣本：=(-1,0)T，=(0,-1)T，=(0,0)T，=(2,0)T和=(0,2)T，。試用感知器算法求出分類決策函數(shù)，并判斷=(2,1)T屬于哪一類答：將樣本符號規(guī)范化得：=(-1,0,1)T，=(0,-1,1)T，=(0,0,-1)T，=(-2,0,-1)T和=(0,-2,-1)T，賦初值，取增量, 置迭代步數(shù)k=1, 則有：k=1, , , k=2, , , k=3, , , k=4, , , k=5, , , k