模式識(shí)別練習(xí)題簡(jiǎn)答和計(jì)算匯總

1、1、試說(shuō)明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis距離的平方定義為： 其中x，u為兩個(gè)數(shù)據(jù)，是一個(gè)正定對(duì)稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。2、試說(shuō)明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對(duì)道路圖像中道路區(qū)域的劃分的基本做法，以說(shuō)明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來(lái)對(duì)數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過(guò)訓(xùn)練獲得。該訓(xùn)練集由帶分類號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方

2、法的訓(xùn)練過(guò)程是離線的。 非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過(guò)程，也沒(méi)有帶分類號(hào)（標(biāo)號(hào)）的訓(xùn)練數(shù)據(jù)集，一般用來(lái)對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。 就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對(duì)道路圖像進(jìn)行分割。 使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。3、已知一組數(shù)據(jù)的協(xié)方差矩陣為，試問(wèn)(1) 協(xié)方差矩陣中各元素的含義。(2) 求該數(shù)組的兩個(gè)主分量。(3) 主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？(4) 為什么說(shuō)經(jīng)主分量分析后，消除了各分量之間的

3、相關(guān)性。答：協(xié)方差矩陣為，則(1) 對(duì)角元素是各分量的方差，非對(duì)角元素是各分量之間的協(xié)方差。(2) 主分量，通過(guò)求協(xié)方差矩陣的特征值，用0得，則 ，相應(yīng)地：，對(duì)應(yīng)特征向量為，對(duì)應(yīng)。這兩個(gè)特征向量，即為主分量。(3) K-L變換的最佳準(zhǔn)則為：對(duì)一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。(4) 在經(jīng)主分量分解后，協(xié)方差矩陣成為對(duì)角矩陣，因而各主分量間相關(guān)性消除。4、試說(shuō)明以下問(wèn)題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：(1) 求數(shù)據(jù)集的主分量(2) 漢字識(shí)別(3) 自組織特征映射(4) CT圖像的分割答：(1) 求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；(2) 漢字識(shí)

4、別：對(duì)待識(shí)別字符加上相應(yīng)類別號(hào)有監(jiān)督學(xué)習(xí)方法；(3) 自組織特征映射將高維數(shù)組按保留近似度向低維映射非監(jiān)督學(xué)習(xí)；(4) CT圖像分割按數(shù)據(jù)自然分布聚類非監(jiān)督學(xué)習(xí)方法；5、試列舉線性分類器中最著名的三種最佳準(zhǔn)則以及它們各自的原理。答：線性分類器三種最優(yōu)準(zhǔn)則：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集，類間分離的特點(diǎn)，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開(kāi)。這種度量通過(guò)類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原則。其優(yōu)點(diǎn)是通過(guò)錯(cuò)分類樣本提供的信息對(duì)分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是人工神經(jīng)

5、元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機(jī)：基本思想是在兩類線性可分條件下，所設(shè)計(jì)的分類器界面使兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。6、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是： 1. 基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類規(guī)則。 2. 基于最小風(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類。當(dāng)在0-1損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。 3. 在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率最小的兩類別決策。 4. 最大最小決策：類先驗(yàn)概率未知，考察先驗(yàn)概率變化對(duì)錯(cuò)誤率的影響，找出使

6、最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類器。 5. 序貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價(jià)，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時(shí)平衡總的損失，以求得最有效益。7、 1. 什么是特征選擇？2. 什么是Fisher線性判別？答：1. 特征選擇就是從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的。 2. Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形成若干緊湊的互相分得開(kāi)的集群，如果把它們投影到一條任意的直線上，也可能使得幾類樣

7、本混在一起而變得無(wú)法識(shí)別。但是在一般情況下，總可以找到某個(gè)方向，使得在這個(gè)方向的直線上，樣本的投影能分開(kāi)得最好。問(wèn)題是如何根據(jù)實(shí)際情況找到這條最好的、最易于分類的投影線，這就是Fisher算法所要解決的基本問(wèn)題。8、寫(xiě)出兩類和多類情況下最小風(fēng)險(xiǎn)貝葉斯決策判別函數(shù)和決策面方程。兩類問(wèn)題：判別函數(shù) 決策面方程：C類問(wèn)題：判別函數(shù) ，決策面方程：，數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計(jì)信號(hào)空間特征空間9、請(qǐng)論述模式識(shí)別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡(jiǎn)述各組成部分中常用方法的主要思想。信息獲?。和ㄟ^(guò)測(cè)量、采樣和量化，可以用矩陣或向量表示二維圖像或波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)

8、輸入測(cè)量?jī)x器或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識(shí)別對(duì)象歸為某一類。10、簡(jiǎn)述支持向量機(jī)的基本思想。答：SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)。最優(yōu)分類面就是要求分類線不但能將兩類正確分開(kāi)(訓(xùn)練錯(cuò)誤率為0)，且使分類間隔最大。SVM考慮尋找一個(gè)滿足分類要求的超平面，并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn)，也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域(margin)最大。過(guò)兩類樣本中離分類面最近的點(diǎn)，且平行于最優(yōu)分類面的超平面上H1，H2的訓(xùn)練樣本就叫支持向量。四、計(jì)算題1、

9、設(shè)兩類樣本的類內(nèi)散布矩陣分別為， 兩類的類心分別為m1=(2,0)T, m2=(2,2)T, 試用fisher準(zhǔn)則求其決策面方程。解：， 或 寫(xiě)出決策面方程 2、已知兩個(gè)一維模式類別的類概率密度函數(shù)為: 先驗(yàn)概率P(w1)=0.6，P(w2)=0.4，（1）求0-1代價(jià)Bayes判決函數(shù)；（2）求總錯(cuò)誤概率P(e)；（3）判斷樣本x1=1.35, x2=1.45, x3=1.55, x4=1.65 各屬于哪一類別。答：(1) 基于0-1代價(jià)Bayes判決函數(shù)為：><當(dāng) 時(shí)，否則，(2) 總的誤判概率P(e)為：123x概率密度由， 得： (3) ，所以 ，所以 ，所以 ，所以3、假

10、設(shè)在某個(gè)地區(qū)細(xì)胞識(shí)別中正常（w1）和異常（w2）兩類先驗(yàn)概率分別為，現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得，并且已知，試對(duì)該細(xì)胞x用一下兩種方法進(jìn)行分類：(1) 基于最小錯(cuò)誤率的貝葉斯決策；(2) 基于最小風(fēng)險(xiǎn)的貝葉斯決策；請(qǐng)分析兩種結(jié)果的異同及原因。答：(1) 利用貝葉斯公式，分別計(jì)算出和的后驗(yàn)概率：根據(jù)貝葉斯決策規(guī)則：，所以把x歸為正常狀態(tài)。(2) 根據(jù)條件和上面算出的后驗(yàn)概率，計(jì)算出條件風(fēng)險(xiǎn)：由于，即決策為的條件風(fēng)險(xiǎn)小于決策為的條件風(fēng)險(xiǎn)，因此采取決策行動(dòng)，即判斷待識(shí)別的細(xì)胞x為類-異常細(xì)胞。將 (1) 與 (2) 相對(duì)比，其分類結(jié)果正好相反，這是因?yàn)檫@里影響決策

11、結(jié)果的因素又多了一個(gè)，即“損失”；而且兩類錯(cuò)誤決策所造成的損失相差很懸殊，因此“損失”起了主導(dǎo)作用。4、有兩類樣本集 ， ，(1) 用K-L變換求其二維特征空間，并求出其特征空間的坐標(biāo)軸；(2) 使用Fisher線性判別方法給出這兩類樣本的分類面。解：，其對(duì)應(yīng)的特征值和特征向量為： ，降到二維空間，取對(duì)應(yīng)的坐標(biāo)：(2) , ， 所以 判別函數(shù)為5、假設(shè)兩類模式服從如下的正態(tài)分布： ，求使最大化的一維特征空間的變換矢量。答：，, , 因?yàn)榈闹葹?，所以只有一個(gè)非零特征值，是矩陣，即。 為求解的特征值，解方程 ，即 因?yàn)闉闃?biāo)量，所以，。6、現(xiàn)有樣本集X=(0,0)T, (0,1) T, (2,1)

12、 T, (2,3) T, (3,4) T, (1,0) T , 試用K-meansC-均值算法進(jìn)行聚類分析(類數(shù)C=2), 初始聚類中心為(0, 0)T、(0, 1) T。解：第一步：由題意知C = 2，初始聚類中心為Z10=(0,0)T, Z20=(0,1) T第二步： |x1-Z10|=|(0,0) T -(0,0) T |=0|x1-Z20|=|(0,0) T -(0,1) T |=1因?yàn)閨x1-Z10|<|x1-Z20|, 所以x1w1 |x2-Z10|=|(0,1) T -(0,0) T |=1|x2-Z20|=|(0,1) T -(0,1) T |=0因?yàn)閨x2-Z10|&g

13、t;|x2-Z20|, 所以x2w2同理因?yàn)閨x3-Z10|=51/2>|x3-Z20|=2，所以x3w2因?yàn)閨x4-Z10|=81/2>|x4-Z20|=51/2，所以x4w2x5w2, x6w1由此得到新的類：w1=x1, x6 N1=2, w2=x2, x3, x4, x5 N2=4 第三步：根據(jù)新分成的兩類計(jì)算新的聚類中心Z11=(x1+x6)/2=(0.5, 0)TZ21=(x2+x3+x4+x5)/4=(1.75, 2.25)T第四步：因?yàn)樾屡f聚類中心不等，轉(zhuǎn)第二步第二步：重新計(jì)算x1, x2, x3, x4, x5, x6到Z11、Z12的距離，把它們歸為最近聚類中心

14、，重新分為兩類w1=x1, x2, x6 N1=3, w2=x3, x4, x5 N2=3第三步：根據(jù)新分成的兩類計(jì)算新的聚類中心Z12=(x1+x2+x6)/3=(1/3, 1/3)TZ22=(x3+x4+x5)/3=(7/3, 8/3)T第四步：因?yàn)樾屡f聚類中心不等，轉(zhuǎn)第二步重新計(jì)算x1, x2, x3, x4, x5, x6到Z12、Z22的距離，把它們歸為最近聚類中心，重新分為兩類w1=x1, x2, x6，N1=3, w1=x3, x4, x5 ，N2=3和上次聚類結(jié)果一樣，計(jì)算結(jié)束。7、已知二維樣本：=(-1,0)T，=(0,-1)T，=(0,0)T，=(2,0)T和=(0,2)T，。試用感知器算法求出分類決策函數(shù)，并判斷=(2,1)T屬于哪一類？答：將樣本符號(hào)規(guī)范化得：=(-1,0,1)T，=(0,-1,1)T，=(0,0,-1)T，=(-2,0,-1)T和=(0,-2,-1)T，賦初值，取增量, 置迭代步數(shù)k=1, 則有：k=1, , , k=2, , , k=3, , , k=4, , , k