模式識(shí)別習(xí)題及答案

1、 第一章 緒論1.什么是模式？具體事物所具有的信息。模式所指的不是事物本身，而是我們從事物中獲得的_信息_。2.模式識(shí)別的定義？讓計(jì)算機(jī)來(lái)判斷事物。3.模式識(shí)別系統(tǒng)主要由哪些部分組成？數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類器設(shè)計(jì)/ 分類決策。 第二章 貝葉斯決策理論 1.最小錯(cuò)誤率貝葉斯決策過(guò)程？ 答：已知先驗(yàn)概率，類條件概率。利用貝葉斯公式 得到后驗(yàn)概率。根據(jù)后驗(yàn)概率大小進(jìn)行決策分析。 2.最小錯(cuò)誤率貝葉斯分類器設(shè)計(jì)過(guò)程？ 答：根據(jù)訓(xùn)練數(shù)據(jù)求出先驗(yàn)概率 類條件概率分布 利用貝葉斯公式得到后驗(yàn)概率 如果輸入待測(cè)樣本X，計(jì)算X的后驗(yàn)概率根據(jù)后驗(yàn)概率大小進(jìn)行分類決策分析。 3.最小錯(cuò)誤率貝葉斯決策規(guī)則有

2、哪幾種常用的表示形式？ 答： 4.貝葉斯決策為什么稱為最小錯(cuò)誤率貝葉斯決策？ 答：最小錯(cuò)誤率Bayes決策使得每個(gè)觀測(cè)值下的條件錯(cuò)誤率最小因而保證了（平均）錯(cuò)誤率 最小。Bayes決策是最優(yōu)決策：即，能使決策錯(cuò)誤率最小。 5.貝葉斯決策是由先驗(yàn)概率和（類條件概率）概率，推導(dǎo)（后驗(yàn)概率）概率，然后利用這個(gè)概率進(jìn)行決策。 6.利用乘法法則和全概率公式證明貝葉斯公式答：所以推出貝葉斯公式 7.樸素貝葉斯方法的條件獨(dú)立假設(shè)是（P(x| i) =P(x1, x2, , xn | i) = P(x1| i) P(x2| i) P(xn| i)）8. 怎樣利用樸素貝葉斯方法獲得各個(gè)屬性的類條件概率分布？答：

3、假設(shè)各屬性獨(dú)立，P(x| i) =P(x1, x2, , xn | i) = P(x1| i) P(x2| i) P(xn| i)后驗(yàn)概率：P(i|x) = P(i) P(x1| i) P(x2| i) P(xn| i)類別清晰的直接分類算，如果是數(shù)據(jù)連續(xù)的，假設(shè)屬性服從正態(tài)分布，算出每個(gè)類的均值方差，最后得到類條件概率分布。均值： 方差：9. 計(jì)算屬性Marital Status的類條件概率分布 給表格計(jì)算，婚姻狀況幾個(gè)類別和分類幾個(gè)就求出多少個(gè)類條件概率。10，樸素貝葉斯分類器的優(yōu)缺點(diǎn)？ 答：分類器容易實(shí)現(xiàn)。面對(duì)孤立的噪聲點(diǎn)，樸素貝葉斯分類器是健壯的。因?yàn)樵趶臄?shù)據(jù)中估計(jì)條件概率時(shí)。 這些點(diǎn)

4、被平均。面對(duì)無(wú)關(guān)屬性，該分類器是健壯的。相關(guān)屬性可能降低分類器的性能。因?yàn)閷?duì)這些屬性，條件獨(dú)立的假設(shè)已不成立。11. 我們將劃分決策域的邊界稱為(決策面)，在數(shù)學(xué)上用可以表示成(決策面方程)12. 用于表達(dá)決策規(guī)則的函數(shù)稱為(判別函數(shù))13. 判別函數(shù)與決策面方程是密切相關(guān)的，且它們都由相應(yīng)的決策規(guī)則所確定.14. 寫出多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策的判別函數(shù)，即15. 多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策的決策面方程為 16. 多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策，當(dāng)類條件概率分布的協(xié)方差矩陣為 時(shí)，每類的協(xié)方差矩陣相等，且類內(nèi)各特征間（相互獨(dú)立），并具有相等的方差。17. 多元正態(tài)概

5、率下的最小錯(cuò)誤率貝葉斯決策，如果先驗(yàn)概率相等，并且i=1,2,.c，那么分類問(wèn)題轉(zhuǎn)化為只要計(jì)算待測(cè)樣本x到各類均值的(歐式距離)，然后把x歸于具有（最小距離平方）的類。這種分類器稱為（最小距離分類器）。18.19. 多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策，類條件 概率密度各類的協(xié)方差矩陣不相等時(shí)，決策面是（超二次曲面），判別函數(shù)是（二次型） 第三章 概率密度函數(shù)的估計(jì)1. 類條件概率密度估計(jì)的兩種主要方法（參數(shù)估計(jì)）和（非參數(shù)估計(jì)）。2. 類條件概率密度估計(jì)的非參數(shù)估計(jì)有兩種主要的方法（Parzen窗法）和（KN近鄰法）。它們的基本原理都是基于樣本對(duì)分布的（未知）原則。3. 如果有N個(gè)樣本，可以

6、計(jì)算樣本鄰域的體積V，然后獲得V中的樣本數(shù)k，那么P(x)=4. 假設(shè)正常細(xì)胞和癌細(xì)胞的樣本的類條件概率服從多元正態(tài)分布 ，使用最大似然估計(jì)方法，對(duì)概率密度的參數(shù)估計(jì)的結(jié)果為。證明：使用最大似然估計(jì)方法，對(duì)一元正態(tài)概率密度的參數(shù)估計(jì)的結(jié)果如下：5.已知5個(gè)樣本和2個(gè)屬性構(gòu)成的數(shù)據(jù)集中，w1類有3個(gè)樣本，w2類有兩個(gè)樣本。如果使用貝葉斯方法設(shè)計(jì)分類器，需要獲得各類樣本的條件概率分布，現(xiàn)假設(shè)樣本服從多元正態(tài)分布則只需獲得分布的參數(shù)均值向量和協(xié)方差矩陣即可，那么采用最大似然估計(jì)獲得的w1類的類條件概率密度均值向量為（轉(zhuǎn)置）,以及協(xié)方差矩陣為（）。 第四章 線性判別函數(shù)1.已知兩類問(wèn)題的樣本集中，有兩

7、個(gè)樣本。 屬于類， 屬于類，對(duì)它們進(jìn)行增廣后，這兩個(gè)樣本的增廣樣本分別為 y1 =(1,1,-3,2)T,y2 =(-1,-1,-2,3)T 2. 廣義線性判別函數(shù)主要是利用(映射)原理解決（普通函數(shù)不能解決的高次判別函數(shù)）問(wèn)題，利用廣義線性判別函數(shù)設(shè)計(jì)分類器可能導(dǎo)致（維數(shù)災(zāi)難）。3. 線性分類器設(shè)計(jì)步驟？主要步驟：1.收集訓(xùn)練數(shù)據(jù)集D=x1,x2,xN2.按需要確定一個(gè)準(zhǔn)則函數(shù)J(D,w,w0)或J(D,a)，其值反映分類器的性能，其極值解對(duì)應(yīng)于“最好”決策。3.用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，w*或a*。4.最終，得到線性判別函數(shù)，完成分類器設(shè)計(jì)5.線性判別函數(shù)g(x)的幾何表示是：

8、點(diǎn)x到?jīng)Q策面H的（距離的一種代數(shù)度量）。6.增廣樣本向量使特征空間增加了（一）維，但樣本在新的空間中保持了樣本間的（歐氏距離）不變，對(duì)于分類效果也與原決策面相同。 在新的空間中決策面H通過(guò)坐標(biāo)（原點(diǎn)）7.Fisher準(zhǔn)則的基本原理為：找到一個(gè)最合適的投影軸，使_(類間)在該軸上投影之間的距離盡可能遠(yuǎn)，而（類內(nèi)）的投影盡可能緊湊，從而使分類效果為最佳。8. Fisher準(zhǔn)則函數(shù)的定義為9Fisher方法中，樣本類內(nèi)離散度矩陣Si與總類內(nèi)離散度矩陣Sw 分別為10.利用Lagrange乘子法使Fisher線性判別的準(zhǔn)則函數(shù)極大化，最終可以得到的判別函數(shù)權(quán)向量11.敘述Fisher算法的基本原理。F

9、isher準(zhǔn)則的基本原理：找到一個(gè)最合適的投影軸，使兩類樣本在該軸上投影之間的距離盡可能遠(yuǎn)，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳。1213.已知兩類問(wèn)題的樣本集中，有兩個(gè)樣本。屬于w1類， 屬于w2類，對(duì)它們進(jìn)行增廣規(guī)范化后，這兩個(gè)樣本的規(guī)范化增廣樣本分別為y1=(1,1,-3,2)轉(zhuǎn)置和y2=(1,-1,-2,3)轉(zhuǎn)置。14. 敘述感知準(zhǔn)則的梯度下降算法的基本過(guò)程。答：1. 初值: 任意給定一向量初始值a(1) 2. 迭代: 第k+1次迭代時(shí)的權(quán)向量a(k+1)等于第k次的權(quán)向量a(k)加上被錯(cuò)分類的所有 樣本之和與pk的乘積3. 終止: 對(duì)所有樣本正確分類15感知準(zhǔn)則函數(shù)16

10、線性判別函數(shù)g(x)的幾何表示是：點(diǎn)x到?jīng)Q策面H的（距離的代數(shù)度量）17. 感知機(jī)方法主要有兩種，批量樣本修正法與單樣本修正法。它們之間的區(qū)別是什么？答 單樣本修正法：樣本集視為不斷重復(fù)出現(xiàn)的序列，逐個(gè)樣本檢查，修正權(quán)向量批量樣本修正法：樣本成批或全部檢查后，修正權(quán)向量18. 感知準(zhǔn)則特點(diǎn)是隨意確定權(quán)向量（初始值），在對(duì)樣本分類訓(xùn)練過(guò)程中（逐步修正）權(quán)向量直至最終確定。19. 對(duì)于感知準(zhǔn)則函數(shù)，滿足（ ）的權(quán)向量稱為解向量，解向量不止一個(gè)，而是由無(wú)窮多個(gè)解向量組成的解，稱這樣的區(qū)域?yàn)椋ń鈪^(qū)域） 。20. 感知準(zhǔn)則函數(shù)為極小值時(shí)的a為最優(yōu)解證明使用梯度下降算法的迭代過(guò)程公式證明：21.下列哪種分

11、類方法最不適用于樣本集線性不可分情況：BAFisher線性判別的Lagrange乘子法 B感知準(zhǔn)則的梯度下降算法 C最小錯(cuò)分樣本數(shù)準(zhǔn)則的共軛梯度法 D最小平方誤差準(zhǔn)則的梯度下降法22.多類問(wèn)題可以利用求兩類問(wèn)題的方法來(lái)求解。這樣做的缺點(diǎn)是會(huì)造成(無(wú)法確定類別的區(qū)域增大)，需要訓(xùn)練的(子分類器及參數(shù)增多)。23. 利用最小平方誤差準(zhǔn)則函數(shù)進(jìn)行分類器設(shè)計(jì)，主要是求極小化時(shí)的權(quán)向量。當(dāng) 時(shí)，最小平方誤差準(zhǔn)則函數(shù)的解等價(jià)于(Bayes)線性判別的解。24. 敘述分類器錯(cuò)誤率估計(jì)中的留一法的運(yùn)算過(guò)程。答：1.N個(gè)樣本，取N-1個(gè)樣本作為訓(xùn)練集，設(shè)計(jì)分類器。2.剩下的一個(gè)樣本作為測(cè)試集，輸入到分類器中，檢

12、驗(yàn)是否錯(cuò)分。3.然后放回樣本，重復(fù)上述過(guò)程，直到N次，即每個(gè)樣本都做了一次測(cè)試。4. 統(tǒng)計(jì)被錯(cuò)分的次數(shù)k, 作為錯(cuò)誤率的估計(jì)率。25利用兩類問(wèn)題的線性分類器解決多類問(wèn)題常用的兩種方法的優(yōu)缺點(diǎn)。答：優(yōu)點(diǎn)：設(shè)計(jì)思想簡(jiǎn)單，容易實(shí)現(xiàn)。缺點(diǎn)：（1）需要訓(xùn)練的子分類器或參數(shù)多，效率低。 （2）無(wú)法確定類別的區(qū)域多。【造成該問(wèn)題的根本原因是將多類問(wèn)題看成了多個(gè) 兩類問(wèn)題來(lái)解決。這樣必然造成陰影區(qū)域的出現(xiàn)。解決辦法用多類問(wèn)題的分類器】26線性分類器設(shè)計(jì)中的最小平方準(zhǔn)則函數(shù)方法采用的準(zhǔn)則函數(shù)公式是什么？當(dāng)利用偽逆解方法求解時(shí)，遇到計(jì)算量過(guò)大時(shí)，可以代替采用何種方法來(lái)訓(xùn)練分類器參數(shù)？敘述你所使用方法的基本原理，并

13、解釋為什么你的方法可以降低計(jì)算量。答：因?yàn)閑=Ya-b， 常用梯度下降法來(lái)降低計(jì)算復(fù)雜度 批量樣本修正法：?jiǎn)螛颖拘拚ǎ?7利用兩類別的線性分類器如何解決多類別的分類問(wèn)題？i/i 法：將C類別問(wèn)題化為(C-1)個(gè)兩類（第i類與所有非i類）問(wèn)題，按兩類問(wèn)題確定其判別函數(shù)與決策面方程 i/j 法：將C類中的每?jī)深悇e單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有C(C-1)/2個(gè)線性判別函數(shù) 28. 敘述分類器錯(cuò)誤率估計(jì)中的m-重交叉驗(yàn)證方法的運(yùn)算過(guò)程，并說(shuō)明什么情況下該方法將退化為留一法。答：（1）N個(gè)樣本被劃分成m個(gè)不相交的集合，每組有個(gè)樣本。 （2）在m個(gè)樣本中取m-1個(gè)組的樣本作為訓(xùn)練集，設(shè)計(jì)分類器。

14、（3）剩下的一組樣本作為測(cè)試集，輸入到分類器中檢驗(yàn)，統(tǒng)計(jì)錯(cuò)分?jǐn)?shù)k. （4）然后放回，重復(fù)上述過(guò)程，直到m次。 （5）設(shè)ki（i=1,m)是第i次測(cè)試的錯(cuò)分?jǐn)?shù)，則當(dāng)m=N時(shí)，退化為留一法。 第五章 近鄰法近鄰法性能優(yōu)點(diǎn)： （1）設(shè)計(jì)簡(jiǎn)單 （2）分類性能優(yōu)良 （3）適用于線性不可分情況缺點(diǎn)： （1）計(jì)算量大，存儲(chǔ)量大 第6章 特征的選擇與提取1. 敘述用于特征選擇的增l減r搜索算法的算法步驟。并考慮l值大于（或小于）r值時(shí)，增l減r算法步驟應(yīng)做出怎樣的修改，以及該情況下，增l減r搜索算法的特點(diǎn)？答步驟一：用SFS法在未入選特征組中逐個(gè)選入L個(gè)特征，形成新特征組Xk+L ，設(shè)置k=k+L，步驟二：用SBS法從特征組Xk中逐個(gè)剔除r個(gè)最差的特征，形成新特征組Xk-r，設(shè)置k=k-r，若k=d，則終止算法，否則設(shè)置xk=xk-r，轉(zhuǎn)向第一步。（1）當(dāng)L>r時(shí)，L-r法是一種自下而上的算法，先執(zhí)行第一步，然后執(zhí)行第二步，開始時(shí)，設(shè)置k=0，x0=空（2）當(dāng)L<r時(shí)，L-r法是一種自上而下的算法，此時(shí)先執(zhí)行第二步，然后執(zhí)行第一步，開始時(shí)設(shè)置k=0，x0=x1，,xD 2模擬退火法采用Me