《模式識別》知識重點(diǎn)總結(jié)與計(jì)算題

0.影響聚類結(jié)果的主要因素有那些？（2）證明馬氏距離是平移不變的、非奇異線性變換不變的。答：（1）分類準(zhǔn)則，模式相似性測度，特征量的選擇，量綱。監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：監(jiān)督學(xué)習(xí)方法用來對數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號（標(biāo)號）的訓(xùn)練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。（實(shí)例：道路圖）就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對道路圖像進(jìn)行分割。使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。2?動態(tài)聚類是指對當(dāng)前聚類通過迭代運(yùn)算改善聚類；分級聚類則是將樣本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí)現(xiàn)合并。3?線性分類器三種最優(yōu)準(zhǔn)則：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集類間分離的特點(diǎn)，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。該種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原則。其優(yōu)點(diǎn)是通過錯(cuò)分類樣本提供的信息對分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機(jī)：基本思想是在兩類線性可分條件下，所設(shè)計(jì)的分類器界面使兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。、試問“模式”與“模式類”的含義。如果一位姓王的先生是位老年人，試問“王先生”和“老頭”誰是模式，誰是模式類?答：在模式識別學(xué)科中，就'模式”與“模式類”而言，模式類是一類事物的代表，概念或典型，而'模式”則是某一事物的具體體現(xiàn)，如“老頭”是模式類，而王先生則是“模式”，是“老頭”的具體化。、試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答:Mahalanobis距離的平方定義為：其中x,u為兩個(gè)數(shù)據(jù)，為是一個(gè)正定對稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣X,則Mahalanobis距離就是通常的歐氏距離。三、試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來對數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號（標(biāo)號）的訓(xùn)練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì),然后用所設(shè)計(jì)的分類器對道路圖像進(jìn)行分割。使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割.四、試述動態(tài)聚類與分級聚類這兩種方法的原理與不同。答：動態(tài)聚類是指對當(dāng)前聚類通過迭代運(yùn)算改善聚類；分級聚類則是將樣本個(gè)體，按相似度標(biāo)準(zhǔn)合并，隨著相似度要求的降低實(shí)現(xiàn)合并。五、 如果觀察一個(gè)時(shí)序信號時(shí)在離散時(shí)刻序列得到的觀察量序列表示為°=2"…2“，而該時(shí)序信號的內(nèi)在狀態(tài)序列表示成 。如果計(jì)算在給定O條件下出現(xiàn)S的概率，試問此概率是何種概率。如果從觀察序列來估計(jì)狀態(tài)序列的最大似然估計(jì)，這與Bayes決策中基于最小錯(cuò)誤率的決策有什么關(guān)系。答：在給定觀察序列 條件下分析它由某個(gè)狀態(tài)序列S產(chǎn)生的概率似后驗(yàn)概率，寫成P（SIO）,而通過O求對狀態(tài)序列的最大似然估計(jì)，與貝葉斯決策的最小錯(cuò)誤率決策相當(dāng)?！?1/211/21六、 已知一組數(shù)據(jù)的協(xié)方差矩陣為' 兒試問協(xié)方差矩陣中各元素的含義。求該數(shù)組的兩個(gè)主分量。主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。

I1..2答:，則協(xié)方差矩陣為答:，則1)對角元素是各分量的方差，非對角元素是各分量之間的協(xié)方差。-1/2^2)主分量，通過求協(xié)方差矩陣的特征值，用2)主分量，通過求協(xié)方差矩陣的特征值，用1一"2衛(wèi)，相應(yīng)的特征向量T、1T? .A.=_T、1T? .A.=_12-1J，對應(yīng)I J3，對應(yīng)特征向量為試求：1.用一雙層感知器構(gòu)造該分類器2.用凹函數(shù)的并構(gòu)造該分類器答：按題意要求1)H1與H2將空間劃分成四個(gè)部分，按使H1與H2大于零與小于零表示成四個(gè)區(qū)域，而第一類屬于(一+)為：這兩個(gè)特征向量即為主分量。對一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方3)K-L變換的最佳準(zhǔn)則為:誤差計(jì)算截尾誤差最小。對一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方4)在經(jīng)主分量分解后，協(xié)方差矩陣成為對角矩陣，因而各主分量間相關(guān)消除。七、試說明以下問題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：求數(shù)據(jù)集的主分量2.漢字識別3.自組織特征映射4.CT圖像的分割答：1、求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；2、漢字識別對待識別字符加上相應(yīng)類別號一有監(jiān)督學(xué)習(xí)方法;3、 自組織特征映射一將高維數(shù)組按保留近似度向低維映射一非監(jiān)督學(xué)習(xí)；4、 CT圖像分割一一按數(shù)據(jù)自然分布聚一非監(jiān)督學(xué)習(xí)方法；八、在一兩維特征空間，兩類決策域由兩條直線H1和H2分界,其中H1：K1+2^3-2=0 藍(lán)1+蠱2中2=0而包含H1與H2的銳角部分為第一類，其余為第二類。T-T* —齊尹—= 11 d區(qū)域，為方便起見，令 則第一類在(++)區(qū)域。用雙層感知器，神經(jīng)元用±1域值，則在第一類樣本輸入時(shí)，兩隱層結(jié)點(diǎn)的輸出均為+1,其余則分別為(+—),(――)，(—+),故可按圖設(shè)置域值。2)用凹函數(shù)的并表示:町5町)或表示成珅丄皿叫時(shí))2)用凹函數(shù)的并表示:町5町)或表示成珅丄皿叫時(shí))則否則十、對一副道路圖像，希望把道路部分劃分出來，可以采用以下兩種方法:在該圖像中分別在道路部分與非道路部分畫出一個(gè)窗口，把在這兩個(gè)窗口中的象素?cái)?shù)據(jù)作為訓(xùn)練集，用Fisher準(zhǔn)則方法求得分類器參數(shù)，再用該分類器對整幅圖進(jìn)行分類。將整幅圖的每個(gè)象素的屬性記錄在一張數(shù)據(jù)表中，然后用某種方法將這些數(shù)據(jù)按它們的自然分布狀況劃分成兩類。因此每個(gè)象素就分別得到相應(yīng)的類別號，從而實(shí)現(xiàn)了道路圖像的分割。試問以上兩種方法哪一種是監(jiān)督學(xué)習(xí)，哪個(gè)是非監(jiān)督學(xué)習(xí)？答：第一種方法中標(biāo)記了兩類樣本的標(biāo)號，需要人手工干預(yù)訓(xùn)練過程，屬于監(jiān)督學(xué)習(xí)方法;第二種方法只是依照數(shù)據(jù)的自然分布，把它們劃分成兩類，屬于非監(jiān)督學(xué)習(xí)方法。十一、已知有兩類數(shù)據(jù),分別為ra1：(1,0),(2,0),(1,1)□ (一1,Cl),(Cl,1),(—1,1)SE試求：該組數(shù)據(jù)的類內(nèi)及類間離散矩陣賢及入。答：第一類的均值向量為r6 -51n一1r2r-5 6r6 -51n一1r2r-5 61/J l-J'-l——3112612-2-21121936-611十三、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是:基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類規(guī)則?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類。當(dāng)在0—1損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率最小的兩類別決策。最大最小決策：類先驗(yàn)概率未知，考察先驗(yàn)概率變化對錯(cuò)誤率的影響，找出使最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類器。序貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價(jià)，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時(shí)平衡總的損失，以求得最有效益。十五、既然有線性判別函數(shù)，為什么還要引進(jìn)非線性判別函數(shù)？試分析由“線性判別函數(shù)”向“非線性判別函數(shù)”推廣的思想和方法。答：實(shí)際中有很多模式識別問題并不是線性可分的，這時(shí)就需要采用非線性分類器，比如當(dāng)兩類樣本分不具有多峰性質(zhì)并互相交錯(cuò)時(shí)，簡單的線性判別函數(shù)往往會帶來較大的分類錯(cuò)誤。這時(shí)，樹分類器作為一種分段線性分類器，常常能有效地應(yīng)用于這種情況。十六、1?什么是特征選擇？2.什么是Fisher線性判別？答：1.特征選擇就是從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的。Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形成若干緊湊的互相分得開的集群，如果把它們投影到一條任意的直線上，也可能使得幾類樣本混在一起而變得無法識別。但是在一般情況下，總可以找到某個(gè)方向，使得在這個(gè)方向的直線上，樣本的投影能分開得最好。問題是如何根據(jù)實(shí)際情況找到這條最好的、最易于分類的投影線，這就是Fisher算法所要解決的基本問題。十八、請論述模式識別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡述各組成部分中常用方法的主要思想。信息獲取：通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或以為波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對輸入測量儀器或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識別，就要對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識別對象歸為某一類。二十、定性說明基于參數(shù)方法和非參數(shù)方法的概率密度估計(jì)有什么區(qū)別？答：基于參數(shù)方法：是由已知類別的樣本集對總體分布的某些參數(shù)進(jìn)行統(tǒng)計(jì)推斷非參數(shù)方法：已知樣本所屬類別，但未知總體概率密度函數(shù)形式二十二、簡述支持向量機(jī)的基本思想。答：SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將兩類正確分開（訓(xùn)練錯(cuò)誤率為0）,且使分類間隔最大。SVM考慮尋找一個(gè)滿足分類要求的超平面，并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn)，也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域（margin）最大。過兩類樣本中離分類面最近的點(diǎn)，且平行于最優(yōu)分類面的超平面上H],H2的訓(xùn)練樣本就叫支持向量。五、（12分，每問4分）在目標(biāo)識別中，假定有農(nóng)田和裝甲車兩種類型，類型叫和類型①2分別代表農(nóng)田和裝甲車，它們的先驗(yàn)概率分別為0.8和0.2，損失函數(shù)如表1所示?，F(xiàn)在做了三次試驗(yàn)，獲得三個(gè)樣本的類概率密度如下：:0.3，0.1，0.6:0.7，0.8，0.3（1） 試用貝葉斯最小誤判概率準(zhǔn)則判決三個(gè)樣本各屬于哪一個(gè)類型；（2） 假定只考慮前兩種判決，試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決三個(gè)樣本各屬于哪一類;（3） 把拒絕判決考慮在內(nèi)，重新考核三次試驗(yàn)的結(jié)果。表1損失■W決^.類型114145111解：由題可知：0（也丨昭）_]玖?I疇）_20〔花丨過）* 0（花I眄〕（1）（4分）根據(jù)貝葉斯最小誤判概率準(zhǔn)則知：尸〔巧丨碼）=卩他） 代吃I眄）＜F他〕 鞏延丨眄）＞玖噸則可以任判； ，則判為血:； ，則判為嗎；（2） （4分）由題可知：則 ，判為玖心丨如弋4尸（工21見）了，判為吒；恥J昭）二『戸（毛丨過）7，判為嗎；（3）（4分）對于兩類問題，對于樣本X,假設(shè)已知，有鳳旳|z）=期旳丨碣円眄|R+盤吟|吋尸他|舟=班丐|碼）日＞|礙円礙"兄島|馬）F何匹疔（遇）%)則對于第一個(gè)樣本，瓊,,5x0.21“ 、、. 4x0.21“ ,、 2221嵐％I孟）=-T—,鳳禺IE |x）=——，則拒判；辨.1.03 0.59珂,.0.24應(yīng)（％|E— 氏（禺|珀— ^（^3|R—，則拒判；辨Is_°%即-2.19珂.0.51應(yīng)（％|E— 氏（禺|珀— ^（^3|R—戶〔X） 尸㈤ 尸㈤，拒判。十四、假設(shè)在某個(gè)地區(qū)細(xì)胞識別中正常（wj和異常（w2）兩類先驗(yàn)概率分別為P（wJ=0.9,P（w2）=0.1,現(xiàn)有一待識別的細(xì)胞,其觀察值為x，從類條件概率密度分布曲線上查得P（X'wi）=0.2，P（x/w2）=0.4，并且已知九11=0，，12=6,入21=1，幾22=0試對該細(xì)胞X用一下兩種方法進(jìn)行分類：1基于最小錯(cuò)誤率的貝葉斯決策；2基于最小風(fēng)險(xiǎn)的貝葉斯決策；請分析兩種結(jié)果的異同及原因。答：1.解：利用貝葉斯公式?分別計(jì)算出勺及氣的后驗(yàn)概率。? — 0.2X0.9 —茁門口尸(◎S=頁 心0烏+0?4藥1"81S!x)=l—r)=0^L&2根據(jù)貝葉斷決策規(guī)則式C2-2).有尸(豁a5=0* ixb=0.182所以合理的決策是把*掃類于正常狀態(tài)“2.嚴(yán)S、\=0,Ip(jc|嚴(yán)S、\=0,Ip(jc|叫)=0,4A11—ti"的>=「；?i：,入i=4：I~1'根據(jù)1的訃算結(jié)畢可知后驗(yàn)概率為尸3巧一68