模式識(shí)別試題庫(kù)

1、模式識(shí)別試題庫(kù)一、基本概念題1.1 模式識(shí)別的三大核心問題是： 、 、 。1.2、模式分布為團(tuán)狀時(shí)，選用 聚類算法較好。 1.3 歐式距離具有 。 馬式距離具有 。 （1）平移不變性 （2）旋轉(zhuǎn)不變性 （3）尺度縮放不變性 （4）不受量綱影響的特性1.4 描述模式相似的測(cè)度有： 。（1）距離測(cè)度 （2）模糊測(cè)度 （3）相似測(cè)度 （4）匹配測(cè)度1.5 利用兩類方法處理多類問題的技術(shù)途徑有：（1） ；（2） ；（3） 。其中最常用的是第 個(gè)技術(shù)途徑。 1.6 判別函數(shù)的正負(fù)和數(shù)值大小在分類中的意義是： ， 。1.7 感知器算法 。 （1）只適用于線性可分的情況；（2）線性可分、不可分都適用。 1.

2、8 積累位勢(shì)函數(shù)法的判別界面一般為 。 （1）線性界面；（2）非線性界面。1.9 基于距離的類別可分性判據(jù)有： 。 （1） （2） （3） 1.10 作為統(tǒng)計(jì)判別問題的模式分類，在（ ）情況下，可使用聶曼-皮爾遜判決準(zhǔn)則。1.11 確定性模式非線形分類的勢(shì)函數(shù)法中，位勢(shì)函數(shù)K(x,xk)與積累位勢(shì)函數(shù)K(x)的關(guān)系為（ ）。1.12 用作確定性模式非線形分類的勢(shì)函數(shù)法，通常，兩個(gè)n維向量x和xk的函數(shù)K(x,xk)若同時(shí)滿足下列三個(gè)條件，都可作為勢(shì)函數(shù)。（ ）；（ ）； K(x,xk)是光滑函數(shù)，且是x和xk之間距離的單調(diào)下降函數(shù)。1.13 散度Jij越大，說明wi類模式與wj類模式的分布（

3、）。當(dāng)wi類模式與wj類模式的分布相同時(shí)，Jij=（ ）。1.14 若用Parzen窗法估計(jì)模式的類概率密度函數(shù)，窗口尺寸h1過小可能產(chǎn)生的問題是（ ），h1過大可能產(chǎn)生的問題是（ ）。1.15 信息熵可以作為一種可分性判據(jù)的原因是： 。1.16作為統(tǒng)計(jì)判別問題的模式分類，在（ ）條件下，最小損失判決規(guī)則與最小錯(cuò)誤判決規(guī)則是等價(jià)的。1.17 隨機(jī)變量l()=p( |w1)/p( |w2)，l( )又稱似然比，則El( )|w2=（ ）。在最小誤判概率準(zhǔn)則下，對(duì)數(shù)似然比Bayes判決規(guī)則為（ ）。 1.18 影響類概率密度估計(jì)質(zhì)量的最重要因素是（ ）。1.19 基于熵的可分性判據(jù)定義為，JH越（

4、 ），說明模式的可分性越強(qiáng)。當(dāng)P(wi| ) =（ ）(i=1,2,c)時(shí)，JH取極大值。 1.20 Kn近鄰元法較之于Parzen窗法的優(yōu)勢(shì)在于（ ）。上述兩種算法的共同弱點(diǎn)主要是（ ）。1.21 已知有限狀態(tài)自動(dòng)機(jī)Af=(å，Q，d，q0，F(xiàn))，å=0，1；Q=q0，q1；d：d(q0，0)= q1，d(q0，1)= q1，d(q1，0)=q0，d1.22 句法模式識(shí)別中模式描述方法有： 。（1）符號(hào)串 （2）樹 （3）圖 （4）特征向量1.23設(shè)集合X=a,b,c,d上的關(guān)系， R=(a,a),(a,b),(a,d),(b,b),(b,a),(b,d),(c,c),(

5、d,d),(d,a),(d,b)，則a,b,c,d生成的R等價(jià)類分別為 （ aR= ，bR= ，cR= ，dR= ）。1.24 如果集合X上的關(guān)系R是傳遞的、（ ）和（ ）的，則稱R是一個(gè)等價(jià)關(guān)系。1.25一個(gè)模式識(shí)別系統(tǒng)由那幾部分組成？畫出其原理框圖。1.26 統(tǒng)計(jì)模式識(shí)別中，模式是如何描述的。1.27 簡(jiǎn)述隨機(jī)矢量之間的統(tǒng)計(jì)關(guān)系：不相關(guān)，正交，獨(dú)立的定義及它們之間的關(guān)系。1.28 試證明，對(duì)于正態(tài)分布，不相關(guān)與獨(dú)立是等價(jià)的。1.29 試證明，多元正態(tài)隨機(jī)矢量的線性變換仍為多元正態(tài)隨機(jī)矢量。1.30 試證明，多元正態(tài)隨機(jī)矢量的分量的線性組合是一正態(tài)隨機(jī)變量。 第二部分 分析、證明、計(jì)算題第二

6、章 聚類分析2.1 影響聚類結(jié)果的主要因素有那些？2.2 馬氏距離有那些優(yōu)點(diǎn)？2.3 如果各模式類呈現(xiàn)鏈狀分布，衡量其類間距離用最小距離還是用最大距離？為什么？2.4 動(dòng)態(tài)聚類算法較之于簡(jiǎn)單聚類算法的改進(jìn)之處何在？層次聚類算法是動(dòng)態(tài)聚類算法嗎？比較層次聚類算法與c-均值算法的優(yōu)劣。2.5 ISODATA算法較之于c-均值算法的優(yōu)勢(shì)何在？2.6 簡(jiǎn)述最小張樹算法的優(yōu)點(diǎn)。2.7 證明馬氏距離是平移不變的、非奇異線性變換不變的。2.8 設(shè)，類、 的重心分別為 、 ，它們分別有樣本 、 個(gè)。將和 合并為 ，則 有 個(gè)樣本。另一類 的重心為 。試證明 與 的距離平方是 2.9 （1）設(shè)有M類模式wi，i

7、=1,2,.,M，試證明總體散布矩陣ST是總類內(nèi)散布矩陣SW與類間散布矩陣SB之和，即STSWSB。（2）設(shè)有二維樣本：x1=(-1,0)T，x2=(0,-1)T，x3=(0,0)T，x4=(2,0)T和x5=(0,2)T。試選用一種合適的方法進(jìn)行一維特征特征提取yi = WTxi 。要求求出變換矩陣W，并求出變換結(jié)果yi ，(i=1,2,3,4,5)。（3）根據(jù)（2）特征提取后的一維特征，選用一種合適的聚類算法將這些樣本分為兩類，要求每類樣本個(gè)數(shù)不少于兩個(gè)，并寫出聚類過程。2.10 （1）試給出c-均值算法的算法流程圖;（2）試證明c-均值算法可使誤差平方和準(zhǔn)則最小。其中，k是迭代次數(shù)；是

8、的樣本均值。 2.11 現(xiàn)有2k+1個(gè)一維樣本，其中k個(gè)樣本在x=-2處重合，另k個(gè)樣本在x=0處重合，只有1個(gè)在x=a>0處。若a=2(k+1)，證明，使誤差平方和準(zhǔn)則Jc最小的兩類劃分是x=0處的k個(gè)樣本與x=a處的1個(gè)樣本為一類，其余為另一類。這里， c NjJc = å å(xi-mj)2 j=1 i=1其中，c為類別數(shù)，Nj是第j類的樣本個(gè)數(shù)，xiÎwj，i=1,2,.,Nj，mj是第j類的樣本均值。2.12 有樣本集，試用譜系聚類算法對(duì)其分類。2.13 設(shè)有樣本集S=，證明類心 到S中各樣本點(diǎn)距離平方和 為最小時(shí)，有 。 2.14 假設(shè)s為模式矢

9、量集X上的距離相似側(cè)度，有且當(dāng)時(shí)， 。證明d是距離差異性測(cè)度。 2.15 證明歐氏距離滿足旋轉(zhuǎn)不變性。提示：運(yùn)用Minkowski不等式，對(duì)于兩矢量和 ，滿足2.16證明： （a）如果s是類X上的距離相似側(cè)度，那么對(duì)于 ， 也是類X上的距離測(cè)度。 （b）如果d是類X上的距離差異性測(cè)度，那么對(duì)于， 也是類X上的距離差異性測(cè)度 2.17 假設(shè)是連續(xù)單調(diào)遞增函數(shù)，滿足 d是類X上的距離差異性測(cè)度且。證明 也是類X上的距離差異性測(cè)度。 2.18 假設(shè)s為類X上的距離相似側(cè)度，有， 是連續(xù)單調(diào)遞增函數(shù)，滿足 證明是X上的距離相似側(cè)度。 2.19 證明：對(duì)于模式矢量集X上任意兩個(gè)矢量和 有 2.20 （a

10、）證明公式中 的最大最小值分別是和 。（b）證明當(dāng)時(shí)，公式 中 2.21 假設(shè)d是模式矢量集X上的差異性測(cè)度，是相應(yīng)相似測(cè)度。 證明 其中和 是分別根據(jù)s和d所定義的。 的定義來自于下面公式，其中第一個(gè)集合只含有一個(gè)矢量。提示：平均親近函數(shù) ，其中 和 分別是集合 和 的勢(shì)。即使 是測(cè)度，顯然 不是測(cè)度。在公式中， 和 中的所有矢量都參與計(jì)算。 2.22 假設(shè)。證明 。 2.23 考慮一維空間的兩矢量，和 ， ，定義距離 為 這個(gè)距離曾被提議作為歐氏距離的近似值。 （a）證明是距離。 （b）比較和 的計(jì)算復(fù)雜度。 224 若定義下列準(zhǔn)則函數(shù)其中是 中 個(gè)樣本的均值向量， 是總散布矩陣，（1）證

11、明對(duì)數(shù)據(jù)的非奇異線形變換具有不變性。（2）證明把中的樣本 轉(zhuǎn)移到 中去，則使 改變?yōu)椋?）寫出使最小化的迭代程序。 225 證明對(duì)于C-均值算法，聚類準(zhǔn)則函數(shù)滿足使算法收斂的條件。（即若，則有 ） 226 令是點(diǎn)到聚類的相似性度量，式中 和 是聚類 的均值和協(xié)方差矩陣，若把一點(diǎn)從 轉(zhuǎn)移到 中去，計(jì)算由公式所示 的變化值。 第三章 判別域代數(shù)界面方程法3.1 證明感知器算法在訓(xùn)練模式是線性可分的情況下，經(jīng)過有限次迭代后可以收斂到正確的解矢量。 3.2（1）試給出LMSE算法（H-K算法）的算法流程圖;（2）試證明X#e(k)=0，這里, X#是偽逆矩陣；e(k)為第k次迭代的誤差向量;（3）已知

12、兩類模式樣本w1：x1=(-1,0)T, x2=(1,0)T；w2：x3=(0,0)T，x4=(0,-1)T。試用LMSE算法判斷其線性可分性。3.3 設(shè)等式方程組，其中：屬于 的樣本作為 的前 行，屬于 的樣本作為 的后 行。證明：當(dāng)余量矢量 時(shí)，MSE解等價(jià)于Fisher解。 3.4 已知二維樣本：=(-1,0)T， =(0,-1)T，=(0,0)T， =(2,0)T和 =(0,2)T， ， 。試用感知器算法求出分類決策函數(shù)，并判斷 =(1,1)T屬于哪一類？ 3.4. 已知模式樣本 x1=(0,0)T,x2=(1,0)T,x3=(-1,1)T分別屬于三個(gè)模式類別，即， x1Îw

13、1,x2Îw2,x3Îw3，（1）試用感知器算法求判別函數(shù)gi(x)，使之滿足，若xiÎwi 則gi(x)>0，i=1,2,3；（2）求出相應(yīng)的判決界面方程，并畫出解區(qū)域的示意圖。給定校正增量因子C=1，初始值可以?。簑1(1)=(4,-9,-4)T，w2(1)=(4,1,-4,)T，w3(1)=(-4,-1,-6)T。3.5 已知w1：(0,0)T,w2：(1,1)T,w3：(-1,1)T。用感知器算法求該三類問題的判別函數(shù)，并畫出解區(qū)域。3.6 試證明：（1）從到超平面 的距離 是在 的約束條件下，使 達(dá)到極小的解。（2）在超平面上的投影是 。 3.7

14、設(shè)有一維空間二次判別函數(shù)，試將其映射成廣義齊次線性判別函數(shù) 。 3.8 對(duì)二維線性判別函數(shù)（1）將判別函數(shù)寫成的形式，并畫出 的幾何圖形；（2）將其映射成廣義齊次線性判別函數(shù) ；（3）指出上述X空間實(shí)際是Y空間的一個(gè)子空間，且對(duì)X子空間的劃分與原空間中 對(duì)原X空間的劃分相同，并在圖上表示出來。 3.9 指出在Fisher線性判別中，的比例因子對(duì)Fisher判別結(jié)果無影響的原因。 3.10 證明兩向量外積組成的矩陣一般是奇異的。3.11 證明，在幾何上，感知器準(zhǔn)則函數(shù)值正比于被錯(cuò)分類樣本到?jīng)Q策面的距離之和。3.12解釋為什么感知器函數(shù)是一個(gè)連續(xù)分段的線性分類器。3.13如果在感知器算法中，那么在

15、 步之后，這個(gè)算法收斂，其中 ， 。3.14證明感知器算法的正確分類和錯(cuò)誤分類在有限個(gè)反復(fù)的運(yùn)算以后是收斂的3.15 考慮一種情況，在類中包含兩個(gè)特征向量， 。類 中包含 和 兩個(gè)向量。根據(jù)感知器算法，其中 ， ，設(shè)計(jì)一個(gè)線性分離器來區(qū)分這兩類3.16在上一章2。12問題中兩分類問題中，取, , .對(duì)于每一類產(chǎn)生50個(gè)向量。為了確保對(duì)于這兩類的線性分離，對(duì)于向量1，1類確保 ，對(duì)于0，0向量類。下面的步驟就是使用這些向量去設(shè)計(jì)一個(gè)線性分類器使用(3.21)中的感知器算法。在收斂以后，畫出相關(guān)的判定線3.17 假如2.12問題中是多類分類問題，每一類有100個(gè)樣本點(diǎn)。根據(jù)LMS算法使用這些數(shù)據(jù)去

16、設(shè)計(jì)一個(gè)線性分類器。當(dāng)所有的點(diǎn)被帶入這個(gè)算法中進(jìn)行計(jì)算的時(shí)候，畫出這個(gè)算法收斂的相關(guān)超平面。其中，然后使用 。觀察這個(gè)結(jié)果3.18 證明，使用KESLER構(gòu)造器，經(jīng)過前面3。21感知器算法的有限步正確與錯(cuò)誤分類計(jì)算后，對(duì)于一個(gè)，變?yōu)?3.19 證明理想權(quán)重向量的誤差平方和趨漸進(jìn)于MSE的解。3.20使用均方誤差和的原則解問題3.6并設(shè)計(jì)一個(gè)線性分類器。3.21證明設(shè)計(jì)一個(gè)M類的線性分類器，有最佳誤差平方和。分類器減少到M等價(jià)個(gè)有相應(yīng)的效果。3.22證明，假如x,y服從聯(lián)合高斯分布，對(duì)于x條件下y的分布是 ， 3.23 取M類分類器按照參數(shù)函數(shù)的形式存在，目的是估計(jì)參數(shù) ，使得分類器根據(jù)輸入向量

17、x能夠產(chǎn)生期望的響應(yīng)輸出值 。假設(shè)在每一類中x是隨機(jī)分布，分類器的輸出根據(jù)相關(guān)期望響應(yīng)值的不同而不同。按照高斯已知變量的一個(gè)高斯分布，假設(shè)所有的輸出都是相同的。證明按照誤差平方和的原則，ML估計(jì)是產(chǎn)生一個(gè)等價(jià)的估計(jì)值。提示：在已知的類別當(dāng)中取出N個(gè)訓(xùn)練樣本值。對(duì)于他們中的每一個(gè)形成。 是第k類中第i個(gè)樣本點(diǎn)的期望響應(yīng)值。 服從正態(tài)0均值，方差為 的分布。這個(gè)似然函數(shù)使用 3.24在二類分類問題中，貝葉斯最佳判定截面是通過給出，證明MSE中訓(xùn)練一個(gè)判定界面 ，目的是對(duì)兩類進(jìn)行有效判別，相關(guān)的，它等價(jià)于在MSE最優(yōu)感知中，它等價(jià)于 的漸進(jìn)函數(shù)形式g(.).3.25 假設(shè)在兩類分類問題中有服從聯(lián)合分

18、布的特征向量，他們?cè)谟泄餐姆讲?。設(shè)計(jì)一個(gè)線性MSE分類器，證明在2.11問題中的貝葉斯分類器和這個(gè)結(jié)果的MSE分類器僅僅通過一個(gè)閾值就可以區(qū)分。簡(jiǎn)化起見，僅僅考慮等概率的類的情況。提示：計(jì)算MSE超平面，增加x的維數(shù)，它的解按照下列方式提供，相關(guān)的R和在MSE分類器中按照下列的形式給出 第四章 統(tǒng)計(jì)判決4.1 使用最小最大損失判決規(guī)則的錯(cuò)分概率是最小嗎？為什么？4.2 當(dāng)Si=s2I時(shí)，先驗(yàn)概率對(duì)決策超平面的位置影響如何？4.3 假設(shè)在某個(gè)地區(qū)的細(xì)胞識(shí)別中正常和異常 兩類的先驗(yàn)概率分別為 正常狀態(tài) ： 異常狀態(tài)： 現(xiàn)有一待識(shí)的細(xì)胞，其觀測(cè)值為，從類條件概率密度分布曲線上查得 并且已知損失系數(shù)

19、為l11=0，l12=1，l21=6，l22=0。試對(duì)該細(xì)胞以以下兩種方法進(jìn)行分類：基于最小錯(cuò)誤概率準(zhǔn)則的貝葉斯判決；基于最小損失準(zhǔn)則的貝葉斯判決。請(qǐng)分析兩種分類結(jié)果的異同及原因。4.4 試用最大似然估計(jì)的方法估計(jì)單變量正態(tài)分布的均值和方差 。4.5 已知兩個(gè)一維模式類別的類概率密度函數(shù)為 ì x 0x<1p(x|w1)=í 2-x1x2 î 0 其它 ì x-1 1x<2p(x|w2)=í 3-x 2x3 î 0 其它先驗(yàn)概率P(w1)=0.6，P(w2)=0.4，（1）求0-1代價(jià)Bayes判決函數(shù)；（2）求總錯(cuò)誤概率

20、P(e)；（3）判斷樣本x1=1.35,x2=1.45,x3=1.55,x4=1.65各屬于哪一類別。4.6 在目標(biāo)識(shí)別中，假定有農(nóng)田和裝甲車兩種類型，類型和類型分別代表農(nóng)田和裝甲車，它們的先驗(yàn)概率分別為0.8和0.2，損失函數(shù)如表1所示?，F(xiàn)在做了三次試驗(yàn)，獲得三個(gè)樣本的類概率密度如下： ：0.3，0.1，0.6：0.7，0.8，0.3（1）試用貝葉斯最小誤判概率準(zhǔn)則判決三個(gè)樣本各屬于哪一個(gè)類型；（2）假定只考慮前兩種判決，試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決三個(gè)樣本各屬于哪一個(gè)類型；（3）把拒絕判決考慮在內(nèi)，重新考核三次試驗(yàn)的結(jié)果。 表1類型損失判決0.5351224.7已知兩個(gè)一維模式類別的類概率密

21、度函數(shù)為先驗(yàn)概率P(w1)=P(w2)，損失函數(shù)，l11=l22=0，l12=0.6，l21=0.4。（1）求最小平均損失Bayes判決函數(shù)；（2）求總的誤判概率P(e)；（3）對(duì)于一個(gè)兩類一維問題，若這兩類的類概率密度分別服從正態(tài)分布N(0,s2)和 N(1,s2)，證明使平均決策風(fēng)險(xiǎn)最小的決策門限為 這里，假設(shè)風(fēng)險(xiǎn)函數(shù)l11=l22=0 。一維正態(tài)分布： 4.8 設(shè)是基于樣本集 對(duì)總體 ¾ 的協(xié)方差矩陣的最大似然估計(jì)。試推導(dǎo)由 求增加一個(gè)樣本 后協(xié)方差矩陣的估計(jì) 的遞推公式。其中， 是基于樣本集 對(duì)總體 的均值向量 的最大似然估計(jì) 。 4.9 設(shè)以下兩類模式均為正態(tài)分布w1：(0

22、,0)T，(2,0)T，(2,2)T，(0,2)Tw2：(4,4)T，(6,4)T，(6,6)T，(4,6)T(1) 設(shè)P(w1)= P(w2)=1/2，求該兩類模式之間的Bayes判別界面的方程。(2) 繪出判別界面。4.10 設(shè)以下兩類模式均為正態(tài)分布w1：(-5,-5)T，(-5,-4)T，(-4,-5)T，(-6,-5)T，(-5,-6)T w2：(5,5)T，(5,6)T，(6,5)T，(5,4)T，(4,5)T (1) 試用正交函數(shù)逼近法求類概率密度的估計(jì)和 ，可選用Hermite正交多項(xiàng)式前四項(xiàng)低階基函數(shù)：H0(x)=1, H1(x)=2x,H2(x)=4x2-2, H3(x)=

23、8x3-12x；(2) 設(shè)P(w1)= P(w2)=1/2，求Bayes判決函數(shù)；(3) 給出判別界面方程和圖示。4.11 證明在多類問題中，貝葉斯決策準(zhǔn)則使錯(cuò)誤分類概率最小。提示：使用正確分類概率來證明要方便一些。4.12 在一個(gè)兩類一維問題中，兩類的概率分布密度函數(shù)分別為高斯分布和 ，證明使平均風(fēng)險(xiǎn)最小的門限 為： 其中 。4.13 假設(shè)兩類類問題中損失矩陣為L(zhǎng)=，e1是將本來屬于w1類的樣本錯(cuò)分為w2的概率，e2是將本來屬于w2類的樣本錯(cuò)分為w1的概率。試證明平均風(fēng)險(xiǎn)為 4.14 證明在多類分類問題中，M類的分類錯(cuò)誤概率上限為 Pe=(M-1)/M 。提示，對(duì)于每一個(gè)向量x最大后驗(yàn)概率密

24、度函數(shù)，i=1,2，M，大于或等于1/M。這等價(jià)于每一個(gè) 都是相等的。 4.15 假設(shè)在一維兩類分類當(dāng)中樣本點(diǎn)符合Rayleigh概率密度函數(shù)分布： 試求判決邊界 。 4.16在兩類分類問題中，限定其中一類的錯(cuò)分誤概率為e1=e，證明，使另一類的錯(cuò)分概率e2最小等價(jià)于似然比判決：如果P(w1)/P(w2)> q，則判xÎw1，這里，q是使e1=e成立的似然比判決門限。注：這就是Neyman-Pearson判決準(zhǔn)則， 它類似于貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則。提示：該問題等價(jià)于用Langrange乘子法，使q=q(e1-e)+e2最小化。4.17二維三類問題，假設(shè)每一類都服從同一正態(tài)分布，且特

25、征向量的的協(xié)方差矩陣為 各類的均值向量分別是， ， 。（1）用貝葉斯最小錯(cuò)誤概率分類器將向量分類。（2）畫出距離向量的等馬氏距離曲線圖（略圖）。 4.18. 在兩類三維空間分類問題中，每一類中的特征向量都服從正態(tài)分布，協(xié)方差矩陣為 這兩類的各自的均值向量分別為和 。試推導(dǎo)相應(yīng)的線性決策函數(shù)和決策界面方程。 4.19在兩類等概率分類問題中，每一類中的特征向量的協(xié)方差矩陣均為S，相關(guān)的均值向量為， ，證明對(duì)于貝葉斯最小錯(cuò)誤概率分類器，錯(cuò)誤概率分布是 其中，是這兩個(gè)均值向量之間的馬氏距離。該函數(shù)是 的增函數(shù)。 提示：對(duì)數(shù)似然比是一個(gè)隨機(jī)變量，且服從高斯分布： ，" ；和 ，" 。

26、據(jù)此計(jì)算錯(cuò)誤概率。4.20證明假設(shè)每個(gè)向量都遵循高斯概率密度函數(shù)分布，在（2。19）的最大似然概率檢測(cè)等價(jià)于 這里是 和x之間關(guān)于 矩陣的的馬氏距離。4.21如果，證明上個(gè)問題成為 ，這里 。4.22在二維兩類問題中，每一類都服從以下分布： 其中 ， 假設(shè) ，設(shè)計(jì)一個(gè)貝葉斯分類器，滿足（a） 錯(cuò)誤分類概率最小（b） 具有損失矩陣L的平均風(fēng)險(xiǎn)最小 使用一個(gè)偽隨機(jī)的數(shù)值產(chǎn)生器，從每一個(gè)類中得到100個(gè)特征向量。按照上面的概率密度函數(shù)。使用這個(gè)分類器去分類已經(jīng)產(chǎn)生的向量。對(duì)于每個(gè)事例中的錯(cuò)誤概率是多少？用重復(fù)這個(gè)實(shí)驗(yàn)。4.23重復(fù)上面的實(shí)驗(yàn)，特征向量服從以下分布： 而且 并且， 提示：一個(gè)高斯隨機(jī)向

27、量的線性變換仍然是一個(gè)高斯隨機(jī)向量。注意 4.24二維兩類問題，假設(shè)兩類服從同一正態(tài)分布，其協(xié)方差矩陣為，均值向量分別為 。試用貝葉斯分類器對(duì)向量 進(jìn)行分類。4.25假設(shè)在兩類一維問題中服從高斯分布 ，服從a到b之間的均勻分布。證明貝葉斯錯(cuò)誤概率的上限為，其中，并且y服從高斯分布。4.26證明隨機(jī)向量的均值是。4.27在擲硬幣的游戲?qū)嶒?yàn)中，正面（1）出現(xiàn)的概率是q，反面出現(xiàn)的概率是（1-q）。設(shè)，i=1,2,，N是這個(gè)實(shí)驗(yàn)的結(jié)果， ，證明q 的最大似然估計(jì)是 提示：似然函數(shù)是：證明ML結(jié)果是下列方程的解 4.28隨機(jī)變量x服從高斯分布，m未知。給定該變量的N個(gè)觀測(cè)值，設(shè)L（m）為m的對(duì)數(shù)似然函

28、數(shù)：。試求該隨機(jī)變量的Cramer-Rao界： 。將該結(jié)果與m的ML估計(jì)值的方差進(jìn)行比較，有何結(jié)論？假如這個(gè)未知參數(shù)是方差，結(jié)論又如何？。 4.29證明假如似然函數(shù)是高斯函數(shù)有未知的均值，和協(xié)方差矩陣 ，然后ML估計(jì)如下給出 4.30隨機(jī)變量x 服從Erlang分布，概率密度函數(shù)為 其中u(x)是一個(gè)階躍函數(shù) 假設(shè)x的N個(gè)觀測(cè)值x1，xN ，證明的最大似然估計(jì)為 4.31隨機(jī)變量x是服從正態(tài)分布，其中未知參數(shù) 服從Rayleigh分布，其概率密度函數(shù)為 試證明的最大后驗(yàn)概率估計(jì)為 其中， , 4.32. 證明對(duì)于對(duì)數(shù)正態(tài)分布 最大似然估計(jì)為 4.33若已知一個(gè)隨機(jī)變量x的均值和方差： ， 試證

29、明，該隨機(jī)變量概率密度函數(shù)的最大熵估計(jì)服從高斯分布 4.34P為一個(gè)隨機(jī)點(diǎn)x位于某區(qū)間h的概率。給定x的N個(gè)觀測(cè)值，其中有k個(gè)落入?yún)^(qū)間h的概率服從二項(xiàng)式分布： 證明，并且它的方差為 而且這個(gè)概率估計(jì)P=k/N是無偏的和漸進(jìn)一致的。第五章 特征提取與選擇5.1 設(shè)有M類模式wi，i=1,2,.,M，試證明總體散布矩陣St是總類內(nèi)散布矩陣Sw與類間散布矩陣Sb之和，即StSwSb。5.2 下面哪個(gè)矩陣可以用在二維空間線性變換中，并保持馬氏距離的特性？請(qǐng)解釋原因。； ； 5.3 Bhattacharyya可分性判據(jù)定義為式中W表示特征空間。試證明，在最小誤判概率準(zhǔn)則判決下，最小最小誤判概率有 。 5

30、.4 令xi，i=1，2，3為獨(dú)立的二值特征，且p(xi=1|w1)=ai ，p(xi=1|w2)=bi ，兩類的先驗(yàn)概率相等，且ai，bi滿足以下條件：（1）ai <bi ，"i, (2) b1 - a1 >b2 - a2>b3 - a3 。試證明各特征分別使用時(shí)之錯(cuò)誤概率e(xi)滿足：e(x1)< e(x2)< e(x3) 。5.5 按上題條件，試證明當(dāng)兩個(gè)特征合用時(shí)，其錯(cuò)誤概率為請(qǐng)找出使之條件。 5.6 同上題，如果給定試計(jì)算。 5.7 已知以下兩類模式w1：(0,0,0)T，(1,0,0)T，(1,0,1)T，(1,1,0)Tw2：(0,0,1)T，(0,1,0)T，(0,1,1)T，(1,1,1)T試用K-L變換分別把特征空間維數(shù)降到d=2和d=1，并作圖畫出樣本在該特征空間中的位置。5.8 令和 分別是 類（i=1,2）的協(xié)方差矩陣和先驗(yàn)概率。假設(shè)對(duì)數(shù)據(jù)進(jìn)行了白化變換，即，使 。這里， ，I是單位矩陣。試證明矩陣 和 所產(chǎn)生的K-L坐標(biāo)