武漢大學(xué)模式識別復(fù)習(xí)提綱

考試事項及復(fù)習(xí)提綱考試時間及地點：本周日（12月1號），（8:5011:25）2-4節(jié)，在1區(qū)教三樓3-102 題目類型：滿分100分 6道簡答+6道計算復(fù)習(xí)范圍：1、 09年試題+10年考試試題 2、課本例題（附章節(jié)和頁面） 3、中科院考博題庫題目透視： 09年和10年試題預(yù)覽： 題目+答案 一 、簡答題 1 簡述模式識別系統(tǒng)的構(gòu)成。2 簡述機(jī)器學(xué)習(xí)方法中隨機(jī)訓(xùn)練、成批訓(xùn)練和在線訓(xùn)練的區(qū)別。3 簡述隱馬爾可夫模型的三個核心問題。4 簡述基于貝葉斯分類器的分類系統(tǒng)產(chǎn)生的最終分類誤差的來源。5 簡單列舉出三種度量距離的方法。6 具有d個輸入單元、n個隱單元、c個輸出單元以及偏置的一個標(biāo)準(zhǔn)三層反向傳播網(wǎng)，網(wǎng)絡(luò)中有多少權(quán)值？7 最大似然方法與Bayes估計的差異答案：1、系統(tǒng)構(gòu)成： 信息獲取是指通過傳感器將光或聲音等信息轉(zhuǎn)化為計算機(jī)可以處理的電信息；預(yù)處理包括AD,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等, 主要指圖象處理；特征提取和選擇是把測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征的過程；分類器設(shè)計的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低；分類決策是在特征空間中對被識別對象進(jìn)行分類。2、 隨機(jī)訓(xùn)練：模式是隨機(jī)的從訓(xùn)練集中提取的，網(wǎng)絡(luò)權(quán)值也根據(jù)不同的模式進(jìn)行更新，訓(xùn)練數(shù)據(jù)可認(rèn)為是一個隨機(jī)變量；成批訓(xùn)練：所有的模式在訓(xùn)練前全部送往網(wǎng)絡(luò)中； 在線訓(xùn)練：每種模式只提供一次，不需要存儲器來保存模式，當(dāng)訓(xùn)練數(shù)據(jù)很多或者當(dāng)內(nèi)存消耗大而無法存儲數(shù)據(jù)時，常采用在線訓(xùn)練。 3、 隱馬爾可夫模型的三個核心問題：1） 估值：HMM的轉(zhuǎn)移概率已知，計算這個模型產(chǎn)生一個特定觀測值的概率；2） 解碼：已知一個HMM和一個它所產(chǎn)生的觀測序列，確定產(chǎn)生該觀測序列最有可能的隱狀態(tài)序列；3） 學(xué)習(xí)：只知一個HMM的大致結(jié)構(gòu)，其轉(zhuǎn)移概率都未知。如何從一組可見符號的序列中，決定這些參數(shù)4、 簡述基于貝葉斯分類器的分類系統(tǒng)產(chǎn)生的最終分類誤差的來源：貝葉斯誤差：由于不同的類條件概率密度函數(shù)之間的互相重疊引起的固有誤差，無法消除；模型誤差： 選擇不正確的模型所導(dǎo)致的分類誤差；估計誤差： 采用有限樣本進(jìn)行估計帶來的誤差。5、 簡單列舉出三種度量距離的方法：絕對值距離： 歐幾里德距離： 切比雪夫距離： 明考夫斯基距離： 6、 具有d個輸入單元、n個隱單元、c個輸出單元以及偏置的一個標(biāo)準(zhǔn)三層反向傳播網(wǎng)，網(wǎng)絡(luò)中有多少權(quán)值？每個輸入單元對應(yīng)n個隱單元：d*n每個隱單元對應(yīng)c個輸出單元：n*c偏置單元連到每個隱單元和輸出單元：n+c 一共 d*n+n*c+n+c個權(quán)值7、 最大似然方法與Bayes估計的差異 ：最大似然估計就是把待估的參數(shù)看做是確定性的量，只是其取值未知。最佳估計就是使得產(chǎn)生以觀測到的樣本的概率最大的那個值。Bayes估計則是把待估計的參數(shù)看成是符合某種先驗概率分布的隨機(jī)變量。對樣本進(jìn)行觀測的過程，就是把先驗概率密度轉(zhuǎn)化成后驗概率密度的過程，這樣就利用樣本的信息修正了對參數(shù)的初始估計值。二、1 （54頁,12題）設(shè)為類別狀態(tài)，對所有的，有。（a）證明（b）證明對于最小誤差判定規(guī)則，平均誤差概率為 2、（116頁，2題）令x具有均勻分布的概率密度：（1） 假設(shè)n個樣本點都獨(dú)立地服從，證明對于的最大似然估計就是D中的最大值點maxD. （2） 假設(shè)n=5個樣本點是從這個分布中抽取的，并且有=0.6.畫出區(qū)間01上的似然函數(shù)。并且解釋為什么此時不需要知道其余4個點的值。 b) 當(dāng)n=5時，由以上可知，因此當(dāng)時就可以得到，不需要知道其余四個值。 3、應(yīng)用題：計算兩類問題中二維數(shù)據(jù)的貝葉斯判決邊界，并繪出判決邊界的圖形。假設(shè)兩類分布的先驗概率相等。w1的樣本為（2，6），（3，4），（3，8），（4，6），w2的樣本為（0，3），（1，-2），（2，-4），（5，-2）。2考慮下面的二維空間的3-類別問題：w1w2w3x1x2x1x2x1x2100510280-1005-525-25510-4畫出用最近鄰規(guī)則區(qū)分的決策邊界。計算樣本均值m1，m2和m3。在同一張圖上，畫出如果把樣本歸類為與之最接近的樣本最值的那個類時的判定邊界。 3.用偽逆矩陣構(gòu)造線性分類器，分類兩類二維點，并給出圖示結(jié)果。4 假設(shè)在某個局部地區(qū)細(xì)胞識別正常和異常兩類的先驗概率分別為：正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識別的細(xì)胞，其觀察值為，從類條件概率密度分布曲線上查得并且已知試對該細(xì)胞用以下兩種方法進(jìn)行分類：基于最小錯誤率的貝葉斯決策；基于最小風(fēng)險的貝葉斯決策。請分析兩種分類結(jié)果的異同及原因。5.令： 下面給出了3種劃分：1）2）3）（a） 找出誤差平方和最小的劃分；（b） 找出行列式