模式識(shí)別復(fù)習(xí)答案

1、一、感知器算法流程圖：二、矩陣分解的方法：所謂矩陣分解，就是將一個(gè)矩陣寫成結(jié)構(gòu)比較簡(jiǎn)單的或性質(zhì)比較熟悉的另一些矩陣的乘積。其分解的方法有很多種，常用的有三角分解、QR分解、奇異值分解。三角分解定義：如果方陣A可分解成一個(gè)下三角形矩陣L和上三角形矩陣U的的乘積，則稱A可作三角分解或LU分解。QR分解（正交分解）定義：如果實(shí)（復(fù)）非奇異矩陣A能化成正交（酉）矩陣Q與實(shí)（復(fù)）非奇異上三角矩陣R的乘積，即A=QR，則稱上式為A的QR分解。奇異值分解定理：設(shè)A是一個(gè)的矩陣， 且，則存在階酉矩陣和階酉矩陣，使得 (2)，其中，且。由（2）知 （3），該式稱為A的奇異值分解，稱為A的奇異值，U的第i列稱為A

2、對(duì)應(yīng)的左奇異向量，V的第i列稱為A對(duì)應(yīng)的右奇異向量。三、非負(fù)矩陣分解：在NMF中要求原始的矩陣V的所有元素的均是非負(fù)的，那么矩陣V可以分解為兩個(gè)更小的非負(fù)矩陣的乘積，這個(gè)矩陣V有且僅有一個(gè)這樣的分解，即滿足存在性和唯一性。分解方法：已知數(shù)據(jù)舉矩陣V和所能忍受的誤差，求非負(fù)分解矩陣W，H。（1）隨機(jī)初始化矩陣，要求非負(fù)；（2）應(yīng)用迭代公式進(jìn)行迭代。如果噪聲服從高斯分布，則根據(jù)式和式進(jìn)行，如果噪聲服從Poisson分布，則根據(jù)式 和 進(jìn)行； （3）當(dāng)誤差小于時(shí)，或者達(dá)到最大迭代次數(shù)時(shí)，停止迭代。非負(fù)矩陣分解3. NMF的應(yīng)用NMF能用于發(fā)現(xiàn)數(shù)據(jù)庫中圖像的特征，便于快速識(shí)別應(yīng)用，比如實(shí)現(xiàn)錄入恐怖分子

3、的照片，然后在安檢口對(duì)可疑人員進(jìn)行盤查。在文檔方面，NMF能夠發(fā)現(xiàn)文檔的語義相關(guān)度，用于信息的自動(dòng)索引和提取。在生物學(xué)中，在DNA陣列分析中識(shí)別基因等。在語音識(shí)別系統(tǒng)中NMF也能發(fā)揮重要作用。四、分支定界 (branch and bound) 算法是一種在問題的解空間樹上搜索問題的解的方法。但與回溯算法不同，分支定界算法采用廣度優(yōu)先或最小耗費(fèi)優(yōu)先的方法搜索解空間樹，并且，在分支定界算法中，每一個(gè)活結(jié)點(diǎn)只有一次機(jī)會(huì)成為擴(kuò)展結(jié)點(diǎn)。利用分支定界算法對(duì)問題的解空間樹進(jìn)行搜索,它的搜索策略是：1 產(chǎn)生當(dāng)前擴(kuò)展結(jié)點(diǎn)的所有子結(jié)點(diǎn)；2 在產(chǎn)生的子結(jié)點(diǎn)中,拋棄那些不可能產(chǎn)生可行解（或最優(yōu)解）的結(jié)點(diǎn)；3 將其余的

4、子結(jié)點(diǎn)加入活結(jié)點(diǎn)表；4 從活結(jié)點(diǎn)表中選擇下一個(gè)活結(jié)點(diǎn)作為新的擴(kuò)展結(jié)點(diǎn)。如此循環(huán),直到找到問題的可行解（最優(yōu)解）或活結(jié)點(diǎn)表為空。分支定界法本質(zhì)還是一種枚舉法，但是是隱枚舉法。它是整數(shù)規(guī)劃領(lǐng)域中非常重要的一類算法思想，是很多重要算法的源頭。它能解決的實(shí)際問題很多，最著名的一個(gè)應(yīng)該就是求解背包問題。缺點(diǎn)就是它依然是一種枚舉法，從算法上來講不是一種最好的方法，如果有些問題是NPhard（非確定性多項(xiàng)式）的，分支定界就可能沒有辦法有效求解了。5、 貝葉斯決策理論貝葉斯決策理論方法是統(tǒng)計(jì)模型決策中的一個(gè)基本方法，其基本思想是：1、已知類條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率。2、利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率。3

5、、根據(jù)后驗(yàn)概率大小進(jìn)行決策分類。模式識(shí)別的應(yīng)用：基本概念(1)模式（Pattern）：通過對(duì)具體個(gè)別事物進(jìn)行觀測(cè)所得到的具有時(shí)間和空間分布的信息稱為模式。對(duì)客體（研究對(duì)象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測(cè)量值的集合（或綜合）。(2)模式類（Pattern Class）：把模式所屬的類別或同一類別中模式的總體稱為模式類（或簡(jiǎn)稱為類）。具有某些共同特性的模式的集合。(5)模式識(shí)別（Pattern Recognition）：根據(jù)輸入原始數(shù)據(jù)并判斷其類別的活動(dòng)。確定一個(gè)樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類型。樣本（Sample)：一個(gè)具體的

6、研究（客觀）對(duì)象。如患者，某人寫的一個(gè)漢字，一幅圖片等。模式識(shí)別系統(tǒng)的組成：1信息的獲取：通過測(cè)量、采樣、量化并用矩陣或向量表示。通常輸入對(duì)象的信息有三個(gè)類型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動(dòng)波形等）、物理參量和邏輯值（體檢中的溫度、血化驗(yàn)結(jié)果等）2預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量儀器或其它因素造成的干擾進(jìn)行處理。3特征提取與選擇：為了實(shí)現(xiàn)有效的識(shí)別分類，要對(duì)原始數(shù)據(jù)進(jìn)行變換得到最能反映分類本質(zhì)的特征，此過程為特征提取和選擇。4分類決策：在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類。基本作法是在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種判決

7、規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小。5后處理：針對(duì)決策采取相應(yīng)的行動(dòng)。識(shí)別系統(tǒng)設(shè)計(jì)過程：數(shù)據(jù)采集：在開發(fā)一個(gè)模式識(shí)別系統(tǒng)總的費(fèi)用中，數(shù)據(jù)采集部分占令人吃驚的比重，當(dāng)然采用較小的“典型”樣本集對(duì)問題的可行性進(jìn)行初步研究是可以的，但在實(shí)際應(yīng)用中為了確?，F(xiàn)場(chǎng)工作良好的性能，需要采集到大量的數(shù)據(jù)。選擇特征：選擇有明顯區(qū)分意義的特征是設(shè)計(jì)過程關(guān)鍵的一步。選擇模型：用數(shù)學(xué)形式表達(dá)的不同特征的描述。訓(xùn)練分類器：利用樣本數(shù)據(jù)確定分類器的過程。評(píng)價(jià)分類器：避免過擬合。貝葉斯分類器設(shè)計(jì)貝葉斯分類器的分類原理是通過某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率

8、，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。（1）判別函數(shù)：用于表達(dá)決策規(guī)則的某些函數(shù)稱為判別函數(shù)；（2）決策面：對(duì)于c類分類問題，按照決策規(guī)則可以把d維特征空間分成c個(gè)決策域，將劃分決策域的邊界面稱為決策面。貝葉斯決策理論方法是統(tǒng)計(jì)模型決策中的一個(gè)基本方法，其基本思想是：1、已知類條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率。2、利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率。3、根據(jù)后驗(yàn)概率大小進(jìn)行決策分類。貝葉斯決策理論分析：（1）如果我們已知被分類類別概率分布的形式和已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合，那我們就需要從訓(xùn)練樣本集合中來估計(jì)概率分布的參數(shù)。（2）如果我們不知道任何有關(guān)被分類類別概率分布的知識(shí)，已知已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合和判別式函數(shù)的形式，那我們就需要從訓(xùn)練樣本集合中來估計(jì)判別式函數(shù)的參數(shù)。（3）如果我們既不知道任何有關(guān)被分類類別概率分布的知識(shí)，也不知道判別式函數(shù)的形式，只有已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合。那我們就需要從訓(xùn)練樣本集合中來估計(jì)概率分布函數(shù)的參數(shù)。（4）只有沒有標(biāo)記類別的訓(xùn)練樣本集合。這是經(jīng)常發(fā)生的