第四次學(xué)習(xí)總結(jié)陳書燊

1、 第四次學(xué)習(xí)總結(jié) 陳書燊模式識別1非線性判別函數(shù)分段線性判別函數(shù)用凹函數(shù)的并表示分段線性判別函數(shù)用交遇區(qū)的樣本設(shè)計分段線性分類器二次判別函數(shù)12342前言前面的線性分類器對于多分類問題，采用樹分類器進(jìn)行分類。若在樹分類器的各節(jié)點上采用線性判別規(guī)則，構(gòu)成了一個分段線性分類器。 在實際中，有很多實際模式識別問題并不是線性可分的，需要采用非線性分類器。當(dāng)兩類樣本分布具有多峰性質(zhì)并互相交錯，簡單的線性判別函數(shù)會帶來較大的分類錯誤。3分段線性判別函數(shù) 基于距離的分段線性判別函數(shù) 正態(tài)分布條件下，兩類別問題在各特征統(tǒng)計獨立、同方差、且先驗概率相等情況下，最小錯誤率決策可按最小距離決策，即4分段線性判別函數(shù)

2、按距離分類的原理是可以推廣的，即把各類別樣本特征向量的均值作為各類的代表點，而樣本的類別按它到各類別代表點的最小距離劃分。在這種判別函數(shù)中，決策面是兩類別均值連線的垂直平分面。最小距離分類器只有在各類別密集地分布在其均值附近時才有效。5分段線性判別函數(shù)每類不只取單個代表點而是多個。分段線性距離分類器： 步驟1.先對每一類找到與子區(qū)域中心的最小距離；步驟2.對于每一類子區(qū)域最小距離進(jìn)行排序，選擇最小作為決策。 6分段線性判別函數(shù)分段線性分類器設(shè)計的一般考慮 分類器設(shè)計的基本問題是，在一定判別函數(shù)內(nèi)利用訓(xùn)練樣本集確定分類器的參數(shù)，即判別函數(shù)中的系數(shù)。設(shè)計線性分類器，就是確定權(quán)向量和閥值權(quán)或廣義權(quán)向

3、量，而設(shè)計分段線性分類器，則是利用樣本集確定一組該向量。 1.利用多類線性判別函數(shù)算法設(shè)計分段線性分類器 2.已知子類數(shù)目時的分段線性判別函數(shù) 3.未知子類數(shù)目時的分段線性判別函數(shù) 7用凹函數(shù)的并表示分段線性判別函數(shù)算法問題 1.在算法執(zhí)行前，要首先判斷每類分布有多少個峰，從而決定選擇哪一類作設(shè)計，并確定設(shè)計幾個分段線性判別函數(shù)才符合要求。這就需要對樣本集有一定的先驗知識。 2.在算法執(zhí)行前，要給出每個分段線性判別函數(shù)中分段的數(shù)目。 3.沒有從理論上證明算法的收斂性。 8用交遇區(qū)的樣本設(shè)計分段線性分類器局部訓(xùn)練法的思想是類間的分界面必然處在兩類樣本的交界處，因此只需找出這些交界處的樣本，然后對

4、這些鄰近的不同類樣本,按需要確定分界面即可。實際上決策面都處在不同類別樣本分布的交界處或鄰接處所在的區(qū)域內(nèi)，基于這種思想的樣本訓(xùn)練法稱為“局部訓(xùn)練法”。9用交遇區(qū)的樣本設(shè)計分段線性分類器參加訓(xùn)練的局部樣本集由兩類樣本組成。這些區(qū)域稱之為“交遇區(qū)”，局部訓(xùn)練法就是基于交遇區(qū)內(nèi)樣本進(jìn)行設(shè)計的。要解決的幾個問題是： (1)如何從樣本集中找到“交遇區(qū)”； (2)如何利用“交遇區(qū)”中的樣本設(shè)計線性分類器； (3)如何進(jìn)行分類決策。 10用交遇區(qū)的樣本設(shè)計分段線性分類器提出尋找“交遇區(qū)”的一種方法，其實質(zhì)是先在每類樣本集內(nèi)進(jìn)行分片劃分，所使用的方法是聚類方法，劃分的目的是使每類樣本劃分成小片（原型區(qū)）后，

5、找到處在本類樣本占領(lǐng)區(qū)域邊界上的小片原型。找到邊界子集的方法是通過與另一類樣本子集中找近鄰的方法實現(xiàn)的。如果發(fā)現(xiàn)分屬兩類的兩個原型互為最近鄰，那么這兩個原型就被認(rèn)定為處在兩類樣本決策域的交界處（緊互對原型對）。 11用交遇區(qū)的樣本設(shè)計分段線性分類器算法步驟步驟1：產(chǎn)生初始超平面步驟2：初始決策面最佳化步驟3：新決策面的產(chǎn)生與最佳化 在使用上述方法得到一組超平面作為分段線性分類器的分界面后，僅對交遇區(qū)的樣本集進(jìn)行性能檢測有時不能發(fā)現(xiàn)存在的問題，需要使用全體樣本對其進(jìn)行性能檢驗，觀察其能否對全體樣本作出合理的劃分。 12二次判別函數(shù)二次判別函數(shù)的一般表達(dá)式： 決策面為超二次曲面，包括超球面、超橢球面、超雙曲面等。 13二次判別函數(shù)二次判別函數(shù)的構(gòu)造方法例如，一類樣本分布成團(tuán)，另一類均勻散布在其周圍： 14二次判別函數(shù)二次判別函數(shù)為：決策面方程： 15本章小結(jié)由于樣本在特征空間分布的復(fù)雜性，許多情況下采用線性判別函數(shù)不能取得滿意的分類效果。在這種情況下，可以采用分段線性判別或二次函數(shù)判別等方法，效果就會好得多。與一般超曲面相比，分段線性判別函數(shù)是最為簡單的形式，是非線性判別函數(shù)情況下最為常用的形式。除此之