分類器設(shè)計(jì)課件

1、分類器設(shè)計(jì)1 第五章 分類器設(shè)計(jì) 分類器設(shè)計(jì)2 分類器設(shè)計(jì)3 分類問題是根據(jù)待識別對象所呈現(xiàn)的觀察值，將其分到某個(gè)類別 中去。具體步驟是： 1.建立特征空間中的訓(xùn)練集，已知訓(xùn)練集里某個(gè)點(diǎn)所屬類別。 2.從這些條件出發(fā)尋求某種判別函數(shù)或判別準(zhǔn)則，設(shè)計(jì)判別函數(shù) 模型。 3.根據(jù)訓(xùn)練集中的樣品確定模型中的參數(shù)，得到完善的判別函數(shù) 模型 4.利用完善的判別函數(shù)或判別準(zhǔn)則去判別每個(gè)未知類別的點(diǎn)應(yīng)該 屬于哪類 分類器設(shè)計(jì)4 在統(tǒng)計(jì)模式識別中，討論的主要問題不是決策正誤，而是決策正 誤的概率問題。模式識別所強(qiáng)調(diào)的“最佳”“最優(yōu)”，這種最 優(yōu)是針對某一設(shè)計(jì)原則講的，這種原則成為準(zhǔn)則。 這種準(zhǔn)則包括： 最小錯(cuò)誤

2、率準(zhǔn)則：以減少分類錯(cuò)誤為原則 最小風(fēng)險(xiǎn)準(zhǔn)則：引入風(fēng)險(xiǎn)損失概念，賦予不同權(quán)值，使總的風(fēng)險(xiǎn)最小 近鄰準(zhǔn)則：依據(jù)同類物體在空間中具有聚類特性的原理進(jìn)行區(qū)分。 Fisher準(zhǔn)則：尋求最好的直線方向以及如何實(shí)現(xiàn)向最好方向投影的變換 感知準(zhǔn)則：感知準(zhǔn)則函數(shù)使錯(cuò)分類樣品到分界面距離之和最小為原則。 分類器設(shè)計(jì)5 1.模板匹配法 通常采用最近鄰原則，最簡單的一種分類方法，缺點(diǎn)是計(jì)算量大、 存儲(chǔ)量大。 2.判別函數(shù)法 （1）基于概率統(tǒng)計(jì)的分類法 往往取決于前期統(tǒng)計(jì)分布的相關(guān)知識，最經(jīng)典的BAYES分類器， 利用先驗(yàn)概率和類條件概率密度函數(shù)，計(jì)算出后驗(yàn)概率，以此 設(shè)計(jì)出判別函數(shù)與判決面。 （2）幾何分類法 不依賴

3、于條件概率密度的知識，通過幾何的方法把特征空間分解 為對應(yīng)于不同類別的子空間。 分類器設(shè)計(jì)6 模式識別的基本問題模式識別的基本問題 一.模式(樣本)表示方法 向量表示 : 假設(shè)一個(gè)樣本有n個(gè)變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個(gè)樣本，每一個(gè)樣本n個(gè)變量(特征) 分類器設(shè)計(jì)7 幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T 分類器設(shè)計(jì)8 分類器設(shè)計(jì)9 v假設(shè)對一模式X已抽取n個(gè)特

4、征，表示為： v模式識別問題就是根據(jù)模式X的n個(gè)特征來判 別模式屬于1 ,2 , , m 類中的那一類。 維空間的一個(gè)向量是n ),.,( 321 X xxxxX T n 分類器設(shè)計(jì)10 v例如下圖：三類的分類問題，它們的邊界線就是一 個(gè)判別函數(shù) 1 2 3 邊界 2 x 1 x 分類器設(shè)計(jì)11 v判別函數(shù)包含兩類： v一類 是線性判別函數(shù)： 線性判別函數(shù) 廣義線性判別函數(shù) （所謂廣義線性判別函數(shù)就是把非線性判 別函數(shù)映射到另外一個(gè)空間變成線性判別 函數(shù)） 分段線性判別函數(shù) v另一類是非線性判別函數(shù) 分類器設(shè)計(jì)12 2,),( 21 M T i 2,)( 2 , 1 nxxX T 32211

5、wxwxw)x(g 為坐標(biāo)向量為參數(shù)， 21, x xw 分類器設(shè)計(jì)13 v在兩類別情況，判別函數(shù) g (x) 具有以下性質(zhì)： v這是二維情況下判別由判別邊界分類. v情況如圖： 1. 二維情況 2 1 , 0 , 0 )( X X xg i 不定Xxg,0)( 32211 )(wxwxwxg 2 1 1 x 2 x 分類器設(shè)計(jì)14 T n xxxxX),.,( 321 12211 .)( nnn wxwxwxwxg 10 n wXW 為增值模式向量。， 為增值權(quán)向量， T n T nn xxxX wwwwW ) 1,.,( ),.,( 21 121 XWxg T )( 為模式向量。 為權(quán)向量

6、， T n T n xxxX wwwW ),.,( ),.,( 21 210 分類器設(shè)計(jì)15 v模式分類： v當(dāng) g1(x) =WTX=0 為判別邊界 。當(dāng)n=2時(shí)，二維 情況的判別邊界為一直線。當(dāng)n=3時(shí)，判別邊界為 一平面，n3時(shí)，則判別邊界為一超平面。 2 1 ,0 ,0 )( x x XWxg T 2. n維情況模式分類 分類器設(shè)計(jì)16 。其它Mi X XWxg iT ii ,.,2 , 1, 0 , 0 )( v對于多類問題，模式有 1 ,2 , , m 個(gè)類別。可分 三種情況： 1.第一種情況：每一模式類與其它模式類間可用單個(gè) 判別平面把一個(gè)類分開。這種情況，M類可有M個(gè)判別 函數(shù)

7、，且具有以下性質(zhì)： 權(quán)向量。 個(gè)判別函數(shù)的為第式中iwwwwW T ininiii ) ,.,( 121 分類器設(shè)計(jì)17 v下圖所示，每一類別可用單個(gè)判別邊界與其它類別相分 開 。 v如果一模式X屬于1，則由圖可清楚看出:這時(shí)g1(x) 0而 g2(x) 0 ， g3(x) 0 。 1 類與其它類之間的邊界由 g1(x)=0確定. 2 1 x 0)( 2 xg 0)( 3 xg 2 x 0)( 1 xg 1 3 1.第一種情況(續(xù))： 分類器設(shè)計(jì)18 v作圖如下： 3 0)( 0)( 0)( 3 2 1 xg xg xg 1 2 0)( 0)( 0)( 3 2 1 xg xg xg 0)( 0

8、)( 0)( 3 2 1 xg xg xg 4IR 3IR 1IR 2IR 1 x 2 x 0)( 1 xg 0)( 2 xg 0)( 3 xg 5 5 1 1.第一種情況(續(xù))： 分類器設(shè)計(jì)19 v這樣 有 M(M _ 1)/2個(gè)判別平面。 v對于兩類問題，M=2，則有一個(gè)判別平面。 v同理，三類問題則有三個(gè)判別平面。 jixg ij j i x0 x0 )( 當(dāng) 當(dāng) 2. 第二種情況： XW)x(g T ijij o)x(gij 每個(gè)模式類和其它模式類間可分別用判別平面分開。 2 0)( 12 xg0)( 23 xg 0)( 13 xg 3 1 分類器設(shè)計(jì)20 v判別函數(shù)： v v判別規(guī)則

9、： v判別邊界： gi(x) =gj(x) 或gi(x) -gj(x) =0 v就是說，要判別模式X屬于那一類，先把X代入M M個(gè)判 別函數(shù)中，判別函數(shù)最大的那個(gè)類別就是X所屬類別。 類與 類之間的邊界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0 來確定。 XWxg Kk )( MK,.,2 , 1 小，其它 最大，當(dāng) iT ki x XWxg )( v每類都有一個(gè)判別函數(shù),存在M個(gè)判別函數(shù) 分類器設(shè)計(jì)21 v1、模式空間與加權(quán)空間 v模式空間：由 構(gòu)成的n維歐氏空間。 vW是此空間的加權(quán)向量，它決定模式的分界面H，W 與H正交。 v加權(quán)空間：以 為變量構(gòu) 成的歐氏空間 v

10、模式空間與加權(quán)空間的幾何表示如下圖： XWxg T i )( T n xxxxX),.,( 321 121 ,., n www 模式空間 2 X 1 X 1 2 1 x 3 x 4 x 0)(xg邊界 2 x H W 分類器設(shè)計(jì)22 kixfw wxfwxfwxfwxg k i ii kkk ,.,2 , 1, )( )(.)()()( 1 1 12211 v這樣一個(gè)非線性判別函數(shù)通過映射，變換成線性判 別函數(shù)。 1)(,)( 1 xfxf ki 是單值函數(shù)式中 v判別函數(shù)的一般形式： 2 1 1 1 ,0 ,0 )( )()( x x YgYW xfwxg T yx k i ii 空間變換空

11、間 分類器設(shè)計(jì)23 0YW T 判別平面： )( , )( . )( )( )( , . , 0 , 0 )()()( 2 1 2 1 2 1 1 1 增廣模式向量。廣義權(quán)向量其中： 空間變換空間 xf xf xf Y w w w W x x YgYWxfwxg kk Tyx k i ii 廣義線性判別函數(shù)（續(xù)） 分類器設(shè)計(jì)24 2 3 2 1 2 1 2 12 321 1 , ,0 ,0 )()( ,0 ,0 )( x xY a a a W x x YgYWxg x x xaxaaxg T 映射： 廣義線性判別函數(shù)（續(xù)） v要用二次判別函數(shù)才可把二類分開： 分類器設(shè)計(jì)25 v若設(shè)計(jì)分類器，一是選定所用的判別函數(shù)類型，二是確定方程 的兩個(gè)參數(shù)（權(quán)向量及閾值）。 分類器設(shè)計(jì)任務(wù)是在給定的訓(xùn)練樣本條件下，確定線性判別函數(shù) 的各項(xiàng)系數(shù)，在進(jìn)行未知樣本分類中，能滿足相應(yīng)的準(zhǔn)則函數(shù)為 最優(yōu)的要求?？煽偨Y(jié)為以下幾步： 1.確定使用的判別函數(shù)或決策面方程類型。 2.按需要確定一準(zhǔn)則函數(shù)。 3.確定準(zhǔn)則函數(shù)達(dá)到極值時(shí) 具體數(shù)值。 分類器設(shè)計(jì)中的參