分類器設(shè)計(jì)-第五章.ppt

1、第五章 分類器設(shè)計(jì),本章主要內(nèi)容,分類器設(shè)計(jì)準(zhǔn)則 分類器設(shè)計(jì)基本方法 判別函數(shù) 訓(xùn)練與學(xué)習(xí),分類器設(shè)計(jì)準(zhǔn)則,分類問題是根據(jù)待識(shí)別對(duì)象所呈現(xiàn)的觀察值，將其分到某個(gè)類別中去。具體步驟是： 1.建立特征空間中的訓(xùn)練集，已知訓(xùn)練集里某個(gè)點(diǎn)所屬類別。 2.從這些條件出發(fā)尋求某種判別函數(shù)或判別準(zhǔn)則，設(shè)計(jì)判別函數(shù)模型。 3.根據(jù)訓(xùn)練集中的樣品確定模型中的參數(shù)，得到完善的判別函數(shù)模型 4.利用完善的判別函數(shù)或判別準(zhǔn)則去判別每個(gè)未知類別的點(diǎn)應(yīng)該屬于哪類,分類器設(shè)計(jì)準(zhǔn)則,在統(tǒng)計(jì)模式識(shí)別中，討論的主要問題不是決策正誤，而是決策正誤的概率問題。模式識(shí)別所強(qiáng)調(diào)的“最佳”“最優(yōu)”，這種最優(yōu)是針對(duì)某一設(shè)計(jì)原則講的，這種原則

2、成為準(zhǔn)則。 這種準(zhǔn)則包括： 最小錯(cuò)誤率準(zhǔn)則：以減少分類錯(cuò)誤為原則 最小風(fēng)險(xiǎn)準(zhǔn)則：引入風(fēng)險(xiǎn)損失概念，賦予不同權(quán)值，使總的風(fēng)險(xiǎn)最小 近鄰準(zhǔn)則：依據(jù)同類物體在空間中具有聚類特性的原理進(jìn)行區(qū)分。 Fisher準(zhǔn)則：尋求最好的直線方向以及如何實(shí)現(xiàn)向最好方向投影的變換 感知準(zhǔn)則：感知準(zhǔn)則函數(shù)使錯(cuò)分類樣品到分界面距離之和最小為原則。,分類器設(shè)計(jì)基本方法,1.模板匹配法 通常采用最近鄰原則，最簡單的一種分類方法，缺點(diǎn)是計(jì)算量大、存儲(chǔ)量大。 2.判別函數(shù)法 （1）基于概率統(tǒng)計(jì)的分類法 往往取決于前期統(tǒng)計(jì)分布的相關(guān)知識(shí)，最經(jīng)典的BAYES分類器，利用先驗(yàn)概率和類條件概率密度函數(shù)，計(jì)算出后驗(yàn)概率，以此設(shè)計(jì)出判別函數(shù)

3、與判決面。 （2）幾何分類法 不依賴于條件概率密度的知識(shí)，通過幾何的方法把特征空間分解為對(duì)應(yīng)于不同類別的子空間。,模式識(shí)別的基本問題,一.模式(樣本)表示方法 向量表示 : 假設(shè)一個(gè)樣本有n個(gè)變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個(gè)樣本，每一個(gè)樣本n個(gè)變量(特征),幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,分類的過程,判別函數(shù),假設(shè)對(duì)一模式X已抽取n個(gè)特征，表示為： 模式識(shí)

4、別問題就是根據(jù)模式X的n個(gè)特征來判別模式屬于1 ,2 , , m 類中的那一類。,例如下圖：三類的分類問題，它們的邊界線就是一個(gè)判別函數(shù),判別函數(shù),判別函數(shù)包含兩類： 一類 是線性判別函數(shù)： 線性判別函數(shù) 廣義線性判別函數(shù) （所謂廣義線性判別函數(shù)就是把非線性判別函數(shù)映射到另外一個(gè)空間變成線性判別函數(shù)） 分段線性判別函數(shù) 另一類是非線性判別函數(shù),判別函數(shù),線性判別函數(shù),我們現(xiàn)在對(duì)兩類問題和多類問題分別進(jìn)行討論。 (一)兩類問題 即: 1. 二維情況 ：取兩個(gè)特征向量 這種情況下 判別函數(shù):,在兩類別情況，判別函數(shù) g (x) 具有以下性質(zhì)： 這是二維情況下判別由判別邊界分類. 情況如圖：,1.

5、二維情況,2. n維情況,現(xiàn)抽取n個(gè)特征為： 判別函數(shù)： 另外一種表示方法：,模式分類： 當(dāng) g1(x) =WTX=0 為判別邊界 。當(dāng)n=2時(shí)，二維情況的判別邊界為一直線。當(dāng)n=3時(shí)，判別邊界為一平面，n3時(shí)，則判別邊界為一超平面。,2. n維情況模式分類,(二) 多類問題,對(duì)于多類問題，模式有 1 ,2 , , m 個(gè)類別?？煞秩N情況： 1.第一種情況：每一模式類與其它模式類間可用單個(gè)判別平面把一個(gè)類分開。這種情況，M類可有M個(gè)判別函數(shù)，且具有以下性質(zhì)：,下圖所示，每一類別可用單個(gè)判別邊界與其它類別相分開 。 如果一模式X屬于1，則由圖可清楚看出:這時(shí)g1(x) 0而g2(x) 0 ，

6、g3(x) 0 。 1 類與其它類之間的邊界由 g1(x)=0確定.,1.第一種情況(續(xù))：,作圖如下：,1.第一種情況(續(xù))：,這樣 有 M(M _ 1)/2個(gè)判別平面。 對(duì)于兩類問題，M=2，則有一個(gè)判別平面。 同理，三類問題則有三個(gè)判別平面。,判別函數(shù)： 判別邊界： 判別條件：,2. 第二種情況：,每個(gè)模式類和其它模式類間可分別用判別平面分開。,3.第三種情況,判別函數(shù)： 判別規(guī)則： 判別邊界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是說，要判別模式X屬于那一類，先把X代入M個(gè)判別函數(shù)中，判別函數(shù)最大的那個(gè)類別就是X所屬類別。 類與 類之間的邊界可由 gi(x)

7、=gj(x) 或gi(x) -gj(x) =0來確定。,每類都有一個(gè)判別函數(shù),存在M個(gè)判別函數(shù),線性判別函數(shù)的性質(zhì),1、模式空間與加權(quán)空間 模式空間：由 構(gòu)成的n維歐氏空間。 W是此空間的加權(quán)向量，它決定模式的分界面H，W與H正交。 加權(quán)空間：以 為變量構(gòu)成的歐氏空間 模式空間與加權(quán)空間的幾何表示如下圖：,廣義線性判別函數(shù),這樣一個(gè)非線性判別函數(shù)通過映射，變換成線性判別函數(shù)。,判別函數(shù)的一般形式：,廣義線性判別函數(shù)（續(xù)）,廣義線性判別函數(shù)（續(xù)）,要用二次判別函數(shù)才可把二類分開：,若設(shè)計(jì)分類器，一是選定所用的判別函數(shù)類型，二是確定方程的兩個(gè)參數(shù)（權(quán)向量及閾值）。 分類器設(shè)計(jì)任務(wù)是在給定的訓(xùn)練樣本條件下，確定線性判別函數(shù)的各項(xiàng)系數(shù)，在進(jìn)行未知樣本分類中，能滿足相應(yīng)的準(zhǔn)則函數(shù)為最優(yōu)的要求。可總結(jié)為以下幾步： 1.確定使用的判別函數(shù)或決策面方程類型。 2.按需要確定一準(zhǔn)則函數(shù)。 3.確定準(zhǔn)則函數(shù)達(dá)到極值時(shí) 具體數(shù)值。,分類器設(shè)計(jì)中的參數(shù)選擇,訓(xùn)練與學(xué)習(xí)是指從訓(xùn)練樣品提供的數(shù)據(jù)中找出某種數(shù)學(xué)式的最優(yōu)解，這個(gè)最優(yōu)解使分類器得到一組參數(shù)，按