分類器設(shè)計-第五章.ppt

1、第五章 分類器設(shè)計,本章主要內(nèi)容,分類器設(shè)計準則 分類器設(shè)計基本方法 判別函數(shù) 訓練與學習,分類器設(shè)計準則,分類問題是根據(jù)待識別對象所呈現(xiàn)的觀察值，將其分到某個類別中去。具體步驟是： 1.建立特征空間中的訓練集，已知訓練集里某個點所屬類別。 2.從這些條件出發(fā)尋求某種判別函數(shù)或判別準則，設(shè)計判別函數(shù)模型。 3.根據(jù)訓練集中的樣品確定模型中的參數(shù)，得到完善的判別函數(shù)模型 4.利用完善的判別函數(shù)或判別準則去判別每個未知類別的點應該屬于哪類,分類器設(shè)計準則,在統(tǒng)計模式識別中，討論的主要問題不是決策正誤，而是決策正誤的概率問題。模式識別所強調(diào)的“最佳”“最優(yōu)”，這種最優(yōu)是針對某一設(shè)計原則講的，這種原則

2、成為準則。 這種準則包括： 最小錯誤率準則：以減少分類錯誤為原則 最小風險準則：引入風險損失概念，賦予不同權(quán)值，使總的風險最小 近鄰準則：依據(jù)同類物體在空間中具有聚類特性的原理進行區(qū)分。 Fisher準則：尋求最好的直線方向以及如何實現(xiàn)向最好方向投影的變換 感知準則：感知準則函數(shù)使錯分類樣品到分界面距離之和最小為原則。,分類器設(shè)計基本方法,1.模板匹配法 通常采用最近鄰原則，最簡單的一種分類方法，缺點是計算量大、存儲量大。 2.判別函數(shù)法 （1）基于概率統(tǒng)計的分類法 往往取決于前期統(tǒng)計分布的相關(guān)知識，最經(jīng)典的BAYES分類器，利用先驗概率和類條件概率密度函數(shù)，計算出后驗概率，以此設(shè)計出判別函數(shù)

3、與判決面。 （2）幾何分類法 不依賴于條件概率密度的知識，通過幾何的方法把特征空間分解為對應于不同類別的子空間。,模式識別的基本問題,一.模式(樣本)表示方法 向量表示 : 假設(shè)一個樣本有n個變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個樣本，每一個樣本n個變量(特征),幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,分類的過程,判別函數(shù),假設(shè)對一模式X已抽取n個特征，表示為： 模式識

4、別問題就是根據(jù)模式X的n個特征來判別模式屬于1 ,2 , , m 類中的那一類。,例如下圖：三類的分類問題，它們的邊界線就是一個判別函數(shù),判別函數(shù),判別函數(shù)包含兩類： 一類 是線性判別函數(shù)： 線性判別函數(shù) 廣義線性判別函數(shù) （所謂廣義線性判別函數(shù)就是把非線性判別函數(shù)映射到另外一個空間變成線性判別函數(shù)） 分段線性判別函數(shù) 另一類是非線性判別函數(shù),判別函數(shù),線性判別函數(shù),我們現(xiàn)在對兩類問題和多類問題分別進行討論。 (一)兩類問題 即: 1. 二維情況 ：取兩個特征向量 這種情況下 判別函數(shù):,在兩類別情況，判別函數(shù) g (x) 具有以下性質(zhì)： 這是二維情況下判別由判別邊界分類. 情況如圖：,1.

5、二維情況,2. n維情況,現(xiàn)抽取n個特征為： 判別函數(shù)： 另外一種表示方法：,模式分類： 當 g1(x) =WTX=0 為判別邊界 。當n=2時，二維情況的判別邊界為一直線。當n=3時，判別邊界為一平面，n3時，則判別邊界為一超平面。,2. n維情況模式分類,(二) 多類問題,對于多類問題，模式有 1 ,2 , , m 個類別?？煞秩N情況： 1.第一種情況：每一模式類與其它模式類間可用單個判別平面把一個類分開。這種情況，M類可有M個判別函數(shù)，且具有以下性質(zhì)：,下圖所示，每一類別可用單個判別邊界與其它類別相分開 。 如果一模式X屬于1，則由圖可清楚看出:這時g1(x) 0而g2(x) 0 ，

6、g3(x) 0 。 1 類與其它類之間的邊界由 g1(x)=0確定.,1.第一種情況(續(xù))：,作圖如下：,1.第一種情況(續(xù))：,這樣 有 M(M _ 1)/2個判別平面。 對于兩類問題，M=2，則有一個判別平面。 同理，三類問題則有三個判別平面。,判別函數(shù)： 判別邊界： 判別條件：,2. 第二種情況：,每個模式類和其它模式類間可分別用判別平面分開。,3.第三種情況,判別函數(shù)： 判別規(guī)則： 判別邊界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是說，要判別模式X屬于那一類，先把X代入M個判別函數(shù)中，判別函數(shù)最大的那個類別就是X所屬類別。 類與 類之間的邊界可由 gi(x)

7、=gj(x) 或gi(x) -gj(x) =0來確定。,每類都有一個判別函數(shù),存在M個判別函數(shù),線性判別函數(shù)的性質(zhì),1、模式空間與加權(quán)空間 模式空間：由 構(gòu)成的n維歐氏空間。 W是此空間的加權(quán)向量，它決定模式的分界面H，W與H正交。 加權(quán)空間：以 為變量構(gòu)成的歐氏空間 模式空間與加權(quán)空間的幾何表示如下圖：,廣義線性判別函數(shù),這樣一個非線性判別函數(shù)通過映射，變換成線性判別函數(shù)。,判別函數(shù)的一般形式：,廣義線性判別函數(shù)（續(xù)）,廣義線性判別函數(shù)（續(xù)）,要用二次判別函數(shù)才可把二類分開：,若設(shè)計分類器，一是選定所用的判別函數(shù)類型，二是確定方程的兩個參數(shù)（權(quán)向量及閾值）。 分類器設(shè)計任務(wù)是在給定的訓練樣本條件下，確定線性判別函數(shù)的各項系數(shù)，在進行未知樣本分類中，能滿足相應的準則函數(shù)為最優(yōu)的要求?？煽偨Y(jié)為以下幾步： 1.確定使用的判別函數(shù)或決策面方程類型。 2.按需要確定一準則函數(shù)。 3.確定準則函數(shù)達到極值時 具體數(shù)值。,分類器設(shè)計中的參數(shù)選擇,訓練與學習是指從訓練樣品提供的數(shù)據(jù)中找出某種數(shù)學式的最優(yōu)解，這個最優(yōu)解使分類器得到一組參數(shù)，按