ch2-2.3.2正態(tài)分布下的Bayes判據(jù)的判別函數(shù)和決策面(線性、二次分類器)

2.3.2正態(tài)分布下的Bayes判據(jù)的判別函數(shù)和決策面

(二次和線性分類器)2/4/20231四川大學(xué)、電氣信息學(xué)院、余勤前面講的提供了設(shè)計(jì)各種特定形式分類器的基礎(chǔ)。這一小節(jié)講述二次和線性分類器。所以叫作二次或線性分類器是因?yàn)榉诸悾Q策）面方程的數(shù)學(xué)形式是二次或線性的。這樣的分類器又叫參數(shù)分類器，因?yàn)樗鼈冇梢恍﹨?shù)所規(guī)定（如分布的均值和方差）。2/4/20232四川大學(xué)、電氣信息學(xué)院、余勤二次或線性分類器的引出：在一定的分布和條件下（如正態(tài)、等協(xié)方差矩陣），貝葉斯決策可以導(dǎo)致二次或線性分類器。雖然貝葉斯決策（似然比檢驗(yàn)）在錯(cuò)誤率或風(fēng)險(xiǎn)上是最優(yōu)的，但必須知道類條件密度。(在大多數(shù)應(yīng)用場合，類條件密度函數(shù)是從有限的樣本中估計(jì)的。后面我們將講一些密度函數(shù)估計(jì)的方法。但密度函數(shù)的估計(jì)本身是一件復(fù)雜工作（其難度不低于分類）并且需要大量樣本。)2/4/20233四川大學(xué)、電氣信息學(xué)院、余勤即使我們得到了密度函數(shù)，有時(shí)用似然比檢驗(yàn)的方法也很難計(jì)算，需要大量的時(shí)間和空間。因此我們有時(shí)考慮實(shí)際中更簡便易行的分類器設(shè)計(jì)方法。用二次、線性、分段線性分類器。即先規(guī)定分類器的數(shù)學(xué)（函數(shù)）形式，然后在適當(dāng)?shù)臏?zhǔn)則下，來確定這些函數(shù)中的未知參數(shù)。這一節(jié)先分析在什么條件下貝葉斯分類器變成二次和線性分類器，第四章再討論當(dāng)這些條件不滿足時(shí)，如何設(shè)計(jì)“性能好”的參數(shù)分類器(LDA判別式分析法）。2/4/20234四川大學(xué)、電氣信息學(xué)院、余勤一.兩類問題的二次和線性分類器對于似然比檢驗(yàn)的決策規(guī)則:2/4/20235四川大學(xué)、電氣信息學(xué)院、余勤當(dāng)各類的類條件密度是多元高斯分布時(shí)，這時(shí)似然比為為協(xié)方差矩陣，d維均值向量。2/4/20236四川大學(xué)、電氣信息學(xué)院、余勤定義，-2倍自然對數(shù),則:(1)上式是二次分類器。計(jì)算

到各類均值的Mahalanobis距離，然后和閾值

相比較，決定屬于第一類或第二類。2/4/20237四川大學(xué)、電氣信息學(xué)院、余勤在一維時(shí)，馬氏距離，即比較用方差標(biāo)準(zhǔn)化的一般距離。展開(1)式，有式中2/4/20238四川大學(xué)、電氣信息學(xué)院、余勤決策邊界是二次曲面（超曲面）：超橢球面、超雙曲面、超拋物面、超平面等，或它們組合的形式。（為了確定二次曲面的形狀，首先要消掉x的各分量相乘的項(xiàng)，可采用旋轉(zhuǎn)坐標(biāo)系的方法，把坐標(biāo)軸旋轉(zhuǎn)到A的特征向量的方向。曲面的幾何形狀由A的特征值決定。如果A的特征值全部是正的，則是超橢球面；如果特征值有些正，有些負(fù)，則是超雙曲面；如果有些特征值是0，則是超拋物面。）2/4/20239四川大學(xué)、電氣信息學(xué)院、余勤當(dāng)落到?jīng)Q策邊界的某一側(cè)時(shí)，就把它分到相應(yīng)的類。也可以把上述二次分類器用到非高斯分布的密度函數(shù)，但這時(shí)不能保證錯(cuò)誤率最小。（但所確定的邊界是和二階統(tǒng)計(jì)矩（均值、方差）最相匹配的。）

任何具有（2）式的分類器都叫作二次分類器。只有A、b、c是由高斯密度函數(shù)確定時(shí)，才叫高斯分類器。2/4/202310四川大學(xué)、電氣信息學(xué)院、余勤例1：兩維時(shí)的二次分類器的決策邊界假定兩類模式都是高斯分布的，參數(shù)為：求的分類邊界，并畫出其曲線。2/4/202311四川大學(xué)、電氣信息學(xué)院、余勤解：

2/4/202312四川大學(xué)、電氣信息學(xué)院、余勤當(dāng)T=0，h(x)=T=0化為：，是一雙曲線。2/4/202313四川大學(xué)、電氣信息學(xué)院、余勤當(dāng)先驗(yàn)概率相等(）時(shí)，最小錯(cuò)誤率決策規(guī)則選擇類條件概率密度函數(shù)大的。由于第二類在方向上的方差大于類1的，這樣密度函數(shù)在方向上將有較廣的延伸。使得在左邊區(qū)域內(nèi)從而有，盡管這些點(diǎn)比較靠近類1的均值點(diǎn)。2/4/202314四川大學(xué)、電氣信息學(xué)院、余勤在前面的中，如果兩類的協(xié)方差矩陣相等，則矩陣這時(shí)決策規(guī)則為:這時(shí)的決策邊界就退化為線性決策邊界（超平面），相應(yīng)的分類器為線性分類器。特別地：當(dāng)時(shí)，決策面方程可化為：其中：滿足（2－96）的x的軌跡是一個(gè)超平面該超平面過正交于和的連線。當(dāng)時(shí)，在連線的中點(diǎn)，當(dāng)時(shí)，在連線上靠近先驗(yàn)概率小的一邊。2/4/202315四川大學(xué)、電氣信息學(xué)院、余勤二.判別函數(shù)和多類分類器多類的判別函數(shù)

當(dāng)模式有類，這時(shí)的最小錯(cuò)誤率的決策規(guī)則可以表示為：若（3）

式中稱為判別函數(shù)（discriminantfunction）。它表示決策規(guī)則。2/4/202316四川大學(xué)、電氣信息學(xué)院、余勤由貝葉斯公式，和等價(jià)。即把用（3）式中時(shí)，決策規(guī)則是一樣的。當(dāng)先驗(yàn)概率相等時(shí)，也是一組等價(jià)的判別函數(shù)。一般地，若是任意一組判別函數(shù)，則下面定義的也是一組等價(jià)的判別函數(shù)：a>0,b是常數(shù)。（也可以是x的函數(shù)，但不能是k的函數(shù)。）2/4/202317四川大學(xué)、電氣信息學(xué)院、余勤同樣，若f是單調(diào)增函數(shù)，它和也是等價(jià)的。這些性質(zhì)可以使我們從一組判別函數(shù)推導(dǎo)出另外的判別函數(shù)，以便計(jì)算上更加簡單，或者意義更清楚，便于理解。2/4/202318四川大學(xué)、電氣信息學(xué)院、余勤多類的二次和線性分類器

由于自然對數(shù)是單調(diào)增的，所以可以定義下面等價(jià)的判別函數(shù)：當(dāng)每類都是正態(tài)分布，其均值和協(xié)方差分別為和時(shí)，這時(shí)的最小錯(cuò)誤率決策規(guī)則的判別函數(shù)為：2/4/202319四川大學(xué)、電氣信息學(xué)院、余勤這是二次判別函數(shù)。當(dāng)所有類的先驗(yàn)概率相等時(shí)，可以省略。前面已經(jīng)證明，當(dāng)兩類的協(xié)方差矩陣相等時(shí)，二次分類器退化為線性分類器。多類時(shí)也是如此。當(dāng)時(shí)，（4）式化為：上式中，由于第一項(xiàng)和第四項(xiàng)對所有的類都是相同的，所以等價(jià)的一組判別函數(shù)為：（5）上式是x的線性函數(shù)。2/4/202320四川大學(xué)、電氣信息學(xué)院、余勤例2：最小距離分類器。假定各類的先驗(yàn)概率相等，而且各類。即的各個(gè)分量不相關(guān)，且各類等方差。解：這時(shí)的判別函數(shù)化為：后兩項(xiàng)對所有類是共同的，可以省略。分母中的也可以去掉，因而有等價(jià)的判別函數(shù)：這時(shí)的決策規(guī)則的含義是：離哪類的均值最近，就把它分到哪類。2/4/202321四川大學(xué)、電氣信息學(xué)院、余勤例3

：內(nèi)積分類器（相關(guān)分類器）有假定。利用線性判別函數(shù)若進(jìn)一步假定每類的均值的模相等，即相等，它們分布在半徑為的一個(gè)超球面上，且由于假定先驗(yàn)概率也相等，因此，等價(jià)的判別函數(shù)為：即將觀測向量x和每類的均值μk作內(nèi)積（或稱相關(guān)），然后選擇值最大的，作為它的類。2/4/202322四川大學(xué)、電氣信息學(xué)院、余勤上述經(jīng)典例子是通信理論中信號檢測的一個(gè)例子。假定有c種已知信號要檢測。令x(t)表示接收到的信號，mk(t)是c種已知的信號，k=1，2，…，c

。mk(t)在發(fā)送的過程中，混入了白噪聲w(t)，即接收到的信號為：

如果隨機(jī)向量x和mk是由相應(yīng)的時(shí)間函數(shù)取樣而成，即假設(shè)：白噪聲w(t)是零均值、等方差、不相關(guān)的信號（隨機(jī)過程）。即在任意時(shí)刻ti，，方差為，且當(dāng)時(shí)，2/4/202323四川大學(xué)、電氣信息學(xué)院、余勤2/4/202324四川大學(xué)、電氣信息學(xué)院、余勤假定相等，即要求所有的信號具有相等的能量。把接收到的信號和已知信號作相關(guān)，然后選擇相關(guān)最大的輸出。作相關(guān)時(shí)通常通過一個(gè)“匹配濾波器”來實(shí)現(xiàn)。選擇最大的輸出

匹配濾波器

┇

匹配濾波器匹配濾波器2/4/202325四川大學(xué)、電氣信息學(xué)院、余勤在連續(xù)時(shí)，判別函數(shù)：上式的相關(guān)通常用一個(gè)線性濾波器的輸出來實(shí)現(xiàn)。該濾波器的輸出是相關(guān)值，濾波器的單位沖激響應(yīng)，濾波器可由專門的儀器來做。其中：滿足，因此2/4/202326四川大學(xué)、電氣信息學(xué)院、余勤可以把上面的線性分類器的討論再進(jìn)一步。在線性分類器中，如果把向量在∑的特征向量的坐標(biāo)系下表示（作變換），并作比例變換使所有分量的方差變?yōu)?，這時(shí)。線性分類器將作μkT●x相關(guān)運(yùn)算。在通信問題中，如果噪聲信號是相關(guān)的，而且方差是變化的，那么最優(yōu)的信號檢測是使噪聲變?yōu)椴幌嚓P(guān)的，然后作相關(guān)或匹配濾波器運(yùn)算。

2/4/202327四川大學(xué)、電氣信息學(xué)院、余勤小結(jié)一些簡單的決策理論。最小錯(cuò)誤率、風(fēng)險(xiǎn)、Neyman—Pearson

似然比檢驗(yàn)，只是閾值不同。最小最大決策，當(dāng)先驗(yàn)概率變化時(shí)，使最大的錯(cuò)誤率最小。序貫決策：測量的維數(shù)可變時(shí)，分析了閾值和錯(cuò)誤率間的關(guān)系。在獨(dú)立同分布的假定下分析了維數(shù)的期望值。2/4/202328四川大學(xué)、電氣信息學(xué)院、余勤線性和二次分類器。對