第四章-統(tǒng)計(jì)判別

第四章統(tǒng)計(jì)判別隨機(jī)模式分類識(shí)別，通常稱為Bayes(貝葉斯)判決。（基礎(chǔ)復(fù)習(xí)）第四章統(tǒng)計(jì)判決主要依據(jù)類的概率、概密，按照某種準(zhǔn)則使分類結(jié)果從統(tǒng)計(jì)上講是最佳的。準(zhǔn)則函數(shù)不同，所導(dǎo)出的判決規(guī)則就不同，分類結(jié)果也不同。本章主要論述分類識(shí)別的一般原理、幾種重要的準(zhǔn)則和相應(yīng)的判決規(guī)則，正態(tài)分布模式類的判決函數(shù)以及它們的性能。Bayes公式：設(shè)實(shí)驗(yàn)E的樣本空間為S，A為E的事件，

B1,B2,…,Bn為S的一個(gè)劃分，且P(A)>0，P(Bi)>0，

(i=1,2,…,n)，則:“概率論”有關(guān)概念復(fù)習(xí)條件概率“概率論”有關(guān)概念復(fù)習(xí)先驗(yàn)概率：P(

i)表示類

i出現(xiàn)的先驗(yàn)概率，簡(jiǎn)稱類

i的概率。后驗(yàn)概率：P(

i|x)表示x出現(xiàn)條件下類

i出現(xiàn)的概率,稱其為類別的后驗(yàn)概率，對(duì)于模式識(shí)別來講可理解為x來自類

i的概率。類概密：

p(x|

i)表示在類

i條件下的概率密度，即類

i模式x的概率分布密度，簡(jiǎn)稱為類概密。對(duì)于兩類

1，

2問題，直觀地，可以根據(jù)后驗(yàn)概率做判決：式中，p(x|

i)又稱似然函數(shù)(likelihoodfunctionofclass

i)，可由已知樣本求得。

Bayes法則－最大后驗(yàn)概率準(zhǔn)則根據(jù)Bayes公式，后驗(yàn)概率可由類

i的先驗(yàn)概率P(

i)和條件概率密度來表示，即將P(

i|x)代入判別式，判別規(guī)則可表示為或改寫為l12稱為似然比（likelihoodratio），

12稱為似然比的判決閥值。原則：要確定x是屬于ω1類還是ω2類，要看x是來自于ω1類的概率大還是來自ω2類的概率大。已知：（統(tǒng)計(jì)結(jié)果）先驗(yàn)概率：

P(

1)=1/3（鱸魚出現(xiàn)的概率）

P(

2)=1-P(

1)=2/3（鮭魚出現(xiàn)的概率）條件概率： p(x|

1)見圖示（鱸魚的長(zhǎng)度特征分布概率）

p(x|

2)見圖示（鮭魚的長(zhǎng)度特征分布概率）求：后驗(yàn)概率：P(

|x=10)=?（如果一條魚x＝10，是什么類別？）解法1：利用Bayes公式寫成似然比形式解法2：例題1圖示鱸魚鮭魚100.050.55.58.5例題1圖示10

最小誤判概率準(zhǔn)則判決最小損失準(zhǔn)則判決最小最大損失準(zhǔn)則

N-P(Neyman—Pearson)判決第四章統(tǒng)計(jì)判決4·1最小誤判概率準(zhǔn)則判決第四章統(tǒng)計(jì)判決圖例：最小誤判概率準(zhǔn)則最小誤判概率準(zhǔn)則下的判決規(guī)則：如果，則判或等價(jià)地，如果，

則判另一個(gè)等價(jià)形式是：如果則判由貝葉斯定理4.2最小損失準(zhǔn)則判決第四章統(tǒng)計(jì)判決最小錯(cuò)誤率最小損失率合格藥品與不合格藥品分類4.2.1損失概念、損失函數(shù)與平均損失設(shè)模式空間中存在c個(gè)類別:決策空間由a個(gè)決策:決策

j常指將模式x指判為某一類wj或者是拒判。對(duì)一個(gè)實(shí)屬

i類的模式采用了決策

j

所造成的損失記為：于是就有空間中的二元函數(shù)，稱其為損失函數(shù)。決策-損失表

決策

j指將模式x指判為wj或者是拒判。0-1損失函數(shù)令決策的數(shù)目a等于類數(shù)c，如果決策

j

定義為判屬于

j

類，那么對(duì)于給定的模式在采取決策

j的條件下?lián)p失的期望為條件平均風(fēng)險(xiǎn)條件期望損失刻劃了在模式為、決策為

j條件下的平均損失，故也稱為條件平均損失或條件平均風(fēng)險(xiǎn)（Risk）。由貝葉斯公式，上式可以寫為求上式Rj(x)關(guān)于x的數(shù)學(xué)期望:平均損失可以將最小條件平均損失判決規(guī)則表示為如果則判

4.2.2最小損失準(zhǔn)則判決定理：使條件平均損失最小的判決也必然使總的平均損失最小。所以最小條件平均損失準(zhǔn)則也稱為最小平均損失準(zhǔn)則或最小平均風(fēng)險(xiǎn)準(zhǔn)則，簡(jiǎn)稱為最小損失準(zhǔn)則。對(duì)于兩類問題，如果則：這時(shí)最小損失判決規(guī)則可以表為：經(jīng)整理可得：兩類問題的最小損失準(zhǔn)則的似然比形式的判決規(guī)則為：如果 則判 若記似然比閾值注意，若我們規(guī)定任判或拒判。則兩類問題的判決規(guī)則為：如果則判：如果則判：損失函數(shù)如何確定依賴于實(shí)際問題和經(jīng)驗(yàn)，有時(shí)為了方便，對(duì)于一般的類問題，令

（0-1損失函數(shù)）此時(shí)：此即為最小誤判概率準(zhǔn)則的判決規(guī)則取0-1損失函數(shù)時(shí)，最小損失準(zhǔn)則等價(jià)于最小誤判概率準(zhǔn)則，此時(shí)的平均損失就是誤判概率，使平均損失最小即使誤判概率最小。這也表明，最小誤判概率準(zhǔn)則是最小損失準(zhǔn)則的特例。4.2.3含拒絕判決的最小損失判決拒絕判決可以作為最小損失判決中的一個(gè)可能判決，“拒絕判決”。如果j=1,2,…,c則作出拒絕判決。設(shè)

(

c+1()|

i)=

r，(i=1,2,…,c)，（即各類的拒判損失相同）

則又設(shè)

(

j()|

i)=

e，(j

i，i，j=1,2,…,c)，（即各誤判損失相同）（即各正確判決損失相同）

(

i()|

i)=

c，(i=1,2,…,c)，

且通常有

c<

r<

e如果，(j=1,2,…c)，則對(duì)做拒絕判決。

=1-t

這里

稱之為拒判門限。

因?yàn)?/p>

c<

r<

e，故0

t

1。

對(duì)于兩類問題，存在