人工智能樣板

人工智能樣板第一頁(yè)，共三十七頁(yè)，2022年，8月28日2.1引言貝葉斯決策論是解決模式分類問(wèn)題的一種基本統(tǒng)計(jì)途徑。它做了如下假設(shè)，即決策問(wèn)題可以用概率的形式來(lái)描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。例：鮭魚和鱸魚分類

兩類魚自然狀態(tài)下的先驗(yàn)概率先驗(yàn)概率是一個(gè)隨機(jī)變量(=1鱸魚;=2鮭魚)

等概率假設(shè)下有：P(1)=P(2)P(1)+P(2)=1第二頁(yè)，共三十七頁(yè)，2022年，8月28日僅根據(jù)先驗(yàn)概率的判決規(guī)則ifP(1)>P(2)則判為1否則判為2連續(xù)判決和誤差概率使用類條件概率信息（P(x|)類條件概率密度函數(shù)）P(x|1)和P(x|2)描述兩類魚光澤度的不同2.1引言第三頁(yè)，共三十七頁(yè)，2022年，8月28日2.1引言第四頁(yè)，共三十七頁(yè)，2022年，8月28日2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得貝葉斯公式：兩類問(wèn)題情況下非正式表示：第五頁(yè)，共三十七頁(yè)，2022年，8月28日第六頁(yè)，共三十七頁(yè)，2022年，8月28日根據(jù)后驗(yàn)概率判決

X是觀測(cè)屬性 ifP(1|x)>P(2|x)

判決狀態(tài)為

1 ifP(1|x)<P(2|x)

判決狀態(tài)為

2

所以: 當(dāng)我們觀測(cè)到一個(gè)x,判決的誤差概率為:

P(error|x)=P(1|x)如果判決為

2 P(error|x)=P(2|x)如果判決為

12.1引言第七頁(yè)，共三十七頁(yè)，2022年，8月28日2.1引言平均誤差概率可表示為：最小化誤差概率判決ifP(1|x)>P(2|x)

判為

1

否則判為2; 所以:P(error|x)=min[P(1|x),P(2|x)]

第八頁(yè)，共三十七頁(yè)，2022年，8月28日2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

使用多余一個(gè)的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過(guò)引入一個(gè)更一般的損失函數(shù)來(lái)替代誤差概率第九頁(yè)，共三十七頁(yè)，2022年，8月28日2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c}表示有限的c個(gè)類別集{1,2,…,a}表示有限的a種可能的行為集

(i|j)為類別狀態(tài)j時(shí)采取行動(dòng)i的風(fēng)險(xiǎn)。則有下面的幾個(gè)等式：總風(fēng)險(xiǎn)：第十頁(yè)，共三十七頁(yè)，2022年，8月28日

兩類情況下1:判為

12:判為

2ij=(i|j):類別為j時(shí)誤判為i所引起的損失

條件風(fēng)險(xiǎn):

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2貝葉斯決策論——連續(xù)特征第十一頁(yè)，共三十七頁(yè)，2022年，8月28日判決規(guī)則如下:

如果

R(1|x)<R(2|x)

則采取行動(dòng)

1:“判為1”等價(jià)判決規(guī)則1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判為

1

否則判為22.2貝葉斯決策論——連續(xù)特征第十二頁(yè)，共三十七頁(yè)，2022年，8月28日2.2貝葉斯決策論——連續(xù)特征等價(jià)判別規(guī)則2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判為

1否則判為2

等價(jià)判別規(guī)則3(合理假設(shè)21>

11)：成立，則判為1

否則判為2似然比超過(guò)某個(gè)不依賴x的閥值，那么可判決為1

第十三頁(yè)，共三十七頁(yè)，2022年，8月28日2.3最小誤差率分類基于類別的行為如果采取行為i而實(shí)際類別為j，那么在i=j的情況下判決是正確的，如果ij，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對(duì)稱損失或0-1損失函數(shù):則,條件風(fēng)險(xiǎn)為:第十四頁(yè)，共三十七頁(yè)，2022年，8月28日最小化誤差概率，需要最大化后驗(yàn)概率

P(i|x)(因?yàn)?/p>

R(i|x)=1–P(i|x))

基于最小化誤差概率，有：

對(duì)任給ji，如果P(i|x)>P(j|x)，則判為

i2.3最小誤差率分類第十五頁(yè)，共三十七頁(yè)，2022年，8月28日2.4分類器、判別函數(shù)及判定面多類別情況

判別函數(shù)gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分類器將特征向量x判為i

第十六頁(yè)，共三十七頁(yè)，2022年，8月28日第十七頁(yè)，共三十七頁(yè)，2022年，8月28日2.4分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x)=-R(i|x)(最大判別函數(shù)與最小的條件風(fēng)險(xiǎn)相對(duì)應(yīng))

根據(jù)最小誤差率情況下gi(x)=P(i|x)(最大判別函數(shù)與最大后驗(yàn)概率相對(duì)應(yīng))

其他判別函數(shù)：第十八頁(yè)，共三十七頁(yè)，2022年，8月28日2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個(gè)判決區(qū)域 ifgi(x)>gj(x)ji則x屬于Ri (也就是把x判為i)第十九頁(yè)，共三十七頁(yè)，2022年，8月28日2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器） 令g(x)g1(x)–g2(x)

如果g(x)>0判為1;否則判為2g(x)的另類計(jì)算：第二十頁(yè)，共三十七頁(yè)，2022年，8月28日2.5正態(tài)密度分析的簡(jiǎn)易型連續(xù)性很多處理都是漸進(jìn)高斯的，大量小的獨(dú)立的隨機(jī)分布的和手寫字符,語(yǔ)音等都是高斯的單變量密度函數(shù)：

其中:

是x的期望值

2

是方差第二十一頁(yè)，共三十七頁(yè)，2022年，8月28日2.5正態(tài)密度第二十二頁(yè)，共三十七頁(yè)，2022年，8月28日多元密度函數(shù)一般的d維多元正態(tài)密度的形式如下:x=(x1,x2,…,xd)t

=(1,2,…,d)t

均值向量=d*d

協(xié)方差矩陣

||行列式值

-1逆矩陣

2.5正態(tài)密度第二十三頁(yè)，共三十七頁(yè)，2022年，8月28日2.6正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過(guò)使用判別函數(shù)獲得

gi(x)=lnP(x|i)+lnP(i)

多元情況下：第二十四頁(yè)，共三十七頁(yè)，2022年，8月28日2.6正態(tài)分布的判別函數(shù)情況1：i=2.I

(I是單位矩陣)

第二十五頁(yè)，共三十七頁(yè)，2022年，8月28日“線性機(jī)器”使用線性判別函數(shù)的分類器。線性機(jī)器的決策面是一個(gè)由下式定義的超平面:

gi(x)=gj(x)2.6正態(tài)分布的判別函數(shù)第二十六頁(yè)，共三十七頁(yè)，2022年，8月28日第二十七頁(yè)，共三十七頁(yè)，2022年，8月28日情況：2i=(有所類的協(xié)方差矩陣都相等，但各自均值向量任意!)2.6正態(tài)分布的判別函數(shù)第二十八頁(yè)，共三十七頁(yè)，2022年，8月28日2.6正態(tài)分布的判別函數(shù)第二十九頁(yè)，共三十七頁(yè)，2022年，8月28日第三十頁(yè)，共三十七頁(yè)，2022年，8月28日第三十一頁(yè)，共三十七頁(yè)，2022年，