人工智能樣板

1、人工智能樣板第1頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.1 引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計(jì)途徑。它做了如下假設(shè)，即決策問題可以用概率的形式來描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。 例：鮭魚和鱸魚分類兩類魚自然狀態(tài)下的先驗(yàn)概率先驗(yàn)概率是一個(gè)隨機(jī)變量(=1鱸魚; = 2鮭魚) 等概率假設(shè)下有：P(1) = P(2)P(1) + P( 2) = 1第2頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日僅根據(jù)先驗(yàn)概率的判決規(guī)則if P(1) P(2)則 判為1否則 判為 2連續(xù)判決和誤差概率使用類條件概率信息（ P(x | )類條件概率密度函數(shù) ）P(x |

2、 1) 和 P(x | 2) 描述兩類魚光澤度的不同2.1 引言第3頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.1 引言第4頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.1 引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下： p(j,x) = P(j | x) . p(x)=p(x| j ) .P(j ) 由上可得貝葉斯公式： 兩類問題情況下非正式表示：第5頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第6頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日根據(jù)后驗(yàn)概率判決X 是觀測屬性if P(1 | x) P(2 | x) 判決狀態(tài)為

3、 1if P(1 | x) P(2 | x) 判為 1 否則判為 2 ; 所以: P(error | x) = min P(1 | x), P(2 | x) 第8頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.2 貝葉斯決策論連續(xù)特征貝葉斯推廣使用多余一個(gè)的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個(gè)更一般的損失函數(shù)來替代誤差概率第9頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.2 貝葉斯決策論連續(xù)特征令1, 2, c 表示有限的c個(gè)類別集 1, 2, a 表示有限的a種可能的行為集 (i | j)為類別狀態(tài)j 時(shí)采取行動(dòng)i的風(fēng)險(xiǎn)。

4、則有下面的幾個(gè)等式：總風(fēng)險(xiǎn)：第10頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日 兩類情況下1 : 判為 12 : 判為 2ij = (i | j) :類別為j 時(shí)誤判為i所引起的損失 條件風(fēng)險(xiǎn): R(1 | x) = 11P(1 | x) + 12P(2 | x) R(2 | x) = 21P(1 | x) + 22P(2 | x) 2.2 貝葉斯決策論連續(xù)特征第11頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日判決規(guī)則如下: 如果 R(1 | x) (12- 22) P(2 |x) 判為 1 否則判為22.2 貝葉斯決策論連續(xù)特征第12頁，共37頁，2022年，5月

5、20日，10點(diǎn)57分，星期日2.2 貝葉斯決策論連續(xù)特征等價(jià)判別規(guī)則2：如果：(21- 11) P(x | 1) P(1) (12- 22) P(x | 2) P(2) 判為 1 否則判為2 等價(jià)判別規(guī)則3(合理假設(shè)21 11)：成立，則判為1 否則判為2似然比超過某個(gè)不依賴x 的閥值，那么可判決為1 第13頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.3 最小誤差率分類基于類別的行為如果采取行為i 而實(shí)際類別為j，那么在i = j 的情況下判決是正確的，如果i j，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對稱損失或0-1損失函數(shù):則,條件風(fēng)險(xiǎn)為:第14頁

6、，共37頁，2022年，5月20日，10點(diǎn)57分，星期日最小化誤差概率，需要最大化后驗(yàn)概率 P(i | x) (因?yàn)?R(i | x) = 1 P(i | x)基于最小化誤差概率，有：對任給j i，如果P (i | x) P(j | x)，則判為 i2.3 最小誤差率分類第15頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.4 分類器、判別函數(shù)及判定面多類別情況 判別函數(shù) gi(x), i = 1, c如果：gi(x) gj(x) j i 分類器將特征向量x判為i 第16頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第17頁，共37頁，2022年，5月20日，10點(diǎn)5

7、7分，星期日2.4 分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x) = - R(i | x)(最大判別函數(shù)與最小的條件風(fēng)險(xiǎn)相對應(yīng))根據(jù)最小誤差率情況下gi(x) = P(i | x)(最大判別函數(shù)與最大后驗(yàn)概率相對應(yīng))其他判別函數(shù)：第18頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.4 分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個(gè)判決區(qū)域if gi(x) gj(x) j i 則 x屬于Ri(也就是把x判為i)第19頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.4 分類器、判別函數(shù)及判定面兩類情況（二分分類器）令 g(x) g1(x) g2(x)

8、如果 g(x) 0判為1 ; 否則判為 2g(x)的另類計(jì)算：第20頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.5 正態(tài)密度分析的簡易型連續(xù)性很多處理都是漸進(jìn)高斯的，大量小的獨(dú)立的隨機(jī)分布的和手寫字符, 語音等都是高斯的單變量密度函數(shù)：其中: 是x的期望值 2 是方差第21頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.5 正態(tài)密度第22頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日多元密度函數(shù)一般的d維多元正態(tài)密度的形式如下:x = (x1, x2, , xd)t = (1, 2, , d)t 均值向量 = d*d 協(xié)方差矩陣 |行列式值 -1逆矩

9、陣2.5 正態(tài)密度第23頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.6 正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函數(shù)獲得gi(x) = ln P(x | i) + ln P(i)多元情況下：第24頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.6 正態(tài)分布的判別函數(shù)情況1： i = 2.I (I 是單位矩陣) 第25頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日“線性機(jī)器”使用線性判別函數(shù)的分類器。線性機(jī)器的決策面是一個(gè)由下式定義的超平面:gi(x) = gj(x)2.6 正態(tài)分布的判別函數(shù)第26頁，共37頁，2022年，5月20日，10點(diǎn)

10、57分，星期日第27頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日情況：2 i = (有所類的協(xié)方差矩陣都相等，但各自均值向量任意!)2.6 正態(tài)分布的判別函數(shù)第28頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日2.6 正態(tài)分布的判別函數(shù)第29頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第30頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第31頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第32頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日第33頁，共37頁，2022年，5月20日，10點(diǎn)57分，星期日情況3： i = 任意，每一類的協(xié)方