模式識(shí)別第二章

1、模式識(shí)別第二章第1頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四貝葉斯決策理論 統(tǒng)計(jì)模式識(shí)別的主要方法之一 隨機(jī)模式分類(lèi)方法的基礎(chǔ) 采用貝葉斯決策理論分類(lèi)的前提： 目標(biāo)（事物）的觀察值是隨機(jī)的，服從一定的概 率分布。 即：模式不是一個(gè)確定向量，而是一個(gè)隨機(jī)向量。 第2頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四用貝葉斯決策理論分類(lèi)的要求：各類(lèi)別總體概率分布是已知的 P(wi)及p(x/wi)已知，或P(wi/x)已知決策分類(lèi)的類(lèi)別確定第3頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四特征向量、特征空間： 設(shè)某個(gè)樣本（模式），可用d個(gè)特征量x1, x2,xd

2、來(lái)刻化，即x=x1, x2,xdT 表示樣本的特征向量特征空間：這些特征的取值范圍構(gòu)成的d維空間， 為特征空間。 每一個(gè)樣本可看作d維空間的向量或點(diǎn)特征向量:第4頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四相關(guān)統(tǒng)計(jì)量： P(wi)類(lèi)別wi出現(xiàn)的先驗(yàn)概率 p(x/wi)類(lèi)條件概率密度，即類(lèi)別狀態(tài)為wi類(lèi)時(shí)，出現(xiàn)模式x的條件概率密度，也稱(chēng)似然函數(shù)。p(x)全概率密度P(wi/x)后驗(yàn)概率，即給定輸入模式x時(shí)，該模式屬于wi類(lèi)的條件概率。P(wi ,x)聯(lián)合概率 第5頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四相互關(guān)系：貝葉斯公式：第6頁(yè)，共109頁(yè)，2022年，5月20

3、日，6點(diǎn)29分，星期四需解決的問(wèn)題： 設(shè)：樣本集X，有C類(lèi)別，各類(lèi)別狀態(tài)為wi ，i=1,C。已知P(wi)及p(x/wi) 要解決的問(wèn)題是： 當(dāng)觀察樣本x=x1, x2,xdT 出現(xiàn)時(shí)，如何將x劃歸為某一類(lèi)。第7頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四方法： 已知類(lèi)別的P(wi)及x的p(x/wi)，利用貝葉斯公式，可得類(lèi)別的后驗(yàn)概率P(wi /x) 再基于最小錯(cuò)誤概率準(zhǔn)則、最小風(fēng)險(xiǎn)準(zhǔn)則等，就可統(tǒng)計(jì)判決分類(lèi)。第8頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.2 幾種常用的決策規(guī)則1基于最小錯(cuò)誤率的貝葉斯決策分類(lèi)準(zhǔn)則：錯(cuò)誤率最小討論兩類(lèi)問(wèn)題的決策： w1, w

4、2例如：癌細(xì)胞檢查、產(chǎn)品質(zhì)量等第9頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四合理決策依據(jù)：根據(jù)后驗(yàn)概率決策 已知后驗(yàn)概率P(w1|x), P(w2|x)，決策規(guī)則：當(dāng)P(w1|x)P(w2|x) xw1，當(dāng)P(w1|x)11, 1222下面給出 R與P(w) 的函數(shù)關(guān)系:第51頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四平均風(fēng)險(xiǎn)（即總風(fēng)險(xiǎn)、也稱(chēng)期望風(fēng)險(xiǎn)）：根據(jù)R(i/x)定義及貝葉斯公式1的決策區(qū)域2的決策區(qū)域（將 R表示成P(w) 的函數(shù)）第52頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四利用 代入上式,整理得：其中：目的：需要分析平均風(fēng)險(xiǎn)R與P(

5、w1)的關(guān)系用P(w1)表示平均風(fēng)險(xiǎn)R:第53頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四可見(jiàn)：1）一旦決策區(qū)域R1，R2確定，即a, b為常數(shù)，平均風(fēng)險(xiǎn)R就是P(w1) 的線性函數(shù) ；即P(w1)變化時(shí)， R1，R2不作調(diào)整，則平均風(fēng)險(xiǎn)R與P(w1)呈線性關(guān)系。 2）P(w1)變化時(shí)，決策區(qū)域R1，R2劃分也變化，即a,b變化， 則平均風(fēng)險(xiǎn)R與P(w1)是非線性關(guān)系。 求R與P(w1)的關(guān)系曲線：即R=fP(w1) 第54頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四先取定P(w1)求RP(w1)曲線：按最小風(fēng)險(xiǎn)貝葉斯決策確定分類(lèi)面，即確定決策區(qū)域R1，R2利用上式

6、求相應(yīng)的最小風(fēng)險(xiǎn)R*P(w1)從01取若干個(gè)值，重復(fù)上述過(guò)程，得到R*P(w1)關(guān)系曲線見(jiàn)圖2.4第55頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 R與P(w1)是非線性關(guān)系，且曲線上R值都對(duì)應(yīng)每個(gè)P(w1)值的最小風(fēng)險(xiǎn)損失。圖中R*是當(dāng)P(w1)P* (w1)時(shí)的最小風(fēng)險(xiǎn)值 。R=fP(w1) 第56頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 如果區(qū)域R1、R2確定（a,b為常數(shù)），意味判別門(mén)限固定。當(dāng)P(w1) 變化時(shí)，R與P(w1)為線性關(guān)系。顯然，得不到最佳結(jié)果，因CD直線在曲線上方 ，且aRa+b這時(shí)R最大可能的風(fēng)險(xiǎn)值為：R=a+b （圖中D點(diǎn)） 不希

7、望！見(jiàn)圖中CD直線第57頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 取不同的固定門(mén)限，有不同直線，對(duì)應(yīng)的R最大值不同。直線EF的最大值R=a+b P(w1)是不知或變化的，考慮如何使最大可能風(fēng)險(xiǎn)為最小第58頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 如果有某個(gè)P(w1)，使最小風(fēng)險(xiǎn)決策得到的區(qū)域R1、R2能使b=0，則 這時(shí)R與P(w1)無(wú)關(guān)，即最大可能的風(fēng)險(xiǎn)達(dá)到最小值為a第59頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1）以總風(fēng)險(xiǎn)R對(duì)P(w1)求極值，即方法：2）找出極值點(diǎn)后，該點(diǎn)的切線就為水平線，這時(shí)總風(fēng)險(xiǎn)R與P(w1)無(wú)關(guān)；b=0，意味決策

8、區(qū)域的劃分使平均風(fēng)險(xiǎn)R達(dá)到曲線的極大值（最小風(fēng)險(xiǎn)的極大值）。由2-34求導(dǎo)，得令其為0，得極大值，第60頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四見(jiàn)圖2-4b，當(dāng)P(w1)=P*M(w1)時(shí)，R=R*M為最大值。 對(duì)應(yīng)決策區(qū)域不變時(shí)，R與P(w1)的關(guān)系為一條平行線CD，即不管P(w1)如何變化，風(fēng)險(xiǎn)不再變化 。使最大風(fēng)險(xiǎn)達(dá)到了最小化！第61頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四總結(jié)： 當(dāng)P(w1)變化時(shí)，應(yīng)選使風(fēng)險(xiǎn)R達(dá)最大值（b0）時(shí)的P*(w1)來(lái)設(shè)計(jì)分類(lèi)器。在這種分類(lèi)決策區(qū)域，能保證不管P(w1)如何變化，最大風(fēng)險(xiǎn)為最小值a。最小最大決策任務(wù)就是尋找使

9、R最大時(shí)的決策域R1，R2 ，即求b=0的決策域，由2-35求解。第62頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.2.5 序貫分類(lèi)方法 實(shí)際中，為得到x的d個(gè)觀測(cè)值，要花費(fèi)代價(jià)。 考慮每個(gè)特征值提取所花的代價(jià)，最優(yōu)分類(lèi)結(jié)果不一定將d個(gè)特征值全部使用； 另外，雖然特征數(shù)目增多，一般判決風(fēng)險(xiǎn)R(i/x) 降低，但每個(gè)特征值貢獻(xiàn)不同。 排隊(duì)從大小，每投入一新特征，計(jì)算一次R，同時(shí)計(jì)算獲取新特征應(yīng)付出的代價(jià)與該特征對(duì)R的貢獻(xiàn)之和，比較后決定是否加入新特征。序貫分類(lèi)方法第63頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.2.6 分類(lèi)器設(shè)計(jì) c類(lèi)分類(lèi)決策問(wèn)題：按決策規(guī)則

10、把d維特征空間分為c個(gè)決策區(qū)域。決策面：劃分決策域的邊界面稱(chēng)為決策面。 數(shù)學(xué)上用決策面方程表示。幾個(gè)概念判別函數(shù)：表達(dá)決策規(guī)則的函數(shù)，稱(chēng)為判別函數(shù)。第64頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1）定義一組判別函數(shù)根據(jù)決策規(guī)則若 ， 將x歸于wi 類(lèi)即討論具體的判別函數(shù)、決策面方程、分類(lèi)器設(shè)計(jì)第65頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四例：基于最小錯(cuò)誤率貝葉斯判決規(guī)則，顯然其 可定義為： 判別函數(shù) 有多種形式第66頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四例：基于最小風(fēng)險(xiǎn)貝葉斯判決規(guī)則，判別函數(shù) 可定義為：顯然，依據(jù)最大值判別法，且 選擇不

11、是唯一若將 都乘以相同的正常數(shù)或加相同的常量，不影響判決結(jié)果第67頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四一般地 是單調(diào)遞增函數(shù)，則分類(lèi)結(jié)果不變 2）決策面方程（即判決邊界）若類(lèi)型wi與wj的 區(qū)域相鄰，它們之間的決策面方程為第68頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖2.5(a)為一維特征空間的三個(gè)決策區(qū)域（d=1），決策面為分界點(diǎn)；根據(jù)判決規(guī)則，建立分類(lèi)器結(jié)構(gòu)圖2.5(b)為二維特征空間的兩個(gè)決策區(qū)域（d=2），決策面為曲線；三維特征空間，分界處是曲面；d維特征空間，分界處是超曲面。第69頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3）

12、分類(lèi)器設(shè)計(jì) （硬件軟件）功能：先確定選出判決第70頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四g1(x)Maxg(x)g2(x)gn(x)例：圖2-6 分類(lèi)器的組成d維空間第71頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四再由結(jié)果的正負(fù)作決策，可簡(jiǎn)化設(shè)計(jì)。見(jiàn)圖2-7兩類(lèi)：求 最大值可轉(zhuǎn)為將兩個(gè)判別函數(shù)相減， 即定義一個(gè)簡(jiǎn)單判別函數(shù)例2.3g(x)閾值單元第72頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.3 正態(tài)分布時(shí)的統(tǒng)計(jì)決策（研究貝葉斯分類(lèi)方法在正態(tài)分布中的應(yīng)用）很多時(shí)候，正態(tài)分布模型是一個(gè)合理假設(shè)。 在特征空間中，某類(lèi)樣本較多分布在這類(lèi)均值附近

13、，遠(yuǎn)離均值的樣本較少，一般用正態(tài)分布模型是合理的。 a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡(jiǎn)單，N(, ) 只有均值和方差兩個(gè)參數(shù)研究的理由：第73頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1.一維正態(tài)分布，見(jiàn)式243 （常見(jiàn)）第74頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.多維（d維）隨機(jī)向量x的正態(tài)分布 由多元聯(lián)合概率密度描述其中：d維特征向量d維均值向量且：協(xié)方差矩陣，對(duì)稱(chēng)且有 個(gè)獨(dú)立元素 第75頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第76頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1）參數(shù)、對(duì)分布

14、起決定性作用，即p(x)由、確定， 記為N(,)，個(gè)獨(dú)立元素確定。2） 等密度點(diǎn)軌跡為超橢球面，區(qū)域中心由決定，區(qū)域形狀由決定。正態(tài)分布特點(diǎn)：稱(chēng)為超橢球面即等密度點(diǎn)滿足當(dāng)指數(shù)項(xiàng)為常數(shù)時(shí)，p(x)值不變第77頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四在數(shù)理統(tǒng)計(jì)中被稱(chēng)為馬氏距離的平方（Mahalanobis） 等密度點(diǎn)軌跡是x到u的馬氏距離r為常數(shù)的超橢球面，其大小是樣本對(duì)均值向量的離散度度量。最小錯(cuò)誤率貝葉斯決策規(guī)則變?yōu)椋喝?如果x到期望向量ui的馬氏距離最小，則xwi第78頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3）不相關(guān)性等價(jià)于獨(dú)立性 對(duì)于正態(tài)分布的隨機(jī)向量

15、x，若xi和xj之間不相關(guān)，則它們一定互相獨(dú)立不相關(guān)： 獨(dú) 立： 推論：是對(duì)角陣，xi i=1,d，互相獨(dú)立第79頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四5） 線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。即則4） 邊緣分布和條件分布仍是正態(tài)分布例是正態(tài)分布，則是正態(tài)分布也是正態(tài)分布第80頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 即：總可以找到一組坐標(biāo)系，使變換到新坐標(biāo)系的隨機(jī)變量是獨(dú)立的（重要！） 因此，總可以找到一個(gè)線性變換矩陣A，使y的協(xié)方差陣AAT為對(duì)角尺寸，這時(shí)y的各分量之間獨(dú)立。 6）線性組合的正態(tài)性第81頁(yè)，共1

16、09頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.3.2 正態(tài)分布下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面 i=1,c其中1判別函數(shù)最小錯(cuò)誤率判別函數(shù)是：服從 第82頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四進(jìn)行單調(diào)的對(duì)數(shù)變換，則判別函數(shù)為：決策面是超二次曲面，如：超平面，超球面，超橢球面馬氏距離的度量值第83頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2決策面方程即：第84頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3特殊情況1）對(duì)所有類(lèi)即：各類(lèi)協(xié)方差陣相等，且都是對(duì)角矩陣 。對(duì)角線為2，非對(duì)角線為零不影響分類(lèi)，可忽略判別函數(shù)為：第85頁(yè)，共109

17、頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四則判別函數(shù)變?yōu)椋?歐幾里得距離平方，即歐氏距離平方 得到歐氏距離的度量值，它是馬氏距離度量的一個(gè)特例。即：等密度點(diǎn)是圓形第86頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四歐氏距離則貝葉斯決策規(guī)則變?yōu)樽钚【嚯x分類(lèi)規(guī)則。最小距離分類(lèi)法： 服從正態(tài)分布，各類(lèi)協(xié)方差矩陣 且先驗(yàn)概率相等，則可執(zhí)行最小距離分類(lèi)法。其判別規(guī)則為：若 ，則第87頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四即：計(jì)算樣本x與i的歐氏距離，找最近的i把x歸類(lèi) 例：設(shè)一維特征空間（d=1）的樣本分布 u1=55.28，u2=79.74若 則 否則第88頁(yè)，共1

18、09頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四將 展開(kāi)得：則判別函數(shù)： 其中 ， 與分類(lèi)無(wú)關(guān)，忽略即：是線性判別函數(shù)，稱(chēng)為線性分類(lèi)器第89頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四對(duì)于兩類(lèi)情況：第90頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四決策面方程：其中推出：決策面是一個(gè)通過(guò)x0，且與向量w正交的超平面超平面方程分類(lèi)平面的法向量第91頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四討論：（兩類(lèi)情況）第92頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第93頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2） i ： 仍是超

19、平面，但不與 垂直 求樣本x與各類(lèi)均值的馬氏距離，把x歸于最近一類(lèi)最小距離分類(lèi)器。第94頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四決策規(guī)則：將進(jìn)一步簡(jiǎn)化第95頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四對(duì)于兩類(lèi)情況：第96頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四討論：（針對(duì)1，2二類(lèi)情況）第97頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3、第三種情況(一般情況)：二次項(xiàng)xTx與i有關(guān)。判別函數(shù)為二次型函數(shù)。為任意，各類(lèi)協(xié)方差矩陣不等。第98頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四總結(jié)：最小錯(cuò)誤率貝葉斯決策；1.分

20、類(lèi)法最小風(fēng)險(xiǎn)貝葉斯決策；聶曼皮爾遜決策規(guī)則(NP）（僅知道類(lèi)概密時(shí)，可使用，針對(duì)兩類(lèi)）最小最大決策（當(dāng)不確切知道P(wi)，且在類(lèi)別判決過(guò)程中，P(wi)又是變化的，易采用，它使決策平均風(fēng)險(xiǎn)達(dá)極值，而換取的是分類(lèi)過(guò)程中最大平均風(fēng)險(xiǎn)達(dá)最小值，且不隨p(wi)變化）。序貫分類(lèi)方法（觀測(cè)的代價(jià)和風(fēng)險(xiǎn)都要考慮）第99頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2.分類(lèi)器設(shè)計(jì)：判決函數(shù)、決策面方程（判決的邊界）3.貝葉斯方法在正態(tài)分布中的應(yīng)用(2)導(dǎo)出了有關(guān)的判別函數(shù)、決策面方程，且當(dāng) 時(shí)，可用最小距離分類(lèi)法?？傊龖B(tài)分布具有普遍性，數(shù)學(xué)上易計(jì)算， 廣泛應(yīng)用。(1)特性第100頁(yè)，共109頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四貝葉斯（ Bayes ）分類(lèi)的算法流程（假定各類(lèi)樣本服從正態(tài)分布）1）輸入類(lèi)數(shù)c；特征數(shù)d，待分樣本數(shù)m2）輸入訓(xùn)練樣本數(shù)N和訓(xùn)練集資料矩陣X(Nd)。并計(jì)算有關(guān)參數(shù)。3）計(jì)算待測(cè)樣本集矩陣y中各類(lèi)的后驗(yàn)概率。