第二章貝葉斯決策理論和關(guān)于風(fēng)險(xiǎn)概念的進(jìn)一步討論

第2章貝葉斯決策理論

2.0基本概念2.1最小錯(cuò)誤概率的Bayes決策

2.2最小風(fēng)險(xiǎn)的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計(jì)和Bayes學(xué)習(xí)2.5正態(tài)分布時(shí)的Bayes決策法則2.6離散情況的Bayes決策5/27/2023兩個(gè)條件：各類別總體的概率分布是已知的要決策的類別數(shù)是一定的待識(shí)別對(duì)象有d種特征測(cè)量值，每種特征值都是一個(gè)隨機(jī)變量，組成d維隨機(jī)向量d種特征的所有取值范圍構(gòu)成d維特征空間2.0基本概念5/27/2023把樣本x分到哪一類最合理？解決該問(wèn)題的理論基礎(chǔ)之一是統(tǒng)計(jì)決策理論決策：是從樣本空間S，到?jīng)Q策空間Θ的一個(gè)映射，表示為D:S-->Θ評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。Bayes決策常用的準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的準(zhǔn)則最小最大決策準(zhǔn)則5/27/2023先驗(yàn)概率：根據(jù)大量統(tǒng)計(jì)確定某類事物出現(xiàn)的比例，類條件概率密度函數(shù)：同一類事物的各個(gè)屬性都有一定的變化范圍，在這些變化范圍內(nèi)的分布概率用一種函數(shù)形式表示，則稱為類條件概率密度函數(shù)。這種分布密度只對(duì)同一類事物而言，與其它類事物沒(méi)有關(guān)系。為了強(qiáng)調(diào)是同一類事物內(nèi)部，因此這種分布密度函數(shù)往往表示成條件概率的形式。如P(X|男生)，P(X|女生)。5/27/2023后驗(yàn)概率：一個(gè)具體事物屬于某種類別的概率，例如一個(gè)學(xué)生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，這就是后驗(yàn)概率。由于一個(gè)學(xué)生只可能為兩個(gè)性別之一，因此有P(男生|x)+P(女生|x)=1的約束，這一點(diǎn)是與類分布密度函數(shù)不同的。后驗(yàn)概率與先驗(yàn)概率也不同，后驗(yàn)概率涉及一個(gè)具體事物，而先驗(yàn)概率是泛指一類事物，因此P(男生|x)和P(男生)是兩個(gè)不同的概念。貝葉斯公式：

5/27/20232.1最小錯(cuò)誤概率的Bayes決策在模式識(shí)別問(wèn)題中，感興趣的往往是盡量減小分類錯(cuò)誤的概率。為此，我們可以建立一個(gè)能得到最小錯(cuò)誤率的決策方法。看一個(gè)簡(jiǎn)單的例子。假設(shè)某工廠生產(chǎn)兩種大小，外形都相同的螺絲釘，一種是銅的，一種是鐵的。兩種產(chǎn)品混在一起，要求對(duì)它們自動(dòng)分類。分兩種情況討論：（1）先驗(yàn)概率已知；（2）先驗(yàn)概率和條件概率密度函數(shù)均已知。5/27/2023先驗(yàn)概率已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——它們反映了我們?cè)谙乱粋€(gè)樣品出現(xiàn)前對(duì)它的類別可能性的先驗(yàn)知識(shí)，稱這種先于事件的概率為先驗(yàn)概率。合理的決策規(guī)則：決策錯(cuò)誤的概率：5/27/2023先驗(yàn)概率和條件概率密度函數(shù)均已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率————螺絲背光源照射后反射光的亮度特征求取后驗(yàn)概率：5/27/2023對(duì)待分類模式的特征我們得到一個(gè)觀察值，合理的決策規(guī)則：決策錯(cuò)誤的條件概率（隨機(jī)變量的函數(shù)）：模式特征是一個(gè)隨機(jī)變量，在應(yīng)用Bayes法則時(shí)，每當(dāng)觀察到一個(gè)模式時(shí)，得到特征，就可利用后驗(yàn)概率作出分類的決策，同時(shí)也會(huì)帶來(lái)一定的錯(cuò)誤概率。若觀察到大量的模式，對(duì)它們作出決策的平均錯(cuò)誤概率應(yīng)是的數(shù)學(xué)期望。5/27/2023平均錯(cuò)誤概率從式可知，如果對(duì)每次觀察到的特征值，是盡可能小的話，則上式的積分必定是盡可能小的這就證實(shí)了最小錯(cuò)誤率的Bayes決策法則。下面從理論上給予證明。以兩類模式為例。5/27/2023把分類器看做將特征空間分割成決策區(qū)域的裝置5/27/20235/27/20232.2最小風(fēng)險(xiǎn)的Bayes決策在上一節(jié)我們介紹了最小錯(cuò)誤率的Bayes決策，并且證明了應(yīng)用這種決策法則時(shí)，平均錯(cuò)誤概率是最小的。但實(shí)際上有時(shí)需要考慮一個(gè)比錯(cuò)誤率更為廣泛的概念——風(fēng)險(xiǎn)，舉例說(shuō)明。毋庸置疑，任何風(fēng)險(xiǎn)都會(huì)帶來(lái)一定損失。看一個(gè)一般的決策表。5/27/2023——觀察或測(cè)量到的d維模式特征向量；——狀態(tài)或模式類空間——決策空間——損失函數(shù)，表示真實(shí)狀態(tài)為而所采取的決策為時(shí)所帶來(lái)的某種損失。根據(jù)Bayes公式，后驗(yàn)概率為：5/27/2023對(duì)于剛才的決策表考慮如下的一個(gè)條件期望損失，即給定，我們采取決策情況下的條件期望損失（條件風(fēng)險(xiǎn)）：采取那種決策呢？

最小風(fēng)險(xiǎn)Bayes決策規(guī)則：5/27/2023綜上，可知該規(guī)則的進(jìn)行步驟為：（1）根據(jù)已知，計(jì)算出后驗(yàn)概率；（2）利用計(jì)算出的后驗(yàn)概率及決策表（專家根據(jù)經(jīng)驗(yàn)確定），計(jì)算條件風(fēng)險(xiǎn)（3）最小風(fēng)險(xiǎn)決策5/27/2023這樣按最小風(fēng)險(xiǎn)的Bayes決策規(guī)則，采取的決策將隨的取值而定，引入函數(shù)，表示對(duì)的決策。對(duì)整個(gè)特征空間上所有的取值采取相應(yīng)的決策所帶來(lái)的平均風(fēng)險(xiǎn)顯然，我們對(duì)連續(xù)的隨機(jī)模式向量按最小風(fēng)險(xiǎn)Bayes決策規(guī)則采取的一系列決策行動(dòng)可以使平均風(fēng)險(xiǎn)最小。到此為止，我們已經(jīng)分析了兩種分別使錯(cuò)誤率和風(fēng)險(xiǎn)達(dá)到最小的Bayes決策規(guī)則，下面分析一下兩種決策規(guī)則的關(guān)系。5/27/2023兩類情況下的最小風(fēng)險(xiǎn)Bayes決策5/27/2023在兩類問(wèn)題中，若有，決策規(guī)則變?yōu)檫@時(shí)最小風(fēng)險(xiǎn)的Bayes決策和最小錯(cuò)誤率的Bayes決策規(guī)則是一致的。5/27/2023一般的多類問(wèn)題中，設(shè)損失函數(shù)為0-1損失函數(shù)5/27/2023說(shuō)明什么問(wèn)題？5/27/2023第2章貝葉斯決策理論

2.0基本概念2.1最小錯(cuò)誤概率的Bayes決策

2.2最小風(fēng)險(xiǎn)的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計(jì)和Bayes學(xué)習(xí)2.5正態(tài)分布時(shí)的Bayes決策法則2.6離散情況的Bayes決策5/27/20232.3Neyman—Pearson決策Neyman—Pearson決策即限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策。5/27/2023用Lagrange乘子法建立其數(shù)學(xué)模型5/27/20235/27/20235/27/2023取得極小值的邊界條件與最小錯(cuò)誤率的Bayes決策的比較5/27/20232.4Bayes估計(jì)和Bayes學(xué)習(xí)返回本章首頁(yè)1Bayes估計(jì)這里我們先回顧一下前面講述的最小風(fēng)險(xiǎn)Bayes決策?！^察或測(cè)量到的d維模式特征向量；——狀態(tài)空間——決策空間——損失函數(shù)，表示真實(shí)狀態(tài)為而所采取的決策為時(shí)所帶來(lái)的某種損失。5/27/2023返回本章首頁(yè)給定，我們采取決策情況下的條件期望損失：是特征空間中取任意值的隨機(jī)變量，條件風(fēng)險(xiǎn)的期望表示采取決策總的平均損失。稱為Bayes風(fēng)險(xiǎn)，使最小的決策稱為Bayes決策。5/27/2023返回本章首頁(yè)Bayes決策確定的真實(shí)狀態(tài)（模式類）Bayes估計(jì)根據(jù)一個(gè)樣本集，找出估計(jì)量，估計(jì)所屬總體分布的某個(gè)真實(shí)參數(shù)使帶來(lái)的Bayes風(fēng)險(xiǎn)最小Bayes決策問(wèn)題Bayes估計(jì)問(wèn)題樣本樣本集決策估計(jì)量真實(shí)狀態(tài)真實(shí)參數(shù)狀態(tài)空間是離散空間參數(shù)空間是連續(xù)空間先驗(yàn)概率參數(shù)的先驗(yàn)分布5/27/2023返回本章首頁(yè)令為代替所造成的損失，對(duì)于一個(gè)觀測(cè)矢量集合，當(dāng)用作為的估計(jì)時(shí)，在觀測(cè)條件下的條件期望損失為考慮到的各種取值，我們應(yīng)求在空間中的期望，。5/27/2023返回本章首頁(yè)Bayes估計(jì)的基本思想：所求得的的估計(jì)值應(yīng)使估計(jì)損失的期望最小，這種使或等價(jià)地使取最小值的的估計(jì)值稱為的Bayes估計(jì)。對(duì)于不同的，可得到不同的最佳Bayes估計(jì)。這里假定損失函數(shù)為平方誤差，即5/27/2023返回本章首頁(yè)5/27/2023返回本章首頁(yè)5/27/2023返回本章首頁(yè)由于是關(guān)于的二次函數(shù)，確使或最小。上式表明，的最小方差Bayes估計(jì)是在觀測(cè)條件下的的條件期望。在許多情況下，最小方差Bayes估計(jì)是最理想的Bayes最優(yōu)估計(jì)器。對(duì)平方誤差損失函數(shù)情況求解Bayes估計(jì)量的步驟如下：（1）確定的先驗(yàn)分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗(yàn)分布（4）5/27/2023返回本章首頁(yè)2Bayes學(xué)習(xí)Bayes學(xué)習(xí)與Bayes估計(jì)的前提條件是相同的，Bayes學(xué)習(xí)不是進(jìn)行概率的參數(shù)估計(jì)，而是進(jìn)行總體概率的推斷以獲得，因此，它們具有某些相同的計(jì)算內(nèi)容，也有不同的計(jì)算目標(biāo)。它們的前三步都是相同的，只是最后一步有所不同，Bayes學(xué)習(xí)最后一步為在已知的條件下，H對(duì)已不具有什么信息5/27/2023返回本章首頁(yè)下面我們看一下最大似然估計(jì)與Bayes解的關(guān)系。5/27/2023返回本章首頁(yè)最大似然估計(jì)近似等于Bayes解（條件是在有尖銳的凸峰）5/27/2023返回本章首頁(yè)下面給出在具有遞推收斂的性質(zhì)下Bayes學(xué)習(xí)收斂的一般性陳述，下看以下的推到公式5/27/2023返回本章首頁(yè)我們把以上的方法稱為遞推Bayes估計(jì)，密度序列收斂于以真實(shí)參數(shù)為中心的函數(shù)稱的過(guò)程稱為Bayes學(xué)習(xí)。如果分布具有Bayes學(xué)習(xí)性質(zhì)，那么當(dāng)樣本數(shù)時(shí)，就有5/27/2023第2章貝葉斯決策理論

2.0基本概念2.1最小錯(cuò)誤概率的Bayes決策2.2最小風(fēng)險(xiǎn)的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計(jì)和Bayes學(xué)習(xí)2.5正態(tài)分布時(shí)的Bayes決策法則2.6離散情況的Bayes決策5/27/20232.5正態(tài)分布時(shí)的Bayes決策法則在前面我們提到設(shè)計(jì)Bayes分類器的兩個(gè)先決已知條件：（1）先驗(yàn)概率；（2）條件概率密度函數(shù)。先驗(yàn)概率的估計(jì)并不困難，關(guān)鍵是條件概率密度函數(shù)。這里我們以正態(tài)分布概率密度函數(shù)為主進(jìn)行討論，因?yàn)棰裨趯?shí)際問(wèn)題中，大量的隨機(jī)變量都服從或近似地服從正態(tài)分布；Ⅱ即使統(tǒng)計(jì)總體不服從正態(tài)分布，但是它的許多重要的樣本特征可能是漸進(jìn)正態(tài)分布的；Ⅲ正態(tài)分布分析起來(lái)比較方便。5/27/2023正態(tài)分布概率密度函數(shù)的定義及性質(zhì)（1）單變量正態(tài)分布單變量正態(tài)分布概率密度函數(shù)，有兩個(gè)參數(shù)和完全決定，常簡(jiǎn)記為。期望方差5/27/2023（2）多維變量正態(tài)分布均值向量協(xié)方差矩陣5/27/2023多維變量正態(tài)分布密度函數(shù)的性質(zhì)（1）多維變量正態(tài)分布密度函數(shù)由均值向量和協(xié)方差矩陣完全確定，包含的參數(shù)個(gè)數(shù)為。

（2）等密度點(diǎn)的軌跡為一超橢球面，且它的主軸方向由陣的特征向量所確定，主軸的長(zhǎng)度與相應(yīng)的協(xié)方差矩陣的本征值成正比。5/27/20235/27/2023設(shè)在超橢球上，到超橢球中心的距離為，求主軸長(zhǎng)度即是求其條件極值，構(gòu)造Lagrange函數(shù)5/27/2023所以，第i個(gè)主軸的長(zhǎng)度與的第i個(gè)特征值的平方根成正比，如圖所示。定義為向量到均值向量的馬氏距離。等概率密度點(diǎn)的軌跡是一個(gè)到均值向量的馬氏距離為常數(shù)的超球體。（3）

不相關(guān)性等價(jià)于獨(dú)立性。（4）邊緣分布和條件分布的正態(tài)性。（5）線性變換的正態(tài)性。（6）線性組合的正態(tài)性。5/27/2023多維變量正態(tài)概率型下的最小錯(cuò)誤率Bayes判別函數(shù)和決策面5/27/2023下面根據(jù)上式對(duì)以下三種情況進(jìn)行討論?！瓫Q策面方程5/27/2023（1），即每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征間相互獨(dú)立，具有相等的方差Ⅰ如果先驗(yàn)概率不等，那么平方距離（歐氏距離）必須通過(guò)方差進(jìn)行歸一化，并通過(guò)增加進(jìn)行修正。5/27/2023Ⅱ如果先驗(yàn)概率相等稱其為最小距離分類器。對(duì)以上兩類情況進(jìn)行化簡(jiǎn)5/27/2023下面來(lái)看線性分類器的決策面方程5/27/2023對(duì)其，我們用一個(gè)二維二類模式例子，設(shè)先驗(yàn)概率相等，從幾何上表示其關(guān)系（不相等的情況請(qǐng)參照教材P32）5/27/2023（2），即各類的協(xié)方差矩陣都相等如果先驗(yàn)概率相等，只要計(jì)算到各類的均值點(diǎn)的馬氏距離平方，然后把歸于距離平方最小的類別。5/27/2023對(duì)以上兩類情況進(jìn)行化簡(jiǎn)5/27/2023決策面方程5/27/2023對(duì)其，我們用一個(gè)二維二類模式例子，設(shè)先驗(yàn)概率相等，從幾何上表示其關(guān)系5/27/2023（2）各類的協(xié)方差矩陣不相等5/27/20235/27/2023前面我們我們介紹都是連續(xù)情況的Bayes決策理論，這里我們看一下的離散情況。設(shè)x是離散型隨機(jī)變量，從而Bayes決策法則就是：這時(shí)Bayes決策規(guī)則仍然不變，最小錯(cuò)誤概率的Bayes決策法則仍為：2.6離散情況的Bayes決策5/27/2023最小風(fēng)險(xiǎn)的Bayes決策法則仍為：這里著重討論最小錯(cuò)誤率的Bayes決策法則。等價(jià)的判別函數(shù)有以下幾種形式：對(duì)二類模式的分類問(wèn)題，判別函數(shù)可采用以下的形式：5/27/2023設(shè)模式特征向量為且各特征相互獨(dú)立。并令：5/27/2023從而似然比：將其改寫為線性判別函數(shù)的形式：5/27/2023式中：可將其任意分類，或拒絕5/27/2023第十四章關(guān)于風(fēng)險(xiǎn)概念的進(jìn)一步討論

本章我們將指出上述風(fēng)險(xiǎn)的定義中的問(wèn)題，提出風(fēng)險(xiǎn)的各種不同的定義方法，研究投資者對(duì)待風(fēng)險(xiǎn)的態(tài)度，進(jìn)一步討論回報(bào)率與風(fēng)險(xiǎn)的關(guān)系。這些討論，對(duì)于把握難以捉摸的風(fēng)險(xiǎn)概念是至關(guān)重要的。齊寅峰公司財(cái)務(wù)學(xué)經(jīng)濟(jì)科學(xué)出版社第一節(jié)風(fēng)險(xiǎn)定義的問(wèn)題一、“E－σ”分析失效的情形二、風(fēng)險(xiǎn)的其他定義齊寅峰公司財(cái)務(wù)學(xué)經(jīng)濟(jì)科學(xué)出版社一、“E－σ”分析失效的情形傳統(tǒng)的投資組合分析中，每一備選方案都用兩個(gè)數(shù)據(jù)來(lái)衡量：回報(bào)率的期望值E和回報(bào)率的均方差σ，并且假定投資者都偏好于大的期望回報(bào)率和小的均方差。

每個(gè)投資者都偏好于大的回報(bào)率期望值是一種理性的選擇假設(shè)，任何情況下都不會(huì)發(fā)生懷疑。齊寅峰公司財(cái)務(wù)學(xué)經(jīng)濟(jì)科學(xué)出版社一、“E－σ”分析失效的情形（續(xù)）但是說(shuō)投資者都是避免風(fēng)險(xiǎn)的，卻值得懷疑。如果風(fēng)險(xiǎn)是指日常用語(yǔ)是指壞事而非好事，這倒也沒(méi)錯(cuò)。但事實(shí)上用均方差定義風(fēng)險(xiǎn)，它表示回報(bào)率與期望值偏差的平方的期望值的方根，因此只是表明回報(bào)率的離散程度，而這