02貝葉斯決策理論和ASMS3000決策分析平臺(tái)

第二章貝葉斯決策理論2.1引言2.2最小錯(cuò)誤率貝葉斯決策2.3最小風(fēng)險(xiǎn)貝葉斯決策2.4正態(tài)分布下的貝葉斯決策2.1引言統(tǒng)計(jì)決策理論是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類貝葉斯決策是統(tǒng)計(jì)決策理論的基本方法，它的基本假定是分類決策是在概率空間中進(jìn)行的，并且以下概率分布是已知的每一類的概率分布類條件概率密度繼續(xù)考慮鱸魚和鮭魚的例子假定傳送帶上送過來的魚的種類是隨機(jī)的，令ω表示魚的種類，且為鱸魚時(shí)ω=ω1，為鮭魚時(shí)ω=ω2。由于我們無法確定性地預(yù)測(cè)魚的種類，因此ω為隨機(jī)變量。如果要分類的魚中鱸魚和鮭魚的數(shù)目相等，則我們認(rèn)為下一次出現(xiàn)鱸魚和鮭魚的可能性一樣。一般的，假定已知出現(xiàn)鱸魚的概率P(ω1)和出現(xiàn)鮭魚的概率P(ω2)，則P(ω1)+P(ω2)=1.這是我們?cè)跊Q策之前已知的先驗(yàn)知識(shí)，因此稱為先驗(yàn)概率分布只依賴先驗(yàn)概率的決策先驗(yàn)概率反映了我們?cè)隰~真正出現(xiàn)之前就已經(jīng)具有的關(guān)于鱸魚和鮭魚的出現(xiàn)的可能性的知識(shí)。它受很多因素的影響，比如一年中的時(shí)節(jié)和所在的區(qū)域等等。假定在某個(gè)魚還沒有出現(xiàn)的時(shí)刻我們就不得不做出一種分類決策，這時(shí)我們擁有的信息只有兩種魚的先驗(yàn)概率。為了減少分類的錯(cuò)誤率，合理的決策規(guī)則應(yīng)該是：

如果P(ω1)>P(ω2)，則決策為ω1

，否則決策為ω2。分類決策的分析如果只對(duì)一條魚做分類決策，則前面的決策規(guī)則是合理的，如果要對(duì)連續(xù)出現(xiàn)的多條魚重復(fù)這一決策規(guī)則，就略顯怪異了：盡管我們知道會(huì)出現(xiàn)的魚有兩種，但我們只是重復(fù)同一決策。這一決策規(guī)則的好壞取決于先驗(yàn)概率P(ω1)，P(ω2)的相對(duì)大小，如果P(ω1)>>P(ω2)，則這一決策規(guī)則的錯(cuò)誤率就比較小，如果P(ω1)=P(ω2)，則錯(cuò)誤率將達(dá)到50%可以證明錯(cuò)誤率是P(ω1)，P(ω2)中小的那個(gè)加入后驗(yàn)信息多數(shù)情況下，我們不會(huì)只依據(jù)先驗(yàn)信息來做分類決策假定我們利用光澤度來提高分類效果，由于不同的魚會(huì)有不同的光澤度，我們?nèi)匀话阉硎緸橐粋€(gè)隨機(jī)變量令x為一個(gè)連續(xù)值的隨機(jī)變量，其分布取決于魚的種類，并表示為p(x|ω)，這就是條件概率密度，也就是魚的種類為ω時(shí)x的概率密度函數(shù)。類條件概率密度函數(shù)光澤度的類條件概率密度函數(shù)反應(yīng)了兩種魚之間光澤度的差異后驗(yàn)概率假定我們知道先驗(yàn)概率P(ωj)和類條件概率密度p(x|ωj),j=1,2，并且測(cè)得一條魚的光澤度為x，那么如何在分類決策中利用這一信息呢？由于聯(lián)合概率分布滿足可得貝葉斯公式其中P(ωj|x)就是類別關(guān)于光澤度的后驗(yàn)概率貝葉斯公式貝葉斯公式的直觀理解Posterior=(LikelihoodxPrior)/Evidence貝葉斯公式表明通過觀測(cè)x的值可以將先驗(yàn)概率轉(zhuǎn)變成后驗(yàn)概率，也就是當(dāng)觀測(cè)值x給定后樣本屬于各個(gè)類別的概率p(x|ωj)也稱為似然度，也就是在其他條件都相同的情況下，使p(x|ωj)越大的ωj越可能是樣本所在的真實(shí)類別后驗(yàn)概率貝葉斯決策規(guī)則如果對(duì)于觀測(cè)到的x滿足則我們自然地決策為ω1，否則決策為ω2。在這一規(guī)則下的錯(cuò)誤率為

P(error|x)=P(1|x)決策為2 P(error|x)=P(2|x)決策為

1。顯然，對(duì)于給定的x，上述決策規(guī)則使得錯(cuò)誤率最小。貝葉斯決策如果P(1|x)>P(2|x)，則決策為1，

否則決策為2。在這一規(guī)則下的錯(cuò)誤率為

P(error|x)=min[P(1|x),P(2|x)]。思考：相比于直接利用先驗(yàn)概率的決策，貝葉斯決策的錯(cuò)誤率是否減小了？分類器，判別函數(shù)和決策面特征分類器有多種表示形式，最常用的是判別函數(shù)。給定一個(gè)判別函數(shù)集合

如果特征x滿足則決策為。最小錯(cuò)誤率貝葉斯決策中，可令gi(x)=P(ωi|x)。最小風(fēng)險(xiǎn)貝葉斯決策中，可令gi(x)=-R(αi|x)。判別函數(shù)的選擇并不唯一，可以為gi(x)的任意單調(diào)增函數(shù)f(gi(x))。等價(jià)形式因?yàn)閜(x)只是一個(gè)伸縮因子，并不影響后驗(yàn)概率的相對(duì)大小，因此決策規(guī)則中可以不考慮p(x):如果p(x|1)P(1)>p(x|2)

P(2)，則決策為1，否則決策為2。如果p(x|1)=p(x|2)，則x不提供任何信息，決策結(jié)果完全取決于先驗(yàn)概率如果P(1)=P(2)，兩種類別等概率出現(xiàn)，決策規(guī)則取決于似然度p(x|j)。基于最小錯(cuò)誤率的貝葉斯決策規(guī)則：16貝葉斯決策規(guī)則及等價(jià)形式等價(jià)形式2.2最小錯(cuò)誤率貝葉斯決策令為c個(gè)類別的有限集，特征向量x是一個(gè)d維的隨機(jī)向量，p(x|ωj)為類條件概率密度，P(ωj)是ωj的先驗(yàn)概率，則利用貝葉斯公式，可以計(jì)算后驗(yàn)概率其中，決策規(guī)則如果對(duì)所有都有則決策為ωi.在這一決策規(guī)則下，分類錯(cuò)誤率決策的平均錯(cuò)誤率例：假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常和異常兩類的先驗(yàn)概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，類條件概率密度分別為,試對(duì)該細(xì)胞x進(jìn)行分類。解：決策例子最小錯(cuò)誤率的討論以一維情況為例討論基于最小錯(cuò)誤率的貝葉斯決策確實(shí)對(duì)應(yīng)最小錯(cuò)誤率統(tǒng)計(jì)意義上的錯(cuò)誤率，即平均錯(cuò)誤率，用P(e)表示20最小錯(cuò)誤率的討論21兩類錯(cuò)誤率在很多實(shí)際問題中，兩類并不是同等的，比如在疾病的診斷中，假陽性是指誤診，而假陰性則為漏診，假陽（陰）性率是指假陽（陰）性樣本占整個(gè)陰性（陽性）樣本的比例。在評(píng)價(jià)一種檢測(cè)方法的效果時(shí)，常用的兩個(gè)概念是靈敏度(sensitivity)和特異性(specificity)。前者是指在真正的陽性樣本中有多少能被檢測(cè)出來，而后者是指在陰性樣本中有多少比例沒有被誤判。兩者是一對(duì)矛盾，需要根據(jù)實(shí)際情況取得最佳平衡。在統(tǒng)計(jì)學(xué)上，假陽性又被稱為第一類錯(cuò)誤(Type-IError)，假陰性被稱為第二類錯(cuò)誤(Type-IIError)。兩類錯(cuò)誤率用FP,FN,TP,TN分別表示假陽性，假陰性，真陽性，真陰性的樣本數(shù)，Sn和Sp分別表示靈敏度和特異性，α,β分別表示第一類和第二類錯(cuò)誤率，則如果令ω1表示陰性，ω2表示陽性，則前面最小錯(cuò)誤率討論中的P1(e)和P2(e)分別對(duì)應(yīng)于第一類錯(cuò)誤率和第二類錯(cuò)誤率?？偟腻e(cuò)誤率是兩類錯(cuò)誤率的加權(quán)平均。Neyman-Pearson決策在某些應(yīng)用中，我們希望保證某個(gè)錯(cuò)誤率不超過一個(gè)固定水平，在此前提下再考慮另一類錯(cuò)誤率盡可能低。比如，在鱸魚和鮭魚的例子中，可能政府會(huì)強(qiáng)制性規(guī)定，鮭魚錯(cuò)分為鱸魚的比例不得超過1%對(duì)某些重要疾病的診斷，我們希望確保漏診率低于一個(gè)水平ε0(比如0.1%).這種限定一類錯(cuò)誤率而使另一類錯(cuò)誤率最小的決策規(guī)則稱作Neyman-Pearson決策規(guī)則?？梢杂肔agrange乘子法求解。2.3最小風(fēng)險(xiǎn)貝葉斯決策在實(shí)際問題中，我們關(guān)心的可能不是分類的錯(cuò)誤率本身，而是它所帶來的風(fēng)險(xiǎn)在鱸魚和鮭魚的例子中，把鱸魚錯(cuò)判為鮭魚和把鮭魚錯(cuò)判為鱸魚的損失是不一樣的在癌細(xì)胞的識(shí)別中，把正常細(xì)胞誤判為癌細(xì)胞和把癌細(xì)胞誤判為正常細(xì)胞的代價(jià)也是不一樣的因此，不考慮不同錯(cuò)誤所帶來的不同風(fēng)險(xiǎn)而將它們一視同仁，在很多情況下是不恰當(dāng)?shù)乃^最小風(fēng)險(xiǎn)貝葉斯決策，就是考慮各種錯(cuò)誤造成損失不同時(shí)的一種最優(yōu)決策問題描述令為c個(gè)類組成的狀態(tài)空間，樣本為d維隨機(jī)向量，對(duì)隨機(jī)向量x可能采取的決策組成了決策空間

設(shè)對(duì)于實(shí)際狀態(tài)為ωj的向量x,采取決策αi所帶來的損失為λ(αi,ωj),i=1,…k,j=1,…c.λ(αi,ωj),i=1,…k,j=1,…c稱為損失函數(shù)，通常用表格給出，在應(yīng)用中需要根據(jù)問題的背景知識(shí)確定。最小風(fēng)險(xiǎn)貝葉斯決策對(duì)于某個(gè)樣本x，它屬于各個(gè)狀態(tài)的后驗(yàn)概率是對(duì)它采取決策的期望損失是設(shè)有某一個(gè)決策規(guī)則，它對(duì)所有可能樣本x采取決策所造成的期望損失是最小風(fēng)險(xiǎn)貝葉斯決策的決策規(guī)則最小風(fēng)險(xiǎn)貝葉斯決策的決策規(guī)則即是最小化期望風(fēng)險(xiǎn)R(α)。由于R(α(x)|x)和p(x)都是非負(fù)的，且p(x)是已知的，因此要使R(α)最小，就要對(duì)所有x使R(α(x)|x)最小，因此，最小風(fēng)險(xiǎn)貝葉斯決策就是：若則決策步驟利用貝葉斯公式計(jì)算后驗(yàn)概率利用決策表，計(jì)算條件風(fēng)險(xiǎn)在各種風(fēng)險(xiǎn)中選擇風(fēng)險(xiǎn)最小的決策，即特殊情形在樣本和決策都是兩類的情形下，最小風(fēng)險(xiǎn)貝葉斯決策為：其中，顯然，當(dāng)時(shí)，最小風(fēng)險(xiǎn)貝葉斯決策就變?yōu)樽钚″e(cuò)誤率貝葉斯決策。幾種等價(jià)形式?jīng)Q策例子決策狀態(tài)ω1ω2α106α210在前面例子的基礎(chǔ)上，利用下面的決策表，按最小風(fēng)險(xiǎn)貝葉斯決策重新進(jìn)行分類決策。P(ω1)=0.9，P(ω2)=0.1,未知細(xì)胞x滿足P(x|ω1)=0.2，

P(x|ω2)=0.4。決策例子解：已計(jì)算出的后驗(yàn)概率為條件風(fēng)險(xiǎn)由于，決策為ω2，即判別待識(shí)別細(xì)胞為異常細(xì)胞。分析同樣的數(shù)據(jù)，因?yàn)閷?duì)兩類錯(cuò)誤帶來的風(fēng)險(xiǎn)的認(rèn)識(shí)不同，得出了與前面相反的結(jié)論。由于決策表是人為確定的，決策表的不同會(huì)導(dǎo)致決策結(jié)果的不同，因此，在實(shí)際應(yīng)用中，需要認(rèn)真分析所研究問題的內(nèi)在特點(diǎn)和分類的目的，與應(yīng)用領(lǐng)域的專家共同設(shè)計(jì)出適當(dāng)?shù)臎Q策表，才能做出更有效的決策。2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策正態(tài)分布概率密度函數(shù)的定義及性質(zhì)多元正態(tài)概型下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面

正態(tài)分布的重要性正態(tài)分布是所有分布中最受關(guān)注的分布數(shù)學(xué)上易于分析物理上的合理性：適合于給定類別ωi的特征x是某個(gè)單值向量μi的隨機(jī)擾動(dòng)的情形（根據(jù)中心極限定理，大量微小的，獨(dú)立的隨機(jī)擾動(dòng)加和的累積效應(yīng)會(huì)導(dǎo)致高斯分布）很多模式（比如魚，手寫字符，語音等）都可以看成一個(gè)理想模式被大量隨機(jī)過程所擾動(dòng)的結(jié)果，因此正態(tài)分布是描述實(shí)際概率分布的理想模型2.3.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)㈠單變量正態(tài)分布

●單變量正態(tài)分布概率密度函數(shù)定義為正態(tài)分布的重要性質(zhì)正態(tài)分布可以由均值μ和方差σ完全確定正態(tài)分布與熵之間有著深刻的聯(lián)系，熵度量的是從一個(gè)分布中隨機(jī)抽取樣本時(shí)的不確定性可以證明，在給定均值和方差的前提下，正態(tài)分布的熵是最大的㈡多元正態(tài)分布⒈多元正態(tài)分布的概率密度函數(shù)

●協(xié)方差的各分量為：●協(xié)方差矩陣總是非負(fù)定陣?！駥?duì)于任意隨機(jī)向量x，xT∑x是∑的二次型。如果對(duì)x≠0的一切x

有

xT∑x≥0都成立，則稱∑為非負(fù)定陣?！袢魓T∑x>0，則∑為正定陣?！駥?duì)于正定矩陣，各階主子式非零（包括|∑|≠0）。2.多元正態(tài)分布的性質(zhì)⑴參數(shù)μ和∑對(duì)分布的決定性⑵等密度點(diǎn)的軌跡為一超橢球面⑶不相關(guān)性等價(jià)于獨(dú)立性⑷邊緣分布和條件分布的正態(tài)性⑸線性變換的正態(tài)性⑹線性組合的正態(tài)性⑴參數(shù)μ和∑對(duì)分布的決定性多元正態(tài)分布被均值向量μ和協(xié)方差矩陣∑所完全確定。均值向量μ由d個(gè)分量組成;協(xié)方差矩陣∑由于其對(duì)稱性故其獨(dú)立元素有p(x)~N(μ,∑)多元正態(tài)分布概率密度函數(shù)常記為⑵等密度點(diǎn)的軌跡為一超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和∑所確定的一個(gè)區(qū)域里。下圖給出了從一個(gè)以均值μ為中心的二維高斯分布中取出的樣本。橢圓顯示了等概率密度的高斯分布軌跡?！霎?dāng)指數(shù)項(xiàng)為常數(shù)時(shí)，密度p(x)值不變，因此等密度點(diǎn)應(yīng)是此式的指數(shù)項(xiàng)為常數(shù)的點(diǎn)，即應(yīng)滿足■可以

證明上式的解是一個(gè)超橢球面，且它的主軸方向由∑陣的特征向量所決定，主軸的長(zhǎng)度與相應(yīng)的協(xié)方差矩陣∑的本征值成正比。在數(shù)理統(tǒng)計(jì)中上式所表示的數(shù)量：為x到μ的Mahalanobis距離的平方。所以等密度點(diǎn)軌跡是x到μ的Mahalanobis距離為常數(shù)的超橢球面。這個(gè)超橢球體大小是樣本對(duì)于均值向量的離散度度量?？梢宰C明對(duì)應(yīng)于Mahalanobis距離為超橢球的體積是其中Vd是d維單位超球體的體積。⑶不相關(guān)性等價(jià)于獨(dú)立性不相關(guān)與獨(dú)立的定義：若E{xi

xj}=E{xi}·E{xj}則定義隨機(jī)變量xi和xj是不相關(guān)的。若p(xi,xj)=

p(xi)p(xj)則定義隨機(jī)變量xi和xj是獨(dú)立的。

■一般情況下相關(guān)與獨(dú)立的關(guān)系獨(dú)立性是比不相關(guān)性更強(qiáng)的條件，獨(dú)立性要求

p(xi,xj)=p(xi)p(xj)對(duì)于xi和xj都成立。不相關(guān)性是兩個(gè)隨機(jī)變量的積的期望等于兩個(gè)隨機(jī)變量的期望的積，它反映了xi與xj總體的性質(zhì)。若xi和xj相互獨(dú)立，則它們之間一定不相關(guān)；反之則不一定成立?！龆嘣龖B(tài)分布情況對(duì)多元正態(tài)分布的任意兩個(gè)分量xi和xj而言，若xi與xj互不相關(guān)，則它們之間一定獨(dú)立。在正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性。（證明見清華模式識(shí)別第二版P27)推論:如果多元正態(tài)隨機(jī)向量的協(xié)方差陣是對(duì)角陣，則x的分量是相互獨(dú)立的正態(tài)分布隨機(jī)變量。⑷邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布。二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為根據(jù)邊緣分布定義其中由于所以x1的邊緣分布

就是說邊緣分布p(x1)服從以均值為方差為的正態(tài)分布。

同理可以推出x2的邊緣分布為對(duì)于給定x1的條件下x2的分布，有定義p(x2|x1)=p(x1,x2)/p(x1)同理可以寫出給定x2條件下x1的分布:⑸線性變換的正態(tài)性若對(duì)x用線性變換矩陣A(A是非奇異(|A|≠0)的)作線性變換，y

=Ax則y服從以均值向量為Aμ，協(xié)方差矩陣為A∑AT的多元正態(tài)分布。即p(y)~N(Aμ，A∑AT)⑹線性組合的正態(tài)性若x為多元正態(tài)隨機(jī)向量，則線性組合是一維的正態(tài)隨機(jī)變量，且y服從：其中是與x同維的向量。根據(jù)最小錯(cuò)誤率貝葉斯判別函數(shù)，在多元正態(tài)概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即寫出其相應(yīng)的表達(dá)式。判別函數(shù)為:●決策面方程為:

即

2.3.2多元正態(tài)概型下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面(1)

這種情況中每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征間相互獨(dú)立，具有相等的方差。下面再分二種情況討論。⒈先驗(yàn)概率P(ωi)與P(ωj)不相等㈠第一種情況代入（1），得到：

由于上式中的第二、三項(xiàng)與類別i無關(guān)，故可忽略，并將gi(x)簡(jiǎn)化為為x到類ωi的均值向量μi的歐氏距離的平方。i=1，…，c其中，⒉先驗(yàn)概率P(ωi)=P(ωj)時(shí)的情況這種分類器稱為最小距離分類器。忽略與i無關(guān)的xTx，則判別函數(shù)為:

wi0為第i個(gè)方向的閾值或偏置。若要對(duì)觀察x進(jìn)行分類，只要計(jì)算x到各類均值μi的歐氏距離平方，然后把x歸于具有的類。判別函數(shù)gi(x)是x的線性函數(shù)。判別函數(shù)為線性函數(shù)的分類器稱為線性分類器(linearmachine)。所確定的一個(gè)超平面。線性分類器的決策面是由線性方程若：則決策x∈ωk。在∑i=σ2I

下，這個(gè)方程可改寫為wT(x－x0)=0w=μi－μj

其中滿足wT(x－x0)=0式的x的軌跡為ωi與ωj類間的決策面，它是一個(gè)超平面當(dāng)P(ωi)=P(ωj)時(shí)，超平面通過μi與μj連線中點(diǎn)并與連線正交，如圖所示。當(dāng)P(ωi)不等于

P(ωj)時(shí)，如圖所示。如果σ2遠(yuǎn)小于||μi-μj||2，則決策面的位置對(duì)先驗(yàn)概率不敏感。㈡第二種情況∑i=∑由∑i=∑2=…=∑c=∑，即∑與i無關(guān)，所以，其判別函數(shù)（1）可簡(jiǎn)化為若c類先驗(yàn)概率都相等則判別函數(shù)可進(jìn)一步簡(jiǎn)化為這時(shí)其決策規(guī)則為：為了對(duì)觀察x進(jìn)行分類，只要計(jì)算出x到每類的均值點(diǎn)μi的Mahalanobis距離平方，最后把x歸于最小的類別。（2）（1）將（2）式展開，忽略與i無關(guān)的xT∑-1x項(xiàng)，則判別函數(shù)可寫成下面的形式

其中，

wi=∑-1μi

（3）（2）由式（3）可見：它也是x的線性判別函數(shù)，因此決策面仍是一個(gè)超平面。如果決策域Ri和Rj相鄰，則決策面方程應(yīng)滿足：

gi(x)－gj(x)=0即wT(x―x0)=0

其中w=∑-1(μi－μj)若各類的先驗(yàn)概率相等，則此時(shí)x0點(diǎn)為μi與μj連線的中點(diǎn)，根據(jù)前面的討論，決策面應(yīng)通過這一點(diǎn)，如圖2.12所示。

若先驗(yàn)概率不相等，x0就不在μi與μj連線的中點(diǎn)上，而是在連線上向先驗(yàn)率小的均值點(diǎn)偏移。一般來說，w與μi-μj方向不同，因此決策面不垂直于μi與μj的連線。㈢一般情況—∑i≠∑j各類的協(xié)方差陣不相等，則(d×d矩陣)

(d維列向量)其中：判別函數(shù)gi(x)表示為x的二次型。若決策域Ri與Rj相鄰，則決策面應(yīng)滿足

gi(x)－gj(x)=0即xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0由上式所決定的決策面為超二次曲面，隨著∑i，μi，P(ωi)的不同而呈現(xiàn)為某種超二次曲面，如超球面、超橢球面、超拋物面、超雙曲面或超平面。ASMS3000決策分析平臺(tái)

1、決策分析平臺(tái)的重要性2、訂票、出票、送票統(tǒng)計(jì)3、銷售數(shù)據(jù)分析、坐席工作效率分析與航線銷售對(duì)比分析的查看與統(tǒng)計(jì)4、盈利分析5、員工業(yè)績(jī)統(tǒng)計(jì)分