02貝葉斯決策理論和ASMS3000決策分析平臺

第二章貝葉斯決策理論2.1引言2.2最小錯誤率貝葉斯決策2.3最小風(fēng)險貝葉斯決策2.4正態(tài)分布下的貝葉斯決策2.1引言統(tǒng)計決策理論是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類貝葉斯決策是統(tǒng)計決策理論的基本方法，它的基本假定是分類決策是在概率空間中進行的，并且以下概率分布是已知的每一類的概率分布類條件概率密度繼續(xù)考慮鱸魚和鮭魚的例子假定傳送帶上送過來的魚的種類是隨機的，令ω表示魚的種類，且為鱸魚時ω=ω1，為鮭魚時ω=ω2。由于我們無法確定性地預(yù)測魚的種類，因此ω為隨機變量。如果要分類的魚中鱸魚和鮭魚的數(shù)目相等，則我們認為下一次出現(xiàn)鱸魚和鮭魚的可能性一樣。一般的，假定已知出現(xiàn)鱸魚的概率P(ω1)和出現(xiàn)鮭魚的概率P(ω2)，則P(ω1)+P(ω2)=1.這是我們在決策之前已知的先驗知識，因此稱為先驗概率分布只依賴先驗概率的決策先驗概率反映了我們在魚真正出現(xiàn)之前就已經(jīng)具有的關(guān)于鱸魚和鮭魚的出現(xiàn)的可能性的知識。它受很多因素的影響，比如一年中的時節(jié)和所在的區(qū)域等等。假定在某個魚還沒有出現(xiàn)的時刻我們就不得不做出一種分類決策，這時我們擁有的信息只有兩種魚的先驗概率。為了減少分類的錯誤率，合理的決策規(guī)則應(yīng)該是：

如果P(ω1)>P(ω2)，則決策為ω1

，否則決策為ω2。分類決策的分析如果只對一條魚做分類決策，則前面的決策規(guī)則是合理的，如果要對連續(xù)出現(xiàn)的多條魚重復(fù)這一決策規(guī)則，就略顯怪異了：盡管我們知道會出現(xiàn)的魚有兩種，但我們只是重復(fù)同一決策。這一決策規(guī)則的好壞取決于先驗概率P(ω1)，P(ω2)的相對大小，如果P(ω1)>>P(ω2)，則這一決策規(guī)則的錯誤率就比較小，如果P(ω1)=P(ω2)，則錯誤率將達到50%可以證明錯誤率是P(ω1)，P(ω2)中小的那個加入后驗信息多數(shù)情況下，我們不會只依據(jù)先驗信息來做分類決策假定我們利用光澤度來提高分類效果，由于不同的魚會有不同的光澤度，我們?nèi)匀话阉硎緸橐粋€隨機變量令x為一個連續(xù)值的隨機變量，其分布取決于魚的種類，并表示為p(x|ω)，這就是條件概率密度，也就是魚的種類為ω時x的概率密度函數(shù)。類條件概率密度函數(shù)光澤度的類條件概率密度函數(shù)反應(yīng)了兩種魚之間光澤度的差異后驗概率假定我們知道先驗概率P(ωj)和類條件概率密度p(x|ωj),j=1,2，并且測得一條魚的光澤度為x，那么如何在分類決策中利用這一信息呢？由于聯(lián)合概率分布滿足可得貝葉斯公式其中P(ωj|x)就是類別關(guān)于光澤度的后驗概率貝葉斯公式貝葉斯公式的直觀理解Posterior=(LikelihoodxPrior)/Evidence貝葉斯公式表明通過觀測x的值可以將先驗概率轉(zhuǎn)變成后驗概率，也就是當觀測值x給定后樣本屬于各個類別的概率p(x|ωj)也稱為似然度，也就是在其他條件都相同的情況下，使p(x|ωj)越大的ωj越可能是樣本所在的真實類別后驗概率貝葉斯決策規(guī)則如果對于觀測到的x滿足則我們自然地決策為ω1，否則決策為ω2。在這一規(guī)則下的錯誤率為

P(error|x)=P(1|x)決策為2 P(error|x)=P(2|x)決策為

1。顯然，對于給定的x，上述決策規(guī)則使得錯誤率最小。貝葉斯決策如果P(1|x)>P(2|x)，則決策為1，

否則決策為2。在這一規(guī)則下的錯誤率為

P(error|x)=min[P(1|x),P(2|x)]。思考：相比于直接利用先驗概率的決策，貝葉斯決策的錯誤率是否減小了？分類器，判別函數(shù)和決策面特征分類器有多種表示形式，最常用的是判別函數(shù)。給定一個判別函數(shù)集合

如果特征x滿足則決策為。最小錯誤率貝葉斯決策中，可令gi(x)=P(ωi|x)。最小風(fēng)險貝葉斯決策中，可令gi(x)=-R(αi|x)。判別函數(shù)的選擇并不唯一，可以為gi(x)的任意單調(diào)增函數(shù)f(gi(x))。等價形式因為p(x)只是一個伸縮因子，并不影響后驗概率的相對大小，因此決策規(guī)則中可以不考慮p(x):如果p(x|1)P(1)>p(x|2)

P(2)，則決策為1，否則決策為2。如果p(x|1)=p(x|2)，則x不提供任何信息，決策結(jié)果完全取決于先驗概率如果P(1)=P(2)，兩種類別等概率出現(xiàn)，決策規(guī)則取決于似然度p(x|j)?；谧钚″e誤率的貝葉斯決策規(guī)則：16貝葉斯決策規(guī)則及等價形式等價形式2.2最小錯誤率貝葉斯決策令為c個類別的有限集，特征向量x是一個d維的隨機向量，p(x|ωj)為類條件概率密度，P(ωj)是ωj的先驗概率，則利用貝葉斯公式，可以計算后驗概率其中，決策規(guī)則如果對所有都有則決策為ωi.在這一決策規(guī)則下，分類錯誤率決策的平均錯誤率例：假設(shè)在某個局部地區(qū)細胞識別中正常和異常兩類的先驗概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識別的細胞，其觀察值為x，類條件概率密度分別為,試對該細胞x進行分類。解：決策例子最小錯誤率的討論以一維情況為例討論基于最小錯誤率的貝葉斯決策確實對應(yīng)最小錯誤率統(tǒng)計意義上的錯誤率，即平均錯誤率，用P(e)表示20最小錯誤率的討論21兩類錯誤率在很多實際問題中，兩類并不是同等的，比如在疾病的診斷中，假陽性是指誤診，而假陰性則為漏診，假陽（陰）性率是指假陽（陰）性樣本占整個陰性（陽性）樣本的比例。在評價一種檢測方法的效果時，常用的兩個概念是靈敏度(sensitivity)和特異性(specificity)。前者是指在真正的陽性樣本中有多少能被檢測出來，而后者是指在陰性樣本中有多少比例沒有被誤判。兩者是一對矛盾，需要根據(jù)實際情況取得最佳平衡。在統(tǒng)計學(xué)上，假陽性又被稱為第一類錯誤(Type-IError)，假陰性被稱為第二類錯誤(Type-IIError)。兩類錯誤率用FP,FN,TP,TN分別表示假陽性，假陰性，真陽性，真陰性的樣本數(shù)，Sn和Sp分別表示靈敏度和特異性，α,β分別表示第一類和第二類錯誤率，則如果令ω1表示陰性，ω2表示陽性，則前面最小錯誤率討論中的P1(e)和P2(e)分別對應(yīng)于第一類錯誤率和第二類錯誤率?？偟腻e誤率是兩類錯誤率的加權(quán)平均。Neyman-Pearson決策在某些應(yīng)用中，我們希望保證某個錯誤率不超過一個固定水平，在此前提下再考慮另一類錯誤率盡可能低。比如，在鱸魚和鮭魚的例子中，可能政府會強制性規(guī)定，鮭魚錯分為鱸魚的比例不得超過1%對某些重要疾病的診斷，我們希望確保漏診率低于一個水平ε0(比如0.1%).這種限定一類錯誤率而使另一類錯誤率最小的決策規(guī)則稱作Neyman-Pearson決策規(guī)則?？梢杂肔agrange乘子法求解。2.3最小風(fēng)險貝葉斯決策在實際問題中，我們關(guān)心的可能不是分類的錯誤率本身，而是它所帶來的風(fēng)險在鱸魚和鮭魚的例子中，把鱸魚錯判為鮭魚和把鮭魚錯判為鱸魚的損失是不一樣的在癌細胞的識別中，把正常細胞誤判為癌細胞和把癌細胞誤判為正常細胞的代價也是不一樣的因此，不考慮不同錯誤所帶來的不同風(fēng)險而將它們一視同仁，在很多情況下是不恰當?shù)乃^最小風(fēng)險貝葉斯決策，就是考慮各種錯誤造成損失不同時的一種最優(yōu)決策問題描述令為c個類組成的狀態(tài)空間，樣本為d維隨機向量，對隨機向量x可能采取的決策組成了決策空間

設(shè)對于實際狀態(tài)為ωj的向量x,采取決策αi所帶來的損失為λ(αi,ωj),i=1,…k,j=1,…c.λ(αi,ωj),i=1,…k,j=1,…c稱為損失函數(shù)，通常用表格給出，在應(yīng)用中需要根據(jù)問題的背景知識確定。最小風(fēng)險貝葉斯決策對于某個樣本x，它屬于各個狀態(tài)的后驗概率是對它采取決策的期望損失是設(shè)有某一個決策規(guī)則，它對所有可能樣本x采取決策所造成的期望損失是最小風(fēng)險貝葉斯決策的決策規(guī)則最小風(fēng)險貝葉斯決策的決策規(guī)則即是最小化期望風(fēng)險R(α)。由于R(α(x)|x)和p(x)都是非負的，且p(x)是已知的，因此要使R(α)最小，就要對所有x使R(α(x)|x)最小，因此，最小風(fēng)險貝葉斯決策就是：若則決策步驟利用貝葉斯公式計算后驗概率利用決策表，計算條件風(fēng)險在各種風(fēng)險中選擇風(fēng)險最小的決策，即特殊情形在樣本和決策都是兩類的情形下，最小風(fēng)險貝葉斯決策為：其中，顯然，當時，最小風(fēng)險貝葉斯決策就變?yōu)樽钚″e誤率貝葉斯決策。幾種等價形式?jīng)Q策例子決策狀態(tài)ω1ω2α106α210在前面例子的基礎(chǔ)上，利用下面的決策表，按最小風(fēng)險貝葉斯決策重新進行分類決策。P(ω1)=0.9，P(ω2)=0.1,未知細胞x滿足P(x|ω1)=0.2，

P(x|ω2)=0.4。決策例子解：已計算出的后驗概率為條件風(fēng)險由于，決策為ω2，即判別待識別細胞為異常細胞。分析同樣的數(shù)據(jù)，因為對兩類錯誤帶來的風(fēng)險的認識不同，得出了與前面相反的結(jié)論。由于決策表是人為確定的，決策表的不同會導(dǎo)致決策結(jié)果的不同，因此，在實際應(yīng)用中，需要認真分析所研究問題的內(nèi)在特點和分類的目的，與應(yīng)用領(lǐng)域的專家共同設(shè)計出適當?shù)臎Q策表，才能做出更有效的決策。2.3正態(tài)分布時的統(tǒng)計決策正態(tài)分布概率密度函數(shù)的定義及性質(zhì)多元正態(tài)概型下的最小錯誤率貝葉斯判別函數(shù)和決策面

正態(tài)分布的重要性正態(tài)分布是所有分布中最受關(guān)注的分布數(shù)學(xué)上易于分析物理上的合理性：適合于給定類別ωi的特征x是某個單值向量μi的隨機擾動的情形（根據(jù)中心極限定理，大量微小的，獨立的隨機擾動加和的累積效應(yīng)會導(dǎo)致高斯分布）很多模式（比如魚，手寫字符，語音等）都可以看成一個理想模式被大量隨機過程所擾動的結(jié)果，因此正態(tài)分布是描述實際概率分布的理想模型2.3.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)㈠單變量正態(tài)分布

●單變量正態(tài)分布概率密度函數(shù)定義為正態(tài)分布的重要性質(zhì)正態(tài)分布可以由均值μ和方差σ完全確定正態(tài)分布與熵之間有著深刻的聯(lián)系，熵度量的是從一個分布中隨機抽取樣本時的不確定性可以證明，在給定均值和方差的前提下，正態(tài)分布的熵是最大的㈡多元正態(tài)分布⒈多元正態(tài)分布的概率密度函數(shù)

●協(xié)方差的各分量為：●協(xié)方差矩陣總是非負定陣?！駥τ谌我怆S機向量x，xT∑x是∑的二次型。如果對x≠0的一切x

有

xT∑x≥0都成立，則稱∑為非負定陣?！袢魓T∑x>0，則∑為正定陣。●對于正定矩陣，各階主子式非零（包括|∑|≠0）。2.多元正態(tài)分布的性質(zhì)⑴參數(shù)μ和∑對分布的決定性⑵等密度點的軌跡為一超橢球面⑶不相關(guān)性等價于獨立性⑷邊緣分布和條件分布的正態(tài)性⑸線性變換的正態(tài)性⑹線性組合的正態(tài)性⑴參數(shù)μ和∑對分布的決定性多元正態(tài)分布被均值向量μ和協(xié)方差矩陣∑所完全確定。均值向量μ由d個分量組成;協(xié)方差矩陣∑由于其對稱性故其獨立元素有p(x)~N(μ,∑)多元正態(tài)分布概率密度函數(shù)常記為⑵等密度點的軌跡為一超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和∑所確定的一個區(qū)域里。下圖給出了從一個以均值μ為中心的二維高斯分布中取出的樣本。橢圓顯示了等概率密度的高斯分布軌跡?！霎斨笖?shù)項為常數(shù)時，密度p(x)值不變，因此等密度點應(yīng)是此式的指數(shù)項為常數(shù)的點，即應(yīng)滿足■可以

證明上式的解是一個超橢球面，且它的主軸方向由∑陣的特征向量所決定，主軸的長度與相應(yīng)的協(xié)方差矩陣∑的本征值成正比。在數(shù)理統(tǒng)計中上式所表示的數(shù)量：為x到μ的Mahalanobis距離的平方。所以等密度點軌跡是x到μ的Mahalanobis距離為常數(shù)的超橢球面。這個超橢球體大小是樣本對于均值向量的離散度度量?？梢宰C明對應(yīng)于Mahalanobis距離為超橢球的體積是其中Vd是d維單位超球體的體積。⑶不相關(guān)性等價于獨立性不相關(guān)與獨立的定義：若E{xi

xj}=E{xi}·E{xj}則定義隨機變量xi和xj是不相關(guān)的。若p(xi,xj)=

p(xi)p(xj)則定義隨機變量xi和xj是獨立的。

■一般情況下相關(guān)與獨立的關(guān)系獨立性是比不相關(guān)性更強的條件，獨立性要求

p(xi,xj)=p(xi)p(xj)對于xi和xj都成立。不相關(guān)性是兩個隨機變量的積的期望等于兩個隨機變量的期望的積，它反映了xi與xj總體的性質(zhì)。若xi和xj相互獨立，則它們之間一定不相關(guān)；反之則不一定成立?！龆嘣龖B(tài)分布情況對多元正態(tài)分布的任意兩個分量xi和xj而言，若xi與xj互不相關(guān)，則它們之間一定獨立。在正態(tài)分布中不相關(guān)性等價于獨立性。（證明見清華模式識別第二版P27)推論:如果多元正態(tài)隨機向量的協(xié)方差陣是對角陣，則x的分量是相互獨立的正態(tài)分布隨機變量。⑷邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布。二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為根據(jù)邊緣分布定義其中由于所以x1的邊緣分布

就是說邊緣分布p(x1)服從以均值為方差為的正態(tài)分布。

同理可以推出x2的邊緣分布為對于給定x1的條件下x2的分布，有定義p(x2|x1)=p(x1,x2)/p(x1)同理可以寫出給定x2條件下x1的分布:⑸線性變換的正態(tài)性若對x用線性變換矩陣A(A是非奇異(|A|≠0)的)作線性變換，y

=Ax則y服從以均值向量為Aμ，協(xié)方差矩陣為A∑AT的多元正態(tài)分布。即p(y)~N(Aμ，A∑AT)⑹線性組合的正態(tài)性若x為多元正態(tài)隨機向量，則線性組合是一維的正態(tài)隨機變量，且y服從：其中是與x同維的向量。根據(jù)最小錯誤率貝葉斯判別函數(shù)，在多元正態(tài)概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即寫出其相應(yīng)的表達式。判別函數(shù)為:●決策面方程為:

即

2.3.2多元正態(tài)概型下的最小錯誤率貝葉斯判別函數(shù)和決策面(1)

這種情況中每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征間相互獨立，具有相等的方差。下面再分二種情況討論。⒈先驗概率P(ωi)與P(ωj)不相等㈠第一種情況代入（1），得到：

由于上式中的第二、三項與類別i無關(guān)，故可忽略，并將gi(x)簡化為為x到類ωi的均值向量μi的歐氏距離的平方。i=1，…，c其中，⒉先驗概率P(ωi)=P(ωj)時的情況這種分類器稱為最小距離分類器。忽略與i無關(guān)的xTx，則判別函數(shù)為:

wi0為第i個方向的閾值或偏置。若要對觀察x進行分類，只要計算x到各類均值μi的歐氏距離平方，然后把x歸于具有的類。判別函數(shù)gi(x)是x的線性函數(shù)。判別函數(shù)為線性函數(shù)的分類器稱為線性分類器(linearmachine)。所確定的一個超平面。線性分類器的決策面是由線性方程若：則決策x∈ωk。在∑i=σ2I

下，這個方程可改寫為wT(x－x0)=0w=μi－μj

其中滿足wT(x－x0)=0式的x的軌跡為ωi與ωj類間的決策面，它是一個超平面當P(ωi)=P(ωj)時，超平面通過μi與μj連線中點并與連線正交，如圖所示。當P(ωi)不等于

P(ωj)時，如圖所示。如果σ2遠小于||μi-μj||2，則決策面的位置對先驗概率不敏感。㈡第二種情況∑i=∑由∑i=∑2=…=∑c=∑，即∑與i無關(guān)，所以，其判別函數(shù)（1）可簡化為若c類先驗概率都相等則判別函數(shù)可進一步簡化為這時其決策規(guī)則為：為了對觀察x進行分類，只要計算出x到每類的均值點μi的Mahalanobis距離平方，最后把x歸于最小的類別。（2）（1）將（2）式展開，忽略與i無關(guān)的xT∑-1x項，則判別函數(shù)可寫成下面的形式

其中，

wi=∑-1μi

（3）（2）由式（3）可見：它也是x的線性判別函數(shù)，因此決策面仍是一個超平面。如果決策域Ri和Rj相鄰，則決策面方程應(yīng)滿足：

gi(x)－gj(x)=0即wT(x―x0)=0

其中w=∑-1(μi－μj)若各類的先驗概率相等，則此時x0點為μi與μj連線的中點，根據(jù)前面的討論，決策面應(yīng)通過這一點，如圖2.12所示。

若先驗概率不相等，x0就不在μi與μj連線的中點上，而是在連線上向先驗率小的均值點偏移。一般來說，w與μi-μj方向不同，因此決策面不垂直于μi與μj的連線。㈢一般情況—∑i≠∑j各類的協(xié)方差陣不相等，則(d×d矩陣)

(d維列向量)其中：判別函數(shù)gi(x)表示為x的二次型。若決策域Ri與Rj相鄰，則決策面應(yīng)滿足

gi(x)－gj(x)=0即xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0由上式所決定的決策面為超二次曲面，隨著∑i，μi，P(ωi)的不同而呈現(xiàn)為某種超二次曲面，如超球面、超橢球面、超拋物面、超雙曲面或超平面。ASMS3000決策分析平臺

1、決策分析平臺的重要性2、訂票、出票、送票統(tǒng)計3、銷售數(shù)據(jù)分析、坐席工作效率分析與航線銷售對比分析的查看與統(tǒng)計4、盈利分析5、員工業(yè)績統(tǒng)計分