最小風(fēng)險的Bayes決策(ppt 48頁).ppt

1 最小風(fēng)險的Bayes決策 讓錯誤率最小的Bayes決策是重要的但 錯誤率最小的Bayes決策是否最佳 正常細(xì)胞誤判為癌細(xì)胞癌細(xì)胞誤判為正常細(xì)胞不同性質(zhì)的錯誤會引起不同程度的損失 后果 評價決策的優(yōu)劣 總損失比總錯誤率更恰當(dāng) 最小風(fēng)險的Bayes決策就是把各種分類錯誤而引起的損失考慮進(jìn)去的Bayes決策法則 2 風(fēng)險的表示 例 病理切片X 要確定其中有沒有癌細(xì)胞 用 1表示正常 2表示異常 P 1 X 與P 2 X 分別表示了兩種可能性的大小若X為正常細(xì)胞 判斷為 2 損失為 21若X為癌細(xì)胞 判斷為 1 損失為 12X判斷為 1 其風(fēng)險R1 X 12P 2 X X判斷為 2 其風(fēng)險R2 X 21P 1 X 損失和誤判概率的加權(quán)和可以有效的表示決策風(fēng)險 3 決策空間的相關(guān)符號 觀察向量 狀態(tài)空間 決策空間 損失函數(shù) 期望損失 條件風(fēng)險 A 4 最小風(fēng)險的Bayes決策規(guī)則 最小風(fēng)險的Bayes決策規(guī)則 使期望損失最小的決策狀態(tài)即為最小風(fēng)險的Bayes決策 定義期望風(fēng)險 最小風(fēng)險的Bayes決策使平均風(fēng)險最小 期望風(fēng)險R反映對整個特征空間上所有的X的取值采用相應(yīng)的決策 x 所帶來的平均風(fēng)險 5 最小風(fēng)險的Bayes決策規(guī)則步驟 1 在已知P j P X j j 1 c及給出待識別的X的情況下 根據(jù)貝葉斯公式計算出后驗概率 2 利用計算出的后驗概率及決策表 計算出采取 i i 1 a的條件風(fēng)險 3 對 2 中得到的a個條件風(fēng)險值R i X i 1 a進(jìn)行比較 找出使條件風(fēng)險最小的決策 k 則 k就是最小風(fēng)險貝葉斯決策 6 例 在例1條件的基礎(chǔ)上 并且已知 11 0 11表示 1 1 的簡寫 12 6 21 1 22 0 按最小風(fēng)險貝葉斯決策進(jìn)行分類 P 1 0 9 P 2 0 1p X 1 0 2 p X 2 0 4 7 計算后驗概率 P 1 X 0 818 P 2 X 0 182 計算條件風(fēng)險 找最小的條件風(fēng)險 最小風(fēng)險的Bayes決策為 2 8 決策規(guī)則的進(jìn)一步探討 二類問題的決策規(guī)則 另一種決策規(guī)則 先驗概率的決策規(guī)則 似然比 9 最小錯誤決策和最小風(fēng)險決策 二類問題中 若 則兩種判決方式等價 多類問題中 若 則有 所有錯誤代價相同 兩種判決方式等價 0 1 損失函數(shù) 10 3 3Bayes分類器和判別函數(shù) 決策面 劃分決策域的邊界面決策面方程 決策面的數(shù)學(xué)解析形式判別函數(shù) 表達(dá)決策規(guī)則的函數(shù) 維特征空間 個決策域 分類器設(shè)計 利用決策規(guī)則對觀察向量X進(jìn)行分類 決策面方程和判別函數(shù)由相應(yīng)的決策規(guī)則所決定 11 判別函數(shù)和決策面方程 類的情況下 對應(yīng)的判別函數(shù)為 若 則屬于第類 分割它們的決策面方程應(yīng)滿足 對于多類 通常定義一組判別函數(shù) 12 最小錯誤概率決策 判別函數(shù)的不同形式 13 最小風(fēng)險決策 判別函數(shù) 判別函數(shù)不唯一 更一般地 其中為單調(diào)增函數(shù) 均可作為判別函數(shù) 14 Bayes分類器 15 決策界 同一決策規(guī)則下判別函數(shù)形式可以不同 但決策界相同 16 決策界 同一決策規(guī)則下判別函數(shù)形式可以不同 但決策界相同 17 二類分類器 18 例 有一家醫(yī)院為了研究癌癥的診斷 對一大批人作了一次普查 給每人打了試驗針 然后進(jìn)行統(tǒng)計 得到統(tǒng)計數(shù)字 1 這批人中 每1000人有5個癌癥病人 2 這批人中 每100個正常人有1人對試驗的反應(yīng)為陽性 3 這批人中 每100個癌癥病人有95人對試驗的反應(yīng)為陽性 假如正常人用表示 癌癥病人用表示 以試驗結(jié)果作為特征 特征值為陽或陰 根據(jù)統(tǒng)計數(shù)字 得到如下概率 現(xiàn)在有一某甲 試驗結(jié)果為陽性 按最小錯誤率貝葉斯決策規(guī)則 問診斷結(jié)果是什么 19 后驗概率 判決比較 判斷正常概率 20 風(fēng)險評估 假設(shè) 11 0 12 3 21 1 22 0 按最小風(fēng)險貝葉斯決策為某甲診斷 由于R1 X R2 X 即決策為 2的條件風(fēng)險小于決策為 1的條件風(fēng)險 因此診斷某甲為癌癥病人 采用最小風(fēng)險貝葉斯決策 各種損失的確定是關(guān)鍵 問題 11 0 12 2 21 1 22 0 按最小風(fēng)險貝葉斯決策的診斷又如何呢 21 分別寫出兩種情況的決策面方程 1 2 決策面方程g x 0 22 前面介紹了在一般的概率統(tǒng)計分布情況下的統(tǒng)計決策理論 這一節(jié)我們要討論最常用的正態(tài)分布情況在模式識別中 正態(tài)分布假設(shè)是對各種隨機變量使用得最普遍的假設(shè)這主要有兩方面的原因 1 正態(tài)分布在數(shù)學(xué)上比較簡便2 正態(tài)分布在物理上的合理性 正態(tài)分布的Bayes決策法則 23 數(shù)學(xué)上簡便性正態(tài)分布是數(shù)學(xué)上最簡單的一種分布 它的一些特殊情況揭示了統(tǒng)計判別方法中許多重要的性質(zhì)在模式識別技術(shù)的研究中 需要用訓(xùn)練樣本集來設(shè)計分類器 還需用測試樣本集來檢驗分類器的分類效果 并對不同的分類器的性能進(jìn)行比較用正態(tài)分布模型描述訓(xùn)練樣本集與測試樣本集在數(shù)學(xué)上實現(xiàn)起來也比較方便 24 物理上的合理性如果同一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近 遠(yuǎn)離均值處分布較少 那么一般情況下以正態(tài)分布模型近似往往是比較合理的人們也往往因數(shù)學(xué)分析復(fù)雜程度考慮而不得不采用這種模型 當(dāng)然使用時應(yīng)注意結(jié)果是否合理或關(guān)注其可接受的程度 25 單變量正態(tài)分布 單變量正態(tài)分布概率密度函數(shù)定義為 單變量正態(tài)分布概率密度函數(shù)p x 完全可由 與 2兩個參數(shù)確定 記作N 2 26 正態(tài)分布描述了一個隨機實變量在整個實數(shù)域上的分布規(guī)律因此它屬于概率密度函數(shù)類 不是我們所討論的先驗概率P j 也不是后驗概率P j X 而是p x j 正態(tài)分布的樣本主要集中分布在其均值附近 其分散程度可用標(biāo)準(zhǔn)差來衡量 愈大分散程度也越大 從正態(tài)分布的總體中抽取樣本 約有95 的樣本都落在區(qū)間內(nèi) 而且其峰值為 27 多元是指樣本以多個變量來描述 或具有多個屬性 一般用d維特征向量表示 X x1 xd T d維特征向量的正態(tài)分布用下式表示 多維 元 正態(tài)分布 其中 是X的均值向量 也是d維 E X 1 2 d T 是d d維協(xié)方差矩陣 而 1是 的逆矩陣 是 的行列式 因為參數(shù) 與 對分布具有決定性 記作p X N 28 一個向量或矩陣的期望是由其元素的期望組成的 協(xié)方差矩陣有兩個特性 是一個對稱矩陣 多維正態(tài)密度由個參數(shù)決定是正定的 主對角元素都是各分量的方差 一般情況下都是大于零的值 如果協(xié)方差矩陣中的所有非對角線元素均為零 則P X 就變成X的各分量的單變量正態(tài)密度的乘積 29 圖示為一個二維正態(tài)密度的示意圖 如果把等概率密度點畫出來 它們就是一族同心的橢圓 30 參數(shù)和對分布具有決定性 從正態(tài)總體中抽取的樣本落在一個密集區(qū)域里這個區(qū)域的中心由均值向量決定區(qū)域的形狀由協(xié)方差矩陣決定等密度點的軌跡為一超橢球面 可證明 且超橢球面的主軸方向由的特征向量決定 主軸的長度與相應(yīng)的特征值成正比 多元正態(tài)分布性質(zhì) 31 把這個超橢球的中心平移到坐標(biāo)原點 超橢球的方程變?yōu)樵O(shè)X在超橢球上 X到超橢球中心的距離為求超橢球主軸的問題是一個求條件極值的問題 構(gòu)造Lagrange函數(shù) 可得超橢球主軸的必要條件 多元正態(tài)分布性質(zhì) 32 為向量X到均值向量的Mahalanobis距離 馬哈諾比斯 馬氏距 的平方等概率密度點的軌跡是一個到均值向量的Mahalanobis距離為常數(shù)的超橢球 記 33 3 不相關(guān) 獨立 34 多元正態(tài)分布下的最小錯誤率貝葉斯決策及其判別函數(shù)和決策面 對于最小錯誤率的貝葉斯決策 其類的判別函數(shù)為 由于對數(shù)函數(shù)是單值單調(diào)遞增函數(shù) 并根據(jù)正態(tài)分布密度函數(shù)的特點 顯然式中取自然對數(shù)更便于分析 于是類的判別函數(shù)可以表示為 由于判決是比較和的大小 去掉與類別無關(guān)的項不會影響分類判別的結(jié)果 故可簡化為 35 三種不同情況的探討 1 第一種情況 各類分布的協(xié)方差矩陣相同 而且各特征統(tǒng)計獨立且有相同的方差 這時 協(xié)方差矩陣是對角陣 對角線元素均為 代入判別函數(shù) 得新判別函數(shù)為 為歐氏距離 36 如果c個類的先驗概率都相同 式中項可忽略這時最小錯誤概率的Bayes決策法則可敘述為 若要對模式X分類 只要測量出從待分類模式向量X到每一類均值向量的歐氏距離 然后把X歸到距離最近的那個均值向量所屬的類別即可如果c個類的先驗概率不相等 則表明距離的平方必須用方差規(guī)范化后減去再用以分類在實際應(yīng)用時 可以不計算歐氏距離 把展開后 可得判別函數(shù) 37 決策面由線性方程決定 即式中 該方程式確定了通過并正交于向量W的超平面 如圖所示是一個二維二類模式的例子 如果 則點就離開先驗概率大的那個類的均值向量而朝先驗概率較小的那類方向移動 決策規(guī)則為 38 此時判別函數(shù)變?yōu)?1 若各類的先驗概率相等 則也可以忽略 這時決策法則可以這樣描述 對一個模式分類 計算它與每一類均值向量間的Mahalanobis距離平方 而后把它分到與之最近的均值向量所屬的類別中去即可2 如果各類的先驗概率不同 則決策應(yīng)有利于先驗概率較大的那一類把展開 忽略無關(guān)項 判別函數(shù)變成 2 第二種情況 式中 39 1 如果各類的先驗概率相等 則這個決策面同均值向量連線的交點在連線的中點2 若各類的先驗概率不相等 則決策界面就離開先驗概率較大的那個類的均值向量而朝先驗概率較小的那類方向移動 因為線性判別函數(shù) 所以決策面仍是一個超平面 決策面仍然滿足方程 式中 40 這是一般的情況 各類的協(xié)方差矩陣是不相同的 判別函數(shù)有如下形式 式中這時決策面是超二次曲面 如果兩類和相鄰 則決策面為 3 第三種情況 任意 41 決策面式超二次曲面 隨著變化呈現(xiàn)不同的超二次曲面 超球面 超拋物面 超雙曲面等 42 離散情況的貝葉斯決策 以上幾節(jié)所討論的特征向量可以是d維特征空間中的任一點 即為連續(xù)的隨機向量 但在許多的模式識別問題中 特征向量是一個離散型隨機向量 僅可取個離散值中的一個 此時 我們?nèi)钥梢岳秘惾~斯公式計算 式中 43 1 最小錯誤率的貝葉斯決策法則仍為 如果對于一切成立 則決策 2 最小風(fēng)險的Bayes決策法則仍是 如果 則對應(yīng)的決策 可以看出 貝葉斯決策規(guī)則仍然不變 44 對于二類分類問題 通常采用下述形式的判別函數(shù) 下面考慮一個兩類模式的分類問題 設(shè)特征向量 它的各個分量是0或者1的二值特征 并且各特征相互獨立 并令 以一種特別分類模型來說明 這類模型中 對模式的每一維特征需要給出一個 是 與 否 的答案 是 表示該模式具有對應(yīng)特征 其值就為1 否則不具有對應(yīng)特征 其值就為0 45 因為模式中各特征