先驗(yàn)分布的確定ppt課件.ppt

1 2 第三章先驗(yàn)分布的確定 3 1主觀概率 3 2利用先驗(yàn)信息確定先驗(yàn)分布 3 3利用邊緣分布m x 確定先驗(yàn)密度 3 4無(wú)信息先驗(yàn)分布 3 5多層先驗(yàn) 3 一 主觀概率 1 貝葉斯學(xué)派要研究的問(wèn)題 如何用人們的經(jīng)驗(yàn)和過(guò)去的歷史資料確定概率和先驗(yàn)分布 2 經(jīng)典統(tǒng)計(jì)確定概率的兩種方法 1 古典方法 2 頻率方法 3 主觀概率的定義 一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念 3 1主觀概率 4 二 確定主觀概率的方法 1 利用對(duì)立事件的比較確定主觀概率 例3 1 2 利用專家意見(jiàn)確定主觀概率 例3 2 3 向多位專家咨詢確定主觀概率 例3 3 4 充分利用歷史資料 考慮現(xiàn)有信息加以修正 才能得到比較切合實(shí)際的主觀概率 例3 4 5 1 利用對(duì)立事件的比較確定主觀概率 6 2 利用專家意見(jiàn)確定主觀概率 7 3 向多位專家咨詢確定主觀概率 8 在座人員根據(jù)自己的經(jīng)驗(yàn)各寫了兩個(gè)數(shù) 經(jīng)理在計(jì)算了兩個(gè)平均值后 稍加修改 提出自己看法 在上述兩種情況下 本公司新產(chǎn)品暢銷率各為0 9和0 4 這是經(jīng)理在征求多位專家意見(jiàn)后所獲得的主觀概率 另?yè)?jù)本公司情報(bào)部門報(bào)告 外廠正忙于另一項(xiàng)產(chǎn)品開(kāi)發(fā) 很可能無(wú)暇顧及生產(chǎn)此新產(chǎn)品 經(jīng)理?yè)?jù)此認(rèn)為 外廠將生產(chǎn)此新產(chǎn)品的概率為0 3 不生產(chǎn)此產(chǎn)品的概率為0 7 利用上述四個(gè)主觀概率 由全概率公式可得本公司生產(chǎn)此新產(chǎn)品獲暢銷的概率為0 9 0 7 0 4 0 3 0 75 9 4 充分利用歷史資料 考慮現(xiàn)有信息加以修正 10 注意事項(xiàng) 1 不管按照什么方法確定的主觀概率必須滿足概率的三條公理 非負(fù)性公理 對(duì)任意事件A 0 P A 1 正則性公理 必然事件的概率為1 可列可加性公理 對(duì)可列個(gè)互不相容的事件A1 A2 有 2 如果發(fā)現(xiàn)所確定的主觀概率與上述三個(gè)公理及其推出的性質(zhì)相悖 必須立即修正 直到兩者一致為止 例3 5 11 12 3 2利用先驗(yàn)信息確定先驗(yàn)分布 一 直方圖法二 選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三 定分度法與變分度法 13 一 直方圖法 基本步驟 1 把參數(shù)空間分成一些小區(qū)間 2 在每個(gè)小區(qū)間上決定主觀概率或依據(jù)歷史數(shù)據(jù)確定其頻率 3 繪制頻率直方圖 4 在直方圖上作一條光滑曲線 此曲線即為先驗(yàn)分布 例3 6某藥材店記錄了吉林人參的每周銷售量 現(xiàn)要尋求每周平均銷售量 的概率分布 14 二 選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù) 該方法的要點(diǎn) 1 根據(jù)先驗(yàn)信息選定 的先驗(yàn)密度函數(shù) 的形式 如選其共軛先驗(yàn)分布 2 當(dāng)先驗(yàn)分布中含有未知參數(shù) 稱為超參數(shù) 時(shí) 譬如 給出超參數(shù) 的估計(jì)值 使 最接近先驗(yàn)信息 15 16 17 說(shuō)明 如果有兩個(gè)甚至多個(gè)先驗(yàn)分布都滿足給定的先驗(yàn)信息 則要看情況選擇 假如這兩個(gè)先驗(yàn)分布差異不大 對(duì)后驗(yàn)分布影響也不大 則可任選一個(gè) 如果我們面臨著兩個(gè)差異極大的先驗(yàn)分布可供選擇時(shí) 一定要根據(jù)實(shí)際情況慎重選擇 18 三 定分度法與變分度法 基本概念 1 定分度法 把參數(shù)可能取值的區(qū)間逐次分為長(zhǎng)度相等的小區(qū)間 每次在每個(gè)小區(qū)間上請(qǐng)專家給出主觀概率 2 變分度法 該法是把參數(shù)可能取值的區(qū)間逐次分為機(jī)會(huì)相等的兩個(gè)小區(qū)間 這里的分點(diǎn)由專家確定 例3 2 3 自學(xué) 19 3 3利用邊緣分布m x 確定先驗(yàn)密度 一 邊緣分布m x 二 混合分布三 先驗(yàn)選擇的ML II方法四 先驗(yàn)選擇的矩方法 20 一 邊緣分布m x 設(shè)總體X的密度函數(shù)為p x 它含有未知參數(shù) 若 的先驗(yàn)分布選用形式已知的密度函數(shù) 則可算得X的邊緣分布 即無(wú)條件分布 當(dāng)先驗(yàn)分布含有未知參數(shù) 譬如 那么邊緣分布m x 依賴于 可記為m x 這種邊緣分布在尋求后驗(yàn)分布時(shí)常遇到 21 22 23 二 混合分布 1 混合分布的概念 設(shè)隨機(jī)變量X以概率 在總體F1中取值 以概率1 在總體F2中取值 若F x 1 和F x 2 分別是這兩個(gè)總體的分布函數(shù) 則X的分布函數(shù)為 F x F x 1 1 F x 2 或用密度函數(shù) 或概率密度 表示 p x p x 1 1 p x 2 這個(gè)分布F x 稱為F x 1 和F x 2 的混合分布 這里的 和1 可以看作一個(gè)新隨機(jī)變量 的分布 即 P 1 1 P 2 1 2 24 2 混合樣本的概念 從混合分布中抽出的樣本稱為混合樣本 注 從混合分布F x 中抽取一個(gè)樣品x1 相當(dāng)于如下的二次抽樣 第一次 從 中抽取一個(gè)樣品 第二次 若 1 則從F x 1 中再抽一個(gè)樣品 這個(gè)樣品就是x1 若 2 則從F x 2 中再抽一個(gè)樣品 這個(gè)樣品就是x1 25 若從混合分布抽取一個(gè)容量為n的樣本x1 x2 xn 則約有n 1 個(gè)來(lái)自F x 1 約有n 2 個(gè)來(lái)自F x 2 3 實(shí)例分析 26 27 三 先驗(yàn)選擇的ML 方法 定義 設(shè)為所考慮的先驗(yàn)類 且x x1 x2 xn 是來(lái)自邊緣分布中的樣本 若存在滿足 對(duì)觀測(cè)數(shù)據(jù)x 則被稱為 型極大似然先驗(yàn) 或簡(jiǎn)稱為ML 先驗(yàn) 說(shuō)明 這里將m x 看成似然函數(shù) 28 29 30 四 先驗(yàn)選擇的矩方法 在選擇 時(shí) 可用矩方法代替極大似然方法 矩方法應(yīng)用于當(dāng) 有 已知函數(shù)形式 即可利用先驗(yàn)矩與邊緣分布矩之間的關(guān)系尋求超參數(shù)的估計(jì) 這種方法稱為先驗(yàn)選擇的矩方法 該方法的具體步驟是 1 計(jì)算總體分布p x 的期望 和方差 2 即 Ex X 2 Ex X 2Ex 表示用 給定下的條件分布p x 求期望 31 2 計(jì)算邊緣密度m x 的期望 m 和方差 其中 32 其中 代入上式得 33 3 特殊情形 當(dāng)先驗(yàn)分布中僅含二個(gè)超參數(shù)時(shí) 即 可用混合樣本 計(jì)算其樣本均值和樣本方差 即 再用樣本矩代替邊際分布的矩 列出如下方程 解此方程組 可得超參數(shù) 的估計(jì) 從而獲得先驗(yàn)分布 34 解 35 36 37 38 例3 14設(shè)總體X N 1 其中參數(shù) 的先驗(yàn)分布取共軛先驗(yàn) 試估計(jì)兩個(gè)參數(shù)的值 解 39 3 4無(wú)信息先驗(yàn)分布 一 貝葉斯假設(shè)二 位置 尺度參數(shù)族的無(wú)信息先驗(yàn)三 用Fisher信息陣確定無(wú)信息先驗(yàn) 40 一 貝葉斯假設(shè) 1 貝葉斯假設(shè)的基本含義無(wú)信息先驗(yàn)分布應(yīng)選取在 同等無(wú)知 無(wú)偏愛(ài) 取值范圍內(nèi)的均勻分布 即 這種看法被稱為貝葉斯假設(shè) 說(shuō)明 貝葉斯假設(shè)在很多情況下都是合理的 41 2 應(yīng)用貝葉斯假設(shè)時(shí)所出現(xiàn)的問(wèn)題 1 當(dāng) 的取值范圍為無(wú)限區(qū)間時(shí) 就無(wú)法在 上定義一個(gè)正常的均勻分布 定義3 1設(shè)總體X f x 若 的先驗(yàn)分布 滿足下列條件 0 且 由此決定的后驗(yàn)密度 x 是正常的密度函數(shù) 則稱 為 的廣義先驗(yàn)密度 2 貝葉斯假設(shè)不滿足變換下的不變性 42 二 位置 尺度參數(shù)族的無(wú)信息先驗(yàn) 定義 設(shè)密度函數(shù)中有兩個(gè)參數(shù) 與 且密度具有下述形式 其中f x 是一個(gè)完全確定的函數(shù) 它相應(yīng)于 0 1時(shí)的密度 稱為位置參數(shù) 稱為尺度參數(shù) 這類分布族稱為位置 尺度參數(shù)族 如正態(tài)分布 指數(shù)分布 均勻分布等都屬于這一類 特別 1時(shí)稱為位置參數(shù)族 而 0時(shí)稱為尺度參數(shù)族 43 一 位置參數(shù)的無(wú)信息先驗(yàn) 定理 位置參數(shù)族的先驗(yàn)分布可用貝葉斯假設(shè)作為無(wú)信息先驗(yàn)分布 證明 設(shè)總體X的密度具有形式p x 其樣本空間與參數(shù)空間均為實(shí)數(shù)集 對(duì)X作一個(gè)平移Y X c 則Y的密度具有形式 p y c 這相當(dāng)于對(duì)參數(shù) 作一個(gè)平移 c 即Y的密度形式為p y 它仍然是位置參數(shù)族的成員 且其樣本空間與參數(shù)空間沒(méi)有發(fā)生改變 因此 與 應(yīng)具有相同的無(wú)信息先驗(yàn)分布 即 其中 為 的無(wú)信息先驗(yàn)分布 同時(shí) 由變換 c可算得 的無(wú)信息先驗(yàn)分布為比較上述兩式就可知道 的無(wú)信息先驗(yàn)分布是常數(shù) 44 45 例3 18設(shè)x是從正態(tài)總體N 2 抽取的容量為1的樣本 其中 2已知 未知 但知其為正 試求參數(shù) 的估計(jì) 解 這是一種帶約束條件的估計(jì)問(wèn)題 用貝葉斯方法解決這類問(wèn)題比較容易 取參數(shù) 的無(wú)信息先驗(yàn)分布為 0 上的均勻分布 即 I 0 由此可得后驗(yàn)密度 若取后驗(yàn)均值作為 的估計(jì) 則 46 47 二 尺度參數(shù)的無(wú)信息先驗(yàn) 定理設(shè)總體X的密度函數(shù)具有形式 則參數(shù) 的無(wú)信息先驗(yàn)分布為 1 0證明 令Y cX c 0 同時(shí)讓參數(shù)也作同比例變化 即定義 c 不難算出Y的密度函數(shù)為仍然屬于尺度參數(shù)族 且X與Y的樣本空間相同 此時(shí) 的無(wú)信息先驗(yàn) 與 的無(wú)信息先驗(yàn) 應(yīng)相同 即 另一方面 由變換 c 可以得的無(wú)信息先驗(yàn)為 48 若令 1 1 則 1 0它還是一個(gè)非正常先驗(yàn) 比較上述兩式得 49 50 三 使用杰弗萊原則確定先驗(yàn)分布 貝葉斯假設(shè)中的一個(gè)矛盾是 如果對(duì)參數(shù)選用均勻分布 那么當(dāng)?shù)暮瘮?shù)作為參數(shù)時(shí) 也應(yīng)該選用均勻分布作為先驗(yàn)分布 然而由服從均勻分布這一前提 往往導(dǎo)出不是均勻分布 反之也一樣 杰弗萊為了克服這一矛盾提出了選取先驗(yàn)的不變?cè)?并被稱為杰弗萊原則或杰弗萊準(zhǔn)則 51 1 確定無(wú)信息先驗(yàn)的更一般方法 Jeffreys 1961 設(shè)x x1 x2 xn 是來(lái)自密度函數(shù)p x 的一個(gè)樣本 為p維參數(shù)向量 則可用費(fèi)希爾信息陣的平方根作為 的無(wú)信息先驗(yàn)分布 2 尋求分布的一般步驟 1 寫出樣本的對(duì)數(shù)似然函數(shù) 52 2 求樣本的信息陣 特別在單參數(shù)的情形 3 的無(wú)信息先驗(yàn)密度為 其中detI 表示p p階信息陣I 的行列式 53 例1設(shè)x x1 x2 xn 服從多項(xiàng)