模型選擇和模型評(píng)估.ppt

1、MLE,3-1,上節(jié)課內(nèi)容總結(jié),貝葉斯的概率觀點(diǎn) 概率描述的是主觀信念的程度 可以對(duì)參數(shù)進(jìn)行概率描述，為參數(shù)生成一個(gè)概率分布 貝葉斯推理的基本步驟 先驗(yàn)分布 似然模型 計(jì)算后驗(yàn)分布 從后驗(yàn)分布中得到點(diǎn)估計(jì)和區(qū)間估計(jì) 點(diǎn)估計(jì)：后驗(yàn)均值、后驗(yàn)眾數(shù)（MAP） 后驗(yàn)區(qū)間,MLE,3-2,上節(jié)課內(nèi)容總結(jié),后驗(yàn)的仿真模擬 貝葉斯推理與MLE 例 令 為 的極大似然估計(jì)，在合適的正則條件下，后驗(yàn)均值為 貝葉斯推理的優(yōu)點(diǎn) 可以方便的結(jié)合先驗(yàn)信息 數(shù)據(jù)和先驗(yàn)同等對(duì)待 由后驗(yàn)可以同時(shí)推出點(diǎn)估計(jì)和區(qū)間估計(jì),MLE,3-3,第七章：模型選擇和模型評(píng)估,內(nèi)容： 估計(jì)選擇 （Ch13） 模型選擇 （Ch14，Ch9，統(tǒng)計(jì)

2、學(xué)習(xí)基礎(chǔ)第7章）,MLE,3-4,估計(jì)選擇,有幾個(gè)不同的估計(jì)，哪個(gè)估計(jì)更好一些？ 統(tǒng)計(jì)決策理論,MLE,3-5,損失函數(shù),損失函數(shù)：度量真值 與估計(jì) 之間的差異 損失函數(shù)舉例,平方誤差損失,絕對(duì)誤差損失,損失,0-1損失,Kullback Leibler損失,MLE,3-6,風(fēng)險(xiǎn)函數(shù),風(fēng)險(xiǎn)函數(shù)：損失的均值 一個(gè)估計(jì) 的風(fēng)險(xiǎn)是 對(duì)平方誤差損失，風(fēng)險(xiǎn)為MSE 風(fēng)險(xiǎn)是 的函數(shù) 比較不同的估計(jì)，轉(zhuǎn)化為比較不同估計(jì)的風(fēng)險(xiǎn) 但并不能清楚地回答哪個(gè)估計(jì)更好,MLE,3-7,風(fēng)險(xiǎn)比較,沒(méi)有一個(gè)估計(jì)的風(fēng)險(xiǎn)在所有的值都超過(guò)另外一個(gè),MLE,3-8,風(fēng)險(xiǎn)比較,風(fēng)險(xiǎn)函數(shù)的兩個(gè)單值概述 最大風(fēng)險(xiǎn) 貝葉斯風(fēng)險(xiǎn) 其中 為的

3、先驗(yàn)。,MLE,3-9,決策規(guī)則(Decision Rules),決策規(guī)則是估計(jì)的別名 最小化貝葉斯風(fēng)險(xiǎn)的決策規(guī)則成為貝葉斯規(guī)則或貝葉斯估計(jì)，即 為對(duì)應(yīng)先驗(yàn) f 的貝葉斯估計(jì) 其中下界是對(duì)所有的估計(jì) 計(jì)算 最小化最大風(fēng)險(xiǎn)的估計(jì)稱為最小最大規(guī)則 其中下界是對(duì)所有的估計(jì) 計(jì)算,MLE,3-10,貝葉斯估計(jì),給定一個(gè)模型（先驗(yàn)和后驗(yàn)）和損失函數(shù)，就可以找到貝葉斯規(guī)則 若 ，則貝葉斯規(guī)則為后驗(yàn)均值 若 ，則貝葉斯規(guī)則為后驗(yàn)中值 若 為0-1損失，則貝葉斯規(guī)則為后驗(yàn)眾數(shù),MLE,3-11,最小最大規(guī)則,找最小最大規(guī)則，或者證明一個(gè)估計(jì)是最小最大估計(jì)是一件很困難的事情。但還是有一個(gè)簡(jiǎn)單的方法：有些貝葉斯估

4、計(jì)（如風(fēng)險(xiǎn)為常數(shù)）是最小最大估計(jì) 令 對(duì)應(yīng)先驗(yàn) f 的貝葉斯估計(jì)： 假設(shè) 則 為最小最大估計(jì)，且f 稱為最小受歡迎先驗(yàn)( least favorable prior)。 上述結(jié)論一個(gè)簡(jiǎn)單的結(jié)果有：如果一個(gè)貝葉斯規(guī)則的風(fēng)險(xiǎn)為常數(shù) ，則它是最小最大估計(jì)。,MLE,3-12,MLE為近似最小最大估計(jì),對(duì)滿足弱正則條件的參數(shù)模型，極大似然估計(jì)近似為最小最大估計(jì)。對(duì)均方誤差損失，通常 根據(jù)Cramer-Rao 不等式，這是所有無(wú)偏估計(jì)的方差的下界。,MLE,3-13,MLE為近似最小最大估計(jì),因此對(duì)所有估計(jì) ，有 對(duì)大數(shù)N， MLE為近似最小最大估計(jì)。 因此，對(duì)大多數(shù)參數(shù)模型，當(dāng)有大量樣本時(shí)，MLE近似

5、為最小最大估計(jì)和貝葉斯估計(jì)。 Many Normal Means 情況不成立（不是大樣本）,MLE,3-14,可接受性(Admissibility),一個(gè)估計(jì)如果在所有值上都比其它估計(jì)的風(fēng)險(xiǎn)大，則該估計(jì)不是我們所希望的。如果存在一個(gè)其它的規(guī)則 ，使得 則該估計(jì) 是不可接受的。 否則， 是可接受的。,至少存在一個(gè),MLE,3-15,可接受性,可接受性是與其他表示估計(jì)好壞的方法有何關(guān)系？ 在一些正則條件下，如果 為貝葉斯規(guī)則且有有限風(fēng)險(xiǎn)，則它是可接受的。 如果 的風(fēng)險(xiǎn)為常數(shù)且是可接受的，則它是最小最大估計(jì)。,MLE,3-16,許多正態(tài)均值(Many Normal Means),Many Norma

6、l Means是一個(gè)原型問(wèn)題，與一般的非參數(shù)回歸或密度估計(jì)等價(jià)。對(duì)這個(gè)問(wèn)題，以前許多關(guān)于極大似然估計(jì)的正面的結(jié)論都不再滿足。 令 ， 表示數(shù)據(jù)， 表示未知參數(shù)， c0，這里參數(shù)的數(shù)目與觀測(cè)數(shù)據(jù)一樣多,MLE,3-17,Many Normal Means,MLE為 ，損失函數(shù)為 MLE的風(fēng)險(xiǎn)為 最小最大估計(jì)的風(fēng)險(xiǎn)近似為 ，且存在這樣一個(gè)估計(jì) 能達(dá)到該風(fēng)險(xiǎn)。也就是說(shuō)，存在風(fēng)險(xiǎn)比MLE更小的估計(jì)，因此MLE是不可接受的。在實(shí)際應(yīng)用中，風(fēng)險(xiǎn)的差值可能很重要。 因此對(duì)高維問(wèn)題或非參數(shù)問(wèn)題，MLE并不是最優(yōu)估計(jì)。另外在非參數(shù)場(chǎng)合，MLE的魯棒性也不是很好。,MLE,3-18,底線,根據(jù)這些工具，怎樣選擇估

7、計(jì)呢？ 如果一個(gè)估計(jì)是不可接受的，則該估計(jì)一定是不好的。 如果你信仰貝葉斯觀點(diǎn)，則你可以用貝葉斯規(guī)則 如果最小最大性滿足應(yīng)用要求，可以使用最小最大估計(jì)。,MLE,3-19,模型選擇,給定一個(gè)估計(jì)和風(fēng)險(xiǎn)函數(shù)，應(yīng)該選擇哪個(gè)模型/參數(shù)？,MLE,3-20,“模型”,我們說(shuō)的“模型”有時(shí)指的是模型類別 ，例如所有2個(gè)高斯的混合模型和所有3個(gè)高斯的混合模型。 有時(shí)也指在一個(gè)類別的模型中的一員，如參數(shù)的值為特定值。也就是說(shuō)，模型的類別是固定的，而考慮的是不同的參數(shù)值。 在實(shí)際應(yīng)用中，我們通常同時(shí)考慮上述兩種情況，也就是說(shuō)：,MLE,3-21,訓(xùn)練與測(cè)試,訓(xùn)練 數(shù)據(jù),目標(biāo)/類別,學(xué)習(xí),模型,測(cè)試 數(shù)據(jù),應(yīng)用

8、 模型,MLE,3-22,訓(xùn)練誤差與測(cè)試誤差,測(cè)試誤差，亦稱泛化誤差(generalization error )，是在與訓(xùn)練數(shù)據(jù)同分布的獨(dú)立的測(cè)試樣本上的期望預(yù)測(cè)誤差： 訓(xùn)練誤差是在訓(xùn)練樣本上的平均損失：,MLE,3-23,訓(xùn)練誤差與測(cè)試誤差,我們的目標(biāo)：選擇使測(cè)試誤差最小 的模型M， 稱為模型選擇。,MLE,3-24,訓(xùn)練誤差與測(cè)試誤差,選擇次優(yōu)模型：過(guò)擬合/欠擬合,MLE,3-25,訓(xùn)練誤差與測(cè)試誤差,訓(xùn)練誤差為預(yù)測(cè)風(fēng)險(xiǎn)的過(guò)小估計(jì)：,MLE,3-26,模型選擇和模型評(píng)估,為了進(jìn)行模型選擇，我們只需知道不同模型的測(cè)試誤差的相對(duì)值。漸近近似有時(shí)對(duì)比較不同模型的測(cè)試誤差很有用。 通常對(duì)誤差的真

9、值沒(méi)有很好的估計(jì)。當(dāng)樣本有限時(shí)，漸近近似通常還不能得到足夠好的估計(jì)。這種情況下我們可以采用重采樣(resampling )方法 。 當(dāng)然如過(guò)我們對(duì)測(cè)試誤差有一種很好的方法來(lái)直接估計(jì)，我們可以用它來(lái)進(jìn)行模型選擇。,MLE,3-27,訓(xùn)練誤差的樂(lè)觀性,訓(xùn)練誤差的樂(lè)觀性定義為 也就是說(shuō)， 欠估計(jì)R(M)的量取決于 yi 影響其預(yù)測(cè)的強(qiáng)度。我們?cè)诫y擬合數(shù)據(jù)，樂(lè)觀性越大。,MLE,3-28,訓(xùn)練誤差的樂(lè)觀性,通常我們有 因此，為了選擇模型，我們可以 對(duì) 進(jìn)行估計(jì)，或 以某種方式估計(jì)R(M),欠擬合程度 + 復(fù)雜性懲罰,MLE,3-29,估計(jì)樂(lè)觀性,通過(guò)各種技巧（通常是漸近性）估計(jì)樂(lè)觀性,MLE,3-30

10、,Mallows Cp統(tǒng)計(jì)量,當(dāng)取平方誤差損失，誤差模型為 ，其中誤差 的均值為0，方差為 其中 為模型中參數(shù)的數(shù)目。,MLE,3-31,Mallows Cp統(tǒng)計(jì)量,這樣，可以用Mallows Cp統(tǒng)計(jì)來(lái)估計(jì)R(M) 其中 為從一個(gè)低偏差（的復(fù)雜）估計(jì)的MSE獲得。,MLE,3-32,AIC（Akaike Information Criterion）,假設(shè)采用log似然作為損失函數(shù) 實(shí)際上我們采用的是2l(M) 如果模型為 ，則當(dāng) 時(shí)， 其中 為 的MLE， 為訓(xùn)練數(shù)據(jù)上的似然值,MLE,3-33,AIC（Akaike Information Criterion）,這導(dǎo)出R(M)的一個(gè)估計(jì)：

11、AIC（Akaike Information Criterion） 其中 為從一個(gè)低偏差（的復(fù)雜）估計(jì)的MSE獲得。 這同Mallows Cp統(tǒng)計(jì)量相同，只是適用假設(shè)范圍更寬（推廣） 但是注意：這并不是普遍滿足，如0-1損失。,MLE,3-34,貝葉斯模型選擇,假設(shè)我們有一個(gè)候選模型M，其參數(shù)空間為 ，后驗(yàn)為 為了比較兩個(gè)模型M1和M2，可以計(jì)算兩個(gè)模型的相對(duì)后驗(yàn)概率，稱為后驗(yàn)幾率（posterior odds）： 稱為貝葉斯因子 (Bayes factor)，是數(shù)據(jù)對(duì)后驗(yàn)的貢獻(xiàn),MLE,3-35,BIC (Bayesian Information Criterion),假設(shè)模型的先驗(yàn)是常量且

12、參數(shù)的先驗(yàn)平滑，我們用Laplace近似來(lái)近似計(jì)算 的積分，再加上某些簡(jiǎn)化，得到 其中 ， 為 的MLE。 這導(dǎo)出了另外一個(gè)模型選擇計(jì)分的準(zhǔn)則：貝葉斯信息準(zhǔn)則(Bayesian Information Criterion，BIC),MLE,3-36,BIC (Bayesian Information Criterion),當(dāng)取平方誤差損失，誤差模型為 ，其中誤差 的均值為0，方差為 ，有 得到 BIC(M) ，其中因子2被logN代替 AIC傾向于過(guò)擬合，而B(niǎo)IC傾向于欠擬合,MLE,3-37,BIC,AIC不是一致的，而B(niǎo)IC是一致的，也就是說(shuō)，選擇最小BIC的模型等價(jià)于選擇最大后驗(yàn)概率的模型（在漸近意義下）。事實(shí)上模型的后驗(yàn)概率為 不僅可以估計(jì)最好的模型，而且可以評(píng)估所考慮模型的相關(guān)