機(jī)器學(xué)習(xí)中的參數(shù)估計(jì)方法

Bayesianestimation。課后，又查了一些相關(guān)資料，以及老師推薦的LDA方面的論文《Parameterestimationfortextanalysis》。本文主要介紹文本分析的三類參數(shù)估計(jì)方法-最大似然估計(jì)MLE、最大后驗(yàn)概率估計(jì)MAP及貝葉斯估計(jì)，以及三者之間的區(qū)別。首先回顧一下貝葉斯公式即最大似然估計(jì)就是要用似然函數(shù)取到最大值時(shí)的參數(shù)值作為估計(jì)值，似然函數(shù)可以寫做這是一個(gè)關(guān)于的函數(shù)，求解這個(gè)優(yōu)化問題通常對(duì)求導(dǎo)，得到導(dǎo)數(shù)為0的極值點(diǎn)。該函數(shù)取得最大值是對(duì)應(yīng)的的取值就是我們估計(jì)的模型參數(shù)。發(fā)生的概率，不妨設(shè)為是得到正面的概率。為了估計(jì)P，采用最大似然估計(jì)，似然函數(shù)可以其中其中n表示實(shí)驗(yàn)結(jié)果為i的次數(shù)。下面求似然函數(shù)的極值點(diǎn)，有得到參數(shù)p的最大似然估計(jì)值為可以看出二項(xiàng)分布中每次事件發(fā)的概率p就等于做N次獨(dú)立重復(fù)隨機(jī)試驗(yàn)中事件發(fā)生的概率。那么根據(jù)最大似然估計(jì)得到參數(shù)值p為12/20=0.6。2、最大后驗(yàn)估計(jì)MAP注意這里P（X）與參數(shù)無關(guān)，因此等價(jià)于要使分子最大。與最大似然估計(jì)相比，現(xiàn)在需要這個(gè)概率在0.5處取得最大值，這個(gè)分布就是先驗(yàn)分布。先驗(yàn)分布的參數(shù)我們稱為超參數(shù)(hyperparameter)即Beta分布的隨機(jī)變量范圍是[0,1],所以可以生成normalisedprobabilityvalues。下圖給出了不同參數(shù)情況下的Beta分布的概率密度函數(shù)我們?nèi)ˇ?β=5,這樣先驗(yàn)分布在0.5處取得最大值，現(xiàn)在我們來求解MAP估計(jì)函數(shù)的極值點(diǎn)，同樣對(duì)p求導(dǎo)數(shù)我們有得到參數(shù)得到參數(shù)p的的最大后驗(yàn)估計(jì)值為和最大似然估計(jì)的結(jié)果對(duì)比可以發(fā)現(xiàn)結(jié)果中多了這樣的pseudo-counts,這就是先驗(yàn)在起作用。并且超參數(shù)越大，為了改變先驗(yàn)分布傳遞的belief所需要的觀察值就越多，此時(shí)對(duì)應(yīng)的Beta函數(shù)越聚集，緊縮在其最大值兩側(cè)。那么根據(jù)MAP估計(jì)出來的參數(shù)p為16/28=0.571,小于最大似然估計(jì)得到的值0.6，這也顯示了“硬幣一般是兩面均勻的”這一先驗(yàn)對(duì)參數(shù)估計(jì)的影響。率分布。回顧一下貝葉斯公式現(xiàn)在不是要求后驗(yàn)概率最大，這樣就需要求,即觀察到的率分布?；仡櫼幌仑惾~斯公式現(xiàn)在不是要求后驗(yàn)概率最大，這樣就需要求,即觀察到的evidence的概率，由全概率公式展開可得那么如何用貝葉斯估計(jì)來做預(yù)測(cè)呢？如果我們想求一個(gè)新值的概率，可以由來計(jì)算。注意此時(shí)第二項(xiàng)因子在上的積分不再等于1，這就是和M我們?nèi)匀灰匀佑矌诺牟麑?shí)驗(yàn)為例來說明。和MAP中一樣，我們假設(shè)先驗(yàn)分布為Beta分注意這里用到了公式根據(jù)結(jié)果可以知道，根據(jù)貝葉斯估計(jì)，參數(shù)p服從一個(gè)新的Beta分布?；貞浺幌拢覀?yōu)閜選取的先驗(yàn)分布是Beta分布，然后以p為參數(shù)的二項(xiàng)分布用貝葉斯估計(jì)得到的后驗(yàn)概率Topic分布服從Multinomial分布，其先驗(yàn)選取共軛分布即Dirichlet分布；每個(gè)Topic下詞的分布服從Multinomial分布，其先驗(yàn)也同樣選取共軛分布即Dirichlet分布。根據(jù)Beta分布的期望和方差計(jì)算公式，我們有可以看出此時(shí)估計(jì)的p的期望和MLE，MAP中得到的估計(jì)的Beta分布，其均值和方差分別是17/30=0.567,17*13/(31*30^2)=0.0079。可以看到此時(shí)求出的p的期望比MLE和MAP得到的估計(jì)綜上所述我們可以可視化MLE,MAP和貝葉斯估計(jì)對(duì)參數(shù)的估計(jì)結(jié)果如下果也越來越接近0.5這個(gè)先驗(yàn)概率，越來越能夠反映基于樣本的真實(shí)參數(shù)情況。4.三者之間的區(qū)別參數(shù)π看做是一個(gè)固定的值，只是其取值未知。而最大似然是最簡(jiǎn)單的形式，其假定參數(shù)上的一個(gè)點(diǎn)，丟失了一些觀察到的數(shù)據(jù)χ給予的信息（這也就是經(jīng)典統(tǒng)計(jì)學(xué)派和貝葉斯學(xué)1.GregorHeinrich,Parameterestimationfortestanalysis,technicalreport計(jì)/ya