機(jī)器學(xué)習(xí)之極大似然估計(jì)

1、 /4機(jī)器學(xué)習(xí)之極大似然估計(jì)本文主要講解什么情況下會(huì)用到極大似然估計(jì)，極大似然估計(jì)是什么，以及怎么用。首先我們來回答學(xué)習(xí)極大似然估計(jì)的作用是什么。在機(jī)器學(xué)習(xí)中，我們經(jīng)常說訓(xùn)練模型，那什么是訓(xùn)練模式呢？簡(jiǎn)單的說，我們根據(jù)已知的事件來猜測(cè)模型，然后在通過模型來預(yù)測(cè)未知事情的發(fā)生。這個(gè)猜測(cè)模型的過程就是對(duì)模型的訓(xùn)練。那么問題又來了，猜測(cè)的是什么呢？比如我們知道樣本是符合某個(gè)分布的（高斯分布，伯努利分布，多項(xiàng)式分布等），我們知道這些分布是定義在少量參數(shù)情況下的（如均值，方差等），那么我們只要猜測(cè)出這些參數(shù)就可以知道整個(gè)數(shù)據(jù)的分布情況了，進(jìn)而可以對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)。這就可以回答前面的問題，我們可以用極大

2、似然估計(jì)方法來計(jì)算參數(shù)，生成模型。Ps:哪些事先不知道統(tǒng)計(jì)分布的情況，不在本次分享中，后面會(huì)繼續(xù)分享極大似然估計(jì)前面說了可以用極大似然法估計(jì)參數(shù)，那么似然估計(jì)是什么呢？為什么可以用來估計(jì)參數(shù)呢？白話解釋似然函數(shù)：似然函數(shù)就是在已知事件的情況下，參數(shù)是&的概率。如果我們能求到e讓概率最大化，那么這個(gè)e就是符合訓(xùn)練數(shù)據(jù)集的參數(shù)。下面看下具體公式：其中x是我們的樣本數(shù)據(jù)，e是我們要計(jì)算的值。L(0|X)=p(x,e)p(x)，因?yàn)镻(X)是已知發(fā)生的事件，所以p(x)=l;所L(e|x)=p(x,e)即，似然函數(shù)等于給定參數(shù)后，變量X發(fā)生的概率。如果在不明白，我們?cè)谂e一個(gè)例子：用二項(xiàng)式分布投硬幣來舉

3、例，如果我們投兩次硬幣，一次向上H次向下Hl,那么X=(H,H1);頭向上的概率設(shè)置為e么L=0.3*0.7=0.21,意思是投兩次硬幣，一次向上一次向下，并且向上概率是0.3的概率是0.21；如果我們?cè)O(shè)置e=0.8呢，L=0.8*0.2=0.16,可以看到值在L(e|X)=P(H|e)*P(H111-0)，如果我們?cè)O(shè)置e=0.3，那圖2一上一下概率分布從圖二可以看出，如果數(shù)據(jù)是一上一下的話，那么恰好在正面向上概率為0.5時(shí)，似然值最大；讓似然值最大時(shí)，這個(gè)e是最能符合這個(gè)數(shù)據(jù)分布情況的;在看下如果是兩次都向上的話，似然值在e多大時(shí)，能達(dá)到最大呢？?jī)纱蜗蛏?，那么向上的概率e=i的時(shí)候似然值最大

4、；這個(gè)是符合預(yù)期的，如果是投放無數(shù)次，都是向上的，那么就可以認(rèn)為投硬幣向上的概率為1了。對(duì)數(shù)似然前面說了離散型分布的最大似然怎么求，如果是指數(shù)類型的分布，求最大似然就需要用到對(duì)數(shù)似然來優(yōu)化求解。因?yàn)槲覀冊(cè)谇笞畲笾禃r(shí)，一般都用求偏導(dǎo)等于0來求最大值。如果有指數(shù)的情況，不是很好求，所以就把指數(shù)求log后，在求導(dǎo)，來求極值。-先幫大家回憶下對(duì)數(shù)求導(dǎo)；1log以a為底x的對(duì)數(shù)求導(dǎo)：(log/)二一，如果是以e為底，那么結(jié)果axlna為1/x。伯努利分布伯努利分布中，事件要么發(fā)生，要么不發(fā)生；前面舉例的投硬幣就伯努利分布。伯努利分布：p(x)=px*(1-p)1-x其中X是發(fā)生的事件，x=1或者0，代表發(fā)生或者不發(fā)生。p的似然值L(p)=iognp*(i卩)1*=xtlogp+(N-Zxt)log(1p)對(duì)P求導(dǎo)Qxt/p+(N-%t)/(l-p)=0所以P=Yxt/N;翻譯一下上面這個(gè)公式的意義：當(dāng)總事件發(fā)生的次數(shù)為N次，x發(fā)生的次數(shù)為M次時(shí)，M發(fā)生的概率為M/N時(shí)，似然函數(shù)的值最大。高斯分布(正態(tài)分布)服從分布N(m,)的高斯分布公式如下:求log過程：L(p)=logp(x)=Y(log(2兀)-1/2+logo-1(x“)2/2/2)=NNloga2(%小2/2g22lo