最大可能性估計(jì)

1、關(guān)于最大可能性估計(jì)第一張，PPT共十五頁(yè)，創(chuàng)作于2022年6月上節(jié)課內(nèi)容假定知道了先驗(yàn)概率p(i)和類條件概率密度p(x|i)。這節(jié)課介紹的內(nèi)容是：在知道類條件概率密度服從某種分布的前提下，估算該分布的參數(shù)。比如在知道類條件概率密度服從正態(tài)分布的前提下，估算正態(tài)分布的參數(shù)和。 第二張，PPT共十五頁(yè)，創(chuàng)作于2022年6月一 基本原理設(shè)：有c個(gè)類別。每一個(gè)類別有一些屬于這個(gè)類別的訓(xùn)練樣例：D1,Dc。第j個(gè)類別的參數(shù)向量(比如均值，方差)表示為j。一個(gè)類別的參數(shù)向量只與屬于這個(gè)類別的訓(xùn)練樣例有關(guān)，而與其它類別的訓(xùn)練樣例無(wú)關(guān)。問(wèn)題：怎么使用每個(gè)類別的訓(xùn)練樣例Di來(lái)估算這個(gè)類別的參數(shù)向量i。第三張，

2、PPT共十五頁(yè)，創(chuàng)作于2022年6月下面分別使用每個(gè)訓(xùn)練樣例Di來(lái)估算這個(gè)類別的參數(shù)向量i。每個(gè)類別的參數(shù)向量的求解方式都是一樣的。下面就忽略i。第四張，PPT共十五頁(yè)，創(chuàng)作于2022年6月設(shè)樣例集合D里面有n個(gè)訓(xùn)練樣例，x1,xn。設(shè)這些樣例抽取的時(shí)候是獨(dú)立的，那么這么多樣例一起出現(xiàn)的概率可以寫成：因?yàn)槟壳斑@個(gè)類別的參數(shù)向量還沒(méi)有確定，所以在參數(shù)向量是的情況下，這些樣例一起出現(xiàn)的概率是： 第五張，PPT共十五頁(yè)，創(chuàng)作于2022年6月使得p(D|)取最大值的值就是最合理的值。這就轉(zhuǎn)換成了一個(gè)求極值的問(wèn)題。求p(D|)的極值點(diǎn)，等價(jià)于求它的自然對(duì)數(shù)ln p(D|)的極值點(diǎn)，等價(jià)于對(duì)ln p(D|

3、)的梯度等于0的點(diǎn)： 第六張，PPT共十五頁(yè)，創(chuàng)作于2022年6月gradf()，相當(dāng)于使用的每個(gè)分量對(duì)f()求偏導(dǎo)，然后組合成一個(gè)向量。 第七張，PPT共十五頁(yè)，創(chuàng)作于2022年6月二 求正態(tài)分布的參數(shù)假定知道當(dāng)前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)。單變量正態(tài)分布的概率密度函數(shù)：多變量正態(tài)分布的概率密度函數(shù)：第八張，PPT共十五頁(yè)，創(chuàng)作于2022年6月前面求最合理的值的公式： p(xk|) 就是正態(tài)分布的概率密度函數(shù)。因此進(jìn)行公式帶入：第九張，PPT共十五頁(yè)，創(chuàng)作于2022年6月第十張，PPT共十五頁(yè)，創(chuàng)作于2022年6月三 求正態(tài)分布的參數(shù)和假定知道當(dāng)前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)和。第十一張，PPT共十五頁(yè)，創(chuàng)作于2022年6月單變量正態(tài)分布此時(shí)=(,2)第十二張，PPT共十五頁(yè)，創(chuàng)作于2022年6月多變量正態(tài)分布此時(shí)=(, ) 第十三張，PPT共十五頁(yè)，創(chuàng)作于2022年6月四 偏差上面使用n個(gè)(有限個(gè))樣本估算出來(lái)的方差經(jīng)常會(huì)有偏差，總是發(fā)現(xiàn)估算的值小了：因此使用n個(gè)(有限個(gè))樣本估算方差的時(shí)候： 第十四張，