淺談梯度下降法

1、淺談梯度下降法前些時(shí)間接觸了機(jī)器學(xué)習(xí)，發(fā)現(xiàn)梯度下降法是機(jī)器學(xué)習(xí)里比較基礎(chǔ)又比較重要的一個(gè)求最小值的算法。梯度下降算法過(guò)程如下：1）隨機(jī)初始值a；02）迭代a二a+ask，直至收斂。sk表示在a處的負(fù)梯度方向，表示k+1kkkk學(xué)習(xí)率。在這里，簡(jiǎn)單談一下自己對(duì)梯度下降法的理解。首先，要明確梯度是一個(gè)向量，是一個(gè)n元函數(shù)f關(guān)于n個(gè)變量的偏導(dǎo)數(shù)，比如三元函數(shù)f的梯度為（fx，fy，fz），二元函數(shù)f的梯度為fx，fy），一元函數(shù)f的梯度為fx然后要明白梯度的方向是函數(shù)f增長(zhǎng)最快的方向，梯度的反方向是f降低最x?？斓姆较?。我們以一元函數(shù)為例，介紹一下梯度下降法。設(shè)f（x）=（x-1）2+1/2，上圖給

2、出了函數(shù)f的圖像和初始值X。，我們希望求得函姒的最小值，因?yàn)檠刎?fù)梯度方向移動(dòng)一小步后,，值降低，故只需X。沿著負(fù)梯度方向移動(dòng)一小步即可。而f在點(diǎn)x0的導(dǎo)數(shù)大于0，從而f在點(diǎn)x0的梯度方向?yàn)檎刺荻确较驗(yàn)閒x0），故由梯度下降法可知，下一個(gè)迭代值x二x+-(-f(x)，也就是說(shuō)x0向左移10000動(dòng)一小步到了X，同理在X1點(diǎn)的導(dǎo)數(shù)同樣大于零，下一次迭代X1向左移動(dòng)一小步到達(dá)x2,一直進(jìn)行下去，只要每次移動(dòng)的步數(shù)不是很大，我們就可以得到收斂1的解X。上述證實(shí)了我們對(duì)分析(藍(lán)色傾斜字體)的驗(yàn)證。同樣，如果處置選在了最小值的左邊，即如圖所示：%僅由于fx0)vO，所以梯度方向?yàn)樨?fù)，負(fù)梯度方向?yàn)檎?，?/p>

3、需將x0沿負(fù)梯度方向移動(dòng)一小步，即向右移動(dòng)一小步，這樣使得f值更小一些。或用梯度下降法迭代公式x二x+-(-f(x)，依次我們可以得到如圖所示的X1,X2,.,Xk,.，直到收斂k+1kkk12k至最小值。對(duì)于二元函數(shù)，我們也可以通過(guò)實(shí)例驗(yàn)證梯度下降法的合理性：在每次得到一個(gè)點(diǎn)(x,y)時(shí)，我們需要計(jì)算(f(x),f(y)，這個(gè)方向表示kkxkyk梯度f(wàn)增長(zhǎng)最快的方向，-(f(x),f(y)表示梯度下降最快的方向，故只需將xkyk(x,y)沿著-(f(x),f(y)這個(gè)方向移動(dòng)一小步，就可以減少f的值，直至收斂kkxkyk到最小值，如上圖所示。談幾點(diǎn)梯度下降法需要注意的地方，也是自己對(duì)梯度下降

4、法的理解：1)梯度下降不一定可以收斂到最小值。梯度下降法是收斂到局部最小值，不一定可以收斂到全局最小值。比如：我們初始值選擇了如圖的x，由于f在點(diǎn)x的導(dǎo)數(shù)大于0，梯度方向向00右，負(fù)梯度方向向左，從而x向左移動(dòng)，逐漸收斂到了局部最小值，而不能0收斂到全局最小值。學(xué)習(xí)率的大小要適中。學(xué)習(xí)率太小，每次移動(dòng)步長(zhǎng)太小，收斂太慢，這個(gè)比較容易理解。學(xué)習(xí)率太大，每次移動(dòng)步長(zhǎng)大，可能導(dǎo)致不收斂，這里用一個(gè)圖來(lái)表示一下：由于距離最小值點(diǎn)越遠(yuǎn)，導(dǎo)數(shù)越大，從而導(dǎo)致步長(zhǎng)越來(lái)越大，不會(huì)收斂。3）不一定選擇負(fù)梯度方向，只要是值下降的方向即可。在每一次迭代選擇方向時(shí)，我們只要選擇與梯度方向夾角小于90度的向量的反方向就可，不一定要選擇負(fù)梯度方向。但由于，滿(mǎn)足這樣條件的向量不太容易求出，我們就選擇了與梯度方向0度的向量的反方向（負(fù)梯度方向），而且這個(gè)方向函數(shù)值減少的更快，更快的收斂，故是個(gè)不錯(cuò)的選擇。4）求最大值的梯度上升法。f的梯度方向是f的值增長(zhǎng)最快的方向。我們每次沿負(fù)梯度方向移動(dòng)一小步可以逐步收斂到局部最大值，因此我們每次沿梯度方向也可以得到函數(shù)f的局部最大值。迭代公式為：a=a+a