2012計算智能-7.BP理論基礎(chǔ)-梯度下降法.ppt

1、梯度下降法,梯度下降法,又稱最速下降法。1847年由著名的數(shù)學(xué)家柯西Cauchy給出。,基本思想,假設(shè)我們爬山，如果想最快的上到山頂，那么我們應(yīng)該從山勢最陡的地方上山。也就是山勢變化最快的地方上山,同樣，如果從任意一點(diǎn)出發(fā)，需要最快搜索到函數(shù)最大值，那么我們也應(yīng)該從函數(shù)變化最快的方向搜索。,函數(shù)變化最快的方向是什么呢？,如果函數(shù)為一元函數(shù)，梯度就是該函數(shù)的導(dǎo)數(shù),函數(shù)的梯度。,梯度下降法,如果為二元函數(shù)，梯度定義為：,如果需要找的是函數(shù)極小點(diǎn)，那么應(yīng)該從負(fù)梯度的方向?qū)ふ?，該方法稱之為梯度下降法。,要搜索極小值C點(diǎn)，在A點(diǎn)必須向x增加方向搜索，此時與A點(diǎn)梯度方向相反；在B點(diǎn)必須向x減小方向搜索，此

2、時與B點(diǎn)梯度方向相反。總之，搜索極小值，必須向負(fù)梯度方向搜索。,梯度下降法-步驟,假設(shè)函數(shù) 只有一個極小點(diǎn)。 初始給定參數(shù)為 。從這個點(diǎn)如何搜索才能找到原函數(shù)的極小值點(diǎn)？,方法：,1. 首先設(shè)定一個較小的正數(shù)，;,2. 求當(dāng)前位置處的各個偏導(dǎo)數(shù)：,3. 修改當(dāng)前函數(shù)的參數(shù)值，公式如下：,4. 如果參數(shù)變化量小于，退出；否則返回2。,梯度下降法,例1 任給一個初始出發(fā)點(diǎn)，設(shè)為x0=-4，利用梯度下降法求函數(shù)y=x2/2-2x的極小值。,(1) 首先給定兩個參數(shù)：,(2) 計算導(dǎo)數(shù)：,(3) 計算當(dāng)前導(dǎo)數(shù)值：,(4) 修改當(dāng)前參數(shù)：,(5) 計算當(dāng)前導(dǎo)數(shù)值：,(6) 修改當(dāng)前參數(shù)：,梯度下降法,(7) 計算當(dāng)前導(dǎo)數(shù)值：,(8) 修改當(dāng)前參數(shù)：,(9) 計算當(dāng)前導(dǎo)數(shù)值：,(10) 修改當(dāng)前參數(shù)：,(11)此時變化量滿足終止條件，終止。,梯度下降法,梯度下降法，要求E的極小點(diǎn),取,梯度下降法,為學(xué)習(xí)率,所以,而其中的,且,所以,梯度下降法,且,所以：,令,梯度下降法,(1) 假設(shè)，oj為輸出層神經(jīng)元輸出,由于,梯度下降法,如果函數(shù)f為sigmoid函數(shù),此時，權(quán)值的調(diào)整公式為：,所以:,梯度下降法,(2) 假設(shè)，oj為隱含層神經(jīng)元輸出