給新老師第三天l bfgs_第1頁
給新老師第三天l bfgs_第2頁
給新老師第三天l bfgs_第3頁
給新老師第三天l bfgs_第4頁
給新老師第三天l bfgs_第5頁
免費預覽已結束，剩余9頁可下載查看

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領

文檔簡介

1、LBFGS算法講解RanskiLBGSL limited memoryBFGS > 一種擬算法optimization algorithms法解決函數(shù)求根問題根問題的迭代公式 f(x)函數(shù)在x1 點的導數(shù): 是該函數(shù)在x1點切線的斜率y/xf(x1) = f(x1)/(x1x2)= f(x1)/f(x1)x1x2得出x2 = x1 f(x1)/f(x1)當?shù)趉 次迭代時:xk = xk1 f(xk1)/f(xk1)求根的流程1. 已知函數(shù)f(x) 的情況下隨機產(chǎn)生x02. 由已知的x0 按照xk = xk1 f(xk1)/f(xk1) 公式進行k次迭代3. 當?shù)Y果xk 與上一次迭代結

2、果xk1 相同或小于一定閾值時本次的結果即為函數(shù)f(x)的根利用函數(shù)的駐點當函數(shù)f(x) 的一階導數(shù)f(x) = 0 時點(x,f(x)為函數(shù)f(x)的駐點求某函數(shù)的駐點即為求該函進行求解對于f(x) 函數(shù)來說迭代公式的導函數(shù)的根,同樣可以利用xk = xk1 f(xk1)/f(xk1)求點的本質任意函數(shù)在xk點附近的展開公式為:該公式表達的函數(shù)于原函數(shù)的最的幾何意義為: 通過2次函數(shù)對當時,結果依然是xk = xk1 f(xk1)/f(xk1)對于多元函數(shù)一階導數(shù)f(x) à 梯度導數(shù)f(x) à Hessian多元函數(shù)下的牛頓法求極值迭代問題: H矩陣維度超大求逆矩陣非常怎么辦?怎么辦!BFGS 算法一種通過迭代逼近的擬算法逼近方法:其中:回到迭代公式:BFGS 指的是在迭代過程中,使用DK 矩陣代替Hk矩陣的逆矩陣進迭代,一D矩陣D0 為矩陣,隨著迭代次數(shù)增多, 公式中的Dk矩陣矩陣越來越趨近于真正的H塊矩陣初次迭代時由于使用矩陣替代矩陣, 等價于梯度下降算法, 所以BFGS算法是一種隨著迭代由梯 下降法逐步過渡到的算法LBFGS算法對于傳統(tǒng)的BFGS算法, 每次運都需要Dk矩陣LBFGS算法: 對于BFGS算法的近似回到D0 已知, 只需要知道S0 SK Y0 YK 就可以一步步算出dk+1只保留最后M組向量, 只

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論