用導(dǎo)數(shù)優(yōu)化方法_第1頁
用導(dǎo)數(shù)優(yōu)化方法_第2頁
用導(dǎo)數(shù)優(yōu)化方法_第3頁
用導(dǎo)數(shù)優(yōu)化方法_第4頁
用導(dǎo)數(shù)優(yōu)化方法_第5頁
已閱讀5頁，還剩9頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

2011年12月1日大連海事大學(xué)

任光基于導(dǎo)數(shù)的優(yōu)化算法優(yōu)化:永恒的主題杜麗應(yīng)用系統(tǒng)與優(yōu)化的理論拿到金牌永恒的主題沒有選擇就沒有繁榮人生就是選擇(Lifeischoice),有選擇就有優(yōu)化第二部分優(yōu)化一、基本概念人類的發(fā)展過程就是優(yōu)化過程學(xué)習(xí)和工作過程也是優(yōu)化過程按優(yōu)化問題分有兩大類組合優(yōu)化函數(shù)優(yōu)化按優(yōu)化方法分為基于性能指標的導(dǎo)數(shù)不用性能指標的導(dǎo)數(shù)二、問題Q(w):Rn

R二次可微函數(shù)求：使Q(w)取得極小值的w*。QwW*迭代方法（數(shù)值法）最速下降法Q(w)---可以看作神經(jīng)網(wǎng)絡(luò)的性能指標w---為網(wǎng)絡(luò)連接權(quán)

函數(shù)f(x)在x=x0處有任意階導(dǎo)數(shù)，則f(x)在x=x0處可展開成Taylor級數(shù)多變量Q(w+△w)對△w求導(dǎo)，簡記為Q(w)，以3維空間為例Q`(w)為Q(w)變化的最大方向，長度就是變化的最大值三、基礎(chǔ)知識這個算子稱為Hamilton算子，這個矩陣稱為Hessian陣同理可推廣到n維空間

對Q(w)的二階導(dǎo)數(shù)為四、解法已知初值w和Q(w)尋求△w

使得Q(w+△w)<Q(w)解題思想從w開始，向前走一步w+△w，結(jié)果使得Q(w+△w)值降低QwW*利用Taylor級數(shù)展開，取Q(w+△w)的近似值，尋找滿足要求的

式中：一階導(dǎo)數(shù)，梯度

Gradient

二階導(dǎo)數(shù)，HessianMatrix目標是選取△w使得Q(w+△w)

min,取得極小值將Q(w)近似成二階函數(shù)選取△w使得Q(w+△w)

min,取得極小值討論（1）尋優(yōu)效率取決Q(w)的形式（2）n很大時求逆困難，這一項的實際意義是步長。（3）實際應(yīng)用中不求逆，令得到實用簡化算法：α為步長（學(xué)習(xí)率）；-▽Q（w）為方向（負梯

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論