阻尼牛頓法定稿演示

（優(yōu)選）阻尼牛頓法定稿目前一頁\總數(shù)三十四頁\編于十四點牛頓法

1.基本原理

在第K次迭代的迭代點的鄰域內，把展開成泰勒級數(shù)的二次函數(shù)式去近似代替原目標函數(shù)，然后求出該二次函數(shù)的極小點，作為對原目標函數(shù)求優(yōu)的下一個迭代點，依此類推，通過多次重復迭代，使迭代點逐步逼近原目標函數(shù)的極小點。

目前二頁\總數(shù)三十四頁\編于十四點.釋圖：CompanyLogo目前三頁\總數(shù)三十四頁\編于十四點設目標函數(shù)是連續(xù)二階可微的，將函數(shù)在點按泰勒級數(shù)展開，并取到二次項：目前四頁\總數(shù)三十四頁\編于十四點對x求導，其極值點必滿足一階導數(shù)為零，所以，得到式中，為Hessian矩陣的逆矩陣。

目前五頁\總數(shù)三十四頁\編于十四點

在一般情況下，不一定是二次函數(shù)，因而也不可能是的極值點。但是在點附近，函數(shù)和是近似的，所以可以用點作為下一次迭代，即得

如果目標函數(shù)是正定二次函數(shù)，那么是個常矩陣，逼近式是準確的。因此由點出發(fā)只要迭代一次既可以求的極小點。

目前六頁\總數(shù)三十四頁\編于十四點

式與一維搜索公式比較，則有搜索方向，步長因子

牛頓法的迭代算式其中稱為牛頓方向。目前七頁\總數(shù)三十四頁\編于十四點2.迭代步驟一給定初始點，計算精度ε，令k=0；二計算點的梯度、及其逆矩陣。三構造搜索方向目前八頁\總數(shù)三十四頁\編于十四點

四沿方向進行一維搜索，得迭代點五收斂判斷：若，則為近似最優(yōu)點，迭代停止，輸出最優(yōu)解和終止計算。若不滿足，令k=k+1，轉第二步繼續(xù)迭代。目前九頁\總數(shù)三十四頁\編于十四點。原始牛頓法的特點

若用原始牛頓法求某二次目標函數(shù)的最優(yōu)解，則構造的逼近函數(shù)與原目標函數(shù)是完全相同的二次式，其等值線完全重合，故從任一點出發(fā)，一定可以一次達到目標函數(shù)的極小點。

因此，牛頓法是具有二次收斂性的算法。其優(yōu)點是：對于二次正定函數(shù)，迭代一次即可以得到最優(yōu)解，對于非二次函數(shù)，若函數(shù)二次性較強或迭代點已經進入最優(yōu)點的較小鄰域，則收斂速度也很快。

原始牛頓法的缺點是：由于迭代點的位置是按照極值條件確定的，并未沿函數(shù)值下降方向搜索，因此，對于非二次函數(shù)，有時會使函數(shù)值上升，即f(xk+1)>f(xk)，而使計算失敗。目前十頁\總數(shù)三十四頁\編于十四點.目前十一頁\總數(shù)三十四頁\編于十四點3.舉例用牛頓法求函數(shù)的極小值。解：(1)取初始點(2)計算牛頓方向目前十二頁\總數(shù)三十四頁\編于十四點故(3)極小值目前十三頁\總數(shù)三十四頁\編于十四點

數(shù)學分析表明，牛頓法具有很好的局部收斂性質，對二次函數(shù)來說，僅一步就達到優(yōu)化點，但對一般函數(shù)來說，在一定條件下，當初始點的選取充分接近目標函數(shù)的極小點時，有很快的收斂速度，但若初始點選取離最小點比較遠，就難保證收斂；牛頓法必須求一階、二階導數(shù)及求逆陣，這對較復雜的目標函數(shù)來說，是較困難的。目前十四頁\總數(shù)三十四頁\編于十四點目前十五頁\總數(shù)三十四頁\編于十四點阻尼牛頓法的迭代公式目前十六頁\總數(shù)三十四頁\編于十四點阻尼牛頓法的計算過程和算法框圖目前十七頁\總數(shù)三十四頁\編于十四點目前十八頁\總數(shù)三十四頁\編于十四點目前十九頁\總數(shù)三十四頁\編于十四點目前二十頁\總數(shù)三十四頁\編于十四點阻尼牛頓法計算框圖目前二十一頁\總數(shù)三十四頁\編于十四點阻尼牛頓法算例目前二十二頁\總數(shù)三十四頁\編于十四點目前二十三頁\總數(shù)三十四頁\編于十四點(3)牛頓方向目前二十四頁\總數(shù)三十四頁\編于十四點OK~目前二十五頁\總數(shù)三十四頁\編于十四點驗證算法的準確性Fminsearch（）函數(shù)作用是找出使這個目標函數(shù)最小化的x值。目前二十六頁\總數(shù)三十四頁\編于十四點目前二十七頁\總數(shù)三十四頁\編于十四點首先，注意到時，所以該問題的目標函數(shù)有極小值，梯度和Hesse矩陣如下：

梯度，Hesse陣，若取初始點，則對應的梯度，Hesse矩陣的逆此時牛頓方向不是目標函數(shù)的下降方向，牛頓迭代點對應的函數(shù)值，經過數(shù)值實驗可以看出，牛頓法不能求出目標函數(shù)的極小值。

求解二維優(yōu)化問題目前二十八頁\總數(shù)三十四頁\編于十四點另外，當沿著方向進搜索時，由于目標函數(shù)

所以線搜索的最小點仍為，無法應用阻尼牛頓法解決該問題。目前二十九頁\總數(shù)三十四頁\編于十四點

求目標函數(shù)極小點，初值

此時Hesse矩陣奇異，故無法求出它的逆陣，阻尼牛頓法到此不能繼續(xù)進行。目前三十頁\總數(shù)三十四頁\編于十四點（阻尼）牛頓法的困難應用牛頓法的主要困難是Hesse矩陣可能奇異，或者接近奇異；即使該矩陣是可逆的，它也未必是正定矩陣。此時，導出的牛頓法迭代格式的二次函數(shù)不一定有極小點，甚至沒有駐點。為了保證近似目標函數(shù)的二次函數(shù)是嚴格凸的，存在極小點，就需要對二次函數(shù)的Hesse矩陣進行修正。修正牛頓法的基本思想是：在確定搜索方向時，對Hesse矩陣增加一個校正矩陣，使之正定，這樣可以保證搜索方向是目標函數(shù)的下降方向。目前三十一頁\總數(shù)三十四頁\編于十四點簡介幾種修正方法目前三十二頁\總數(shù)三十四頁\編于十四點牛頓法的效能特點目前三十三頁\總數(shù)三十四頁\編于十四點缺點：