機械優(yōu)化設計無約束方法2

機械優(yōu)化設計無約束方法演示文稿當前1頁，總共94頁。（優(yōu)選）機械優(yōu)化設計無約束方法當前2頁，總共94頁。第1章所列舉的機械優(yōu)化設計問題，都是在一定的限制條件下追求某一指標為最小，它們都屬于約束優(yōu)化問題。工程問題大都如此。

為什么要研究無約束優(yōu)化問題?(1)有些實際問題，其數(shù)學模型本身就是一個無約束優(yōu)化問題。

(2)通過熟悉它的解法可以為研究約束優(yōu)化問題打下良好的基礎。

(3)約束優(yōu)化問題的求解可以通過一系列無約束優(yōu)化方法來達到。所以無約束優(yōu)化問題的解法是優(yōu)化設計方法的基本組成部分，也是優(yōu)化方法的基礎。當前3頁，總共94頁。（4）對于多維無約束問題來說，古典極值理論中令一階導數(shù)為零，但要求二階可微，且要判斷海賽矩陣為正定才能求得極小點，這種方法有理論意義，但在實際應用中受到限制。和一維問題一樣，若多元函數(shù)F(X)不可微，亦無法求解。但古典極值理論是無約束優(yōu)化方法發(fā)展的基礎。當前4頁，總共94頁。一）無約束優(yōu)化問題描述§4-1概述

若F(X)存在一階導數(shù)，則可按照如前所述的極值條件來確定其極值點可能的位置(稱為駐點)。即求方程

的解。也就是求X，使其滿足特點：1.n個未知量n個方程的方程組，一般是非線性的2.求解該方程組與求無約束極值一樣困難，甚至更困難。當前5頁，總共94頁。二）無約束優(yōu)化問題求解概述

若用數(shù)值計算方法求解問題4-1，按照尋優(yōu)思路不同，可分為：搜索類方法和單純形類方法。1.若給定方向Sk，多維無約束優(yōu)化問題一維優(yōu)化設計問題2.若未給定方向Sk，不同搜索類無約束優(yōu)化方法的區(qū)別在于確定其搜索方向Sk的方法不同爬山類方法。搜索方向的構成問題是無約束優(yōu)化方法的關鍵

搜索類基本思想是從某一給定的初始點X0開始，沿給定的搜索方向S0進行搜索，確定步長a0使函數(shù)值沿S0下降最大(或達到給定的值)。其迭代格式如下：當前6頁，總共94頁。開始給定x0和S0以及ε，k=1最小化F(Xk+akSk)結束收斂？形成新Sk，k=k+1爬山類方法的尋優(yōu)思想當前7頁，總共94頁。步長和方向的形成和確定方法不同就派生出不同的n維無約束優(yōu)化方法，按照是否用到函數(shù)的導數(shù)三）求解方法分類1.直接法(不用導數(shù)的信息)2.間接法(用到導數(shù)的信息)坐標輪換法單形替換法鮑威爾(Powell)最速下降法共軛梯度法牛頓法當前8頁，總共94頁。§4-2最速下降法(梯度法)一）梯度方向*可取最優(yōu)步長或下降步長二）基本思想

梯度方向是目標函數(shù)上升最快的方向，負梯度方向則是最速下降方向；2）迭代公式1）沿負梯度方向搜索：三）終止判別條件當前9頁，總共94頁。為了使目標函數(shù)值沿搜索方向能夠獲得最大的下降值，其步長因子應取一維搜索的最佳步長。即有根據(jù)一元函數(shù)極值的必要條件和多元復合函數(shù)求導公式，得當前10頁，總共94頁。在最速下降法中，相鄰兩個迭代點上的函數(shù)梯度相互垂直。而搜索方向就是負梯度方向，因此相鄰兩個搜索方向互相垂直。這就是說在迭代點向函數(shù)極小點靠近的過程，走的是曲折的路線。形成“之”字形的鋸齒現(xiàn)象，而且越接近極小點鋸齒越細。

最速下降法的搜索路徑當前11頁，總共94頁。當前12頁，總共94頁。給定

X0

，εK=0，X（K）=X0K=K+1X(k)=X△X*=X（K）F*=F（X*）結束NY計算

從

出發(fā)，沿

搜索得*“最速下降性”只是迭代點鄰域的局部性質。從全局看，并非最速下降方向。四.迭代步驟當前13頁，總共94頁。特點（1）初始點可任選，每次迭代計算量小，存儲量少，程序簡短。即使從一個不好的初始點出發(fā)，開始的幾步迭代，目標函數(shù)值下降很快，然后慢慢逼近局部極小點。（2）任意相鄰兩點的搜索方向是正交的，它的迭代路徑為繞道逼近極小點。當?shù)c接近極小點時，步長變得很小，越走越慢。當前14頁，總共94頁。4.例4-1

解：沿負梯度方向進行一維搜索，有a0為一維搜索最佳步長，應滿足極值必要條件

取初始點X0=[2，2]T，則初始點處函數(shù)值及梯度分別為當前15頁，總共94頁。及第一次迭代設計點位置和函數(shù)值完成了最速下降法的第一輪迭代。經(jīng)10次迭代后，得到最優(yōu)解

從而得到一維搜索的最佳步長為當前16頁，總共94頁。

若引入變換，令

這個問題的目標函數(shù)F(X)的等值線為一簇橢圓，迭代點從X0走的是一段鋸齒形路線，如圖所示

則函數(shù)F(x1,x2)變?yōu)?/p>

其等值線就從橢圓族變?yōu)閳A族。仍從X0=[2，2]T，即Y0=[2，10]T出發(fā)進行最速下降法尋優(yōu)。此時有當前17頁，總共94頁。沿負梯度方向進行一維搜索，有a’0為一維搜索最佳步長，應滿足極值必要條件當前18頁，總共94頁。從而得出第一次迭代設計點位置和函數(shù)值可見經(jīng)過坐標變換后，只需經(jīng)1次迭代后，得到最優(yōu)解

從而得到一維搜索的最佳步長為當前19頁，總共94頁。M是f(x)的海賽矩陣最大特征值的上界當相鄰兩個迭代點之間滿足上述關系時，我們稱相應的迭代方法具有線性收斂速度的迭代法。

二次型函數(shù)的對角形矩陣刻畫了橢圓長短軸，表示度量的矩陣或者是表示尺度的矩陣。最速下降法的收斂速度和變量的尺度關系很大。最速下降法收斂速度的估計式m是f(x)的海賽矩陣最小特征值的下界當前20頁，總共94頁。5.方法評價：迭代過程簡單，對初始點的選擇，要求不高。梯度方向目標函數(shù)值下降迅速只是個局部性質，從整體來看，不一定是收斂最快的方向。以二維二次函數(shù)為例，相鄰兩次的搜索方向是正交的，所以搜索路徑是曲折的鋸齒形的；對于高維的非線性函數(shù)，接近極值點處，容易陷入穩(wěn)定的鋸齒形搜索路徑。梯度法的收斂速度與目標函數(shù)的性質密切相關。對于等值線(面)為同心圓（球）的目標函數(shù)，一次搜索即可達到極小點。當前21頁，總共94頁?！?-3牛頓法（牛頓方向）1）迭代方向：**最速下降法只利用了函數(shù)一階導數(shù)的信息，在極值點附近收斂較慢，從函數(shù)等值線特性分析可知，在極值點附近，函數(shù)具有二次函數(shù)的特性，如果利用二次導數(shù)的信息，在極值點附近進行尋優(yōu)，應該具有較快的收斂速度？一.原始牛頓法一）基本思路用目標函數(shù)的近似二次函數(shù)的極小點來近似原函數(shù)的極小點；二）原始牛頓法的迭代公式原函數(shù):近似二次函數(shù):令2）步長因子：當前22頁，總共94頁。對于二次函數(shù)，f（x）的泰勒展開式不是近似的，而是精確的。海賽矩陣是一個常矩陣，其中各元素為常數(shù)。因此，無論從任何點出發(fā)，只需一步就可找到極小點。二次收斂：若某一迭代方法能使二次函數(shù)在有限次迭代內(nèi)達到極小點。牛頓方法是二次收斂的當前23頁，總共94頁。求逆矩陣？解，設B是A的逆矩陣，根據(jù)定義得解得：b1=1,b2=-2,b3=0,b4=1,即

設A是n階方陣，如果存在n階方陣B,滿足AB=BA=E則稱A是可逆矩陣，B是A的逆矩陣。E是n階單位矩陣逆矩陣的求法：定義法；公式法(伴隨矩陣法)求矩陣的逆矩陣當前24頁，總共94頁。

例4-2

解：代入牛頓法迭代公式，得從而經(jīng)過一次迭代即求得極小點和函數(shù)值

取初始點X0=[2，2]T，則初始點處梯度，海賽矩陣及其逆陣分別為當前25頁，總共94頁。二）阻尼牛頓法*具有二次收斂性，但用到二階導數(shù)矩陣求逆仍取牛頓方向，但改用最優(yōu)步長因子，在牛頓方向上進行一維搜索，避免了迭代后函數(shù)值上升的現(xiàn)象：從牛頓法迭代公式的推演中可以看到，迭代點的位置是按照極值條件確定的，其中并未含有沿下降方向搜尋的概念。因此對于非二次函數(shù)，如果采用上述牛頓迭代公式，有時會使函數(shù)值上升?；九ｎD法的步長因子恒為1，有時會導致迭代發(fā)散而失效。1.問題的提出2.改進方法在Hk正定時可保證收斂性。當前26頁，總共94頁。K=0，X（K）=X0K=K+1NX*=X（K）F*=F（X*）結束Y3.阻尼牛頓法的迭代步驟計算計算

，由

出發(fā)，沿

方向搜索得

給定

X0

，ε當前27頁，總共94頁。方法特點（1）初始點應選在X*附近，有一定難度；（2）盡管每次迭代都不會使函數(shù)值上升，但不能保證每次下降；（3）若迭代點的海賽矩陣為奇異，則無法求逆矩陣，不能構造牛頓法方向；

（4）不僅要計算梯度，還要求海賽矩陣及其逆矩陣，計算量和存儲量大。此外，對于二階不可微的F(X)也不適用。雖然阻尼牛頓法有上述缺點，但在特定條件下它具有收斂最快的優(yōu)點，并為其他的算法提供了思路和理論依據(jù)。當前28頁，總共94頁。一般迭代式：梯度法：牛頓法：阻尼牛頓法：梯度法與牛頓法：當前29頁，總共94頁。4-3

變尺度法

DFP變尺度法首先有戴維頓（Davidon）與1959年提出，又于1963年由弗萊徹（Fletcher）和鮑維爾加以發(fā)展和完善，成為現(xiàn)代公認的較好的算法之一。

DFP法是基于牛頓法的思想又作了重要改進。這種算法僅用到梯度，不必計算海賽陣及其逆矩陣，但又能使搜索方向逐漸逼近牛頓方向，具有較快的收斂速度。

當前30頁，總共94頁。變量的尺度變換是放大或縮小各個坐標。通過尺度變換可以把函數(shù)的偏心程度降低到最低限度。尺度變換技巧能顯著地改進幾乎所有極小化方法的收斂性質。值時,需要進行10次迭代才能達到極小點

如作變換y1=x1,y2=5x2把的尺度放大5倍，則目標函數(shù)等值線由一簇橢圓變成一簇同心圓。x2例如在用最速下降法求極小當前31頁，總共94頁。消除了函數(shù)的偏心，用最速下降法只需一次迭代即可求得極小點。梯度法構造簡單，只用到一階偏導數(shù)，計算量小，初始點可任選，且開始幾次迭代，目標函數(shù)值下降很快；其主要缺點是迭代點接近X*時，即使對二次正定函數(shù)收斂也非常慢。牛頓法收斂很快，對于二次函數(shù)只需迭代一次便達到最優(yōu)點，對非二次函數(shù)也能較快迭代到最優(yōu)點，但要計算二階偏導數(shù)矩陣及其逆陣，對維數(shù)較高的優(yōu)化問題，其計算工作和存儲量都太大。能不能將兩種算法的優(yōu)點綜合起來，揚長避短？當前32頁，總共94頁。Ak

是需要構造n×n的一個對稱方陣，如Ak=I,則得到梯度法；則得到阻尼牛頓法；如當矩陣Ak

不斷地迭代而能很好地逼近

時，就可以不再需要計算二階導數(shù)。

變尺度法的關鍵在于尺度矩陣Ak的產(chǎn)生。對于二次函數(shù):當前33頁，總共94頁。進行尺度變換在新的坐標系中，函數(shù)f(x)的二次項變?yōu)椋耗康模簻p少二次項的偏心如G是正定，則總存在矩陣Q，使得：用矩陣Q-1右乘等式兩邊，得：用矩陣Q左乘等式兩邊，得：所以上式說明：二次函數(shù)矩陣G的逆陣，可以通過尺度變換矩陣Q來求得。當前34頁，總共94頁。牛頓迭代公式：記：搜索方向：迭代公式：A稱為變尺度矩陣當前35頁，總共94頁。在例4－2中如取當前36頁，總共94頁。當前37頁，總共94頁。當前38頁，總共94頁。牛頓法就可看成是經(jīng)過尺度變換后的梯度法。經(jīng)過尺度變換，使函數(shù)偏心率減小到零，函數(shù)的等值面變?yōu)榍蛎?或超球面)，使設計空間中任意點處函數(shù)的梯度都通過極小點，用最速下降法只需一次迭代就可達到極小點。這就是對變換前的二次函數(shù)，在使用牛頓方法時，由于其牛頓方向直接指向極小點，因此只需一次迭代就能找到極小點。當前39頁，總共94頁。構造尺度矩陣Ak從初始矩陣A0=I(單位矩陣)開始，通過對公式

因此，一旦達到最優(yōu)點附近，就可望達到牛頓法的收斂速度。1）DFP法（Davidon-Fletcher-Powell)式中中修正矩陣的不斷修正，在迭代中逐步逼近于

。當前40頁，總共94頁。2）BFGS算法(Broyden-Fletcher-Goldfrob-Shanno)

DFP算法由于舍入誤差和一維搜索不精確，有可能導致構造矩陣的正定性遭到破壞，以至算法不穩(wěn)定。BFGS算法對于維數(shù)較高問題具有更好的穩(wěn)定性。

當前41頁，總共94頁。當前42頁，總共94頁。例4-3：

用DFP算法求下列問題的極值：取初始變尺度矩陣為單位矩陣A0=I，則第一次搜尋方向為

解：1）取初始點，為了按DFP法構造第一次搜尋方向d0，需計算初始點處的梯度當前43頁，總共94頁。沿d0方向進行一維搜索，得為一維搜索最佳步長，應滿足得:,2）再按DFP法構造點x1處的搜尋方向d1，需計算當前44頁，總共94頁。代入校正公式=當前45頁，總共94頁。=第二次搜尋方向為再沿d1進行一維搜索，得當前46頁，總共94頁。為一維搜索最佳步長，應滿足,得3）判斷x2是否為極值點梯度:

海賽矩陣

:當前47頁，總共94頁。梯度為零向量,海賽矩陣正定。可見點滿足極值充要條件，因此為極小點。

當前48頁，總共94頁。針對牛頓法，提出了變尺度法

收斂速度比較慢每次迭代需要計算二階導數(shù)矩陣，矩陣求逆計算量大，存儲量大1.牛頓型方法2.最速下降法針對最速下降法，提出了只用梯度信息，但收斂速度更快的共軛梯度法當前49頁，總共94頁。1.基本思想：

每次以一個變量坐標軸作為搜索方向，將n維的優(yōu)化問題輪流地轉化為一系列一維搜索問題。例，第k輪迭代的第i次搜索，是固定除xi外的n-1個變量，沿xi

變量坐標軸作一維搜索，求得極值點xi(k)…n次搜索后獲得極值點序列x1(k),x2(k）,…,xn(k)，若未收斂，則開始第k+1次迭代，直至收斂到最優(yōu)點x*?！?-5坐標輪換法當前50頁，總共94頁。1)幾何描述(以二維問題為例）二）迭代步驟依次沿個n個正交坐標軸的方向搜索：一）搜索方向當前51頁，總共94頁。2)坐標輪換法流程圖從

出發(fā)沿

方向進行一維搜索得：給定結束當前52頁，總共94頁。2.算法特點

等值線為橢圓,且長短軸分別平行于坐標軸時--高效一般情況--低效方法簡單，容易實現(xiàn)。當維數(shù)增加時，效率明顯下降。收斂慢，以振蕩方式逼近最優(yōu)點。受目標函數(shù)的性態(tài)影響很大。如圖a)所示，二次就收斂到極值點；如圖b)所示，多次迭代后逼近極值點；如圖c)所示，目標函數(shù)等值線出現(xiàn)山脊（或稱陡谷），若搜索到A點，再沿兩個坐標軸，以±t0步長測試，目標函數(shù)值均上升，計算機判斷A點為最優(yōu)點。事實上發(fā)生錯誤。當前53頁，總共94頁。§

4-6

共軛方向法

1.共軛方向：設G為n×n階實對稱正定矩陣，如果有兩個n維向量d0和d1滿足，則稱向量d0與d1

關于矩陣G共軛。當G為單位矩陣時，假設目標函數(shù)f(x)在極值點附近的二次近似函數(shù)為對二維情況任選取初始點x0沿某個下降方向d0作一維搜索，得x1當前54頁，總共94頁。因為是沿d0方向搜索的最佳步長，即在點x1處函數(shù)f（x）沿方向d0的方向導數(shù)為零?？紤]到點x1處方向導數(shù)與梯度之間的關系，故有如果按最速下降法，選擇負梯度方向為搜索方向，則將發(fā)生鋸齒現(xiàn)象。取下一次的迭代搜索方向d1直指極小點x*。α0d0x0x1x*11α1d1d1當前55頁，總共94頁。如果能夠選定這樣的搜索方向，那么對于二元二次函數(shù)只需順次進行d0、d1兩次直線搜索就可以求到極小點x*

，即有那么這樣的d1方向應該滿足什么條件呢?對于前述的二次函數(shù):當時，x*是f(x)極小點，應滿足極值必要條件，故有將等式兩邊同時左乘得：有當前56頁，總共94頁。就是使d1直指極小點x*

，d1所必須滿足的條件。兩個向量d0和d1稱為G的共軛向量，或稱d0和d1對G是共軛方向。

2.共軛方向的性質性質1若非零向量系d0,d1,d2,…,dm-1是對G共軛，則這m個向量是線性無關的。性質2在n維空間中互相共軛的非零向量的個數(shù)不超過n。

性質3從任意初始點出發(fā)，順次沿n個G的共軛方向d0,d1,d2,…,進行一維搜索，最多經(jīng)過n次迭代就可以找到的二次函數(shù)f(x)極小點。

當前57頁，總共94頁。關鍵：新的共軛方向確定在無約束方法中許多算法都是以共軛方向作為搜索方向，它們具有許多特點。根據(jù)構造共軛方向的原理不同，可以形成不同的共軛方向法。當前58頁，總共94頁。3.共軛梯度法共軛梯度法是共軛方向法中的一種，該方法中每一個共軛向量都是依賴于迭代點處的負梯度而構造出來。從xk出發(fā)，沿負梯度方向作一維搜索:設與dk共軛的下一個方向dk+1由dk和點xk+1的負梯度的線性組合構成，即：共軛條件：當前59頁，總共94頁。則：解得：令為函數(shù)的泰勒二次展開式則上兩式相減，并代入當前60頁，總共94頁。將式與式轉置兩邊相乘，應用共軛條件得：因此當前61頁，總共94頁。當前62頁，總共94頁。，已知初始點[1,1]T求下列問題的極值解：1）第一次沿負梯度方向搜尋計算初始點處的梯度為一維搜索最佳步長，應滿足迭代精度。當前63頁，總共94頁。得:2）第二次迭代：代入目標函數(shù)當前64頁，總共94頁。得因收斂。由從而有：當前65頁，總共94頁。鮑威爾法是以共軛方向為基礎的收斂較快的直接法之一，是一種十分有效的算法。1964年，鮑維爾提出這種算法，其基本思想是直接利用迭代點的目標函數(shù)值來構造共軛方向，然后從任一初始點開始，逐次沿共軛方向作一維搜索求極小點。并在以后的實踐中進行了改進。§4.7鮑威爾(Poweel)法當前66頁，總共94頁。一.Poweel法（共軛方向法、方向加速法）：1.基本思想：直接利用函數(shù)值來構造共軛方向

若沿連接相鄰兩輪搜索末端的向量S方向搜索，收斂速度加快。

因為兩條平行線S1,S2與同心橢圓族相切，兩個切點的連線S直指中心。稱S1,S2與S為共軛方向。

目的：以共軛方向打破振蕩，加速收斂。

這種方法是在研究具有正定矩陣A的二次函數(shù)極小化的基礎上形成。當前67頁，總共94頁。2.共軛方向生成

設Xk，Xk+1為從不同點出發(fā)，沿同一方向Sj進行一維搜索得到兩個極小點，如圖所示。根據(jù)梯度與等值面垂直的性質，Sj與Xk，Xk+1兩點處的梯度gk，gk+1存在關系

對于上述二次函數(shù)，其Xk，Xk+1兩點處梯度可表示為

相減得

因而有

若取方向則Sk和Sj共軛

只要沿Sj方向分別對函數(shù)作兩次一維搜索，得到兩個極小點Xk，Xk+1，兩個切點(極小點)的連線所給的方向，就是與Sj

一起對H為共軛方向。當前68頁，總共94頁。3.共軛方向的定義：當前69頁，總共94頁。4.共軛方向的性質：當前70頁，總共94頁。5.步驟：當前71頁，總共94頁。3）若目標函數(shù)為正定二次函數(shù)，n輪結束后即可到達最優(yōu)點。2）每輪迭代產(chǎn)生一個新方向取代原來的第一方向，替換原則是去掉原方向組的第一個方向而將新方向排在原方向的最后；n輪迭代后可產(chǎn)生n個彼此共軛的方向；1）開始采用坐標軸方向；順次沿n個方向做一維搜索得到一個終點，由始點和終點構成一個新的方向。要點當前72頁，總共94頁。2）在改進的算法中首先要判斷原向量組是否需要替換。若需要替換，還要進一步判斷原向量組哪個向量最壞，然后在用新的方向替換這個最壞的方向或向量，以保證逐次生成共軛方向；1）每一輪迭代都用由始點和終點構成一個新的搜索方向代替原方向組的第一個向量，而不管它的“好壞”。向量組線性相關改進鮑威爾算法3）每輪迭代中始點X0k，終點Xnk和反射點Xn+1k沿方向移動一個距離令當前73頁，總共94頁。a）若不滿足判別條件，則下輪迭代仍用原方向組，并以Xnk和Xn+1k中函數(shù)值小者作為下輪迭代的始點。4）根據(jù)是否滿足判別條件

確定是否要對原方向組進行替換b）若滿足判別條件，則下輪迭代對方向組進行替換，將Sk補充到原方向組的最后位，而除掉Snk。即新方向組為S1k，S2k，…，Sm-1k，Sm+1k,…,Snk，Sn+1k作為下輪迭代的搜索方向。下一輪迭代的始點取為Sn+1k方向進行一維搜索的極小點X0k＋15）判斷是否滿足收斂準則當前74頁，總共94頁。這樣重復迭代的結果，后面加進去的向量都彼此對G共軛，經(jīng)n輪迭代即可得到一個由n個共軛方向所組成的方向組。對于二次函次，最多n次就可找到極小點，而對一般函數(shù)，往往要超過n次才能找到極小點（這里“n”表示設計空間的維數(shù)）。

當前75頁，總共94頁。Powell修正算法F3<F1Q<DSi=Si+1i=m,m+1,…ni=n輸出X*=XnF*=F（X*）結束給定X0,Si=eii=1,2,…n,εK=0i=1自Xi-1始，沿Si方向搜索得一維最優(yōu)點Xii=i+1Xn+1=2Xn-X0Sn+1=Xn-X0自Xn始，沿Sn+1方向搜索得一維最優(yōu)點X*K=K+1F1=F(X0),F2=F(Xn),F3=F(Xn+1)求Δ及方向標號mYYYYNNNX0=X*NXn-X0

≤ε當前76頁，總共94頁。6.例4-3

解：1）沿S10方向進行一維搜索，有a1為一維搜索最佳步長，可通過

取初始點X00=[0，0]T，取初始搜索方向S10＝e1＝[10]T,S20＝e2＝[01]T,初始點處函數(shù)值得當前77頁，總共94頁。

從而得到X10點處的函數(shù)值及沿S10走一步長后函數(shù)值的增量2）沿S20方向進行一維搜索，有a2為一維搜索最佳步長，可通過得當前78頁，總共94頁。

從第一輪終點X20處出發(fā)，沿S20走一步長后函數(shù)值的增量

沿S10，

S20方向尋優(yōu)后函數(shù)值增量的最大者為終點X20的反射點及其函數(shù)值為當前79頁，總共94頁。3）為確定下一輪迭代的搜索方向和起始點，需檢查判別條件是否滿足

因為G3>G0,不滿足判別條件，因而下一輪迭代中繼續(xù)使用原來的搜索方向

因為G3>G2,所以取X20作為下一輪迭代起始點第二輪迭代：第二輪迭代初始點及其函數(shù)值當前80頁，總共94頁。7.方法評價：

計算步驟復雜;

是二次收斂方法，收斂快。對非正定函數(shù)，也很有效;

是比較穩(wěn)定的方法。6.說明：

若是正定二次函數(shù)，n輪迭代后收斂于最優(yōu)點x*。若是非正定二次函數(shù)，則迭代次數(shù)增加。

若是n維問題，步驟相同。搜索方向：第一輪迭代，沿初始方向組Si(1)(i=1,2,…,n)的n個方向和共軛方向S(1)，搜索n+1次得極值點xn+1(1)

；第二輪迭代，沿方向組Si(2)(i=1,2,…,n；i≠m)的n-1個方向和共軛方向S(1)，構筑共軛方向S(2)搜索n+1次得極值點xn+1(2)

。其中，為保證搜索方向的線性無關，去除了Sm(2)方向。

在第k輪迭代中，為避免產(chǎn)生線性相關或近似線性相關，需要去除前一輪中的某個方向Sm(k)?！コ脑瓌t請自學。當前81頁，總共94頁。前面介紹的許多優(yōu)化方法，除鮑威爾（Powell）法和坐標輪換法外，都需要計算目標函數(shù)的導數(shù)，而在實際工程的最優(yōu)化問題中，目標函數(shù)的導數(shù)往往很難求出或者根本無法求出。下面所介紹的方法只需要計算目標函數(shù)值，無需求其導數(shù)，因此計算比較簡單，其幾何概念也比較清晰，屬于直接法的無約束最優(yōu)化方法。這類方法適用于不知道目標函數(shù)的數(shù)學表達式而僅知其具體算法的情況。這也是直接法的一個優(yōu)點。當前82頁，總共94頁。§4-8單純形方法一、基本思想單純形替換法也是一種不使用導數(shù)的求解無約束極小化問題的直接搜索方法，與前面幾種方法不同的是，單純形替換法不是利用搜索方向從一個點迭代到另一個更優(yōu)的點，而是從一個單純形迭代到