機(jī)械優(yōu)化設(shè)計(jì)-無約束優(yōu)化方法培訓(xùn)課件

機(jī)械優(yōu)化設(shè)計(jì)2017年6月上

海

海

事

大

學(xué)SHANGHAIMARITIMEUNIVERSITY何軍良2024/8/181上海海事大學(xué)ShanghaiMaritimeUniversity

1909

2009

2004

1912

19587機(jī)械優(yōu)化設(shè)計(jì)中的幾個(gè)問題1優(yōu)化設(shè)計(jì)概述2優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)目錄CONTENTS3一維搜索方法4無約束優(yōu)化方法5線性規(guī)劃6約束優(yōu)化方法2024/8/182第四章無約束優(yōu)化方法概述最速下降法牛頓型方法共軛方向與共軛方向法共軛梯度法變尺度法坐標(biāo)輪換法鮑威爾方法單形替換法2024/8/1834.1概述工程問題大都為有約束優(yōu)化問題。為什么要研究無約束優(yōu)化問題?有些實(shí)際問題，其數(shù)學(xué)模型本身就是一個(gè)無約束優(yōu)化問題。通過熟悉它的解法可以為研究約束優(yōu)化問題打下良好的基礎(chǔ)。約束優(yōu)化問題的求解可以通過一系列無約束優(yōu)化方法來達(dá)到。所以無約束優(yōu)化問題的解法是優(yōu)化設(shè)計(jì)方法的基本組成部分，也是優(yōu)化方法的基礎(chǔ)。2024/8/1844.1概述無約束優(yōu)化問題是：求n

維設(shè)計(jì)變量使目標(biāo)函數(shù)無約束優(yōu)化問題極值存在的必要條件：2024/8/1854.1概述

目前已研究出很多種無約束優(yōu)化方法，它們的主要不同點(diǎn)在于構(gòu)造搜索方向上的差別。（1）間接法——要使用導(dǎo)數(shù)，如梯度法、（阻尼）牛頓法、變尺度法、共軛梯度法等。（2）直接法——不使用導(dǎo)數(shù)信息，如坐標(biāo)輪換法、鮑威爾法、單形替換法等。

用直接法尋找極小點(diǎn)時(shí)，不必求函數(shù)的導(dǎo)數(shù)，只要計(jì)算目標(biāo)函數(shù)值。這類方法較適用于解決變量個(gè)數(shù)較少的(n≤20)問題，一般情況下比間接法效率低。間接法除要計(jì)算目標(biāo)函數(shù)值外，還要計(jì)算目標(biāo)函數(shù)的梯度，有的還要計(jì)算其海賽矩陣。搜索方向的構(gòu)成問題乃是無約束優(yōu)化方法的關(guān)鍵。其搜索方向直接取定或由計(jì)算目標(biāo)函數(shù)值所得的信息來確定。2024/8/1864.1概述77選擇初始迭代點(diǎn)x0。從迭代點(diǎn)xk出發(fā)進(jìn)行搜索，確定使目標(biāo)函數(shù)值下降的搜索方向dk。確定適當(dāng)?shù)牟介L因子αk，求xk+1

=xk+αkdk，使f(xk+1)<f(xk)。選擇適當(dāng)?shù)慕K止準(zhǔn)則，若xk+1滿足終止準(zhǔn)則，則終止迭代計(jì)算，并輸出局部最優(yōu)點(diǎn)x*←xk+1

；否則，令k←k+1，返回步驟(2)繼續(xù)進(jìn)行優(yōu)化搜索。無約束優(yōu)化方法求解的四個(gè)步驟:2024/8/1874.2最速下降法（1）

基本思想搜索方向d取該點(diǎn)的負(fù)梯度方向(最速下降方向)，使函數(shù)值在該點(diǎn)附近的范圍內(nèi)下降最快。終止判別條件2024/8/1884.2最速下降法（2）

計(jì)算方法為了使目標(biāo)函數(shù)值沿搜索方向能夠獲得最大的下降值，其步長因子應(yīng)取一維搜索的最佳步長。即有步長因子求解方法：解析法：根據(jù)極值點(diǎn)必要條件。黃金分割法牛頓法拋物線法2024/8/1894.2最速下降法（2）

計(jì)算方法根據(jù)一元函數(shù)極值的必要條件及復(fù)合函數(shù)求導(dǎo)公式得2024/8/18104.2最速下降法（3）

現(xiàn)象最速下降法的搜索路徑在最速下降法中，相鄰兩個(gè)迭代點(diǎn)上的函數(shù)梯度相互垂直。搜索方向就是負(fù)梯度方向，因此相鄰兩個(gè)搜索方向互相垂直。形成“之”字形的鋸齒現(xiàn)象，而且越接近極小點(diǎn)鋸齒越細(xì)。2024/8/18114.2最速下降法在遠(yuǎn)離極小點(diǎn)位置，每次迭代可使函數(shù)值有較多的下降。在接近極小點(diǎn)位置，每次迭代行進(jìn)的距離縮短，收斂速度減慢。最速下降性”只是迭代點(diǎn)鄰域的局部性質(zhì)。從全局看，并非最速下降方向。（3）

現(xiàn)象2024/8/18124.2最速下降法（4）

計(jì)算步驟1)給定初始迭代點(diǎn)x0，精度ε，維數(shù)n；2)令k←0；3)計(jì)算xk的梯度；4)以xk點(diǎn)為出發(fā)點(diǎn)，求方向上的最優(yōu)步長αk，有；終止判別

？若滿足條件，輸出最優(yōu)解，

xk+1→x*,f*←f

(x*)。否則，令k←

k+1，轉(zhuǎn)步驟3)。2024/8/18134.2最速下降法（4）

計(jì)算步驟αα2024/8/18144.2最速下降法（5）

舉例沿負(fù)梯度方向進(jìn)行一維搜索，有例：

求目標(biāo)函數(shù)的極小點(diǎn)。取初始點(diǎn)解：初始點(diǎn)處梯度：2024/8/18154.2最速下降法（5）

舉例為一維搜索最佳步長，應(yīng)滿足極值必要條件2024/8/18164.2最速下降法（5）

舉例第一次迭代設(shè)計(jì)點(diǎn)位置和函數(shù)值因此，迭代終止：2024/8/18174.2最速下降法（5）

舉例2024/8/18184.2最速下降法（5）

舉例例：用最速下降法求極小點(diǎn)，精度解：1）取初始點(diǎn)。初始梯度2）沿負(fù)梯度方向一維搜索3）求最優(yōu)步長初始點(diǎn)處函數(shù)值2024/8/18194.2最速下降法（5）

舉例4)計(jì)算新的迭代點(diǎn)位置和函數(shù)值5）迭代終止條件判斷繼續(xù)迭代。取初始點(diǎn)為X1，繼續(xù)重復(fù)1-5步，直到滿足精度要求。迭代10次的結(jié)果是：2024/8/18204.2最速下降法（5）

舉例

這個(gè)問題的目標(biāo)函數(shù)的等值線為一簇橢圓,迭代點(diǎn)從X0

走的是一段鋸齒形路線，見圖

。2024/8/18214.2最速下降法（5）

舉例其等值線由橢圓變成一簇同心圓。則函數(shù)f(X)變?yōu)椋簓1=x1,y2=5x2將上例中目標(biāo)函數(shù)引入變換

仍從,即出發(fā)進(jìn)行最速下降法尋優(yōu)。此時(shí)：2024/8/18224.2最速下降法（5）

舉例

β0為一維搜索最佳步長，可由極值條件：從而算得一步計(jì)算后設(shè)計(jì)點(diǎn)的位置及其目標(biāo)函數(shù)：由沿負(fù)梯度方向進(jìn)行一維搜索：2024/8/18234.2最速下降法（5）

舉例經(jīng)變換后，只需一次迭代，就可找到最優(yōu)解。這是因?yàn)榻?jīng)過尺度變換：等值線由橢圓變成圓。2024/8/18244.2最速下降法（5）

舉例例：用最速下降法求下面無約束優(yōu)化問題：2024/8/18254.2最速下降法（5）

舉例2024/8/18264.2最速下降法（5）

舉例2024/8/18274.2最速下降法（5）

舉例2024/8/18284.2最速下降法（6）

收斂性分析最速下降法的收斂速度和變量的尺度關(guān)系很大。在適當(dāng)條件下，收斂速度的估計(jì)公式：式中m表示f(x)的海塞矩陣的最大特征值上界，M表示f(x)的海塞矩陣的最小特征值的下界對于等值線為橢圓的二次型函數(shù)其海塞矩陣為特征值為2，50因此收斂性較慢2024/8/18294.2最速下降法（7）

最速下降法的典型特征由于一維搜索是求的極小。故應(yīng)滿足：即因此，在梯度法中，相鄰兩次搜索方向（即相鄰兩次迭代點(diǎn)的梯度方向）是正交的。2024/8/18304.2最速下降法（7）

最速下降法的典型特征理論明確，程序簡單，對初始點(diǎn)要求不嚴(yán)格。對一般函數(shù)而言，梯度法的收斂速度并不快，因?yàn)樽钏傧陆捣较騼H僅是指某點(diǎn)的一個(gè)局部性質(zhì)。梯度法相鄰兩次搜索方向的正交性，決定了迭代全過程的搜索路線呈鋸齒狀，在遠(yuǎn)離極小點(diǎn)時(shí)逼近速度較快，而在接近極小點(diǎn)時(shí)逼近速度較慢。梯度法的收斂速度與目標(biāo)函數(shù)的性質(zhì)密切相關(guān)。對于等值線(面)為同心圓(球)的目標(biāo)函數(shù)，一次搜索即可達(dá)到極小點(diǎn)。2024/8/18314.3牛頓型方法（1）

基本思想在xk鄰域內(nèi)用一個(gè)二次函數(shù)來近似代替原目標(biāo)函數(shù)，并將

的極小點(diǎn)作為對目標(biāo)函數(shù)求優(yōu)的下一個(gè)迭代點(diǎn)。

經(jīng)多次迭代，使之逼近目標(biāo)函數(shù)的極小點(diǎn)。牛頓法是求函數(shù)極值的最古老算法之一。2024/8/18324.3牛頓型方法（2）

迭代公式原函數(shù):近似二次函數(shù):求的極小點(diǎn)，要求其梯度等于零。2024/8/18334.3牛頓型方法（2）

迭代公式（牛頓方向）1）迭代方向：*2）步長因子：令由此，這就是多元函數(shù)求極值的牛頓法迭代公式。對于二次函數(shù)，海賽G是一個(gè)常矩陣，其中各元素均為常數(shù)。因此，無論從任何點(diǎn)出發(fā)，只需一步就可找到極小點(diǎn)。2024/8/18344.3牛頓型方法（3）

舉例例：求目標(biāo)函數(shù)的極小點(diǎn)。解：取初始點(diǎn)經(jīng)過一次迭代即求得極小點(diǎn)2024/8/18354.3牛頓型方法（4）

阻尼牛頓法對于正定二次函數(shù)，牛頓法可以直達(dá)極小點(diǎn)。對于非二次函數(shù)，基本牛頓法的步長因子恒為1，有時(shí)會(huì)導(dǎo)致迭代發(fā)散而失效，如果采用上述牛頓迭代公式，有時(shí)會(huì)使函數(shù)值上升。問題提出2024/8/18364.3牛頓型方法（4）

阻尼牛頓法比如，對于如下問題：①當(dāng)新迭代點(diǎn)②當(dāng)新迭代點(diǎn)問題提出2024/8/18374.3牛頓型方法（4）

阻尼牛頓法迭代公式阻尼因子，沿牛頓方向進(jìn)行一維搜索的最佳步長，由下式求得：2024/8/18384.3牛頓型方法（4）

阻尼牛頓法迭代步驟1）給定初始點(diǎn)x0，收斂精度ε，置k=0；2）計(jì)算3）求其中αk是沿dk一維搜索最優(yōu)步長；4）檢查收斂精度ε。若時(shí)停止，否則k=k+1，返回第二步。2024/8/18394.3牛頓型方法（4）

阻尼牛頓法算法特點(diǎn)1）

不能保證每次迭代都使函數(shù)值下降。舉例說明：用阻尼牛頓法求函數(shù)的最優(yōu)解。初始點(diǎn)函數(shù)的梯度2024/8/18404.3牛頓型方法（4）

阻尼牛頓法算法特點(diǎn)牛頓方向結(jié)果說明迭代后的新點(diǎn)仍為原點(diǎn)，無法繼續(xù)迭代。原因是海賽矩陣不定，導(dǎo)致失敗。2024/8/18414.3牛頓型方法（4）

阻尼牛頓法算法特點(diǎn)2）初始點(diǎn)應(yīng)選在x*附近，有一定難度；3）盡管每次迭代都不會(huì)是函數(shù)值上升，但不能保證每次下降4）收斂速度較牛頓法慢，但對初始點(diǎn)無特殊要求，實(shí)用性更好5）要求海賽矩陣正定（保證有極小值）和非奇異（保證有逆矩陣）。這使得該法對復(fù)雜多變量目標(biāo)函數(shù)的優(yōu)化問題無實(shí)用價(jià)值；

6）

不僅要計(jì)算梯度，還要求海賽矩陣及其逆矩陣，計(jì)算量和存儲(chǔ)量大。雖然阻尼牛頓法有上述缺點(diǎn)，但在特定條件下它具有收斂最快的優(yōu)點(diǎn)，并為其他的算法提供了思路和理論依據(jù)。2024/8/18424.3牛頓型方法（5）

牛頓型法與梯度法對比一般迭代式：梯度法：牛頓法：阻尼牛頓法：2024/8/1843（1）

共軛方向的概念4.4共軛方向與共軛方向法設(shè)G為n×n階實(shí)對稱正定矩陣，如果有兩個(gè)n維向量d0和d1滿足

，則稱向量d0和d1關(guān)于矩陣G共軛。如果G=I（單位矩陣），就有，d0和d1方向正交，即與單位矩陣共軛的方向是正交方向，所以正交方向是共軛方向的一個(gè)特例。但兩者不能混淆。共軛但不正交正交但不共軛對于共軛正交2024/8/1844（1）

共軛方向的概念4.4共軛方向與共軛方向法假設(shè)目標(biāo)函數(shù)f(x)

在極值點(diǎn)附近的二次近似函數(shù)為對二維情況任選取初始點(diǎn)x0沿某個(gè)下降方向d0作一維搜索，得x12024/8/1845（1）

共軛方向的概念4.4共軛方向與共軛方向法α0d0x0x1x*11α1d1d1如果按最速下降法，選擇負(fù)梯度方向?yàn)樗阉鞣较颍瑒t將發(fā)生鋸齒現(xiàn)象。

取下一次的迭代搜索方向d1直指極小點(diǎn)x*。因?yàn)棣?是沿d0方向搜索的最佳步長，即在點(diǎn)x1處函數(shù)f(x)沿方向d0的方向?qū)?shù)為零?？紤]到點(diǎn)x1處方向?qū)?shù)與梯度之間的關(guān)系，故有2024/8/1846（1）

共軛方向的概念4.4共軛方向與共軛方向法如果能夠選定這樣的搜索方向，那么對于二元二次函數(shù)只需順次進(jìn)行d0、d1兩次直線搜索就可以求到極小點(diǎn)x*，即有那么這樣的d1方向應(yīng)該滿足什么條件呢?對于前述的二次函數(shù):有2024/8/1847（1）

共軛方向的概念4.4共軛方向與共軛方向法當(dāng)時(shí)，x*是f(x)極小點(diǎn)，應(yīng)滿足極值必要條件，故有將等式兩邊同時(shí)左乘,同時(shí)得：2024/8/1848（1）

共軛方向的概念4.4共軛方向與共軛方向法

就是使d1直指極小點(diǎn)x*，d1所必須滿足的條件。兩個(gè)向量d0、d1和稱為G的共軛向量，或稱d0和d1對G是共軛方向。2024/8/1849（1）

共軛方向的概念4.4共軛方向與共軛方向法

則稱d0,d1,……,dm-1是對G共軛定義：若設(shè)G為n*n對稱正定矩陣，若n維空間中有m個(gè)非零向量系d0,d1,……,dm-1是滿足

當(dāng)G=I（單位矩陣）時(shí)，d0,d1,……,dm-1正交。

共軛概念是正交概念的推廣，正交是共軛的特例。2024/8/1850（2）

共軛方向的性質(zhì)4.4共軛方向與共軛方向法性質(zhì)1若非零向量系d0,d1,……,dm-1是對G共軛，則這m個(gè)向量是線性無關(guān)的。性質(zhì)2

在n維空間中互相共軛的非零向量的個(gè)數(shù)不超過n。性質(zhì)3從任意初始點(diǎn)出發(fā)，順次沿m個(gè)G的共軛方向d0,d1,……,dm-1進(jìn)行一維搜索，最多經(jīng)過m次迭代就可以找到的二次函數(shù)f(x)極小點(diǎn)。2024/8/1851（3）

共軛方向法4.4共軛方向與共軛方向法2024/8/1852（3）

共軛方向法4.4共軛方向與共軛方向法在無約束方法中許多算法都是以共軛方向作為搜索方向，它們具有許多特點(diǎn)。根據(jù)構(gòu)造共軛方向的原理不同，可以形成不同的共軛方向法。格拉姆-斯密特矢量系共軛化方法共軛梯度法鮑威爾（Powell）法……2024/8/1853（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法選定n個(gè)線性無關(guān)的矢量系v0,v1,……,vn-1，首先取令其中β10是待定系數(shù)，可根據(jù)d1與d0的共軛條件來確定，即從而求得與d0的共軛的d12024/8/1854（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法設(shè)已求得共軛的矢量d0,d1,……,dk，現(xiàn)求dk+1令為使dk+1與dj（j=0,1,…,k）共軛，應(yīng)有由此解得Why?2024/8/1855（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法由于可推導(dǎo)出由于d0,d1,……,dk共軛，所以即2024/8/1856（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法例：求的一組共軛矢量系d0,d1,d2解：（1）選定三個(gè)單位矢量e0、e1、e2作為一組線性無關(guān)矢量系（2）取d0=e0，求d12024/8/1857（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法（2）求d2（3）判斷是否滿足共軛的定義2024/8/1858（4）

格拉姆-斯密特矢量系共軛化方法4.4共軛方向與共軛方向法對于非二次函數(shù)，可在極小點(diǎn)附近用二次函數(shù)來近似。上式中的海塞矩陣相當(dāng)于二次函數(shù)中的矩陣G，但x*未知，當(dāng)?shù)c(diǎn)x0充分靠近x*時(shí)，可用G(x0)構(gòu)造共軛矢量系。2024/8/1859（1）

概述4.5坐標(biāo)輪換法許多優(yōu)化方法都需要計(jì)算目標(biāo)函數(shù)的導(dǎo)數(shù)，而在實(shí)際工程的最優(yōu)化問題中，目標(biāo)函數(shù)的導(dǎo)數(shù)往往很難求出或者根本無法求出。坐標(biāo)輪換法只需要計(jì)算目標(biāo)函數(shù)值，無需求其導(dǎo)數(shù)，因此計(jì)算比較簡單，其幾何概念也比較清晰，屬于直接法的無約束最優(yōu)化方法。這類方法適用于不知道目標(biāo)函數(shù)的數(shù)學(xué)表達(dá)式而僅知其具體算法的情況。這也是直接法的一個(gè)優(yōu)點(diǎn)。2024/8/1860（2）

基本思想4.5坐標(biāo)輪換法又稱為單變量法，它是把一個(gè)多維無約束優(yōu)化問題轉(zhuǎn)化為依次沿各坐標(biāo)方向的一維優(yōu)化問題。對n維空間中每個(gè)坐標(biāo)依次搜索完一遍，稱為完成一個(gè)搜索“輪”，然后，將前一輪得到的最優(yōu)點(diǎn)，作為下一輪搜索的起始點(diǎn)。這樣，不斷循環(huán)，直到滿足收斂條件為止。2024/8/1861（2）

基本思想4.5坐標(biāo)輪換法以二維問題為例進(jìn)行說明設(shè)有二維目標(biāo)函數(shù)f(X)，其等值線如圖所示，計(jì)算方法如下：1.選擇初始迭代點(diǎn)，搜索精度.2.以

為起點(diǎn)，并沿坐標(biāo)軸

方向搜索，采用一維優(yōu)化方法確定最優(yōu)步長，并計(jì)算。3.再以

為起點(diǎn)，并沿坐標(biāo)軸方向搜索，采用一維優(yōu)化方法確定最優(yōu)步長，計(jì)算。4.到此完成一輪搜索，進(jìn)行終止條件判別:?若條件滿足，則輸出最優(yōu)解。否則，進(jìn)行下步。5.，轉(zhuǎn)步驟(2)，進(jìn)行下一輪的迭代運(yùn)算。2024/8/1862例

用坐標(biāo)輪換法求的極小值.解

1）取初始點(diǎn)，沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：計(jì)算誤差4.5坐標(biāo)輪換法（3）

算例2024/8/18632）第二次迭代搜索沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：

計(jì)算誤差

4.5坐標(biāo)輪換法2024/8/18643）第三次迭代搜索沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：沿方向一維搜索，得:其中為一維搜索最佳步長，應(yīng)滿足得：計(jì)算誤差同理，繼續(xù)迭代，共24次，可得到4.5坐標(biāo)輪換法2024/8/1865例:用坐標(biāo)輪換法求下列目標(biāo)函數(shù)的無約束最優(yōu)解。

給定初始點(diǎn)，精度要求ε=0.1解：做第一輪迭代計(jì)算沿e1方向進(jìn)行一維搜索式中，

為第一輪的起始點(diǎn)，取4.5坐標(biāo)輪換法2024/8/1866按最優(yōu)步長原則確定最優(yōu)步長α1，即極小化此問題可由某種一維優(yōu)化方法求出α1:

以為新起點(diǎn)，沿e2方向一維搜索以最優(yōu)步長原則確定α2，即為極小化4.5坐標(biāo)輪換法2024/8/1867對于第一輪按終止條件檢驗(yàn)計(jì)算5輪后，有故近似優(yōu)化解為4.5坐標(biāo)輪換法2024/8/18681.給定初始點(diǎn),迭代精度,維數(shù)n,搜索方向(i=1～n)；2.置k←0；3.置i←1；4.置；5.從點(diǎn)出發(fā),沿方向進(jìn)行關(guān)于的一維搜索,求出最優(yōu)步長,使6.判別i=n?若滿足條件則進(jìn)行步驟7;否則置i+1→i,返回步驟5；7.檢驗(yàn)是否滿足終止迭代條件?若滿足則輸出最優(yōu)解;否則置→(i=1～n),Xnk→X0,k+1→k,返回步驟3。4.5坐標(biāo)輪換法（4）

計(jì)算步驟2024/8/1869（4）

算法步驟2024/8/1870

方法簡單，容易實(shí)現(xiàn)。

當(dāng)維數(shù)增加時(shí)，效率明顯下降，只適于N<10的小型優(yōu)化問題。收斂慢，以振蕩方式逼近最優(yōu)點(diǎn)。受目標(biāo)函數(shù)的性態(tài)影響很大。當(dāng)函數(shù)的等值線族為長、短軸分別與坐標(biāo)軸平行的橢圓時(shí)，如圖a)所示，二次就收斂到極值點(diǎn)；但當(dāng)函數(shù)的等值線族仍為橢圓，僅僅只是長短軸傾斜時(shí)，如圖b)所示，多次迭代后逼近極值點(diǎn)；如圖c)所示，目標(biāo)函數(shù)等值線出現(xiàn)山脊（或稱陡谷），若搜索到A點(diǎn)，再沿兩個(gè)坐標(biāo)軸以±t0步長測試，目標(biāo)函數(shù)值均上升，計(jì)算機(jī)判斷A點(diǎn)為最優(yōu)點(diǎn)。事實(shí)上發(fā)生錯(cuò)誤。4.5坐標(biāo)輪換法（5）

方法評價(jià)2024/8/1871共軛梯度法是共軛方向法的一種，因?yàn)樵摲椒ㄖ忻恳粋€(gè)共軛向量都是依賴于迭代點(diǎn)處的負(fù)梯度而構(gòu)造出來的，所以稱作共軛梯度法。以梯度法相鄰兩次迭代的負(fù)梯度方向呈線性無關(guān)且互為正交這點(diǎn)為基礎(chǔ)而構(gòu)造出的一種具有二次收斂的算法。每輪搜索方向?yàn)橐唤M共軛方向,但第一方向?yàn)樨?fù)梯度方向。4.6共軛梯度法（1）

概述2024/8/1872共軛梯度法的搜索方向是在采用梯度法基礎(chǔ)上的共軛方向，目標(biāo)函數(shù)F(x)

在迭代點(diǎn)X(k+1)處的負(fù)梯度為-F(X(k+1))，該方向與前一搜索方向S(k)互為正交，在此基礎(chǔ)上構(gòu)造一種具有較高收斂速度的搜索方向。4.6共軛梯度法（2）

搜索方向2024/8/18734.6共軛梯度法（2）

搜索方向第二方向：第一方向：*d1可表示為兩個(gè)負(fù)梯度方向的線性組合?？梢酝茖?dǎo)出一般搜索方向dk+1需要滿足如下條件（1）（2）以dk與-f(X(k+1))為基底的子空間中，矢量相共軛，即滿足：