優(yōu)化設(shè)計(jì)ch3課件

第三章優(yōu)化設(shè)計(jì)優(yōu)化設(shè)計(jì)概論

優(yōu)化設(shè)計(jì)的基本概念一維搜索方法

無(wú)約束設(shè)計(jì)的最優(yōu)化方法

有約束優(yōu)化設(shè)計(jì)的方法

優(yōu)化設(shè)計(jì)的若干問(wèn)題LINGO在優(yōu)化設(shè)計(jì)中的應(yīng)用3.1優(yōu)化設(shè)計(jì)概論優(yōu)化設(shè)計(jì)和示例優(yōu)化設(shè)計(jì)：亦稱(chēng)最優(yōu)化設(shè)計(jì)，它是以數(shù)學(xué)規(guī)劃理論為基礎(chǔ)，以電子計(jì)算機(jī)為輔助工具的一種設(shè)計(jì)方法。它首先將設(shè)計(jì)問(wèn)題按規(guī)定的格式建立數(shù)學(xué)模型，選擇合適的優(yōu)化方法，選擇或編制計(jì)算機(jī)程序，通過(guò)計(jì)算機(jī)計(jì)算獲得最優(yōu)設(shè)計(jì)方案。優(yōu)化方法：直接法：直接計(jì)算目標(biāo)函數(shù)值，比較目標(biāo)函數(shù)值，并以之作為迭代、收斂根據(jù)；求導(dǎo)法：以多變量函數(shù)極值理論為基礎(chǔ)。3.1優(yōu)化設(shè)計(jì)概論優(yōu)化問(wèn)題的分類(lèi)無(wú)約束問(wèn)題單變量多變量有約束問(wèn)題線性約束，線性目標(biāo)函數(shù)線性約束，非線形目標(biāo)函數(shù)非線形約束，非線形目標(biāo)函數(shù)優(yōu)化設(shè)計(jì)數(shù)學(xué)模型設(shè)計(jì)變量

目標(biāo)函數(shù):最小化約束條件：3.1優(yōu)化設(shè)計(jì)概論設(shè)計(jì)變量和設(shè)計(jì)空間設(shè)計(jì)變量：設(shè)計(jì)方案可用一組參數(shù)表示，有些參數(shù)預(yù)先給定，稱(chēng)為設(shè)計(jì)常量；而另一些在設(shè)計(jì)過(guò)程中優(yōu)化選定，稱(chēng)為設(shè)計(jì)變量。設(shè)計(jì)空間：某方案有n個(gè)設(shè)計(jì)變量，組成一個(gè)n維列矢量。該矢量可在以n個(gè)設(shè)計(jì)變量為坐標(biāo)軸組成的n維空間中用一個(gè)點(diǎn)來(lái)表示。這n維空間稱(chēng)為設(shè)計(jì)空間，空間內(nèi)任意一點(diǎn)稱(chēng)為設(shè)計(jì)點(diǎn)，它代表一個(gè)設(shè)計(jì)方案。通常在保證設(shè)計(jì)精度的前提下設(shè)計(jì)變量盡量取的少些。設(shè)計(jì)變量有連續(xù)和離散兩種3.1優(yōu)化設(shè)計(jì)概論約束條件和可行域約束條件：設(shè)計(jì)變量的取值范圍有限制或必須滿足一定的條件，這種對(duì)設(shè)計(jì)變量的限制，稱(chēng)為約束條。約束條件的分類(lèi)：等式約束與不等式約束邊界約束和性能約束:前者指取值范圍的限制；后者指力學(xué)性能要求的限制。二維設(shè)計(jì)問(wèn)題約束的幾何關(guān)系X1X23.1優(yōu)化設(shè)計(jì)概論目標(biāo)函數(shù)定義：優(yōu)化設(shè)計(jì)把設(shè)計(jì)變量與某種標(biāo)準(zhǔn)的關(guān)系用函數(shù)式表達(dá)，追求該函數(shù)值最?。ɑ蜃畲螅?，以求得一組設(shè)計(jì)變量值，從而獲得一個(gè)最優(yōu)設(shè)計(jì)方案。此函數(shù)稱(chēng)為目標(biāo)函數(shù)。（設(shè)計(jì)中欲達(dá)到的目標(biāo)）作用：衡量設(shè)計(jì)方案的標(biāo)準(zhǔn)。目標(biāo)類(lèi)型：產(chǎn)品設(shè)計(jì)：技術(shù)性能、成本、價(jià)格、壽命等；零部件設(shè)計(jì)：承載能力、可靠性、重量、體積等；機(jī)構(gòu)設(shè)計(jì)：運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)性質(zhì)、運(yùn)動(dòng)誤差等。3.1優(yōu)化設(shè)計(jì)概論優(yōu)化設(shè)計(jì)的幾何解釋目標(biāo)函數(shù)：maxF(X)=60x1+120x2約束條件材料約束：g1(X)=9x1+4x2＜360工時(shí)約束：g2(X)=3x1+10x2＜300電力約束:g3(X)=4x1+5x2＜200邊界約束:g4(X)=-x1＜0

g5(X)=-x2＜03.1優(yōu)化設(shè)計(jì)概論優(yōu)化設(shè)計(jì)的幾何解釋目標(biāo)函數(shù)：約束條件非線性優(yōu)化問(wèn)題的圖解法。3.1優(yōu)化設(shè)計(jì)概論目標(biāo)函數(shù)的等值線（面）依次令目標(biāo)函數(shù)F（X）分別等于常數(shù)C1，C2，C3等，則在目標(biāo)函數(shù)曲面上，獲得等值曲線（面）族。3.2優(yōu)化設(shè)計(jì)的基本概念函數(shù)的方向?qū)?shù)與梯度偏導(dǎo)數(shù)：一元函數(shù)中的導(dǎo)數(shù)：描述函數(shù)相對(duì)于自變量的變化率；多元函數(shù)中的偏導(dǎo)數(shù)：描述函數(shù)只相對(duì)于其中一個(gè)自變量(其余自變量保持不變)的變化率。對(duì)n函數(shù)，函數(shù)在處沿各坐標(biāo)軸的一階偏導(dǎo)數(shù)或變化率分別為：3.2優(yōu)化設(shè)計(jì)的基本概念函數(shù)的方向?qū)?shù)與梯度方向?qū)?shù):函數(shù)在某點(diǎn)沿給定方向的變化率。函數(shù)的方向?qū)?shù)式中:cosα，cosβ為某方向S的方向余弦3.2優(yōu)化設(shè)計(jì)的基本概念函數(shù)的方向?qū)?shù)與梯度梯度二元函數(shù)的梯度

為函數(shù)F(x1，x2)在X0點(diǎn)處的梯度梯度的模：設(shè):由上式可見(jiàn)：梯度方向和h

方向重合時(shí)，方向?qū)?shù)值最大。

梯度方向是函數(shù)值變化最快的方向，而梯度的模就是函數(shù)變化率的最大值

。

梯度方向與等值線的關(guān)系因：則有

為單位方向向量。梯度模：函數(shù)的梯度方向與函數(shù)等值面相垂直，也就是和等值面上過(guò)x0的一切曲線相垂直。

由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。求函數(shù)在點(diǎn)[3,2]T、[2,0]T的梯度解

在點(diǎn)x(1)=[3,2]T,x(2)=[2,0]T處的梯度為：3.2優(yōu)化設(shè)計(jì)的基本概念無(wú)約束目標(biāo)函數(shù)的極值條件一元函數(shù)的極值多元函數(shù)的Taylor展開(kāi)式：函數(shù)在某點(diǎn)附件的近似表達(dá)式多元函數(shù)的泰勒展開(kāi)式一元函數(shù)展開(kāi)成泰勒(Taylor)公式：二元函數(shù)展開(kāi)成泰勒(Taylor)公式：n元函數(shù)展開(kāi)成泰勒(Taylor)公式：一元函數(shù)泰勒Taylor展開(kāi)式二元函數(shù)Taylor展開(kāi)式對(duì)二元函數(shù)泰勒展開(kāi)式只取兩項(xiàng)稱(chēng)為海森(Hessian)矩陣，二階偏導(dǎo)矩陣,常用H(X)表示。n元函數(shù)Taylor展開(kāi)式當(dāng)在駐點(diǎn)第二項(xiàng)為零，可得：3.2優(yōu)化設(shè)計(jì)的基本概念無(wú)約束目標(biāo)函數(shù)的極值條件二次型函數(shù)二次型：含有n個(gè)變量x1,x2,…,xn的二次齊次多項(xiàng)式實(shí)二次型函數(shù)：若aij均為實(shí)常數(shù)，簡(jiǎn)稱(chēng)實(shí)二次型。1.對(duì)所有非零矢量X，若：則稱(chēng)F(X)正定的2.若對(duì)所有非零矢量X，若：則稱(chēng)F(X)負(fù)定的

3.2優(yōu)化設(shè)計(jì)的基本概念無(wú)約束目標(biāo)函數(shù)的極值條件多元函數(shù)的極值必要條件：實(shí)二次型函數(shù)：若aij均為實(shí)常數(shù)，簡(jiǎn)稱(chēng)實(shí)二次型。當(dāng)，為極大值點(diǎn)在鄰域內(nèi)，對(duì)所有X根據(jù)二次型函數(shù)性質(zhì)，也可只用Hessian矩陣判斷。當(dāng)，為極小值點(diǎn)當(dāng)，為鞍點(diǎn)當(dāng)H（X＊）正定，X＊為極小值點(diǎn)當(dāng)H（X＊）負(fù)定，X＊為極大值點(diǎn)當(dāng)H（X＊）不定，X＊為鞍點(diǎn)矩陣的正定條件是：其各階主子式（對(duì)應(yīng)的各階行列式）均大于零；負(fù)定的條件是：其各階主子式負(fù)正相間。奇數(shù)階小于零；偶數(shù)階大于零無(wú)約束目標(biāo)函數(shù)的極值條件例:目標(biāo)函數(shù)如下，求極值點(diǎn)及性質(zhì)。解：先求子函數(shù)的一階偏導(dǎo)數(shù)并其等于0，求解駐點(diǎn)，即駐點(diǎn)為（1，1）求H（X）矩陣正定駐點(diǎn)（1，1）為極小值F（）=4

3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件函數(shù)的凸性一元函數(shù)的凸性多元函數(shù)的凸性約束問(wèn)題的極值條件3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件函數(shù)的凸性一元函數(shù)的凸性：其曲線上任意兩點(diǎn)的連線永不在曲線下方。反之為凹曲線。凸函數(shù)

凹函數(shù)一元函數(shù)的凸性在線段中任取一點(diǎn)x(3)，則有：或凸函數(shù)表達(dá)式：幾何意義：任意兩點(diǎn)間的曲線永遠(yuǎn)在連該兩點(diǎn)的直線之下。3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件函數(shù)的凸性多元函數(shù)的凸性：先研究凸集才能研究函數(shù)的凸性。凸集幾何特征：其中的任意兩點(diǎn)間連線都在這集合內(nèi)凸集含義：區(qū)域內(nèi)部無(wú)空洞區(qū)域邊界無(wú)凹陷凸函數(shù)

對(duì)凸集D內(nèi)，任兩點(diǎn)X(1)、X(2)及0<λ<1,恒有：則F(X)為定義在凸集D上的一個(gè)凸函數(shù)幾何意義為：這兩個(gè)點(diǎn)的連線完全處在F(X)曲線(曲面)的上方，或在F(X)。曲線(曲面)上凸函數(shù)的判別方法F(X)在D1連續(xù)一階可導(dǎo)，而D是D1內(nèi)的一個(gè)凸集(D1>D)，對(duì)任意兩點(diǎn)F(X)在D1上有二階的連續(xù)導(dǎo)數(shù)，D是D1內(nèi)的一個(gè)凸集，為凸函數(shù)的充要條件為Hessian矩陣半正定，要求各階主子式的值大于或等于零。函數(shù)凸性的判定：若F(X)在D1上為一階連續(xù)導(dǎo)數(shù)，而D又是D1內(nèi)部的一個(gè)凸集，則F(X)為D上的凸函數(shù)的充分必要條件為：若F(X)在D1上為二階連續(xù)導(dǎo)數(shù)，而D又是D1內(nèi)部的一個(gè)凸集，則F(X)為D上的凸函數(shù)的充分必要條件為:F(X)的Hessian矩陣為半正定。即

H(X)0綜上所述：若F(X)其定義域是凸集，它是該凸集內(nèi)的一個(gè)凸函數(shù)，則在該凸集內(nèi)最多只有一個(gè)極小值，且它一定是該集內(nèi)的全局最小值。

★凸規(guī)劃的局部極小點(diǎn)一定是全局極小點(diǎn)

3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件約束問(wèn)題的極值條件目標(biāo)函數(shù)及約束函數(shù)都是凸函數(shù)目標(biāo)函數(shù)及約束函數(shù)有一個(gè)為非凸函數(shù)結(jié)論庫(kù)恩-塔克條件（約束極值存在的必要條件）3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件約束問(wèn)題的極值條件目標(biāo)函數(shù)及約束函數(shù)都是凸函數(shù)約束最優(yōu)點(diǎn)不一定是自然極值點(diǎn)3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件約束問(wèn)題的極值條件目標(biāo)函數(shù)及約束函數(shù)有一個(gè)為非凸函數(shù)可行域內(nèi)可出現(xiàn)兩個(gè)或多個(gè)相對(duì)極小點(diǎn)，圖中X*是全域約束極小點(diǎn)。3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件約束問(wèn)題的極值條件結(jié)論:對(duì)約束優(yōu)化既要解決“約束極值存在條件”還要解決“全域最優(yōu)點(diǎn)”的問(wèn)題。3.2優(yōu)化設(shè)計(jì)的基本概念有約束目標(biāo)函數(shù)的極值條件約束問(wèn)題的極值條件庫(kù)恩-塔克條件KT:（約束極值存在的必要條件）不是充分條件，因不能確定全局最優(yōu)解。只判斷是否是一個(gè)局部最優(yōu)解。內(nèi)容：目標(biāo)函數(shù)梯度可表示成諸約束面梯度線性組合的負(fù)值，亦即q：為在該設(shè)計(jì)點(diǎn)X處的約束面數(shù)；λ：拉格朗日乘子。庫(kù)恩-塔克條件只有一個(gè)起作用的約束條件目標(biāo)函數(shù)的負(fù)梯度方向與約束函數(shù)梯度方向一致庫(kù)恩-塔克條件有兩個(gè)起作用的約束條件目標(biāo)函數(shù)的負(fù)梯度方向在兩個(gè)約束函數(shù)梯度的夾角內(nèi)庫(kù)恩-塔克條件有多個(gè)起作用的約束條件目標(biāo)函數(shù)梯度可表示成諸約束面梯度線性組合的負(fù)值.庫(kù)恩-塔克條件是約束優(yōu)化極值的必要條件，不是充分條件。只有當(dāng)目標(biāo)函數(shù)及約束函數(shù)都為凸函數(shù)時(shí)，才是充分必要條件。例:目標(biāo)函數(shù)約束條件判斷是否為極小點(diǎn)解：目標(biāo)函數(shù)和約束函數(shù)在X點(diǎn)的梯度

得λ1=1，λ2=1，λ3=0滿足庫(kù)恩-塔克條件，X*是約束極小值。g1(X),g2(X)起作用一、一維搜索和一維搜索最優(yōu)化方法當(dāng)采用數(shù)學(xué)規(guī)劃法尋求多元函數(shù)的極值點(diǎn)時(shí)，一般要進(jìn)行一系列如下格式的迭代計(jì)算:當(dāng)方向給定，求最佳步長(zhǎng)因子就是求一元函數(shù)

:的極值問(wèn)題，這一過(guò)程被稱(chēng)為一維搜索(單變量?jī)?yōu)化).為求得值而采用的方法，稱(chēng)為一維搜索最優(yōu)化方法。3.3一維搜索方法一維搜索3.3一維搜索方法0．618法：又稱(chēng)黃金分割法試探法單谷(峰）區(qū)間:在給定區(qū)間內(nèi)僅有一個(gè)谷值(極大或極小)的函數(shù)稱(chēng)為單峰函數(shù)，其區(qū)間稱(chēng)為單谷區(qū)間.單峰函數(shù)的特點(diǎn)：函數(shù)值:”大－?。蟆?，圖形：“高—低—高”,單谷區(qū)間中一定能求得一個(gè)極小點(diǎn).試探法原理：

F(X)在區(qū)間[a,b]是單峰凸函數(shù)，為縮小該區(qū)間，在中間任取兩點(diǎn)a1,a2。比較F(a1),F(a2)的大小，即可縮小搜索區(qū)，從而精確估出的位置。(1)如F(a1)<F(a2),則縮小的新區(qū)間為[a,a2];(2)如F(a1)>F(a2)，則縮小的新區(qū)間為[a1,b];(3)如F(a1)=F(a2),則縮小的新區(qū)間為[a1,a2]消去原則：消除大函數(shù)值一邊的區(qū)間。3.3一維搜索方法0．618法：又稱(chēng)黃金分割法0．618法黃金分割律：是公元前六世紀(jì)，希臘的大數(shù)學(xué)家畢達(dá)哥拉斯發(fā)現(xiàn)的：如果把一條線段分成兩部分，長(zhǎng)段和短段的長(zhǎng)度之比是1:0.618，整條線段和長(zhǎng)段的比也是1:0.618時(shí)，才是和黃金一樣最完美的分割，進(jìn)行分割的這個(gè)點(diǎn)就叫黃金分割點(diǎn)基本思想:在待定的單峰區(qū)間內(nèi)，不斷消去一部分區(qū)間，把區(qū)間越縮越小，且每次區(qū)間縮短率都相等，新區(qū)間長(zhǎng)度為原區(qū)間長(zhǎng)度的0.618，直到極小點(diǎn)所在的區(qū)間小至滿足精度要求，再取最后區(qū)間的中點(diǎn)作為近似最優(yōu)點(diǎn)。對(duì)函數(shù)的要求：?jiǎn)畏?

將區(qū)間分成三段

黃金分割法還要求在保留下來(lái)的區(qū)間內(nèi)再插入一點(diǎn)所形成的區(qū)間新三段，與原來(lái)區(qū)間的三段具有相同的比例分布。3.3一維搜索方法插值法(二次插值法，亦稱(chēng)拋物線法)基本思想：在選定的單峰區(qū)內(nèi)取一點(diǎn)，連同兩端點(diǎn)，用這三點(diǎn)函數(shù)值構(gòu)成一個(gè)二次多項(xiàng)式，做原函數(shù)的近似，求出該二次多項(xiàng)式的極小值做原函數(shù)的近似最優(yōu)值。

1、二次多項(xiàng)式P(x)的構(gòu)成及其極小點(diǎn)設(shè)原目標(biāo)函數(shù)的初始單峰區(qū)間為x1,x3

。函數(shù)在x1,x2,x33點(diǎn)處函數(shù)值分別為F1,F2,F3，求待定系數(shù)a,b和c,并代入上式，得：計(jì)算步驟1)確定單峰區(qū)[x1，x3]2)選定x2?？蔀閱畏鍏^(qū)中點(diǎn)，或不等間距點(diǎn)常用3)求4)判定是否終止計(jì)算5)縮小搜索區(qū)縮短區(qū)間

假若F(x)本身為二次函數(shù)，則在理論上按前式一次求值就可找到最優(yōu)點(diǎn)。

若F(x)為高于二次的函數(shù)或?yàn)槠渌瘮?shù),可采用區(qū)間消去法逐步縮小區(qū)間。根據(jù)xp*

，x2，F(xiàn)(xp*)和F(x2)的相互關(guān)系，分6種情況進(jìn)行區(qū)間縮小。在已有的四x1，x2，x3，xp*中選擇新的三個(gè)點(diǎn)x1，x2，x3，再進(jìn)行二次插值。選點(diǎn)要求：

☆x1<x2<x3，F(xiàn)1>F2，F(xiàn)2<F3（高－低－高形態(tài)）☆如果，以x2,xp*中函數(shù)值較小的點(diǎn)作為最優(yōu)點(diǎn)x*。二次插值法區(qū)間縮短的幾種情況二次插值法新區(qū)間的取舍二次插值法區(qū)間縮短的幾種情況二次插值法區(qū)間縮短的幾種情況例：從初始點(diǎn)沿給定方向搜索，求最優(yōu)步長(zhǎng)目標(biāo)函數(shù)

的極小值初始點(diǎn)為：搜索方向：3.4無(wú)約束的優(yōu)化方法兩大類(lèi)方法：1、只利用目標(biāo)函數(shù)值本身；

2、利用函數(shù)的一階導(dǎo)數(shù)甚至二階導(dǎo)數(shù)。Powell法梯度法共軛梯度法:解決梯度法變尺度法3.4無(wú)約束的優(yōu)化方法Powell法：直接利用函數(shù)值來(lái)構(gòu)造共軛方向的一種方法

共軛方向的概念定義:設(shè)A為實(shí)對(duì)稱(chēng)正定n階方陣，若有兩個(gè)n維矢量S1與S2滿足時(shí)，稱(chēng)矢量S1與S2對(duì)于實(shí)對(duì)稱(chēng)正定矩陣A共軛。若A為單位矩陣，則兩矢量正交（即相互垂直）。共軛方向是正交方向的推廣。性質(zhì)：對(duì)n維二次目標(biāo)函數(shù)，從任意點(diǎn)出發(fā)，可找到n個(gè)共軛矢量，依次對(duì)這些矢量分別進(jìn)行一維搜索，就可找到該n維二次目標(biāo)函數(shù)的極小點(diǎn)。對(duì)二元函數(shù)：若其Hessian矩陣為正定，其目標(biāo)函數(shù)的等值線是同心橢圓族。二次收斂性對(duì)二元函數(shù)特性任意兩條平行切線與橢圓族的切點(diǎn)的連線，一定通過(guò)橢圓族的中心。對(duì)一個(gè)正定的二元函數(shù)，只要沿兩個(gè)相互共軛的方向進(jìn)行一維搜索，便可找到極小點(diǎn)。3.4無(wú)約束的優(yōu)化方法Powell法共軛方向的形成選任意初始點(diǎn)X(0)

依次沿各坐標(biāo)方向進(jìn)行一維搜索。構(gòu)成第一個(gè)共軛方向

，再沿S(1)

進(jìn)行一維搜索得極小點(diǎn)

。進(jìn)行第二輪搜索，獲第二個(gè)共軛方向。搜索時(shí)去掉e1，從e2方向開(kāi)始，將

加到最后。

再沿此方向進(jìn)行搜索得極小點(diǎn)X

。此兩方向共軛多維無(wú)約束優(yōu)化方法算法的基本過(guò)程是:

從選定的某初始點(diǎn)x(k)出發(fā)，沿著以一定規(guī)律產(chǎn)生的搜索方向S(k),取適當(dāng)?shù)牟介L(zhǎng)a(k),逐次搜尋函數(shù)值下降的新迭代點(diǎn)x(k+1),使之逐步通近最優(yōu)點(diǎn)x*?？梢园殉跏键c(diǎn)x(k)

、搜索方向S(k)

、迭代步長(zhǎng)a(k)

稱(chēng)為優(yōu)化方法算法的三要素。其中以搜索方向S(k)更為突出和重要，它從根本上決定若一個(gè)算法的成敗、收斂速率的快慢等。一個(gè)算法的搜索方向成為該優(yōu)化方法的基本標(biāo)志，分析、確定搜索方向S(k)是研究?jī)?yōu)化方法的最根本的任務(wù)之一。共軛方向的形成過(guò)程3.4無(wú)約束的優(yōu)化方法Powell法Powell法的基本步驟選任意初始點(diǎn)X(0)

依次沿各坐標(biāo)方向進(jìn)行一維搜索。進(jìn)行第二輪搜索,構(gòu)成第一個(gè)共軛方向.

進(jìn)行第二輪搜索，構(gòu)成第二個(gè)共軛方向。以后各輪，均以新獲得的共軛方向替換前一輪搜索的第一個(gè)搜索方向。經(jīng)n輪搜索后，構(gòu)成n個(gè)相互共軛的方向。對(duì)n維二次正定函數(shù)，相繼沿n個(gè)共軛方向做一維搜索，即可得到極值點(diǎn)。3.4無(wú)約束的優(yōu)化方法Powell法Powell法的基本步驟為防止線性相關(guān)，第k輪新算出的共軛方向要滿足下式，否則拋棄該方向：令k輪搜索出的共軛方向及其反映點(diǎn)分別為:式中：3.4無(wú)約束的優(yōu)化方法梯度法基本思想:梯度方向是函數(shù)變化率最大的方向;負(fù)梯度方向是目標(biāo)函數(shù)下降最快的方向。迭代公式最佳步長(zhǎng)因子采用一維搜索的方法決定。終止條件:點(diǎn)距準(zhǔn)則；梯度準(zhǔn)則；相對(duì)準(zhǔn)則3.4無(wú)約束的優(yōu)化方法梯度法迭代步驟：給定初始點(diǎn)X(0)

，允差ε，置k=0。計(jì)算迭代點(diǎn)的梯度和負(fù)梯度方向。計(jì)算最優(yōu)步長(zhǎng)因子迭代計(jì)算檢查是否滿足終止條件令k=k+1轉(zhuǎn)下一步計(jì)算特點(diǎn):只需求一階導(dǎo)數(shù)，迭代計(jì)算簡(jiǎn)單，存儲(chǔ)單元少，對(duì)初始點(diǎn)要求不高。開(kāi)始收斂快，接近極小點(diǎn)時(shí)收斂慢。3.4無(wú)約束的優(yōu)化方法共軛梯度法:解決梯度法接近最優(yōu)點(diǎn)時(shí)收斂慢的缺點(diǎn).基本原理：利用目標(biāo)函數(shù)的梯度確定共軛方向.為避免梯度方向后期收斂慢，用新搜索方向使之與所算出的梯度方向共軛。其共軛矩陣為該點(diǎn)的海森矩陣。海森矩陣及逆陣難求，需找新路目標(biāo)函數(shù)不是二階，海森矩陣因點(diǎn)而異，要順序地求解共軛梯度法基本原理3.4無(wú)約束的優(yōu)化方法共軛梯度法共軛方向的形成：若A已知，可直接求。一般將共軛方向?qū)懗稍擖c(diǎn)負(fù)梯度矢量與前一步搜索方向的線性組合.新的共軛方向應(yīng)滿足:(1)要寫(xiě)成如下形式：(2)共軛系數(shù)求法：將（2）代入（1）:(3)因相鄰兩次迭代的負(fù)梯度方向正交，故有:式(3)簡(jiǎn)化為：結(jié)論：選初始點(diǎn)X(0)，允差ε，維數(shù)n。計(jì)算初始點(diǎn)負(fù)梯度方向?yàn)樗阉鞣较?。求最?yōu)步長(zhǎng)并計(jì)算新點(diǎn)的梯度。精度判斷判斷k+1是否等于n，若相等令X(0)

=X(k+1)

,并轉(zhuǎn)回步驟1；否則轉(zhuǎn)入下一步.計(jì)算共軛方向令k=k+1轉(zhuǎn)入步驟

2.3.迭代步驟3.4無(wú)約束的優(yōu)化方法共軛梯度法特點(diǎn)：二次收斂，程序簡(jiǎn)單，存儲(chǔ)量小適用于多變量?jī)?yōu)化；但目標(biāo)函數(shù)必可求一階導(dǎo)數(shù)。3.4無(wú)約束的優(yōu)化方法變尺度法基本思想和公式:加速收斂，避免求二階導(dǎo)數(shù)矩陣及其逆陣。將負(fù)梯度方向乘一個(gè)對(duì)稱(chēng)正定矩陣（變尺度矩陣）修正后做為搜索方向。。迭代步驟對(duì)二次函數(shù)難求，且所以實(shí)際運(yùn)算中求E有許多公式:常用的有DFP法和BFGS法

迭代步驟給定初始點(diǎn)，允差和維數(shù)設(shè)變尺度矩陣的初值為單位矩陣，置k=0求搜索方向和最優(yōu)步長(zhǎng)：求出下一個(gè)迭代點(diǎn):檢驗(yàn)終止條件，終止，否則轉(zhuǎn)下一步檢查迭代次數(shù)；若k=n則X(0)

=X(k+1)，轉(zhuǎn)步驟2，否則轉(zhuǎn)下一步構(gòu)造新的搜索方向：令k=k+1轉(zhuǎn)入步驟33.5有約束優(yōu)化設(shè)計(jì)的方法直接法與間接法：前者設(shè)法使每次迭代點(diǎn)在可行域內(nèi)；后者將約束問(wèn)題通過(guò)一定形式的變換，轉(zhuǎn)化成無(wú)約束問(wèn)題。復(fù)合形法基本思想：在可行域內(nèi)選k個(gè)設(shè)計(jì)點(diǎn)，作為初始復(fù)合形的頂點(diǎn)，構(gòu)成一個(gè)多面體。經(jīng)各頂點(diǎn)比較，找出目標(biāo)函數(shù)最大的為壞點(diǎn)，按一定規(guī)則以新點(diǎn)代替壞點(diǎn)，構(gòu)成新的多邊形。多次重復(fù)，使復(fù)合性向最優(yōu)點(diǎn)靠近，最后以頂點(diǎn)中目標(biāo)函數(shù)最小的做最優(yōu)點(diǎn)。3.5有約束優(yōu)化設(shè)計(jì)的方法復(fù)合形法頂點(diǎn)數(shù)目：為克服退化頂點(diǎn)數(shù)n+1≤k≤2n。以二維函數(shù)為例：3≤k≤4。具體方法：三個(gè)復(fù)合形頂點(diǎn)構(gòu)成一個(gè)三角形，Xh是最壞點(diǎn)，Xc是除最壞點(diǎn)外的形心，沿Xh，Xc方向取Xr為映射點(diǎn)Xr=Xc+a(Xc-Xh),映射系數(shù)α=1.3。首先檢查Xr是否在可行域內(nèi)，若不在將α減半再檢查，直至退入可行域；再檢查函數(shù)值，若F(Xr)<F(Xh)以新點(diǎn)代替壞點(diǎn)，否則將α減半再檢查，直至滿足上式。若減至很小，則依次壞點(diǎn)代替壞點(diǎn)進(jìn)行映射。直至復(fù)合形收縮到規(guī)定的精度范圍內(nèi)。迭代步驟產(chǎn)生初始復(fù)合形對(duì)頂點(diǎn)的要求：在可行域內(nèi)；在k個(gè)點(diǎn)中至少有n+1個(gè)線性無(wú)關(guān)（n+1≤k≤2n）。頂點(diǎn)的產(chǎn)生：簡(jiǎn)單的可在可行域內(nèi)任意選??；復(fù)雜的需用隨機(jī)方法：選一個(gè)初始點(diǎn),其余點(diǎn):j為復(fù)合形頂點(diǎn)的標(biāo)號(hào)[2，k]；i為設(shè)計(jì)變量的標(biāo)號(hào)[1，n]。設(shè)計(jì)變量的解域γji為[0，1]間的偽隨機(jī)數(shù)。然后檢查各頂點(diǎn)是否在可行域內(nèi)，不滿足則向形心靠攏。迭代步驟尋找映射點(diǎn)找出最壞點(diǎn)Xh，求出其余各點(diǎn)的形心Xc。獲得映射點(diǎn),檢查其可行性，不滿足則減半α。迭代步驟比較函數(shù)值構(gòu)成新復(fù)合形F(Xr)＜F(Xh)，用映射點(diǎn)代替壞點(diǎn)轉(zhuǎn)向2。F(Xr)>F(Xh)，將α減半，直至滿足。若α過(guò)小(10-5)，用次壞點(diǎn)代替壞點(diǎn)。終