第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)機械優(yōu)化設(shè)計

第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)優(yōu)化問題的求解一般是非線性規(guī)劃問題，實質(zhì)上是多元非線性函數(shù)的極值問題。從數(shù)學(xué)上看，無約束優(yōu)化問題就是無條件極值問題，約束優(yōu)化問題即條件極值問題。本章主要介紹極值理論，重點是優(yōu)化問題的極值條件。21多元函數(shù)的方向?qū)?shù)與梯度一、方向?qū)?shù)二元函數(shù)FX1，X2的偏導(dǎo)數(shù)221221021212110121XXXFXXXFXFXXXFXXXFXFXX,LIM,LIM21XFXF、是函數(shù)分別沿坐標(biāo)軸X1、X2方向的變化率。函數(shù)沿某一方向D的變化率稱為該函數(shù)沿此方向的方向?qū)?shù)。其中1、2分別是方向D與X1、X2軸的夾角，COS1、COS2為方向余弦。擴展到多元函數(shù)，我們有22112122110COSCOS,LIMDXFXFDXXFXXXXFFDNIIIXFF1COSD其中方向余弦為NJJIIXX12COS二、梯度對二元函數(shù)，定義TXFXFXFXFF2121X為函數(shù)FX1,X2的梯度。設(shè)21COSCOSD為D方向的單位向量，則方向?qū)?shù)DXDTFF即沿方向D的方向?qū)?shù)為函數(shù)的梯度與D方向單位向量的內(nèi)積|代表向量的模，（F,D表示梯度向量與D的夾角。可見，梯度方向是方向?qū)?shù)最大的方向，即函數(shù)變化率最大的方向。D,COSXDXDFFFFT在等值線FX1,X2C上，求函數(shù)全微分得0212211DXDXFDXXFDXXFT故梯度方向與等值線（切線）垂直。推廣到多元函數(shù)其中TNXFXFXFF21XD,COSXDXDFFFFTNCOSCOSCOSD212112NIIXFFX梯度方向為函數(shù)等值面FXC的法線方向。22多元函數(shù)的泰勒展開許多算法及其收斂性的證明都基與此。設(shè)函數(shù)具有二次以上連續(xù)性，則泰勒展開式為一元函數(shù)（在XX0處）200021XXFXXFXFXF“其中XXX0二元函數(shù)（在XX10,X20處）222222121221212221120102100000221XXFXXXXFXXFXXFXXFXXFXXFXXXXX,其中X1X1X10,X2X2X20。記為矩陣形式有其中XXXXXXXXXX000212221222122122121210212100GFFXXXFXXFXXFXFXXXXXFXFFFTT21XXX02221222122120XXXFXXFXXFXFGHESSIAN矩陣海賽矩陣（24）（24）式可推廣到N元函數(shù)。優(yōu)化計算時，常將目標(biāo)函數(shù)作泰勒展開，取到線性項或二次項作為近似表達(dá)。函數(shù)僅有二次項時稱為二次齊次函數(shù)，其矩陣形式為XXXGFT二次型）當(dāng)任意非零向量X使得0XXGT稱二次齊次函數(shù)正定，G稱為正定矩陣。23無約束優(yōu)化問題的極值條件此處的極值條件指目標(biāo)函數(shù)取得極小值時，極值點所應(yīng)滿足的條件。對于可微的一元函數(shù)，極值點XX0的必要條件是駐點，即FX00。判斷駐點是否為極值點需檢驗二階甚至更高階導(dǎo)數(shù)。F”X00X0為極小點。F”X00，則FX也為凸函數(shù)。F1X、F2X為R上的凸函數(shù)，0，0，則F1XF2X也為R上的凸函數(shù)。三、凸性條件1、FX定義在凸集R上，有一階連續(xù)導(dǎo)數(shù)，X1R,X2R，則FX為凸函數(shù)FX2FX1X2X1TFX12、FX定義在凸集R上，有二階連續(xù)導(dǎo)數(shù)，則FX為凸函數(shù)HESSIAN矩陣GX在R上處處半正定。0XXGT四、凸規(guī)劃1、定義對于約束優(yōu)化問題MINFXSTGJX0J1,2,M若FX、GJXJ1,2,M均為凸函數(shù)，則稱此優(yōu)化問題為凸規(guī)劃。2、性質(zhì)1）可行域內(nèi)任給一點X0，集合RX|FXFX0為凸集。對二元函數(shù)而言，這意味著其等值線為外凸曲線。證X1R,X2R,則FX1FX0,FX2FX0,FX為凸函數(shù)FAX11AX2AFX11AFX2AFX01AFX0FX0故AX11AX2XR證畢2可行域RX|GJX0,J1,2,M為凸集。證X1R,X2R,由于GJX為凸函數(shù)，則有GJAX11AX2AGJX11AGJX20兩項均0）故AX11AX2XR3凸規(guī)劃的任意局部最優(yōu)解就是全局最優(yōu)解。證（反正法）設(shè)X1為局部極小點，但不是全局極小點，即在X1的鄰域內(nèi)X點有FXFX1，但此鄰域外存在X2點，有FX1FX2。由于FX為凸函數(shù)，故有FAX11AX2AFX11AFX2AFX11AFX1FX1當(dāng)A1時，點XAX11AX2進入X1點鄰域，此時有FXFAX11AX2FX1與X1為局部極小點矛盾。25等式約束優(yōu)化問題的極值條件一、消元法（降維法）每個等式約束方程可消去一個變量。設(shè)M個約束方程把N個變量中的前M個變量表示為后NM個變量的函數(shù),XXMINMKHTSFK210,NMMMMNMMNMMXXXXXXXXXXXX2121222111代入原目標(biāo)函數(shù)，得新的目標(biāo)函數(shù)轉(zhuǎn)化為無約束優(yōu)化問題。其極值條件為新目標(biāo)函數(shù)的梯度為零。由于M個約束方程聯(lián)立不易求解，消元法實際應(yīng)用意義不大。,NMMXXXF21二、拉格朗日乘子法（升維法）構(gòu)造拉格朗日函數(shù)MKKKHFF1XXX,將FX,視為一個具有NM個變量的無約束條件的目標(biāo)函數(shù)可得其極值必要條件其中前N個方程可寫為,MKFNIXFKI210210XKKHF0HXXFF式中XXXHXMTMHHH212126不等式約束優(yōu)化問題的極值條件工程上大多數(shù)優(yōu)化問題均屬具有不等式約束的優(yōu)化問題，其極值必要條件是著名的庫恩塔克KUHNTUCKER條件。,XXMINMJGTSFJ210引入起作用約束下標(biāo)集合MJGJJJ,2,1,0XX則目標(biāo)函數(shù)取得約束極值的KUHNTUCKER條件為X,XXXJJNIXGXFJJJIJJI0210表示為梯度形式有幾何意義在約束極小值點X處，函數(shù)FX的負(fù)梯度可表示為所有起作用約束函數(shù)在該點梯度的非負(fù)線性組合?；蚰繕?biāo)函數(shù)負(fù)梯度向量被包含在起作用約束函數(shù)梯度向量構(gòu)成的錐形區(qū)域內(nèi)。XXXJJJJGF0或XXXJJJJGF非極值點極值點G1X0G2X0FXCXKG1XKG2XK可行域FXK可行下降區(qū)G1X0G2X0可行域XKFXCG1XKG2XKFXK對同時具有等式和不等式約束的優(yōu)化問題,X,XXMINLKHMJGTSFKJ210210目標(biāo)函數(shù)取得約束極值的KUHNTUCKER條件為,XX,XXXXLKHJJNIXHXGXFKJJJIKKIJJI2100210庫恩塔克條件應(yīng)用舉例對優(yōu)化問題001441222122121XXXXTSXXXFMINX試作出可行域，畫出等值線FX025,1,225,4，找出最優(yōu)解，并驗證庫恩塔克條件。解00012132222112221XGXGXXGXXFXXXX目標(biāo)函數(shù)等值線是以（2，0）點為圓心的同心圓，可行域由3條約束函數(shù)曲線圍成，如圖所示。從圖中可知，（1，0）點是最優(yōu)點。現(xiàn)驗證其KT條件0101001010101321,GGG1201101220112101111,GXGXXG100110100122212,GXGXGG1,G2為起作用約束，G3為不起作用約束。設(shè)則020102012420101220111,