機械優(yōu)化設(shè)計-第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)PPT課件

1、 機械優(yōu)化設(shè)計 機械優(yōu)化設(shè)計 機械優(yōu)化設(shè)計 n n元函數(shù)在點元函數(shù)在點x x0 0處沿處沿d d方向的方向?qū)?shù)方向的方向?qū)?shù) i n i x i n xxx x x f x f x f x f d f n cos coscoscos 1 1 2 2 1 1 0 00 0 機械優(yōu)化設(shè)計 2 2、二元函數(shù)的梯度、二元函數(shù)的梯度 0 000 1 12 21212 cos cos+ cos, cos x xxx fffff dxxxx 0 0 1 0 12 2 (), T x x f x ff f x fxx x 令 梯度梯度 0 00 ()() cos(, ) T x f f xdf xf d d

2、2 1 cos cos d 機械優(yōu)化設(shè)計 當梯度方向和當梯度方向和d d方向重合時，方向?qū)?shù)值方向重合時，方向?qū)?shù)值 最大，即梯度方向是函數(shù)值變化最快方向，最大，即梯度方向是函數(shù)值變化最快方向， 而梯度的模就是函數(shù)值變化率的最大值。而梯度的模就是函數(shù)值變化率的最大值。 0 00 ()() cos(, ) T x f f xdf xf d d 2 2 2 1 0) ( x f x f xf梯度的模：梯度的模： 機械優(yōu)化設(shè)計 多元函數(shù)的梯度多元函數(shù)的梯度 T x n x n x f x f x f x f x f x f xf 0 0 21 2 1 0) ( ),cos()()(cos 00 1

3、0 0 dfxfdxf x f d f T i n i x ix 機械優(yōu)化設(shè)計 2/1 2 1 0 )()( 0 x n i i x f xf 多元函數(shù)的梯度的模：多元函數(shù)的梯度的模： 函數(shù)的梯度方向函數(shù)的梯度方向與函數(shù)的等值面相垂直與函數(shù)的等值面相垂直，也，也 就是和等值面上過就是和等值面上過x0 x0的一切曲線相垂直。的一切曲線相垂直。 由于梯度的模因點而異，即函數(shù)在不同點處由于梯度的模因點而異，即函數(shù)在不同點處 的最大變化率是不同的。因此，梯度是函數(shù)的一的最大變化率是不同的。因此，梯度是函數(shù)的一 種種局部性質(zhì)局部性質(zhì)。 機械優(yōu)化設(shè)計 梯度的兩個重要性質(zhì)：梯度的兩個重要性質(zhì)： 函數(shù)在某點的

4、函數(shù)在某點的梯度不為零，則必與過該點的等值面垂直梯度不為零，則必與過該點的等值面垂直 （即為過點的等值線的法線方向）；（即為過點的等值線的法線方向）； 梯度方向具有最大變化率方向梯度方向具有最大變化率方向 正梯度方向是函數(shù)值最速上升的方向，正梯度方向是函數(shù)值最速上升的方向， 負梯度方向是函數(shù)值最速下降的方向負梯度方向是函數(shù)值最速下降的方向。 機械優(yōu)化設(shè)計 2 1 2 1 2 42 )( x x x f x f xf 4 2 2 42 )( 2 1 1 x x xf 例例1 1：求二次函數(shù)求二次函數(shù)44, 1 2 2 2 121 xxxxxf T 2 , 3在點在點 處的梯度。處的梯度。 解：解

5、： 在點在點 T 2 , 3 處的梯度為：處的梯度為： 機械優(yōu)化設(shè)計 例例2 2：試試求二次函數(shù)求二次函數(shù) 2 221 2 121 43,xxxxxxf T x1 , 0 0 在點在點 處的最速下降方向，并求沿這個方向移動一個單位長處的最速下降方向，并求沿這個方向移動一個單位長 度后新點的目標函數(shù)值。度后新點的目標函數(shù)值。 解：解： 21 1 46xx x f 21 2 24xx x f 2 4 24 46 )( 1 0 21 21 1 0 2 1 0 2 1 2 1 x x x x xx xx x f x f xfP T x 1 , 0 0 則函數(shù)在則函數(shù)在 處的最速下降方向為處的最速下降方

6、向為 機械優(yōu)化設(shè)計 該方向上的單位向量為該方向上的單位向量為 5 5 1 5 5 2 )2(4 2 4 )( )( 22 0 0 xf xf e 5 5 1 1 5 5 2 5 5 1 5 5 2 1 0 01 exx 1 x新點新點 52 5 26 43)( 1 2 221 2 1 1 x xxxxxf 該點函數(shù)值該點函數(shù)值 機械優(yōu)化設(shè)計 常用梯度公式：常用梯度公式： QXXfQXXXfQ XXfXXXf bXfXbXf XfCXf T T T 2)()()4( 2)()() 3( )()()2( 0)()()() 1 ( 為對稱矩陣， 常數(shù) 注意：梯度為向量注意：梯度為向量 二次型二次型

7、機械優(yōu)化設(shè)計 二、多元函數(shù)的泰勒展開二、多元函數(shù)的泰勒展開 f x 0 xx在在 點處的泰勒展開為：點處的泰勒展開為： 2 000 1 2 f xf xfxxfxx 其中其中 2 2 00 ,xxxxxx 1、一元函數(shù)一元函數(shù) 機械優(yōu)化設(shè)計 2 2、二元函數(shù)、二元函數(shù) 11102220 ,xxxxxx 其中：其中： .2 ! 2 1 ),(, 2 2 2 2 2 21 21 2 2 1 2 1 2 2 2 1 1 201021 000 00 x x f xx xx f x x f x x f x x f xxfxxf xxx xx 二元函數(shù)二元函數(shù) 在在 點處的泰勒展開式為：點處的泰勒展開式為

8、： )(xf),( 20100 xxx 機械優(yōu)化設(shè)計 上式寫成矩陣形式：上式寫成矩陣形式： 2 1 2 2 2 21 2 21 2 2 1 2 21 2 1 21 0 0 0 2 1 )()( x x x f xx f xx f x f xx x x x f x f xfxf x x 機械優(yōu)化設(shè)計 0 2 2 2 12 2 21 2 2 1 2 0) ( x x f xx f xx f x f xG 令令 xxGxxxfxfxf T T 000 2 1 2 1 x x x 0 xG 21,x xf 上式可寫成上式可寫成 稱為函數(shù)稱為函數(shù) 在在 點處的點處的 海賽（海賽（Hessian）矩陣）矩

9、陣 ),( 20100 xxx 參見教材例題參見教材例題P30 機械優(yōu)化設(shè)計 海賽矩陣海賽矩陣是由函數(shù)是由函數(shù) 在點在點 處的二階偏處的二階偏 導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有： ),( 21 xxf 0 x 21 2 12 2 xx f xx f )( 0 xG 2 2 2 12 2 21 2 2 1 2 0 )( x f xx f xx f x f xG 所以所以 矩陣為矩陣為對陣方陣。對陣方陣。 機械優(yōu)化設(shè)計 海賽矩陣海賽矩陣 2 2 2 2 1 2 2 2 2 2 2 12 2 1 2 21 2 2 1 2 0) ( nnn n n x

10、 f xx f xx f xx f x f xx f xx f xx f x f xG 3 3、多元函數(shù)、多元函數(shù) xxGxxxfxfxf T T 000 2 1 其中：梯度其中：梯度 T x n x f x f x f xf 0 21 0) ( 泰勒展開式泰勒展開式 機械優(yōu)化設(shè)計 若將函數(shù)的泰勒展開式只取到線性項，即取若將函數(shù)的泰勒展開式只取到線性項，即取 )( 000 xxxfxfxz T xz 0 x則則 是過點是過點 和函數(shù)和函數(shù) 所代表的超曲面相所代表的超曲面相 切的切平面。切的切平面。 xf 若將函數(shù)的泰勒展開式取到二次項時，則得到二若將函數(shù)的泰勒展開式取到二次項時，則得到二 次函

11、數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為 二次型。二次型。 矩陣形式矩陣形式 Gxxxf T G-對稱矩陣對稱矩陣 機械優(yōu)化設(shè)計 當對任何非零向量當對任何非零向量x x使使 0Gxxxf T 則二次型函數(shù)正定，則二次型函數(shù)正定，G G為正定矩陣。為正定矩陣。 機械優(yōu)化設(shè)計 海賽矩陣的特征：是實對稱矩陣。海賽矩陣的特征：是實對稱矩陣。 0)det(G 0)det(G 0)det(G 4 4、海賽矩陣與正定、海賽矩陣與正定 矩陣矩陣正定正定的充要條件：矩陣的充要條件：矩陣G的各階順序主子式為正，即的各階順序主子式為正，即 矩陣矩陣負定負定的充要條件：矩陣的充

12、要條件：矩陣G G的的 奇數(shù)階主子式奇數(shù)階主子式 主子式主子式 偶數(shù)階主子式偶數(shù)階主子式 海賽矩陣的正定性：海賽矩陣的正定性： )( xG正定正定- 為全局極小值點的充分條件為全局極小值點的充分條件 x )( xG負定負定- 為全局極大值點的充分條件為全局極大值點的充分條件 x 機械優(yōu)化設(shè)計 例例3 3 判定矩陣判定矩陣 是否正定？是否正定？ 010 401 023 136 03 23 36 066 解：解：該對稱矩陣的三個主子式依次為：該對稱矩陣的三個主子式依次為： 401 023 136 G 故可知矩陣故可知矩陣G是正定的。是正定的。 機械優(yōu)化設(shè)計 定理：定理：若二次函數(shù)若二次函數(shù) 中中Q

13、 Q正定，正定， 則它的等值面是同心橢球面族，且中心為則它的等值面是同心橢球面族，且中心為 cbXQXXXf T 2 1 )( bQX 1 證明：證明：作變換作變換 ，代入二次函數(shù)式中：，代入二次函數(shù)式中： bQYX 1 cbQYbbQYQbQY T )()()( 2 1 111 )()( 1b QYfY cbQbQYY TT 1 2 1 2 1 QYY T 2 1 0 Y bQX 1 結(jié)論：結(jié)論：Q為正定矩陣的二次型為正定矩陣的二次型 的等值面是以的等值面是以 的同心橢球面族。原二次函數(shù)就是以的同心橢球面族。原二次函數(shù)就是以 為中心的同心為中心的同心 橢球面族，橢圓中心為極小值點。橢球面族，

14、橢圓中心為極小值點。 機械優(yōu)化設(shè)計 例例4 把二次函數(shù)把二次函數(shù) 化為矩陣向量形式并檢驗化為矩陣向量形式并檢驗Q是否正定，如正定，試用公式是否正定，如正定，試用公式 求這個函數(shù)的極小點。求這個函數(shù)的極小點。bQX 1 213121 2 3 2 2 2 1321 54323),(xxxxxxxxxxxxf 3 2 1 321 3 2 1 333231 232221 131211 321 2 1 x x x bbb x x x ggg ggg ggg xxx XbQXXxxxf TT 2 1 ),( 321 T bQX7 . 07 . 68 . 2 1 0 5 4 b 401 023 136 Q

15、解：解： 與題中函數(shù)比較各系數(shù)得：與題中函數(shù)比較各系數(shù)得： 由計算知由計算知Q Q正定，極小點正定，極小點 機械優(yōu)化設(shè)計 三、無約束優(yōu)化問題的極值條件三、無約束優(yōu)化問題的極值條件 1 1、一元函數(shù)、一元函數(shù) f x 0 xx對于可微的一元函數(shù)對于可微的一元函數(shù) 判斷在判斷在 處是否取得極處是否取得極 值的過程：值的過程： 0 0fx 0 0fx 則則 為極小點。為極小點。 0 x 0 0fx 0 x 0 0fx 逐次檢驗其更高階導(dǎo)數(shù)逐次檢驗其更高階導(dǎo)數(shù) 的符號，開始不為零的的符號，開始不為零的 導(dǎo)數(shù)階數(shù)若為偶次，則導(dǎo)數(shù)階數(shù)若為偶次，則 為極值點，若為奇次，為極值點，若為奇次， 則為拐點。則為拐

16、點。 則則 為極大點。為極大點。 機械優(yōu)化設(shè)計 2 2、二元函數(shù)、二元函數(shù) 01020 ,xxx定理定理1：若二元可微函數(shù)若二元可微函數(shù) 在在 處處 取得極值的取得極值的必要條件必要條件是：是： ),( 21 xxf 0 00 21 xx x f x f 即即0)( 0 xf 凡滿足上式的點稱為函數(shù)的凡滿足上式的點稱為函數(shù)的駐點駐點 （零向量）（零向量） 機械優(yōu)化設(shè)計 如下圖所示的二元函數(shù)，在如下圖所示的二元函數(shù)，在M0點雖有點雖有 和和 是個駐點，但它不是極值點。是個駐點，但它不是極值點。 0 x f 0 y f 機械優(yōu)化設(shè)計 01020 ,xxx 定理定理2：若二元可微函數(shù)若二元可微函數(shù)

17、在在 的的 某個鄰域取得極小值的某個鄰域取得極小值的充分條件充分條件是要求在該點附是要求在該點附 近的一切點均滿足：近的一切點均滿足： ),( 21 xxf 0),(),( 201021 xxfxxf 若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當滿足若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當滿足 0),(, 0),( 2010 2010 21 xxfxxf xx 則泰勒展開式的函數(shù)增量近似式（略三階以上則泰勒展開式的函數(shù)增量近似式（略三階以上 高階微量）為：高階微量）為： 機械優(yōu)化設(shè)計 0),(),(2),( 2 1 ),(),(2),( 2 1 ),(),( ),(),( 2 22010 212010 2

18、 12010 2 22010 212010 2 12010 22010 12010 201021 2 2 21 2 1 2 2 21 2 1 21 xxxfxxxxfxxxf xxxfxxxxfxxxf xxxfxxxf xxfxxf x xx x x xx x xx ),(),(),( 2010 2010 2010 2 2 21 2 1 xxfCxxfBxxfA x xx x 令令 則則02 2 1 2 221 2 1 xCxxBxA 0, 0 CB BA A 可見，函數(shù)增量的性態(tài)與可見，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)?？梢宰C明，當滿的值有關(guān)?？梢宰C明，當滿 足以下條件時，足以下條件時，

19、 為極小值（證明略）。為極小值（證明略）。),( 2010 xxf 此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。 機械優(yōu)化設(shè)計 結(jié)論：結(jié)論： 二元函數(shù)在某點取得二元函數(shù)在某點取得極小值極小值的的充分條件充分條件是要是要 求求該點處的海賽矩陣為正定該點處的海賽矩陣為正定。 0 ()0f x 0 2 2 1 0 x f x 22 2 112 22 2 212 0 ff xx x G x ff x xx 且且 01020 ,xxx 對于二元函數(shù)對于二元函數(shù) 在在 處取得極處取得極 值的值的充分必要條件充分必要條件是：

20、是： ),( 21 xxf 參見教材例題參見教材例題P32P32 機械優(yōu)化設(shè)計 3、多元函數(shù)、多元函數(shù) 對于多元函數(shù)對于多元函數(shù) 若在若在 處取得處取得極值極值，則，則),( 21n xxxf x 必要條件：必要條件： 充分條件：充分條件： x nnn n n x f xx f xx f xx f x f xx f xx f xx f x f xG 2 2 2 2 1 2 2 2 2 2 2 12 2 1 2 21 2 2 1 2 )( 0)( 21 T x n x f x f x f xf 正定正定 或負定或負定 機械優(yōu)化設(shè)計 四、凸集、凸函數(shù)與凸規(guī)劃四、凸集、凸函數(shù)與凸規(guī)劃 當極值點當極值

21、點x x* *能使能使f(xf(x* *) )在整個可行域中為最小值時，即在整個可行域中為最小值時，即 在整個可行域中對任一在整個可行域中對任一x x都有都有f(x)=f(xf(x)=f(x* *),),則則x x* *為為全域最優(yōu)全域最優(yōu) 點（全域極小點）。點（全域極小點）。若若f(xf(x* *) )為局部可行域中的極小值而非為局部可行域中的極小值而非 整個可行域的最小值時，則稱整個可行域的最小值時，則稱x x* *為為局部最優(yōu)點或相對最優(yōu)局部最優(yōu)點或相對最優(yōu) 點點。優(yōu)化的目標是全域最優(yōu)點。為了判斷某個極值點是否。優(yōu)化的目標是全域最優(yōu)點。為了判斷某個極值點是否 為全域最優(yōu)點，研究函數(shù)的凸性

22、是必要的。為全域最優(yōu)點，研究函數(shù)的凸性是必要的。 函數(shù)的凸性表現(xiàn)為函數(shù)的凸性表現(xiàn)為單峰性單峰性。對于具有凸性特點的函數(shù)。對于具有凸性特點的函數(shù) 來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全 域最優(yōu)點。域最優(yōu)點。 為了研究函數(shù)的凸性，下面引入為了研究函數(shù)的凸性，下面引入凸集凸集的概念：的概念： 機械優(yōu)化設(shè)計 1 1、凸集、凸集 12 ,xR xR 01 如果對一切如果對一切 及一切滿足及一切滿足 12 (1)xxyR的實數(shù)的實數(shù) ，點點 則稱集合則稱集合 R為為凸集凸集，否則稱為非凸集。，否則稱為非凸集。 y y x x2 2 x x1 1

23、 l l l l xx yx 12 2 若若y y是是x x1 1和和x x2 2連線上的點，則有連線上的點，則有 整理后即得整理后即得 21 )1 (xxy 機械優(yōu)化設(shè)計 凸集的凸集的性質(zhì)：性質(zhì)： 若若D為凸集，為凸集， 為一個實數(shù)，則集合為一個實數(shù)，則集合 仍是凸集；仍是凸集； 若若D和和F均為凸集，則其和（或并）仍是凸集；均為凸集，則其和（或并）仍是凸集； 任何一組凸集的積（或交）仍是凸集。任何一組凸集的積（或交）仍是凸集。 D 機械優(yōu)化設(shè)計 2 2、凸函數(shù)、凸函數(shù) 具有凸性（表現(xiàn)為單峰性）或只有唯一的局部具有凸性（表現(xiàn)為單峰性）或只有唯一的局部 最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或

24、單最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單 峰函數(shù)。其數(shù)學(xué)定義是：峰函數(shù)。其數(shù)學(xué)定義是： 設(shè)設(shè)f(x)f(x)為定義在為定義在n n維歐式空間中的一個凸集維歐式空間中的一個凸集D D上上 的函數(shù)，如果對于任何實數(shù)的函數(shù)，如果對于任何實數(shù) 以及對以及對D D 中任意兩點中任意兩點x x1 1，x x2 2恒有：恒有： 1212 (1)(1)fxxf xf x f x 則則 為為D D上的凸函數(shù)，若不滿足上式，則為上的凸函數(shù)，若不滿足上式，則為 凹函數(shù)。凹函數(shù)。如式中的等號去掉，則稱其為嚴格凸如式中的等號去掉，則稱其為嚴格凸 函數(shù)。函數(shù)。 ) 10( 機械優(yōu)化設(shè)計 1212 (1)(1)fxxf

25、 xf x 凸函數(shù)的凸函數(shù)的幾何意義幾何意義：在函數(shù)曲線上取任意兩點連：在函數(shù)曲線上取任意兩點連 成一直線段，則該線段上任一點的縱坐標值必大成一直線段，則該線段上任一點的縱坐標值必大 于或等于該點處的原函數(shù)值。于或等于該點處的原函數(shù)值。 l l xfxf yxf )()( )( 12 1 )()1 ()( 21 xfxfy y )(xf x 2 xx 1 x o f 1 f 2 f lxxlxx 212 , 機械優(yōu)化設(shè)計 凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì) 1）若）若f(x)為定義在凸集為定義在凸集D上的一個凸函數(shù)，對于任上的一個凸函數(shù)，對于任 意實數(shù)意實數(shù)a0，則，則af(x)也是凸集也是凸集D上的凸

26、函數(shù)；上的凸函數(shù)； 2）定義在凸集）定義在凸集D上的兩個凸函數(shù)上的兩個凸函數(shù)f1(x),f2(x)，其和，其和 f1(x)+f2(x)亦為該凸集上的一個凸函數(shù)；亦為該凸集上的一個凸函數(shù)； 3）若）若f1(x),f2(x)為定義在凸集為定義在凸集D上的兩個凸函數(shù)，上的兩個凸函數(shù)， 為兩個任意正數(shù)，則為兩個任意正數(shù)，則 仍為仍為D上上 的凸函數(shù)。的凸函數(shù)。 , )()( 21 xfxf 機械優(yōu)化設(shè)計 3 3、凸性條件、凸性條件 （1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性 設(shè)設(shè)f(x)f(x)為定義在凸集為定義在凸集R R上，且具有連續(xù)的一階導(dǎo)數(shù)上，

27、且具有連續(xù)的一階導(dǎo)數(shù) 的函數(shù)，則的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件是對凸是對凸 集集R R內(nèi)任意不同兩點內(nèi)任意不同兩點 、 ，下面不等式，下面不等式恒成立。恒成立。 1 x 2 x 21211 T f xf xxxf x 機械優(yōu)化設(shè)計 （2 2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣）根據(jù)二階導(dǎo)數(shù)（海賽矩陣) )來判斷函數(shù)的凸性來判斷函數(shù)的凸性 設(shè)設(shè)f(x)f(x)為定義在凸集為定義在凸集R R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則 f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件為：為： 海賽矩陣在海賽矩陣在R R上處處半正定

28、。對于嚴格的凸函數(shù)，其充上處處半正定。對于嚴格的凸函數(shù)，其充 要條件為海賽矩陣為正定。要條件為海賽矩陣為正定。 當海賽矩陣當海賽矩陣G G的主子式的主子式: : det(G) det(G)0 0時，矩陣正定時，矩陣正定 det(G)0 det(G)0 時，矩陣半正定時，矩陣半正定 det(G)det(G)0 0時，矩陣負定時，矩陣負定 det(G)0det(G)0時，矩陣半負定時，矩陣半負定 G(xG(x* *) )正定，正定， 是是 x x* * 為全局極小值點的充分條件為全局極小值點的充分條件； G(xG(x* *) )半正定半正定, , 是是 x x* * 為局部極小值點的充分條件；為局

29、部極小值點的充分條件； G(xG(x* *) )負定，負定， 是是 x x* * 為全局極大值點的充分條件；為全局極大值點的充分條件； G(xG(x* *) )半負定半負定, , 是是 x x* * 為局部極大值點的充分條件為局部極大值點的充分條件。 說明：說明： 機械優(yōu)化設(shè)計 4 4、凸規(guī)劃、凸規(guī)劃 對于約束優(yōu)化問題對于約束優(yōu)化問題 min fX . .st 0 j gX (1,2,3,)jm fX j gX(1,2,3,)jm若若 、 都為凸函數(shù)，則稱此問題為凸規(guī)劃。都為凸函數(shù)，則稱此問題為凸規(guī)劃。 機械優(yōu)化設(shè)計 凸規(guī)劃的性質(zhì)：凸規(guī)劃的性質(zhì)： 2 2）可行域）可行域 為凸集。為凸集。 1,

30、2,.,0 j jmgx Rx 3 3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。 1 1）若給定一點）若給定一點 ，則集合，則集合 為凸集。為凸集。 0 f xf x Rx 0 x 機械優(yōu)化設(shè)計 五、等式約束優(yōu)化問題的極值條件五、等式約束優(yōu)化問題的極值條件 min f x . .st 0 k hx 等式約束優(yōu)化問題：等式約束優(yōu)化問題： 求解等式約束化問題的理論基礎(chǔ)是導(dǎo)出極值求解等式約束化問題的理論基礎(chǔ)是導(dǎo)出極值 存在的條件。存在的條件。 ), 2 , 1(mk 機械優(yōu)化設(shè)計 1 1、消元法（降維法）、消元法（降維法） 2 2、拉格朗日乘子法（升維法）、拉格

31、朗日乘子法（升維法） 思想思想: : 通過增加變量將等式約束化問題變成無約通過增加變量將等式約束化問題變成無約 束化問題。束化問題。 1,2,) k kl（ 1 , l kk k F XfxhX 引入引入拉格朗日乘子拉格朗日乘子 ，并構(gòu)成一個，并構(gòu)成一個 新的目標函數(shù)新的目標函數(shù) 拉格朗日函數(shù)拉格朗日函數(shù) 拉格朗日乘子拉格朗日乘子 新目標函數(shù)的極值的新目標函數(shù)的極值的必要條件：必要條件： 0 i F x 0 k F 參見教材例題參見教材例題 機械優(yōu)化設(shè)計 六、不等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件 庫恩庫恩塔克條件（塔克條件（K-TK-T條件）條件） 不等式約束的多元函數(shù)

32、極值的必要條件是著名不等式約束的多元函數(shù)極值的必要條件是著名 的的庫恩庫恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）條件）條件, ,它是非線性它是非線性 優(yōu)化問題的重要理論。優(yōu)化問題的重要理論。 為了便于理解庫恩為了便于理解庫恩塔克條件，首先分析一塔克條件，首先分析一 元函數(shù)在給定區(qū)間的極值條件。元函數(shù)在給定區(qū)間的極值條件。 機械優(yōu)化設(shè)計 min f x . .st 1 0gxax 2 0gxxb 1 1、一元函數(shù)在給定區(qū)間上的極值條件、一元函數(shù)在給定區(qū)間上的極值條件 一元函數(shù)一元函數(shù)f(x)f(x)在區(qū)間在區(qū)間a,ba,b的極值問題，可表示為：的極值問題，可表示為： 求解思想

33、求解思想: :引入松弛變量使不等式約束變成等式約束，再引入松弛變量使不等式約束變成等式約束，再 利用拉格朗日乘子法求解等式約束的極值問題。利用拉格朗日乘子法求解等式約束的極值問題。 機械優(yōu)化設(shè)計 22 11111 ,0h x agxaaxa 22 21211 ,0hx bgxbxbb 這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：這樣可以轉(zhuǎn)化為拉格朗日函數(shù)： 11121 11221 22 1121 , () F x a bf xh x ahx b f xaxaxbb 12 , 是對應(yīng)于不等式約束的拉格朗日乘子，是對應(yīng)于不等式約束的拉格朗日乘子， 其值均為非負的。其值均為非負的。 設(shè)設(shè) 為松弛變量，則上兩個不等式

34、可寫為松弛變量，則上兩個不等式可寫 為如下兩個等式：為如下兩個等式： 11,b a 機械優(yōu)化設(shè)計 12 12 0 dgdgdf dxdxdx 11 0gx 22 0gx 1 0 2 0 f x,a b對于一元函數(shù)對于一元函數(shù) 在給定區(qū)間在給定區(qū)間 上的極值條件，可完整的表示為：上的極值條件，可完整的表示為： 結(jié)論：結(jié)論： 機械優(yōu)化設(shè)計 從以上分析可以看出，對應(yīng)于不起作用的約束的從以上分析可以看出，對應(yīng)于不起作用的約束的 拉格朗日乘子拉格朗日乘子取零值取零值，因此可以引入起作用約束，因此可以引入起作用約束 的下標集合。的下標集合。 0,1,2 j gxj J xj 一元函數(shù)在給定區(qū)間的極值條件，

35、可以改寫為：一元函數(shù)在給定區(qū)間的極值條件，可以改寫為： 極值條件中只考慮起作用的約束和相應(yīng)的乘子。極值條件中只考慮起作用的約束和相應(yīng)的乘子。 0 0 0 j j j J j j dg df dxdx gxjJ jJ 機械優(yōu)化設(shè)計 2 2、庫恩、庫恩塔克條件塔克條件 1 0(1,2, ) m j j j ii f xgx in xx 0(1,2,) jj gxjm 0(1,2,) j jm 庫恩庫恩塔克條件（塔克條件（K-T條件）可表述為：條件）可表述為： 對于多元函數(shù)不等式的約束優(yōu)化問題：對于多元函數(shù)不等式的約束優(yōu)化問題： min f x . .st), 2 , 1(0)(mjxg j 機械優(yōu)

36、化設(shè)計 庫恩庫恩塔克條件表明：塔克條件表明： 如點如點 是函數(shù)是函數(shù) 的極值點，要么的極值點，要么 （此時（此時 ）或者目標函數(shù)的負梯度等于起作）或者目標函數(shù)的負梯度等于起作 用約束梯度的非負線性組合用約束梯度的非負線性組合 （此時（此時 ）。）。 )(xf0)( xf x 0 j u 0 j u 1 0(1,2, ) m j j j ii f xgx in xx 0(1,2,) jj gxjm 0(1,2,) j jm 機械優(yōu)化設(shè)計 機械優(yōu)化設(shè)計 庫恩庫恩塔克條件的塔克條件的幾何意義幾何意義：在約束極小值點：在約束極小值點 處，函處，函 數(shù)數(shù) 的負梯度一定能表示成起作用約束在該點梯度的負梯度一定能表示成起作用約束在該點梯度