優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)

關(guān)于優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第1頁，講稿共26頁，2023年5月2日，星期三2.1

函數(shù)的方向?qū)?shù)與梯度一、函數(shù)的方向?qū)?shù)函數(shù)f(X)在點(diǎn)X0處沿S方向的方向?qū)?shù)定義為意義：函數(shù)在該點(diǎn)處沿給定方向的變化率。附圖第2頁，講稿共26頁，2023年5月2日，星期三二、函數(shù)的梯度方向?qū)?shù)的向量積形式令為函數(shù)在X點(diǎn)的梯度，包 含函數(shù)的一階導(dǎo)數(shù)信息。

第3頁，講稿共26頁，2023年5月2日，星期三梯度的意義：梯度方向是函數(shù)變化率最大的方向；梯度方向?yàn)榈戎得娴姆ň€方向。第4頁，講稿共26頁，2023年5月2日，星期三例2-1

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處函數(shù)下降最快的方向。解：梯度方向是函數(shù)變化率最大的方向。負(fù)梯度方向則是函數(shù)下降最快的方向。第5頁，講稿共26頁，2023年5月2日，星期三2.2

函數(shù)的泰勒展開與海賽矩陣函數(shù)f(X)在X*點(diǎn)處的泰勒(Taylor)展開式其中海賽(Hessian)矩陣包含函數(shù)的二階導(dǎo)數(shù)信息。第6頁，講稿共26頁，2023年5月2日，星期三例2-2

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處的海賽二階泰勒展開式。解：第7頁，講稿共26頁，2023年5月2日，星期三2.3凸集、凸函數(shù)、凸規(guī)劃

基本概念：局部極小點(diǎn)：函數(shù)f(X)在X*附近的一切X均滿足不等式f(X)>f(X*)，稱函數(shù)f(X)在X*處取得局部極小值，X*為局部極小點(diǎn)。全局極小點(diǎn)：在整個(gè)可行域內(nèi)函數(shù)值的最小點(diǎn)。可行域內(nèi)可能存在兩個(gè)或兩個(gè)以上的局部極小點(diǎn)，其中之一為全局極小點(diǎn)。第8頁，講稿共26頁，2023年5月2日，星期三一、凸集有 ，則D為凸集。凸集的性質(zhì)：

1.若D為凸集，λ為實(shí)數(shù)，則λD仍為凸集。（凸集的實(shí)數(shù)積為凸集）

2．若D、φ均為凸集，則二者的并集（和）為凸集。（凸集的和為凸集）

3．若D、φ均為凸集，則二者的交集（積）為凸集。（凸集的積為凸集）第9頁，講稿共26頁，2023年5月2日，星期三第10頁，講稿共26頁，2023年5月2日，星期三二、凸函數(shù)En的子集D為凸集，f為D上的函數(shù)，恒有，則f為D上的凸函數(shù)。反之為凹函數(shù)。第11頁，講稿共26頁，2023年5月2日，星期三凸函數(shù)的性質(zhì)：1.設(shè)f為D上的凸函數(shù)，λ為實(shí)數(shù)，則λf為D上的凸函數(shù)。2.設(shè)f1，f2為D上的凸函數(shù),則f=f1+f2為D上的凸函數(shù)。3.若f在D一階可微，則對，f為凸函數(shù)的充要條件：（見下圖）

4.若f在D二階可微，則對，f為凸函數(shù)的充要條件：海賽矩陣半正定（若正定，嚴(yán)格凸函數(shù)）。第12頁，講稿共26頁，2023年5月2日，星期三第13頁，講稿共26頁，2023年5月2日，星期三三、凸規(guī)劃

其中目標(biāo)函數(shù)、不等式約束均為凸函數(shù)，則稱該問題為凸規(guī)劃。第14頁，講稿共26頁，2023年5月2日，星期三凸規(guī)劃的性質(zhì)：若給定一點(diǎn)X0，則集合為凸集。2.可行域D為凸集。3.任何局部最優(yōu)解即為全局最優(yōu)解。4.若目標(biāo)函數(shù)可微，則最優(yōu)解的充要條件：第15頁，講稿共26頁，2023年5月2日，星期三2.4無約束優(yōu)化問題的極值條件

N維無約束極值問題1.在點(diǎn)X*處極值存在的必要條件：在點(diǎn)X*處梯度為零。2.在點(diǎn)X*處極值存在的充分條件：在點(diǎn)X*處海賽矩陣正定（極小點(diǎn)），或負(fù)定（極大點(diǎn)）。第16頁，講稿共26頁，2023年5月2日，星期三2.5約束優(yōu)化問題的極值條件

一、等式約束優(yōu)化問題——拉格朗日乘子法

構(gòu)造將等式約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題。在最優(yōu)點(diǎn)處第17頁，講稿共26頁，2023年5月2日，星期三二、不等式約束優(yōu)化問題——

庫恩-塔克(Kuhn-Tucker

)條件1.一維不等式約束問題引入松弛變量a1,b1，使則該問題的拉格朗日函數(shù)第18頁，講稿共26頁，2023年5月2日，星期三其極值條件必須滿足如圖的三種可能(1)左右約束均不起作用，即則(2)左約束起作用，即則(3)右約束起作用，即則第19頁，講稿共26頁，2023年5月2日，星期三2.庫恩-塔克(Kuhn-Tucker)條件對優(yōu)化問題庫恩-塔克條件描述為即約束極小點(diǎn)存在的必要條件是：目標(biāo)函數(shù)在該點(diǎn)的梯度可表示為諸約束面梯度的線性組合的負(fù)值。第20頁，講稿共26頁，2023年5月2日，星期三3.考慮等式約束的庫恩-塔克條件對于凸規(guī)劃問題，K-T條件是充要條件。對非凸規(guī)劃問題，到底是局部最優(yōu)點(diǎn)還是全域最優(yōu)點(diǎn)還需要進(jìn)一步討論確定。第21頁，講稿共26頁，2023年5月2日，星期三3.庫恩-塔克條件幾何意義約束極小點(diǎn)目標(biāo)函數(shù)梯度向量的反方向必須落在諸約束面所構(gòu)成的錐角范圍之內(nèi)。第22頁，講稿共26頁，2023年5月2日，星期三例2-3

對于約束極值問題

試運(yùn)用K_T條件檢驗(yàn)點(diǎn)X*