工程優(yōu)化方法第二章

工程優(yōu)化方法第二章第一頁(yè)，共四十九頁(yè)，2022年，8月28日§1.1多元函數(shù)的定義n元函數(shù)：

n元線性函數(shù)：

n元二次函數(shù)：

n元向量值線性函數(shù)：其中第二頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性在點(diǎn)存在,的偏導(dǎo)數(shù)，記為的某鄰域內(nèi)極限則稱(chēng)此極限為函數(shù)設(shè)函數(shù)在點(diǎn)對(duì)第i個(gè)分量注意：(1)式也可寫(xiě)為其中定義1.2.1(偏導(dǎo)數(shù))第三頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性可表示成稱(chēng)為函數(shù)在點(diǎn)(x1,x2)的全微分,記作則稱(chēng)函數(shù)f(x1,x2

)在點(diǎn)(x1,x2)可微，定義（二元函數(shù)的可微性）如果二元函數(shù)z=f(x1,x2)在定義域D

的內(nèi)點(diǎn)(x1,x2)處全增量第四頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性定義中增量的表達(dá)式等價(jià)于記第五頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性

若函數(shù)z=f(x1,x2)在點(diǎn)(x1,x2)可微，則該函數(shù)在該點(diǎn)偏導(dǎo)數(shù)必存在,稱(chēng)向量是函數(shù)z=f(x1,x2)在點(diǎn)(x1,x2)的梯度。且有二元多元可微第六頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性定義（多元函數(shù)的可微性）

設(shè)若

使

有：則稱(chēng)f(x)在處可微。給定區(qū)域D上的n

元實(shí)值函數(shù)與二元函數(shù)可微的等價(jià)形式類(lèi)似引入第七頁(yè)，共四十九頁(yè)，2022年，8月28日§1.2多元函數(shù)的可導(dǎo)性和可微性定理1.2.1（可微必可導(dǎo)）

若在處可微，則在該點(diǎn)處關(guān)于各變量的一階偏導(dǎo)數(shù)存在，且

證明：令，依次取兩邊除以并取的極限有：

在處可微，則(3)對(duì)成立，第八頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度定義（多元函數(shù)梯度）以的n個(gè)偏導(dǎo)數(shù)為分量的向量稱(chēng)為

f(x)在x處的梯度，若f在處可微,令p=x-x0,

由得記為注：梯度也可稱(chēng)為函數(shù)f(x)關(guān)于向量x

的一階導(dǎo)數(shù)。這與一元函數(shù)展開(kāi)到兩項(xiàng)的Taylor

公式是相對(duì)應(yīng)的。第九頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度性質(zhì)1的證明:過(guò)點(diǎn)的等值面方程為：

設(shè)f(x)在定義域內(nèi)有連續(xù)偏導(dǎo)數(shù)，即有連續(xù)梯度，則梯度有以下兩個(gè)重要性質(zhì)：設(shè)是過(guò)點(diǎn)同時(shí)又完全在等值面(6)上的任一條光滑曲線L的方程，為參數(shù)，點(diǎn)對(duì)應(yīng)的參數(shù)就是把此曲線方程代入(6),得到性質(zhì)1:

函數(shù)在某點(diǎn)的梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直。性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向。第十頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度即函數(shù)f(x)在處的梯度與過(guò)該點(diǎn)在等值面上的任一條曲線L在此點(diǎn)的切線垂直。從而與過(guò)該點(diǎn)的切平面垂直，性質(zhì)1成立。兩邊同時(shí)在處關(guān)于求導(dǎo)數(shù)，根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t有：向量恰為曲線L在處的切向量，則第十一頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度定義1.3.2(方向?qū)?shù))設(shè)在點(diǎn)x處可微,p=te為固定向量,其中t是向量p的模，e

為向量p的單位向量，則稱(chēng)極限：注：若則f(x)從出發(fā)在附近沿p方向是下降的。為說(shuō)明性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向?yàn)楹瘮?shù)f(x)在點(diǎn)處沿方向p的方向?qū)?shù)，記為，

若則f(x)從出發(fā)在附近沿p方向是上升的。引進(jìn)方向?qū)?shù)當(dāng)t＞0充分小時(shí)，有第十二頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度

若則f(x)從出發(fā)在附近沿p方向是下降的。

若則f(x)從出發(fā)在附近沿p方向是上升的。

因此又將方向?qū)?shù)稱(chēng)為f(x)在處沿方向p的變化率。

方向?qū)?shù)正負(fù)決定了函數(shù)升降;升降速度的快慢由方向?qū)?shù)絕對(duì)值大小來(lái)決定，絕對(duì)值越大升降速度越大;第十三頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度定理

若在點(diǎn)處可微，則其中e

為p方向上的單位向量。證明：f在可微，則根據(jù)可微定義，容易看到：當(dāng)時(shí)，有由前面證明即知p為下降方向。利用方向?qū)?shù)定義并將上式中的p換成te有：第十四頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度由于,β為方向p與的夾角。

從而梯度方向是函數(shù)具有最大變化率的方向，性質(zhì)2成立。推論

若，則p是函數(shù)f(x)在處的下降方向；若，則p是函數(shù)f(x)在處的上升方向。

可見(jiàn)梯度方向即為函數(shù)的最速上升方向；負(fù)梯度方向即為函數(shù)的最速下降方向。

當(dāng)夾角為0(β=0o)

，即沿梯度方向()時(shí)，方向?qū)?shù)取得最大值；當(dāng)夾角為180o(β=180o)

，即沿負(fù)梯度方向()時(shí)，方向?qū)?shù)取得最小值。第十五頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度

上升方向變化率為0方向下降方向結(jié)論：函數(shù)在與其梯度正交的方向上變化率為0；成銳角的方向上是上升的；成鈍角的方向上是下降的。

第十六頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度解：由于則函數(shù)在處的最速下降方向例1.3.1試求目標(biāo)函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)度后新點(diǎn)的目標(biāo)函數(shù)值。此方向上的單位向量新點(diǎn)是第十七頁(yè)，共四十九頁(yè)，2022年，8月28日§1.3多元函數(shù)的梯度幾個(gè)常用的梯度公式：第十八頁(yè)，共四十九頁(yè)，2022年，8月28日§1.4多元函數(shù)的Hesse矩陣定義（Hesse矩陣）多元函數(shù)記f(x)的Hesse矩陣為第十九頁(yè)，共四十九頁(yè)，2022年，8月28日§1.4多元函數(shù)的Hesse矩陣常用的梯度和Hesse陣公式：第二十頁(yè)，共四十九頁(yè)，2022年，8月28日§1.4多元函數(shù)的Hesse矩陣多元函數(shù)的Taylor展開(kāi)：設(shè)

二階可導(dǎo)。在x*的鄰域內(nèi)Lagrange余項(xiàng)

對(duì)x,,記xx*+(x-x*)一階Taylor展開(kāi)式二階Taylor展開(kāi)式一階中值公式對(duì)x,,使第二十一頁(yè)，共四十九頁(yè)，2022年，8月28日第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析（二次函數(shù)）§5凸集、凸函數(shù)、凸規(guī)劃§6幾個(gè)重要的不等式第二十二頁(yè)，共四十九頁(yè)，2022年，8月28日§2多元函數(shù)的極值及其判別條件

對(duì)于一個(gè)極小化問(wèn)題，我們希望知道的是全局極小點(diǎn)，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點(diǎn)的。因此一般要先求出所有局部極小值點(diǎn)，再?gòu)闹姓页鋈謽O小點(diǎn)。

為了求出函數(shù)的局部極小值點(diǎn)，考察函數(shù)f在局部極小點(diǎn)處滿(mǎn)足什么條件？反過(guò)來(lái)，滿(mǎn)足什么條件的點(diǎn)是局部極小點(diǎn)？

這就是接下來(lái)我們要考慮的多元函數(shù)的極值條件。首先回顧二元函數(shù)的極值條件。第二十三頁(yè)，共四十九頁(yè)，2022年，8月28日§2.1二元函數(shù)的極值判別條件定理2.1.1(必要條件)

設(shè)(1)為D的一個(gè)內(nèi)點(diǎn);可微;(2)在處,則在的極值點(diǎn);(3)為且注：可微的極值點(diǎn)一定是駐點(diǎn)，反之不一定成立。第二十四頁(yè)，共四十九頁(yè)，2022年，8月28日§2.1二元函數(shù)的極值判別條件定理2.1.2(充分條件)

設(shè)(1)為D的一個(gè)內(nèi)點(diǎn);二次連續(xù)可微;(2)在的駐點(diǎn)，即(3)為且令則(1)當(dāng)時(shí)，具有極值取嚴(yán)格極大值取嚴(yán)格極小值(2)當(dāng)時(shí)，不是的極值點(diǎn)，稱(chēng)為函數(shù)的鞍點(diǎn)；(3)當(dāng)時(shí)，不能確定，需另行討論。第二十五頁(yè)，共四十九頁(yè)，2022年，8月28日§2.2多元函數(shù)的極值判別條件定理2.2.1(必要條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);可微;(2)在則的極值點(diǎn);(3)為且定義

設(shè)是D的內(nèi)點(diǎn)，若則稱(chēng)為f的駐點(diǎn)。第二十六頁(yè)，共四十九頁(yè)，2022年，8月28日§2.2多元函數(shù)的極值判別條件

設(shè)為任意單位向量,是的局部極小點(diǎn)。由定義知：當(dāng),即時(shí)，總有：令則而是D的內(nèi)點(diǎn)，從而與之對(duì)應(yīng)的t=0是

的局部極小點(diǎn)。

由一元函數(shù)極小點(diǎn)必要性條件知

,而由前述性質(zhì)知

則

,由單位向量任意性，即知。證明:（若，取，則矛盾。）第二十七頁(yè)，共四十九頁(yè)，2022年，8月28日§2.2多元函數(shù)的極值判別條件例

在處梯度為，但只是雙曲拋物面的鞍點(diǎn)，而不是極小點(diǎn)。f第二十八頁(yè)，共四十九頁(yè)，2022年，8月28日§2.2多元函數(shù)的極值判別條件定理2.2.2(充分條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);(2)二次連續(xù)可微;在(3)則的嚴(yán)格局部極小點(diǎn)。為(4)正定；第二十九頁(yè)，共四十九頁(yè)，2022年，8月28日§2.2多元函數(shù)的極值判別條件證明：因正定，則使對(duì)，均有：（x充分接近時(shí)）。將f在處按Taylor公式展開(kāi)注意,有：當(dāng)x充分接近時(shí)，上式左端的符號(hào)取決于右端的第一項(xiàng)（為正）。故第三十頁(yè)，共四十九頁(yè)，2022年，8月28日課后作業(yè)P382.12.32.9--2.14第三十一頁(yè)，共四十九頁(yè)，2022年，8月28日第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析（二次函數(shù)）§5凸集、凸函數(shù)、凸規(guī)劃§6幾個(gè)重要的不等式第三十二頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線例3.1

求解，這是定義在平面上的無(wú)約束極小化問(wèn)題，其目標(biāo)函數(shù)在三維空間中代表一個(gè)曲面。

二元函數(shù)最優(yōu)化問(wèn)題，具有明顯的幾何特征，從幾何圖形上，可以直觀了解函數(shù)的變化，我們把這種幾何解釋推廣到n維空間中，對(duì)后面優(yōu)化方法的研究是有益處的。第三十三頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線在平面上任給一點(diǎn)，就對(duì)應(yīng)有一個(gè)目標(biāo)函數(shù)值是過(guò)點(diǎn)作平面的垂線與S曲面交點(diǎn)的縱坐標(biāo)。反之，任給一個(gè)值f0,使目標(biāo)函數(shù)f(z)取值為f0的點(diǎn)z的個(gè)數(shù)就不相同了。可能沒(méi)有，可能只有一個(gè)，可能有多個(gè)。

這一事實(shí)的幾何意義是：過(guò)f

軸上坐標(biāo)為f0的點(diǎn)作坐標(biāo)平面的平行平面L，可能與曲面S無(wú)交點(diǎn)(f0<0),可能與S有一個(gè)交點(diǎn)(f0=0),可能與S交成一條曲線(f0>0).第三十四頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線定義3.1（等值線）平面L截曲面S得到一個(gè)圓，將它投影到平面上，仍為同樣大小的圓，在這個(gè)圓上每一點(diǎn)的目標(biāo)函數(shù)值均為f0。若一條曲線上任何一點(diǎn)的目標(biāo)函數(shù)值等于同一常數(shù)，則稱(chēng)此曲線為目標(biāo)函數(shù)的等值線。我們感興趣的是至少有一個(gè)交點(diǎn)（f0≥0）的情形。注意：變動(dòng)

f的值，得到不同等值線，這是一組同心圓；對(duì)應(yīng)f0=0的等值線縮為一點(diǎn)G；對(duì)應(yīng)f0<0的等值線為空集.隨著f值變小，等值線圓半徑變小，最后縮為一點(diǎn)，即為問(wèn)題的最小值點(diǎn)

G，即第三十五頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線例3.2

用圖解法求解解：先畫(huà)出目標(biāo)函數(shù)等值線，再畫(huà)出約束曲線。對(duì)應(yīng)的最優(yōu)值為由圖易見(jiàn)約束直線與等值線的切點(diǎn)是最優(yōu)點(diǎn)，利用解析幾何的方法得該切點(diǎn)為本處約束曲線是一條直線，這條直線就是可行域；而最優(yōu)點(diǎn)就是可行域上使等值線具有最小值的點(diǎn).第三十六頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線定義3.2（等值面）在三維和三維以上的空間中，使目標(biāo)函數(shù)取同一常數(shù)值的面{x|f(x)=r,r是常數(shù)}

稱(chēng)為目標(biāo)函數(shù)的等值面。定理3.1

若多元函數(shù)在其極小點(diǎn)處的

Hesse陣正定，則它在這個(gè)極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面族。第三十七頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線證明：設(shè)是多元函數(shù)f的極小點(diǎn)。并設(shè)是充分靠近極小點(diǎn)的一個(gè)等值面，即充分小。將在點(diǎn)展開(kāi)因?yàn)闃O小值點(diǎn),

這是等值面的一個(gè)近似曲面。由于假設(shè)正定，則

是以為中心的橢球面方程。又是高階無(wú)窮小量，則第三十八頁(yè)，共四十九頁(yè)，2022年，8月28日§3等高線等值面的性質(zhì)：不同值的等值面之間不相交，因?yàn)槟繕?biāo)函數(shù)是單值函數(shù)；除了極值點(diǎn)所在的等值面外，不會(huì)在區(qū)域內(nèi)部中斷，因?yàn)槟繕?biāo)函數(shù)是連續(xù)的；等值面稠的地方，目標(biāo)函數(shù)值變化得較快，而稀疏的地方變化得比較慢；一般地，在極值點(diǎn)附近，等值面（線）近似地呈現(xiàn)為同心橢球面族（橢圓族）；二次函數(shù)的等值面是同心橢球面族，極值點(diǎn)是這個(gè)橢圓球面的共同中心。

第三十九頁(yè)，共四十九頁(yè)，2022年，8月28日第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析§5凸集、凸函數(shù)、凸規(guī)劃§6幾個(gè)重要的不等式第四十頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)在n元函數(shù)中，除了線性函數(shù)：

或最簡(jiǎn)單最重要的一類(lèi)就是二次函數(shù)。第四十一頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)定義（二次型）

代數(shù)學(xué)中將特殊的二次函數(shù)稱(chēng)為二次型。二次函數(shù)的一般形式為其中均為常數(shù)，向量矩陣表示形式其中Q為對(duì)稱(chēng)矩陣第四十二頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)定義

設(shè)Q為n×n對(duì)稱(chēng)矩陣,若，均有，則稱(chēng)矩陣Q是正定的。若，均有

，則稱(chēng)矩陣Q是半正定的。若-Q是正定的，則稱(chēng)Q是負(fù)定的。若-Q是半正定的，則稱(chēng)Q是半負(fù)定的。對(duì)于二次函數(shù)，我們更關(guān)心的是Q為正定矩陣的情形。第四十三頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)A是正定矩陣等價(jià)于以下4個(gè)條件成立：

（1）存在非奇異矩陣G,使得A=GTG;

（2）A的所有特征根大于零;

（3）有滿(mǎn)秩矩陣G，使A=GTG;

（4）A的所有順序主子式都大于零.怎么判定一個(gè)對(duì)稱(chēng)矩陣Q是不是正定的？Sylvester（西爾維斯特）定理：一個(gè)n×n對(duì)稱(chēng)矩陣Q是正定矩陣的充要條件是矩陣Q的各階順序主子式都是正的。第四十四頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)解：對(duì)稱(chēng)矩陣Q的三個(gè)順序主子式依次為例

判定矩陣是否正定:矩陣Q是正定的。第四十五頁(yè)，共四十九頁(yè)，2022年，8月28日§4.1二次函數(shù)證明：作變換,代入二次函數(shù)式中：根據(jù)解析幾何知識(shí)，Q為正定矩陣的二次型的等值面是以坐標(biāo)原點(diǎn)為中心的同心橢球面族。由于上式中的是常數(shù)，所以的等值面也是以為中心的同心橢球面族，回到原坐標(biāo)系中去，原