工程優(yōu)化 第2章

多元函數(shù)的梯度及其Hesse矩陣等高線二次函數(shù)多元函數(shù)的極值及其判別條件凸集、凸函數(shù)、凸規(guī)劃幾個(gè)重要的不等式第2章基礎(chǔ)知識(shí)工程優(yōu)化第2章多元函數(shù)的梯度及其Hesse矩陣n元函數(shù)：

n元線性函數(shù)：

n元二次函數(shù)：

n元向量值線性函數(shù)：其中工程優(yōu)化第2章在點(diǎn)存在,的偏導(dǎo)數(shù)，記為的某鄰域內(nèi)極限則稱此極限為函數(shù)設(shè)函數(shù)在點(diǎn)對(duì)第i個(gè)分量注意:(1)式也可寫為其中定義(偏導(dǎo)數(shù))多元函數(shù)的偏導(dǎo)數(shù)工程優(yōu)化第2章可表示成其中A,B不依賴于

x1,x2

,僅與x1,x2

有關(guān)，稱為函數(shù)在點(diǎn)(x1,x2)的全微分,記作若函數(shù)在域D

內(nèi)各點(diǎn)都可微,則稱函數(shù)f(x1,x2

)在點(diǎn)(x1,x2)可微，則稱此函數(shù)在D

內(nèi)可微.定義（可微）:

高數(shù)中二元函數(shù)的可微性定義：如果函數(shù)z=f(x1,x2)在定義域D

的內(nèi)點(diǎn)(x1,x2)處全增量二元函數(shù)的可微性工程優(yōu)化第2章定義中增量的表達(dá)式等價(jià)于記定義(可微):

高數(shù)中二元函數(shù)的可微性定義：二元函數(shù)的可微性工程優(yōu)化第2章定理（可微必可導(dǎo)）若函數(shù)z=f(x1,x2)在點(diǎn)(x1,x2)可微，則該函數(shù)在該點(diǎn)偏導(dǎo)數(shù)必存在,即稱向量是函數(shù)z=f(x1,x2)在點(diǎn)(x1,x2)的梯度。且有二元函數(shù)的可微性二元多元可微工程優(yōu)化第2章定義（多元函數(shù)的可微性）：設(shè)若

使

有：

則稱f(x)在處可微。給定區(qū)域D上的n

元實(shí)值函數(shù)與二元函數(shù)可微的等價(jià)形式類似引入多元函數(shù)的可微性工程優(yōu)化第2章定理（可微必可導(dǎo)）:

若在處可微，則在該點(diǎn)處關(guān)于各變量的一階偏導(dǎo)數(shù)存在，且

證明：令，依次取多元函數(shù)的可微性兩邊除以并取的極限有：

在處可微，則(3)對(duì)成立，工程優(yōu)化第2章定義（梯度）:

以的n個(gè)偏導(dǎo)數(shù)為分量的向量稱為

f(x)在x

處的梯度。若f在處可微,令p=x-x0,

由得記為梯度也可稱為函數(shù)f(x)關(guān)于向量x

的一階導(dǎo)數(shù)。這與一元函數(shù)展開到兩項(xiàng)的Taylor

公式是相對(duì)應(yīng)的。多元函數(shù)的梯度工程優(yōu)化第2章性質(zhì)1:

函數(shù)在某點(diǎn)的梯度不為零，則必與過該點(diǎn)的等值面垂直。性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向。性質(zhì)1的證明:過點(diǎn)的等值面方程為：

設(shè)f(x)

在定義域內(nèi)有連續(xù)偏導(dǎo)數(shù)，即有連續(xù)梯度，則梯度有以下兩個(gè)重要性質(zhì)：多元函數(shù)梯度的性質(zhì)設(shè)是過點(diǎn)同時(shí)又完全在等值面（6）上的任一條光滑曲線L的方程，為參數(shù)，點(diǎn)對(duì)應(yīng)的參數(shù)就是把此曲線方程代入(6),得到工程優(yōu)化第2章即函數(shù)f(x)在處的梯度與過該點(diǎn)在等值面上的任一條曲線L在此點(diǎn)的切線垂直。從而與過該點(diǎn)的切平面垂直，性質(zhì)1成立。兩邊同時(shí)在處關(guān)于求導(dǎo)數(shù)，根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t有：向量恰為曲線L在處的切向量，則工程優(yōu)化第2章定義(方向?qū)?shù)):

設(shè)在點(diǎn)x處可微，p=te為固定向量，其中t是向量p的模，e

為向量p的單位向量，則稱極限：注：若則f(x)從出發(fā)在附近沿p方向是下降的。為說明性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向多元函數(shù)梯度的性質(zhì)為函數(shù)f(x)在點(diǎn)處沿方向p的方向?qū)?shù)，記為，

若則f(x)從出發(fā)在附近沿p方向是上升的。引進(jìn)方向?qū)?shù)當(dāng)t＞0充分小時(shí)，有工程優(yōu)化第2章

若則f(x)從出發(fā)在附近沿p方向是下降的。多元函數(shù)梯度的性質(zhì)

若則f(x)從出發(fā)在附近沿p方向是上升的。

方向?qū)?shù)正負(fù)決定了函數(shù)升降;

升降速度的快慢由方向?qū)?shù)絕對(duì)值大小來決定，絕對(duì)值越大升降速度越大;

因此又將方向?qū)?shù)稱為f(x)在處沿方向p的變化率。

工程優(yōu)化第2章定理2：若在點(diǎn)處可微，則其中e

為p方向上的單位向量。證明：f在可微，則根據(jù)可微定義，容易看到：當(dāng)時(shí)，有由前面證明即知p為下降方向。利用方向?qū)?shù)定義并將上式中的p換成te有：多元函數(shù)梯度的性質(zhì)工程優(yōu)化第2章由于,β為方向p與的夾角。從而梯度方向是函數(shù)具有最大變化率的方向，性質(zhì)2成立。推論：若，則p是函數(shù)f(x)在處的下降方向。若，則p是函數(shù)f(x)在處的上升方向。多元函數(shù)梯度的性質(zhì)

當(dāng)夾角為0(β=0o)

，即沿梯度方向()時(shí)，方向?qū)?shù)取得最大值；

當(dāng)夾角為180o

(β=180o)

，即沿負(fù)梯度方向()時(shí)，方向?qū)?shù)取得最小值?？梢娞荻确较蚣礊楹瘮?shù)的最速上升方向；負(fù)梯度方向即為函數(shù)的最速下降方向。工程優(yōu)化第2章

上升方向變化率為0方向下降方向我們有結(jié)論：函數(shù)在與其梯度正交的方向上變化率為0；成銳角的方向上是上升的；成鈍角的方向上是下降的。

多元函數(shù)梯度的性質(zhì)工程優(yōu)化第2章解：由于則函數(shù)在處的最速下降方向是此方向上的單位向量是：新點(diǎn)是例1：試求目標(biāo)函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長度后新點(diǎn)的目標(biāo)函數(shù)值。工程優(yōu)化第2章幾個(gè)常用的梯度公式：工程優(yōu)化第2章多元函數(shù)的一階導(dǎo)數(shù)即梯度，二階導(dǎo)數(shù)即Hesse陣多元函數(shù)的Hesse矩陣工程優(yōu)化第2章下面幾個(gè)梯度和Hesse陣公式是今后常用到的：工程優(yōu)化第2章多元函數(shù)的Taylor展開公式設(shè)

二階可導(dǎo)。在x*的鄰域內(nèi)Lagrange余項(xiàng)：對(duì)x,,記xx*+(x-x*)一階Taylor展開式二階Taylor展開式：一階中值公式：對(duì)x,,使工程優(yōu)化第2章P382.9----2.14作業(yè)工程優(yōu)化第2章等高線

例1.

求解這是定義在平面上的無約束極小化問題，其目標(biāo)函數(shù)在三維空間中代表一個(gè)曲面。

二元函數(shù)最優(yōu)化問題，具有明顯的幾何特征，從幾何圖形上，可以直觀了解函數(shù)的變化，我們把這種幾何解釋推廣到n維空間中，對(duì)后面優(yōu)化方法的研究是有益處的。工程優(yōu)化第2章

0

s

s

L在平面上任給一點(diǎn)，就對(duì)應(yīng)有一個(gè)目標(biāo)函數(shù)值是過點(diǎn)作平面的垂線與S曲面交點(diǎn)的縱坐標(biāo)。反之，任給一個(gè)值f0,使目標(biāo)函數(shù)f(z)取值為f0的點(diǎn)z的個(gè)數(shù)就不相同了?？赡軟]有，可能只有一個(gè)，可能有多個(gè)。這一事實(shí)的幾何意義是：過f

軸上坐標(biāo)為f0的點(diǎn)作坐標(biāo)平面的平行平面L，可能與曲面S無交點(diǎn)(f0<0),可能與S

有一個(gè)交點(diǎn)(f0=0),可能與S交成一條曲線(f0>0).等高線工程優(yōu)化第2章我們感興趣的是至少有一個(gè)交點(diǎn)（）的情形。定義（等值線）：平面L截曲面S得到一個(gè)圓，將它投影到平面上，仍為同樣大小的圓。在這個(gè)圓上每一點(diǎn)的目標(biāo)函數(shù)值均為f0,若一條曲線上任何一點(diǎn)的目標(biāo)函數(shù)值等于同一常數(shù)，則稱此曲線為目標(biāo)函數(shù)的等值線。變動(dòng)

f的值，得到不同等值線，這是一組同心圓：對(duì)應(yīng)f0=0的等值線縮為一點(diǎn)G，對(duì)應(yīng)f0<0的等值線為空集。隨著f值變小，等值線圓半徑變小，最后縮為一點(diǎn)，即為問題的最小值點(diǎn)

G，即等高線工程優(yōu)化第2章例2

用圖解法求解解：先畫出目標(biāo)函數(shù)等值線，再畫出約束曲線。對(duì)應(yīng)的最優(yōu)值為由圖易見約束直線與等值線的切點(diǎn)是最優(yōu)點(diǎn)，利用解析幾何的方法得該切點(diǎn)為本處約束曲線是一條直線，這條直線就是可行域；而最優(yōu)點(diǎn)就是可行域上使等值線具有最小值的點(diǎn).等高線工程優(yōu)化第2章

定義（等值面）：在三維和三維以上的空間中，使目標(biāo)函數(shù)取同一常數(shù)值的面{x|f(x)=r,r是常數(shù)}稱為目標(biāo)函數(shù)的等值面。

等值面的性質(zhì)：

(1)不同值的等值面之間不相交，因?yàn)槟繕?biāo)函數(shù)是單值函數(shù)。(2)除了極值點(diǎn)所在的等值面外，不會(huì)在區(qū)域內(nèi)部中斷，因?yàn)槟繕?biāo)函數(shù)是連續(xù)的。(3)等值面稠的地方，目標(biāo)函數(shù)值變化得較快，而稀疏的地方變化得比較慢。(4)一般地，在極值點(diǎn)附近，等值面（線）近似地呈現(xiàn)為同心橢球面族（橢圓族）。(5)二次函數(shù)的等值面是同心橢球面族，極值點(diǎn)是這個(gè)橢球面族的共同中心。

工程優(yōu)化第2章

在n元函數(shù)中，除了線性函數(shù)：

或二次函數(shù)最簡(jiǎn)單最重要的一類就是二次函數(shù)。工程優(yōu)化第2章

定義（二次型）：代數(shù)學(xué)中將特殊的二次函數(shù)稱為二次型。

二次函數(shù)的一般形式為

其中均為常數(shù)，其向量矩陣表示形式是：其中Q為對(duì)稱矩陣二次函數(shù)工程優(yōu)化第2章定義：

設(shè)Q為n×n對(duì)稱矩陣,若，均有，則稱矩陣Q是正定的。若，均有，則稱矩陣Q是半正定的。若-Q是正定的，則稱Q是負(fù)定的。若-Q是半正定的，則稱Q是半負(fù)定的。對(duì)于二次函數(shù)，我們更關(guān)心的是Q為正定矩陣的情形。正定二次函數(shù)工程優(yōu)化第2章A是正定矩陣的充要條件有以下4條：存在非奇異矩陣G,使得A=GTG;

A的所有特征根大于零;有滿秩矩陣G，使A=GTG;

A的所有順序主子式都大于零.怎么判定一個(gè)對(duì)稱矩陣Q是不是正定的？Sylvester（西爾維斯特

）定理：

一個(gè)n×n對(duì)稱矩陣Q是正定矩陣的充要條件是矩陣Q的各階順序主子式都是正的。二次函數(shù)----正定矩陣工程優(yōu)化第2章解：對(duì)稱矩陣Q的三個(gè)順序主子式依次為：例：判定矩陣是否正定:二次函數(shù)----正定矩陣矩陣Q是正定的。工程優(yōu)化第2章證明：作變換,代入二次函數(shù)式中：

根據(jù)解析幾何知識(shí)，Q為正定矩陣的二次型的等值面是以坐標(biāo)原點(diǎn)為中心的同心橢球面族。由于上式中的是常數(shù)，所以的等值面也是以為中心的同心橢球面族，回到原坐標(biāo)系中去，原二次函數(shù)就是以為中心的同心橢球面族。這族橢球面的中心恰是二次目標(biāo)函數(shù)的唯一極小點(diǎn)。

定理：若二次函數(shù)中Q正定，則它的等值面是同心橢球面族，且中心為.橢球面y12+3y22+4y32=6正定二次函數(shù)的極小點(diǎn)工程優(yōu)化第2章

前面已說過，一般目標(biāo)函數(shù)的等值面在極小點(diǎn)附近近似地呈現(xiàn)為橢球面族。由此可見對(duì)于二次函數(shù)有效的求極小點(diǎn)的算法，當(dāng)用于一般函數(shù)時(shí)，至少在極小點(diǎn)附近同樣有效。因此在最優(yōu)化理論中判定一個(gè)算法好壞的標(biāo)準(zhǔn)之一，是把該算法用于Q為正定的二次函數(shù)，如能迅速找到極小點(diǎn)，就是好算法；否則就不是太好的算法。特別地，若算法對(duì)于Q為正定的二次函數(shù)能在有限步內(nèi)找出極小點(diǎn)來，就稱此算法為二次收斂算法，或具有二次收斂性。正定二次函數(shù)判斷算法好壞工程優(yōu)化第2章解：展開例：把二次函數(shù)化為矩陣向量形式并檢驗(yàn)Q是否正定，如正定，試用公式求這個(gè)函數(shù)的極小點(diǎn)。與題中函數(shù)比較各項(xiàng)系數(shù)為：正定二次函數(shù)的極小點(diǎn)----算例工程優(yōu)化第2章由前例知正定,極小點(diǎn)是工程優(yōu)化第2章

對(duì)于一個(gè)極小化問題，我們希望知道的是全局極小點(diǎn)，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點(diǎn)的。因此一般要先求出所有局部極小值點(diǎn)，再從中找出全局極小點(diǎn)。

為了求出函數(shù)的局部極小值點(diǎn)，考察函數(shù)f在局部極小點(diǎn)處滿足什么條件？反過來，滿足什么條件的點(diǎn)是局部極小點(diǎn)？

這就是我們要下來要考慮的多元函數(shù)的極值條件。首先回顧二元函數(shù)的極值條件。多元函數(shù)的極值工程優(yōu)化第2章二元函數(shù)的極值判別條件定理1(必要條件)（可微的極值點(diǎn)一定是駐點(diǎn)）：

設(shè)(1)為D的一個(gè)內(nèi)點(diǎn);可微;(2)在處,則在的極值點(diǎn);(3)為工程優(yōu)化第2章二元函數(shù)的極值判別條件定理2(充分條件)

設(shè)(1)為D的一個(gè)內(nèi)點(diǎn);二次連續(xù)可微;(2)在的駐點(diǎn)，即(3)為(i)若且為則的嚴(yán)格局部極小點(diǎn)；工程優(yōu)化第2章(ii)

若,且為則的嚴(yán)格局部極大點(diǎn)；(iii)若則不是的極值點(diǎn),此時(shí)稱的鞍點(diǎn).為工程優(yōu)化第2章多元函數(shù)的極值判別條件定理3(必要條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);可微;(2)在則的極值點(diǎn);(3)為工程優(yōu)化第2章

設(shè)為任意單位向量,因?yàn)槭堑木植繕O小點(diǎn)。由定義知：當(dāng),即時(shí)，總有：令（一元輔助函數(shù)）則上式即為：而是D的內(nèi)點(diǎn)。從而與之對(duì)應(yīng)的t=0是的局部極小點(diǎn)。根據(jù)一元函數(shù)極小點(diǎn)必要性條件知：,而由前述性質(zhì)知：則,由單位向量任意性，即知。（否則，取，則，矛盾。）證明:工程優(yōu)化第2章多元函數(shù)的極值判別條件注意：定理中條件僅為必要的，而不是充分的。例：在處梯度為，但只是雙曲拋物面的鞍點(diǎn)，而不是極小點(diǎn)。（可微的極值點(diǎn)一定是駐點(diǎn)）定義：設(shè)是D的內(nèi)點(diǎn)，若

,則稱為f的駐點(diǎn)。f定理3(必要條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);可微;(2)在則的極值點(diǎn);(3)為工程優(yōu)化第2章多元函數(shù)的極值判別條件定理4(充分條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);(2)二次連續(xù)可微;在(3)則的嚴(yán)格局部極小點(diǎn)。為(4)正定；工程優(yōu)化第2章證明：因正定，則使對(duì)，均有：（x充分接近時(shí)）。將f在處按Taylor公式展開注意,有：當(dāng)x充分接近時(shí)，上式左端的符號(hào)取決于右端的一項(xiàng)（為正）。故工程優(yōu)化第2章推論1:

對(duì)于對(duì)稱正定矩陣的二次函數(shù)：是它的唯一極小點(diǎn)。證明:

求此二次函數(shù)的駐點(diǎn),由,知有唯一駐點(diǎn),而這點(diǎn)處的Hesse陣正定,

故由定理可知：是其唯一極小點(diǎn)。

定理4(充分條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);(2)二次連續(xù)可微;在(3)則的嚴(yán)格局部極小點(diǎn)。為(4)正定；多元函數(shù)的極值判別條件工程優(yōu)化第2章證明：設(shè)是多元函數(shù)f的極小點(diǎn)。并設(shè)是充分靠近極小點(diǎn)的一個(gè)等值面，即充分小。將在點(diǎn)展開因?yàn)闃O小值點(diǎn),則

這是等值面的一個(gè)近似曲面。由于假設(shè)正定，則

是以為中心的橢球面方程。推論2:

若多元函數(shù)在其極小點(diǎn)處的

Hesse陣正定，則它在這個(gè)極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面族。定理4(充分條件)

設(shè)(1)x*為D的一個(gè)內(nèi)點(diǎn);(2)二次連續(xù)可微;在(3)則的嚴(yán)格局部極小點(diǎn)。為(4)正定；又是高階無窮小量,工程優(yōu)化第2章定義（可行方向）：設(shè)，若對(duì)以點(diǎn)為始點(diǎn)的向量均位于D的內(nèi)部，則稱為點(diǎn)的一個(gè)可行方向。注：(1)

如果為D的內(nèi)點(diǎn)，則任何方向都是可行方向；若為D的邊界點(diǎn)，則只有一部分為可行方向;(2)

如果為的極小點(diǎn),則在處沿任何可行方向，函數(shù)值均不減少，即定理5：設(shè),如果二階可微，且對(duì)于在點(diǎn)的任何可行方向，都有，并有正定，則是嚴(yán)格局部極小值點(diǎn)。工程優(yōu)化第2章凸集、凸函數(shù)和凸規(guī)劃問題（極小值點(diǎn)和最小值點(diǎn)之間的關(guān)系）：設(shè)f(x)定義在D內(nèi)，f(x*)為極小值，這是一局部概念，即在x*的鄰域內(nèi)，f(x*)最小。若x*為f(x)的最小值點(diǎn)，則x*為f(x)的極小值點(diǎn)。反過來不一定成立。一元函數(shù)有結(jié)論：若f(x)在區(qū)間[a,b]上是凸的，則x*是f(x)的極小值點(diǎn)等價(jià)于x*是f(x)的最小值。且由微分學(xué)知：若，則f(x)是凸的。為研究多元函數(shù)的極值與最值的關(guān)系，下面介紹多元函數(shù)凸性。工程優(yōu)化第2章規(guī)定：空集和單元素集也是凸集。三角形，矩形，圓，球，凸多邊形，第一象限，第一卦限等都是凸的。等價(jià)定義（凸集）：設(shè)凸集與性質(zhì)

定義（凸集）：若集合中任意兩點(diǎn)的連線都屬于，則稱為凸集。因?yàn)閮牲c(diǎn)

連線上任一點(diǎn)可以表示為

凸集的幾何特征凸集的代數(shù)特征稱集合為凸集。恒有工程優(yōu)化第2章凸集：在點(diǎn)集中任取兩點(diǎn)，則其連線仍在其中。即沒有凹入的部分；沒有空洞。⑴⑵⑶⑷⑸⑹ABCD凸集與性質(zhì)

工程優(yōu)化第2章

例1:

證明集合S={x∣Ax=b}

是凸集。其中A為mn矩陣，b為m維向量。凸集與性質(zhì)

證明:即所以即S是凸集。

例2:

集合是凸集,稱為超平面，c為n維向量。

例3：鄰域是凸集。工程優(yōu)化第2章定義：設(shè)那么稱是

的凸組合。

性質(zhì)2：S是凸集S中任意有限個(gè)點(diǎn)的凸組合屬于S。證明：見書中定理2.9(P23).

提示：充分性顯然。必要性用數(shù)學(xué)歸納法。凸集與性質(zhì)

性質(zhì)1：設(shè)是凸集，則也是凸集。注：不一定是凸集。工程優(yōu)化第2章性質(zhì)3：分離與支撐：凸集邊界上任意點(diǎn)存在支撐超平面兩個(gè)互相不交的凸集之間存在分離超平面支撐強(qiáng)分離分離非正常分離凸集與性質(zhì)

工程優(yōu)化第2章定義（凸包）：包含集合D的所有凸集的交集稱為D的凸包，記作Co(D)或者H(D).注：由性質(zhì)1可知，Co(D)是包含D的最小凸集。凸集與性質(zhì)

0定義（凸錐）：設(shè)，如果對(duì)任意的及所有的，都有，則稱是一個(gè)錐。一個(gè)同時(shí)是凸集的錐，稱為凸錐。多胞形：有限個(gè)點(diǎn)的凸包工程優(yōu)化第2章

由一元函數(shù)的幾何圖形知：f(x)是凸函數(shù)，任意給定曲線上兩點(diǎn)A，B，則弦AB在與弧AB之上，用數(shù)學(xué)式子表示：

凸函數(shù)弦AB的方程：令則上式可寫為：所以：

工程優(yōu)化第2章定義（凸函數(shù)）:

設(shè)集合DRn為凸集，函數(shù)f:DR,若x,y

D,(0,1)，均有

f(x+(1-)y

)≤f(x)+(1-)f(y)

，則稱f(x)為凸集D上的凸函數(shù)。若進(jìn)一步有上面不等式以嚴(yán)格不等式成立，則稱f(x)為凸集D上的嚴(yán)格凸函數(shù)。當(dāng)-f(x)為凸函數(shù)(嚴(yán)格凸函數(shù))時(shí)，則稱f(x)為凹函數(shù)

(嚴(yán)格凹函數(shù))。嚴(yán)格凸函數(shù)凸函數(shù)嚴(yán)格凹函數(shù)凸函數(shù)----推廣到多元函數(shù)工程優(yōu)化第2章例：設(shè)1)若A半正定，則在上是凸函數(shù)；2)若A正定，則在上是嚴(yán)格凸函數(shù)。證明:

凸函數(shù)----推廣到多元函數(shù)工程優(yōu)化第2章性質(zhì)2：設(shè)f1,f2是凸集D上的凸函數(shù)，設(shè)a,b>0,則af1+bf2

是凸函數(shù)；f(x)=max{f1(x),f2(x)}是凸函數(shù)。思考：af1-bf2是否是凸函數(shù)？

g(x)=min{f1(x),f2(x)}是否是凸函數(shù)？凸函數(shù)的性質(zhì)性質(zhì)1：

f(x)

為凸集S上的凸函數(shù)S上任意有限點(diǎn)的凸組合的函數(shù)值不大于各點(diǎn)函數(shù)值的凸組合。

證明參見文中定理2.10的證明。工程優(yōu)化第2章P382.12.32.19作業(yè)工程優(yōu)化第2章定理(一階條件):

設(shè)D

Rn為非空凸集，函數(shù)f:DR

在D上可微，則

(1)f在D上為凸函數(shù)任意x，yD，恒有

f(y)

≥f(x)+fT(x)(y-x)

(1)(2)

f在D上為嚴(yán)格凸函數(shù)任意x≠yD，恒有

f(y)>f(x)+fT(x)(y-x).(2)

證明:見書中定理2.11(P27)凸函數(shù)的判定定理工程優(yōu)化第2章定理5（二階條件）:

設(shè)D

Rn為含有內(nèi)點(diǎn)的非空凸集，函數(shù)f:DR在D上二次可微，則

a)f在D上為凸函數(shù)xD，2f(x)

半正定；

b)若xD，2f(x)

正定，則f在D上為嚴(yán)格凸函數(shù)。證明:見書中定理2.12（P28）由一階條件和多元函數(shù)的泰勒展開式可證。回憶：一個(gè)矩陣半正定充要條件是所有主子式非負(fù)；一個(gè)矩陣正定充要條件是所有順序主子式為正。凸函數(shù)的判定定理工程優(yōu)化第2章例：設(shè)二次函數(shù)(1)：若為半定矩陣，在中為凸函數(shù)；(2)：若為正定矩陣，在中為嚴(yán)格凸函數(shù)。例：判斷f(x)=5x12-6x1x2+5x22在凸集D上是否是凸函數(shù)？的順序主子式都是正的，所以正定，因此f(x)在凸集D上是嚴(yán)格凸函數(shù)。凸函數(shù)的判定定理工程優(yōu)化第2章由于故證明為凸函數(shù)。也是凸函數(shù)。根據(jù)性質(zhì)2，為凸函數(shù)。看下述各式是否成立：證明：首先用定義證明是凸函數(shù)，即對(duì)任意和例:

試證明為凹函數(shù)?；蚣达@然，不管和取什么值，總有為凹函數(shù)。因此從而用同樣的方法可以證明工程優(yōu)化第2章用一階條件證明只需證任意選取兩點(diǎn)或或或不管a1、a2、b1、b2取什么值，上式均成立，從而得證。是凹函數(shù)，要證例:

試證明為凹函數(shù)。工程優(yōu)化第2章其海賽矩陣處處負(fù)定，故為(嚴(yán)格)凹函數(shù)。

下面用二階條件證明:由于例:

試證明為凹函數(shù)。工程優(yōu)化第2章定義（凸規(guī)劃）:

考慮如下非線性規(guī)劃當(dāng)都是凸函數(shù)時(shí),稱規(guī)劃為凸規(guī)劃凸規(guī)劃工程優(yōu)化第2章性質(zhì)1:

設(shè)(1)為凸規(guī)劃，則

i)(1)的可行集R是凸集；

ii)(1)的最優(yōu)解集是凸集；

iii)(1)的任何局部極小點(diǎn)都是全局極小點(diǎn)。

證明：見書中定理2.13.性質(zhì)2:

設(shè)(1)為凸規(guī)劃，若f(x)在非空可行集R上是嚴(yán)格凸函

數(shù)，則(1)的全局極小點(diǎn)是唯一的。

證明：見書中定理2.14.注:

非線性規(guī)劃的局部最優(yōu)解不一定是整體最優(yōu)解,其可行解和最優(yōu)解集也不一定是凸集,甚至不是連通集.如果是凸規(guī)劃,就有很多好的性質(zhì)。凸規(guī)劃的性質(zhì)工程優(yōu)化第2章性質(zhì)3：設(shè)(1)為凸規(guī)劃，則為(1)的最優(yōu)解

的充要條件為：，有利用

f(y)

≥f(x)+fT(x)(y-x)

（證明參見文中定理2.15）凸規(guī)劃的性質(zhì)工程優(yōu)化第2章多胞形：有限個(gè)點(diǎn)的凸包閉半空間是凸的多面體、極點(diǎn)、極方向閉半空間：稱為正閉半空間;稱為負(fù)閉半空間;H+和H-統(tǒng)稱為閉半空間。多面體：有限個(gè)閉半空間的交工程優(yōu)化第2章多面體的極點(diǎn)（頂點(diǎn)）：多面體、極點(diǎn)、極方向

對(duì)任意xS，不存在S

中的另外兩個(gè)點(diǎn)x(1)和x(2)，及極方向：方向d

不能表示為兩個(gè)不同方向的組合使方向：xS,dRn,d

0及總有時(shí)，稱d(1)和d(2)同方向。當(dāng)工程優(yōu)化第2章定理（極點(diǎn)特征）設(shè)A

滿秩，x

是S極點(diǎn)的充分必要條件是:存在分解A=[B,N]，其中B為m階非奇異矩陣，使xT=[xBT,xNT],這里xB=B-1b≥0,xN=0.S中必存在有限多個(gè)極點(diǎn)。(≤Cnm)定理（極方向特征）設(shè)A=[p1,p2,…,pn]滿秩，d

是S

極方向的充分必要條件是:存在分解A=[B,N]，其中B為m階非奇異矩陣，對(duì)于N中的列向量pj

使B-1pj≤0,dT=[dBT,dNT],dB=-B-1pj

,

dN=(0,...,1,…,0)TS中必存在有限多個(gè)極方向。(≤(n-m)Cnm)多面體S={xRnAx=b,x≥0}的極點(diǎn)和極方向工程優(yōu)化第2章定理（表示定理）考慮上述多面體S，設(shè)A滿秩，

為所有極點(diǎn)，

為所有極方向。那么，對(duì)于xS，且多面體S={xRnAx=b,x≥0}的極點(diǎn)和極方向使工程優(yōu)化第2章

一個(gè)凸集有非空的相對(duì)內(nèi)部；一個(gè)凸集是連通的并且在任意點(diǎn)具有可行方向；一個(gè)多面體的凸集可以由一個(gè)有限的極點(diǎn)和極方向的集合來刻畫；凸集上凸函數(shù)的全局極小值的存在可以非常方便的按照收縮方向來描述；為什么凸在最優(yōu)化中如此特殊工程優(yōu)化第2章

一個(gè)凸函數(shù)的局部極小點(diǎn)都是全局極小點(diǎn)；一個(gè)非凸函數(shù)可以被“凸化的”同時(shí)保持了全局極小值的最優(yōu)性；一個(gè)凸函數(shù)是連續(xù)的并且具有良好的可微性；閉凸錐關(guān)于極是自對(duì)偶的；凸且下半連續(xù)的函數(shù)關(guān)于共軛是自對(duì)偶的；為什么凸在最優(yōu)化中如此特殊工程優(yōu)化第2章向量運(yùn)算：x,yRn

x,y

的內(nèi)積：<x,y>=xTy=xiyi=x1y1+x2y2+…+xnyn

x,y

的距離：‖x-y‖=[(x-y)T(x-y)](1/2)x

的長度：‖x‖=[xTx](1/2)

三角不等式：‖x+y‖≤‖x‖+‖y‖

工程優(yōu)化第2章定理（Cauchy-Schwarz不等式）重要的不等式定理1設(shè)A為n階對(duì)稱正定矩陣，則，恒有等號(hào)成立當(dāng)且僅當(dāng)x與線性相關(guān);

等式成立當(dāng)且僅當(dāng)x

與y線性相關(guān)。其中表示向量的內(nèi)積。工程優(yōu)化第2章定理3：設(shè)A為n階對(duì)稱正定矩陣，m與M分別為A的最小與最大特征值，則，恒有定理2：設(shè)A為n階對(duì)稱正定矩陣，m與M分別為A的最小與最大特征值，則，恒有

重要的不等式1/M與

1/m分別為A-1的最小與最大特征值工程優(yōu)化第2章范數(shù)

（A正定）橢球范數(shù)范數(shù)

范數(shù)

范數(shù)

范數(shù)----向量范數(shù)工程優(yōu)化第2章定義1：方陣A的范數(shù)是指與A相關(guān)聯(lián)并記做的一個(gè)非負(fù)數(shù)，它具有下列性質(zhì)：對(duì)于都有，而時(shí)；對(duì)于任意，都有；；；若還進(jìn)一步滿足：則稱之為與向量范數(shù)相協(xié)調(diào)（相容）的方陣范數(shù).

范數(shù)----矩陣范數(shù)工程優(yōu)化第2章定義2:設(shè)與是