最優(yōu)化第一部分課件

非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論最優(yōu)化方法的定義、研究對(duì)象及研究方法2.最優(yōu)化問(wèn)題的基本概念3.梯度與Hesse矩陣4.凸函數(shù)與凸規(guī)劃非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論內(nèi)容簡(jiǎn)介：最優(yōu)化方法

近幾十年形成的.它主要運(yùn)用數(shù)學(xué)方法研究各種系統(tǒng)的優(yōu)化途徑及方案，為決策者提供科學(xué)決策的依據(jù)。最優(yōu)化方法的主要研究對(duì)象是各種有組織系統(tǒng)的管理問(wèn)題及其生產(chǎn)經(jīng)營(yíng)活動(dòng)。最優(yōu)化方法的目的在于針對(duì)所研究的系統(tǒng)，求得一個(gè)合理運(yùn)用人力、物力和財(cái)力的最佳方案，發(fā)揮和提高系統(tǒng)的效能及效益，最終達(dá)到系統(tǒng)的最優(yōu)目標(biāo)。實(shí)踐表明，隨著科學(xué)技術(shù)的日益進(jìn)步和生產(chǎn)經(jīng)營(yíng)的日益發(fā)展，最優(yōu)化方法已成為現(xiàn)代管理科學(xué)的重要理論基礎(chǔ)和不可缺少的方法，被人們廣泛地應(yīng)用到公共管理、經(jīng)濟(jì)管理、國(guó)防等各個(gè)領(lǐng)域，發(fā)揮著越來(lái)越重要的作用。本門課程將介紹非線性最優(yōu)化方法的研究對(duì)象、特點(diǎn)。主要是無(wú)約束優(yōu)化計(jì)算、約束優(yōu)化計(jì)算以及動(dòng)態(tài)規(guī)劃的模型、求解。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論一、最優(yōu)化方法的定義、研究對(duì)象及研究方法英國(guó)運(yùn)籌學(xué)會(huì)給最優(yōu)化方法下的定義是，最優(yōu)化方法是一系列科學(xué)方法的應(yīng)用。在工業(yè)、商業(yè)、政府及國(guó)防部門中，用這些方法處理大量的人員、機(jī)器、材料和資金等復(fù)雜問(wèn)題。這種方法的特點(diǎn)是科學(xué)地建立系統(tǒng)模型，包括度量各種因素，例如分析機(jī)會(huì)和風(fēng)險(xiǎn)，以此預(yù)測(cè)和比較各種決策、策略或控制的結(jié)果，使管理機(jī)構(gòu)科學(xué)地確定它的政策及行動(dòng)。美國(guó)運(yùn)籌學(xué)會(huì)下了一個(gè)比較簡(jiǎn)短的、與上述相類似的定義：最優(yōu)化方法的研究?jī)?nèi)容是，在需要對(duì)有限的資源進(jìn)行分配的情況下，作出人機(jī)系統(tǒng)最優(yōu)設(shè)計(jì)的操作的科學(xué)決策。

非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論以上幾種定義中雖然每個(gè)定義所強(qiáng)調(diào)的側(cè)重點(diǎn)略有不同，但總的含義是一致的。一般說(shuō)來(lái)，最優(yōu)化方法的研究對(duì)象是各種有組織的系統(tǒng)（主要是經(jīng)濟(jì)組織系統(tǒng)）的經(jīng)營(yíng)管理問(wèn)題，最優(yōu)化方法所研究的系統(tǒng)是在一定時(shí)空條件下存在，為人所能控制和操縱，有兩個(gè)以上行動(dòng)方案可供選擇而需要人們作決策的系統(tǒng)。最優(yōu)化方法研究的問(wèn)題是能用數(shù)量表示與系統(tǒng)各項(xiàng)活動(dòng)有關(guān)而帶有運(yùn)用、策劃、使用、安排、控制和規(guī)劃等方面的問(wèn)題。最優(yōu)化方法的任務(wù)就是在現(xiàn)有條件下，根據(jù)問(wèn)題的要求，對(duì)有關(guān)活動(dòng)中的錯(cuò)綜復(fù)雜的數(shù)量進(jìn)行分析研究，并歸納為一定的模型，然后運(yùn)用有關(guān)原理和方法求得解決問(wèn)題的最優(yōu)途徑和方案，以求實(shí)現(xiàn)預(yù)期目標(biāo)。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論最優(yōu)化問(wèn)題的數(shù)學(xué)模型

數(shù)學(xué)模型是對(duì)實(shí)際問(wèn)題的數(shù)學(xué)描述和概括,是進(jìn)行最優(yōu)化設(shè)計(jì)的基礎(chǔ).根據(jù)設(shè)計(jì)問(wèn)題的具體要求和條件建立完備的數(shù)學(xué)模型是最優(yōu)化設(shè)計(jì)成敗的關(guān)鍵.這是因?yàn)樽顑?yōu)化問(wèn)題的計(jì)算求解完全是針對(duì)數(shù)學(xué)模型進(jìn)行的.也就是說(shuō)，最優(yōu)化計(jì)算所得最優(yōu)解實(shí)際上只是數(shù)學(xué)模型的解，至于是否是實(shí)際問(wèn)題的解，則完全取決于數(shù)學(xué)模型與實(shí)際問(wèn)題符合的程度.工程設(shè)計(jì)問(wèn)題通常是相當(dāng)復(fù)雜的，欲建立便于求解的數(shù)學(xué)模型，必須對(duì)實(shí)際問(wèn)題加以適當(dāng)?shù)某橄蠛秃?jiǎn)化.不同的簡(jiǎn)化方法得到不同的數(shù)學(xué)模型和計(jì)算結(jié)果，而且一個(gè)完善的數(shù)學(xué)模型，往往需要在計(jì)算求解過(guò)程中進(jìn)行反復(fù)地修改和補(bǔ)充才能最后得到.

非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論通過(guò)幾個(gè)簡(jiǎn)單的最優(yōu)化設(shè)計(jì)簡(jiǎn)例，說(shuō)明數(shù)學(xué)模型的一般形式、結(jié)構(gòu)及其有關(guān)的基本概念.

例1.用一塊邊長(zhǎng)3m的正方形薄板，在四角各裁去一個(gè)大小相同的方塊，做成一個(gè)無(wú)蓋的箱子，試確定如何裁剪可以使做成的箱子具有最大的容積.

解:設(shè)裁去的4個(gè)小方塊的邊長(zhǎng)為x，則做成的箱子的容積為:

于是，上述問(wèn)題可描述為:求變量

x,使函數(shù)極大化.這樣就把該設(shè)計(jì)問(wèn)題轉(zhuǎn)化成為一個(gè)求函數(shù)f(x)最大值的數(shù)學(xué)問(wèn)題.其中,x是待定的求解參數(shù),稱為決策變量;函數(shù)f(x)代表設(shè)計(jì)目標(biāo),稱為目標(biāo)函數(shù).由于目標(biāo)函數(shù)是設(shè)計(jì)變量的三次函數(shù),并且不存在任何限制條件,故稱此類問(wèn)題為非線性無(wú)約束最優(yōu)化問(wèn)題.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論例2.某工廠生產(chǎn)甲、乙兩種產(chǎn)品，生產(chǎn)每種產(chǎn)品所需的材料、工時(shí)、用電量和可以獲得的利潤(rùn)，以及每天能夠提供的材料、工時(shí)、用電量見(jiàn)表1—1，試確定該廠兩種產(chǎn)品每天的生產(chǎn)計(jì)劃，以使得每天獲得的利潤(rùn)最大.表1-1生產(chǎn)條件基本數(shù)據(jù)產(chǎn)品材料/kg工時(shí)/h用電能量/kw—

h利潤(rùn)/元甲乙供應(yīng)量943603103004520060120解:這是一個(gè)簡(jiǎn)單的生產(chǎn)計(jì)劃問(wèn)題,可歸結(jié)為在滿足各項(xiàng)生產(chǎn)條件的基礎(chǔ)上,合理安排兩種產(chǎn)品每天的生產(chǎn)量,以使利潤(rùn)最大化的最優(yōu)化設(shè)計(jì)問(wèn)題.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論設(shè)每天生產(chǎn)甲產(chǎn)品x1件,乙產(chǎn)品x2件,每天獲得的利潤(rùn)用函數(shù)f(x1,x2)表示,即:每天實(shí)際消耗的材料、工時(shí)和電力分別用函數(shù)表示，即于是，該問(wèn)題可歸結(jié)為以下數(shù)學(xué)模型：求變量x1,x2,使函數(shù)極大化并滿足條件:稱此類問(wèn)題為線性約束最優(yōu)化問(wèn)題.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論二、最優(yōu)化問(wèn)題的基本概念

1.最優(yōu)化問(wèn)題的向量表示研究最優(yōu)化問(wèn)題，一般都采用向量表示，例如決策變量可以看作是n維向量空間Rn中的一個(gè)向量x的n個(gè)分量，即或例如，例1、例2中的目標(biāo)函數(shù)都可以寫成設(shè)x是n維向量變量，則如下函數(shù)稱為向量值函數(shù),如果它的定義域?yàn)镈,則簡(jiǎn)記為MTAP-D-18-02390

非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論2.向量的范數(shù)約定：取向量為列向量，即n維Euclid空間Rn中的一個(gè)向量

x可表示為：或矩陣相等：設(shè)如果對(duì)一切都有則稱向量x與y相等，記作類似可定義兩向量小于等于或小于關(guān)系。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論矩陣的正定性質(zhì)及對(duì)稱矩陣的判定：設(shè)A為n階對(duì)稱矩陣，x為任意非零n維向量(1)若xTAx>0,則稱A為正定矩陣，記作A>0;(2)若xTAx0,則稱A為半正定矩陣，記作A0;(3)若xTAx<0,則稱A為負(fù)定矩陣，記作A<0;(4)若xTAx0,則稱A為半負(fù)定矩陣，記作A0.除此之外，稱A為不定矩陣.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論判定方法：設(shè)A為

n階對(duì)稱矩陣A>0A的特征值都大于0A的各階順序主子式都大于0A0A的特征值都大于等于0A的各階順序主子式都大于等于0A<0A的特征值都小于0A的奇階順序主子式都小于0,A的偶階順序主子式都大于0A0A的特征值都小于等于0A的奇階順序主子式都小于等于0,A的偶階順序主子式都大于等于0A為不定矩陣A既有正的特征值,又有負(fù)的特征值非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論兩向量?jī)?nèi)積：設(shè)稱為向量x和y的內(nèi)積.向量x的Euclid范數(shù)(向量x的長(zhǎng)度)稱為向量x的Euclid范數(shù)(向量x的長(zhǎng)度).關(guān)于Euclid范數(shù)及內(nèi)積的兩個(gè)重要不等式(1)三角不等式(2)Cauchy不等式非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論3.最優(yōu)化問(wèn)題的一般形式非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論概括地說(shuō)，后面大部分章節(jié)要討論的問(wèn)題是如下的最優(yōu)化問(wèn)題:其中是subjectto的縮寫，表示“滿足于”.其中f,si

,hj

都是x的實(shí)值連續(xù)函數(shù)，通常假定它們都具有二階連續(xù)偏導(dǎo)數(shù).上面的模型也可以用向量來(lái)表示.常用術(shù)語(yǔ):

f(x)稱為目標(biāo)函數(shù),或求它的極小,或求它的極大;被稱為不等式約束，稱為等式約束.稱為集約束.在（1.1）中,集約束一般為（1.1）非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論不然的話,可以用不等式約束出來(lái),因此，后面一般不考慮集約束.滿足所有約束的向量x稱為可行解或容許解,可行解的集合稱為可行域（容許域）.全局極小點(diǎn)與局部極小點(diǎn)：若存在則稱x*為f(x)在D上的全局極小點(diǎn).這里的“”改為“”，則稱x*為f(x)在D上的全局嚴(yán)格極小點(diǎn).x*組成的集合稱為最優(yōu)解集.若存在并對(duì)有則稱x*為問(wèn)題（1.1）

f(x)的局部極小點(diǎn)（最優(yōu)解）.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論從以上定義可以看出，x*是局部極小點(diǎn)，是指在以x*為中心的一個(gè)小鄰域中f(x)在點(diǎn)x*處取得極小值；而x*是全局極小點(diǎn)，是指在定義域中，f(x)在點(diǎn)x*處取得極小值.全局最小點(diǎn)必定是局部極小點(diǎn).實(shí)際問(wèn)題通常是求全局極小點(diǎn)，但直到目前為止，最優(yōu)化中絕大多數(shù)方法都是求局部極小點(diǎn)的.解決這類問(wèn)題的方法是，先求出所有的局部極小點(diǎn)，然后再求全局極小點(diǎn).在模型(1.1)中,設(shè)向量均在D的內(nèi)部，則稱h為x的一個(gè)可行方向.結(jié)論:設(shè)在(1.1)中,對(duì)于x*的任意可行方向h,均有則x*為(1.1)的嚴(yán)格局部最優(yōu)解.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論4.最優(yōu)化問(wèn)題分類最優(yōu)化問(wèn)題可做如下分類：最優(yōu)化問(wèn)題靜態(tài)問(wèn)題動(dòng)態(tài)問(wèn)題無(wú)約束非線性規(guī)劃問(wèn)題約束問(wèn)題一維問(wèn)題n維問(wèn)題線性規(guī)劃非線性規(guī)劃沒(méi)有約束的問(wèn)題：稱為無(wú)約束問(wèn)題.如決策變量只有一個(gè)，稱為一維問(wèn)題.求解一維問(wèn)題的方法稱為一維搜索或線性搜索，在最優(yōu)化中起著十分重要的作用.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論一維問(wèn)題n維問(wèn)題三、多元函數(shù)的梯度、Hesse矩陣及Taylor公式可微函數(shù)f(x)的梯度，記為▽f(x)，它是以f(x)對(duì)xi(i=1,2,…,n）的偏導(dǎo)數(shù)為元素的n維向量(本書規(guī)定為列向量)，即也可以把梯度稱為函數(shù)關(guān)于向量x的一階導(dǎo)數(shù).函數(shù)在某一點(diǎn)x(1)的梯度可表示為：1.梯度非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論

定義1:

設(shè)f:Rn→R，xRn，如果存在n維向量p，對(duì)任意的非零向量Δx，使得則稱f(x)在點(diǎn)x處可微分，記作定理1：設(shè)f:Rn→R，xRn，如果f(x)在x點(diǎn)可微，則f(x)在x點(diǎn)的梯度存在，且稱為f(x)在x點(diǎn)的微分.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論

定義2:設(shè)f:Rn→R，x

Rn，d是給定的n維非零向量，則稱該極限為f(x)在點(diǎn)x處沿d的方向?qū)?shù)，記作定理２：設(shè)f:Rn→R，x∈Rn，如果f(x)在x點(diǎn)可微，則在x處沿任何非零向量d的方向?qū)?shù)存在，且如果下面的極限存在非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論

定義3

設(shè)f(x)是Rn上的連續(xù)函數(shù)，x0Rn，d是給定的n維非零向量，如果存在δ>0，使得則稱d為f(x)在x0點(diǎn)的下降方向，若定理3設(shè)f:Rn→R，x

Rn，且f(x)在x點(diǎn)可微，如果存在非零向量d

Rn，使得f(x)Td<0，則d是下降方向，若f(x)Td>0，則d是上升方向。則稱d為f(x)在x0點(diǎn)的上升方向。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論此定理說(shuō)明，與f在x0處的梯度方向交成銳角的任何方向都是f在x0處的上升方向；相反，與f在x0處的梯度梯度方向交成鈍角的任何方向都是f在x0處的下降方向?？梢宰C明：梯度方向是函數(shù)值上升最快的方向，梯度負(fù)方向是函數(shù)值下降最快的方向。因此我們把負(fù)梯度方向叫做最速下降方向.還可以證明：f(x)在x0處的梯度與f(x)過(guò)x0處等值面上任一曲線l在該點(diǎn)的切線垂直，即與過(guò)該點(diǎn)的切平面垂直?；蛘呖梢哉f(shuō)f(x0)是曲面f(x)=f(x0)在點(diǎn)x0處的一個(gè)法線向量。注：過(guò)x0的等值面方程為：f(x)=f(x0)=c.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論2.海賽（Hesse）矩陣假設(shè)函數(shù)f(x)二階可微，則以其二階偏導(dǎo)數(shù)為元素構(gòu)成的下述n×n矩陣稱為f(x)的海賽矩陣，記為即當(dāng)f(x)在x處的所有二階偏導(dǎo)數(shù)連續(xù)時(shí)，有這時(shí)的Hesse矩陣為對(duì)稱矩陣.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論向量函數(shù)的導(dǎo)數(shù)定義4設(shè)如果對(duì)于自變量的各分量的偏導(dǎo)數(shù)都存在，則稱向量函數(shù)h在處是一階可導(dǎo)的，并且稱矩陣為h(x)在處的一階導(dǎo)數(shù)或Jacobi矩陣，簡(jiǎn)記為非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論n元函數(shù)的梯度是向量函數(shù)由上面定義知，f(x)的一階導(dǎo)數(shù)或Jacobi矩陣為：非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論即函數(shù)梯度的Jacobi矩陣即為該函數(shù)的Hesse矩陣.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論

例1求函數(shù)在任意點(diǎn)的梯度和海賽矩陣。

解:先求f(x)的各階偏導(dǎo)數(shù)，有非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論例2求二次齊次函數(shù)的Hesse矩陣解：非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論3.Taylor展式設(shè)n元實(shí)函數(shù)f(x)在某點(diǎn)x(0)

的某一鄰域內(nèi)有連續(xù)二階偏導(dǎo)數(shù)，則可寫出它在x(0

)處的泰勒（Taylor）展開(kāi)式如下：若在上式中略去高階無(wú)窮小項(xiàng)，則有相應(yīng)的近似關(guān)系式：非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論四、凸函數(shù)與凸規(guī)劃

求解非線性規(guī)劃問(wèn)題的算法很多，但一般情況下求出的都是局部最優(yōu)解。而我們的目的是求問(wèn)題的全局最優(yōu)解。為了達(dá)到這個(gè)目的，我們一般可以從兩個(gè)方面著手考慮，一是尋求求全局極值的計(jì)算方法，二是從理論上說(shuō)明在何種情況下，求出的局部極值一定是問(wèn)題的全局極值。實(shí)際上，研究結(jié)果表明，對(duì)于凸規(guī)劃來(lái)說(shuō)，局部最優(yōu)解一定是全局最優(yōu)解（對(duì)極值問(wèn)題而言）。本部分首先介紹凸函數(shù)的概念和性質(zhì)，再介紹凸規(guī)劃的概念與性質(zhì)。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論凸集的線段都全部包含在該集合內(nèi)，就稱該點(diǎn)集為凸集，否則為非凸集。一個(gè)點(diǎn)集（或區(qū)域），如果連接其中任意兩點(diǎn)非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論1.凸函數(shù)及其性質(zhì)定義5若對(duì)任意的及D中任意兩點(diǎn)和有（1.2）

成立，則稱f（X）為D上的凸函數(shù)，或稱f（X）在D上是凸的.設(shè)f(X)為定義在非空凸集上的函數(shù)。（1.3）

成立,則稱f(X)為D上的嚴(yán)格凸函數(shù)，或稱f(X)在D上是嚴(yán)格凸的.若對(duì)任意的及任意兩點(diǎn)有非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論注1：

若f是D上的（嚴(yán)格）凸函數(shù)，則稱-f是D上的(嚴(yán)格)凹函數(shù)，或稱-f在D上是（嚴(yán)格）凹的。實(shí)際上，我們也可以仿照定義2來(lái)定義凹函數(shù)，只要令式（1.2）和（1.3）不等號(hào)反向.當(dāng)n=1時(shí)，如圖1.1所示凸（凹）函數(shù)的函數(shù)曲線上任意兩點(diǎn)間的連線總在函數(shù)曲線的上(下)圖1.1（a）凸函數(shù)非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論圖1.1（b）凹函數(shù)注2：由凸（凹）函數(shù)的定義，可知線性函數(shù)既是凸函數(shù)也是凹函數(shù)。非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論根據(jù)凸函數(shù)的定義，易證凸函數(shù)有如下的基本性質(zhì).性質(zhì)1.1設(shè)f（X）是凸集D上的凸函數(shù)，為實(shí)數(shù)，則也是D上的凸函數(shù)。性質(zhì)1.2設(shè)和均為凸集D上的凸函數(shù)，則也是D上的凸函數(shù).性質(zhì)1.3也是D上的凸函數(shù).設(shè)均為凸集D上的凸函數(shù)，且則線性組合非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論性質(zhì)1.4集合設(shè)f(X)是凸集D上的凸函數(shù)，對(duì)任一實(shí)數(shù),也是凸集.證明：

任取則且任取因?yàn)镈為凸集，所以又因?yàn)閒（X）為D上的凸函數(shù)，所以由集合的定義知，證畢.根據(jù)凸集的定義知為凸集.我們稱集合為f（X）在集合D上關(guān)于數(shù)的水平集.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論2.凸函數(shù)的判定我們可以根據(jù)凸函數(shù)的定義來(lái)判定一個(gè)函數(shù)是否為凸函數(shù),但如果該函數(shù)是可微函數(shù)，那么可按下述法則判別.定理4（函數(shù)凸性的一階條件）設(shè)D是En的非空開(kāi)凸集,函數(shù)具有一階連續(xù)的偏導(dǎo)數(shù)，則函數(shù)f為凸函數(shù)的充要條件是,恒有（1.4）其中為函數(shù)f在處的梯度向量.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論證明：必要性。因?yàn)镈是的非空開(kāi)凸集，所以因?yàn)楹瘮?shù)f為凸函數(shù)，所以從而有由于上式不等式兩邊同除以得非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論由于f具有一階連續(xù)的偏導(dǎo)數(shù)，故有所以于是得到非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論充分性。因?yàn)镈是的非空開(kāi)凸集，則由充分性條件式（1.4）得以和分別乘以上述兩個(gè)不等式的兩邊，并相加整理得由定義知函數(shù)為凸函數(shù).證畢.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論定理5（函數(shù)凸性的二階條件）設(shè)D是的非空開(kāi)凸集，函數(shù)的偏導(dǎo)數(shù)，則函數(shù)f為凸函數(shù)的充要條件是函數(shù)f的Hesse矩陣H(X)在D上為半正定矩陣.函數(shù)f為嚴(yán)格凸函數(shù)的充要條件是函數(shù)f的Hesse矩矩陣H(X)在D上為正定矩陣.具有二階連續(xù)證明：必要性。因?yàn)镈是的非空開(kāi)凸集，所以有f為嚴(yán)格凸函數(shù)，因?yàn)镈是Rn的非空開(kāi)凸集所以存在當(dāng)時(shí)，由定理4得非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論因?yàn)楹瘮?shù)f具有二階連續(xù)的偏導(dǎo)數(shù)，由Taylor展式得所以由上兩式得上式兩邊同除以注意到則有即Hesse矩陣H(X)在D上為半正定矩陣。充分性。由Taylor展式得，非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論其中因?yàn)镈是凸集，所以由充分性的條件知Hesse矩陣H（X）在D上為半正定矩陣，從而為半正定矩陣，即有所以由定理4知函數(shù)為的凸函數(shù).第二個(gè)結(jié)論的證明只要把上述的不等號(hào)換成嚴(yán)格的不等號(hào)即知成立.證畢.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論例3判斷是否為凸函數(shù).解：用二階條件.從而有因?yàn)轫樞蛑髯邮剿訦(X)正定，故f(X)為嚴(yán)格凸函數(shù).非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論定理6若f(X)是凸集DRn上的凸函數(shù),則它的任一局證明：設(shè)是任一局部極小點(diǎn)，為其充分小的鄰域,則有充分小，則有所以部極小點(diǎn)就是它在D上的全局極小點(diǎn)，而且它的極小點(diǎn)全體形成一個(gè)凸集.因?yàn)閒(X)是凸集DRn上的凸函數(shù),所以將上兩式相加并除以

,即得所以結(jié)論成立.證畢.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論定理7設(shè)f（X）在凸集DRn

上可微且為凸函數(shù)，若存在點(diǎn)都有（1.5）則是f（X）在D上的全局極小點(diǎn)；若f（X）為可微的嚴(yán)格凸函數(shù)，則即是f（X）的唯一全局極小點(diǎn).證明：由定理4知由條件知所以若f（X）為可微的嚴(yán)格凸函數(shù)，則(1.5)成立嚴(yán)格不等號(hào),即是f（X）在D上的全局極小點(diǎn).由X的任意性知由定理知結(jié)論成立.證畢.非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論定理7的含義可參考圖1.2圖1.2非線性優(yōu)化與動(dòng)態(tài)規(guī)劃第一部分緒論3.凸規(guī)劃及其性質(zhì)考慮非線性規(guī)劃問(wèn)題