機械優(yōu)化設計-第二章優(yōu)化設計的數(shù)學基礎課件

第二章優(yōu)化設計的數(shù)學基礎一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開三、無約束優(yōu)化問題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件第二章優(yōu)化設計的數(shù)學基礎一、多元函數(shù)的方向?qū)?shù)和梯度二、11、方向?qū)?shù)二元函數(shù)在點處的偏導數(shù)的定義是：

二元函數(shù)在點處沿某一方向的變化率，其定義為方向?qū)?shù)

一、多元函數(shù)的方向?qū)?shù)和梯度1、方向?qū)?shù)二元函數(shù)在點處的偏導數(shù)的定義是：2X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二維空間中的方向=+偏導數(shù)與方向?qū)?shù)的關系X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二3n元函數(shù)在點x0處沿d方向的方向?qū)?shù)n元函數(shù)在點x0處沿d方向的方向?qū)?shù)42、二元函數(shù)的梯度令梯度2、二元函數(shù)的梯度令梯度5當梯度方向和d方向重合時，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。梯度的模：當梯度方向和d方向重合時，方向?qū)?shù)值最大，即梯度方向是6多元函數(shù)的梯度多元函數(shù)的梯度7多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直，也就是和等值面上過x0的一切曲線相垂直。由于梯度的模因點而異，即函數(shù)在不同點處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直8梯度的兩個重要性質(zhì)：

①函數(shù)在某點的梯度不為零，則必與過該點的等值面垂直（即為過點的等值線的法線方向）；②梯度方向具有最大變化率方向正梯度方向是函數(shù)值最速上升的方向，負梯度方向是函數(shù)值最速下降的方向。梯度的兩個重要性質(zhì)：9例1：求二次函數(shù)在點處的梯度。

解：在點處的梯度為：例1：求二次函數(shù)在點處的梯度。解：在點處的梯度為：10例2：試求二次函數(shù)在點處的最速下降方向，并求沿這個方向移動一個單位長度后新點的目標函數(shù)值。

解：則函數(shù)在處的最速下降方向為例2：試求二次函數(shù)在點處的最速下降方向，并求沿這個方向移動一11該方向上的單位向量為新點該點函數(shù)值該方向上的單位向量為新點該點函數(shù)值12常用梯度公式：注意：梯度為向量二次型常用梯度公式：注意：梯度為向量二次型13二、多元函數(shù)的泰勒展開在

點處的泰勒展開為：其中1、一元函數(shù)二、多元函數(shù)的泰勒展開在點處的泰勒展開為：其中1142、二元函數(shù)其中：二元函數(shù)在點處的泰勒展開式為：2、二元函數(shù)其中：二元函數(shù)在15上式寫成矩陣形式：上式寫成矩陣形式：16令上式可寫成稱為函數(shù)在點處的海賽（Hessian）矩陣參見教材例題P30令上式可寫成稱為函數(shù)在17海賽矩陣是由函數(shù)在點處的二階偏導數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：所以矩陣為對陣方陣。海賽矩陣是由函數(shù)在點處的二階偏導數(shù)18海賽矩陣3、多元函數(shù)其中：梯度泰勒展開式海賽矩陣3、多元函數(shù)其中：梯度泰勒展開式19若將函數(shù)的泰勒展開式只取到線性項，即取則是過點和函數(shù)所代表的超曲面相切的切平面。若將函數(shù)的泰勒展開式取到二次項時，則得到二次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為二次型。矩陣形式-----對稱矩陣若將函數(shù)的泰勒展開式只取到線性項，即取則是過20當對任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。當對任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。21海賽矩陣的特征：是實對稱矩陣。4、海賽矩陣與正定矩陣正定的充要條件：矩陣G的各階順序主子式為正，即矩陣負定的充要條件：矩陣G的奇數(shù)階主子式主子式偶數(shù)階主子式海賽矩陣的正定性：正定-----為全局極小值點的充分條件負定-----為全局極大值點的充分條件海賽矩陣的特征：是實對稱矩陣。4、海賽矩陣與正定矩陣正定的充22例3

判定矩陣是否正定？解：該對稱矩陣的三個主子式依次為：故可知矩陣G是正定的。例3判定矩陣是否正定？解23定理：若二次函數(shù)中Q正定，則它的等值面是同心橢球面族，且中心為證明：作變換，代入二次函數(shù)式中：結(jié)論：Q為正定矩陣的二次型的等值面是以的同心橢球面族。原二次函數(shù)就是以為中心的同心橢球面族，橢圓中心為極小值點。定理：若二次函數(shù)24例4把二次函數(shù)化為矩陣向量形式并檢驗Q是否正定，如正定，試用公式求這個函數(shù)的極小點。解：與題中函數(shù)比較各系數(shù)得：由計算知Q正定，極小點例4把二次函數(shù)25三、無約束優(yōu)化問題的極值條件1、一元函數(shù)對于可微的一元函數(shù)判斷在處是否取得極值的過程：則為極小點。逐次檢驗其更高階導數(shù)的符號，開始不為零的導數(shù)階數(shù)若為偶次，則為極值點，若為奇次，則為拐點。

則為極大點。三、無約束優(yōu)化問題的極值條件1、一元函數(shù)對于可微的一元函數(shù)262、二元函數(shù)

定理1：若二元可微函數(shù)在處取得極值的必要條件是：即凡滿足上式的點稱為函數(shù)的駐點（零向量）2、二元函數(shù)定理1：若二元可微函數(shù)27如下圖所示的二元函數(shù)，在M0點雖有和是個駐點，但它不是極值點。如下圖所示的二元函數(shù)，在M0點雖有28定理2：若二元可微函數(shù)在的某個鄰域取得極小值的充分條件是要求在該點附近的一切點均滿足：若函數(shù)存在連續(xù)的一階及二階偏導數(shù)，當滿足則泰勒展開式的函數(shù)增量近似式（略三階以上高階微量）為：定理2：若二元可微函數(shù)在29令則可見，函數(shù)增量的性態(tài)與A,B,C的值有關?？梢宰C明，當滿足以下條件時，為極小值（證明略）。此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。令則可見，函數(shù)增量的性態(tài)與A,B,C的值有關?？梢宰C明，當滿30結(jié)論：二元函數(shù)在某點取得極小值的充分條件是要求該點處的海賽矩陣為正定。且

對于二元函數(shù)在處取得極值的充分必要條件是：參見教材例題P32

結(jié)論：二元函數(shù)在某點取得極小值的充分條件是要求該點313、多元函數(shù)對于多元函數(shù)若在處取得極值，則必要條件：充分條件：正定或負定3、多元函數(shù)對于多元函數(shù)32四、凸集、凸函數(shù)與凸規(guī)劃當極值點x*能使f(x*)在整個可行域中為最小值時，即在整個可行域中對任一x都有f(x)>=f(x*),則x*為全域最優(yōu)點（全域極小點）。若f(x*)為局部可行域中的極小值而非整個可行域的最小值時，則稱x*為局部最優(yōu)點或相對最優(yōu)點。優(yōu)化的目標是全域最優(yōu)點。為了判斷某個極值點是否為全域最優(yōu)點，研究函數(shù)的凸性是必要的。函數(shù)的凸性表現(xiàn)為單峰性。對于具有凸性特點的函數(shù)來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全域最優(yōu)點。為了研究函數(shù)的凸性，下面引入凸集的概念：四、凸集、凸函數(shù)與凸規(guī)劃當極值點x*能使f(x*)在整331、凸集如果對一切及一切滿足的實數(shù)，點則稱集合為凸集，否則稱為非凸集。yx2x1若y是x1和x2連線上的點，則有整理后即得1、凸集如果對一切及一切滿足的實數(shù)34凸集的性質(zhì)：若D為凸集，為一個實數(shù)，則集合仍是凸集；若D和F均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。凸集的性質(zhì)：若D為凸集，為一個實數(shù)，則集合352、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。其數(shù)學定義是：設f(x)為定義在n維歐式空間中的一個凸集D上的函數(shù)，如果對于任何實數(shù)以及對D中任意兩點x1，x2恒有：則為D上的凸函數(shù)，若不滿足上式，則為凹函數(shù)。如式中的等號去掉，則稱其為嚴格凸函數(shù)。2、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值36凸函數(shù)的幾何意義：在函數(shù)曲線上取任意兩點連成一直線段，則該線段上任一點的縱坐標值必大于或等于該點處的原函數(shù)值。凸函數(shù)的幾何意義：在函數(shù)曲線上取任意兩點連成一直線段，則該線37凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個凸函數(shù)，對于任意實數(shù)a>0，則af(x)也是凸集D上的凸函數(shù)；2）定義在凸集D上的兩個凸函數(shù)f1(x),f2(x)，其和f1(x)+f2(x)亦為該凸集上的一個凸函數(shù)；3）若f1(x),f2(x)為定義在凸集D上的兩個凸函數(shù)，為兩個任意正數(shù)，則仍為D上的凸函數(shù)。凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個凸函數(shù)，對于383、凸性條件（1）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性設f(x)為定義在凸集R上，且具有連續(xù)的一階導數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件是對凸集R內(nèi)任意不同兩點、，下面不等式恒成立。3、凸性條件（1）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性39（2）根據(jù)二階導數(shù)（海賽矩陣)來判斷函數(shù)的凸性設f(x)為定義在凸集R上且具有連續(xù)二階導數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件為：海賽矩陣在R上處處半正定。對于嚴格的凸函數(shù)，其充要條件為海賽矩陣為正定。當海賽矩陣G的主子式:det(G)＞0時，矩陣正定det(G)≥0時，矩陣半正定det(G)＜0時，矩陣負定det(G)≤0時，矩陣半負定G(x*)正定，是x*為全局極小值點的充分條件；G(x*)半正定,是x*為局部極小值點的充分條件；G(x*)負定，是x*為全局極大值點的充分條件；G(x*)半負定,是x*為局部極大值點的充分條件。說明：（2）根據(jù)二階導數(shù)（海賽矩陣)來判斷函數(shù)的凸性設f(x)為定404、凸規(guī)劃對于約束優(yōu)化問題

若、都為凸函數(shù)，則稱此問題為凸規(guī)劃。4、凸規(guī)劃對于約束優(yōu)化問題若、都為凸41凸規(guī)劃的性質(zhì)：2）可行域為凸集。3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1）若給定一點，則集合為凸集。凸規(guī)劃的性質(zhì)：2）可行域42五、等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題：求解等式約束化問題的理論基礎是導出極值存在的條件。五、等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題：求解等431、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過增加變量將等式約束化問題變成無約束化問題。引入拉格朗日乘子，并構(gòu)成一個新的目標函數(shù)拉格朗日函數(shù)拉格朗日乘子新目標函數(shù)的極值的必要條件：參見教材例題1、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過44六、不等式約束優(yōu)化問題的極值條件庫恩—塔克條件（K-T條件）不等式約束的多元函數(shù)極值的必要條件是著名的庫恩—塔克（Kuhn-Tucker）條件,它是非線性優(yōu)化問題的重要理論。為了便于理解庫恩—塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。六、不等式約束優(yōu)化問題的極值條件庫恩—塔克條件（K-T條件）451、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)f(x)在區(qū)間[a,b]的極值問題，可表示為：求解思想:引入松弛變量使不等式約束變成等式約束，再利用拉格朗日乘子法求解等式約束的極值問題。1、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)f(x)在區(qū)間[a46這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：是對應于不等式約束的拉格朗日乘子，其值均為非負的。設為松弛變量，則上兩個不等式可寫為如下兩個等式：這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：是對應于不等式約束的拉格朗日乘子47對于一元函數(shù)在給定區(qū)間上的極值條件，可完整的表示為：結(jié)論：對于一元函數(shù)在給定區(qū)間上的極值條件，可完整的表示48從以上分析可以看出，對應于不起作用的約束的拉格朗日乘子取零值，因此可以引入起作用約束的下標集合。一元函數(shù)在給定區(qū)間的極值條件，可以改寫為：極值條件中只考慮起作用的約束和相應的乘子。從以上分析可以看出，對應于不起作用的約束的拉格朗日乘子取零值492、庫恩—塔克條件

庫恩—塔克條件（K-T條件）可表述為：對于多元函數(shù)不等式的約束優(yōu)化問題：2、庫恩—塔克條件庫恩—塔克條件（K-T條件）50庫恩—塔克條件表明：如點是函數(shù)的極值點，要么（此時）或者目標函數(shù)的負梯度等于起作用約束梯度的非負線性組合（此時）。庫恩—塔克條件表明：如點是函數(shù)的51機械優(yōu)化設計_第二章優(yōu)化設計的數(shù)學基礎課件52庫恩—塔克條件的幾何意義：在約束極小值點處，函數(shù)的負梯度一定能表示成起作用約束在該點梯度（法向量）的非負線性組合。從圖中可以看出，處在和即線性組合的系數(shù)為正，是在取得極值的必要條件。角錐之內(nèi)，庫恩—塔克條件的幾何意義：在約束極小值點處，函數(shù)53同時具有等式和不等式約束的優(yōu)化問題：庫恩—塔克條件（K-T條件）：同時具有等式和不等式約束的優(yōu)化問題：庫恩—塔克條件（K-T條54庫恩—塔克條件是多元函數(shù)取得約束極值的必要條件，可用來作為約束極值的判斷條件，又可以來直接求解較簡單的約束優(yōu)化問題。對于目標函數(shù)和約束函數(shù)都是凸函數(shù)的情況，符合K-T條件的點一定是全局最優(yōu)點。這種情況K-T條件即為多元函數(shù)取得約束極值的充分必要條件。庫恩—塔克條件是多元函數(shù)取得約束極值的必要條件，可55例5庫恩—塔克（K-T）條件應用舉例判斷是否為約束最優(yōu)點？例5庫恩—塔克（K-T）條件應用舉例判斷56解：（1）當前點為可行點，因滿足約束條件（2）在起作用約束為，因（3）求各函數(shù)梯度：解：（1）當前點為可行點，因滿足57（4）求拉格朗日乘子由于拉格朗日乘子均為非負，說明是一個局部最優(yōu)點，因為它滿足K-T條件。（4）求拉格朗日乘子由于拉格朗日乘子均為非負，說明是一個局部58機械優(yōu)化設計_第二章優(yōu)化設計的數(shù)學基礎課件59第二章優(yōu)化設計的數(shù)學基礎一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開三、無約束優(yōu)化問題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件第二章優(yōu)化設計的數(shù)學基礎一、多元函數(shù)的方向?qū)?shù)和梯度二、601、方向?qū)?shù)二元函數(shù)在點處的偏導數(shù)的定義是：

二元函數(shù)在點處沿某一方向的變化率，其定義為方向?qū)?shù)

一、多元函數(shù)的方向?qū)?shù)和梯度1、方向?qū)?shù)二元函數(shù)在點處的偏導數(shù)的定義是：61X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二維空間中的方向=+偏導數(shù)與方向?qū)?shù)的關系X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二62n元函數(shù)在點x0處沿d方向的方向?qū)?shù)n元函數(shù)在點x0處沿d方向的方向?qū)?shù)632、二元函數(shù)的梯度令梯度2、二元函數(shù)的梯度令梯度64當梯度方向和d方向重合時，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。梯度的模：當梯度方向和d方向重合時，方向?qū)?shù)值最大，即梯度方向是65多元函數(shù)的梯度多元函數(shù)的梯度66多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直，也就是和等值面上過x0的一切曲線相垂直。由于梯度的模因點而異，即函數(shù)在不同點處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直67梯度的兩個重要性質(zhì)：

①函數(shù)在某點的梯度不為零，則必與過該點的等值面垂直（即為過點的等值線的法線方向）；②梯度方向具有最大變化率方向正梯度方向是函數(shù)值最速上升的方向，負梯度方向是函數(shù)值最速下降的方向。梯度的兩個重要性質(zhì)：68例1：求二次函數(shù)在點處的梯度。

解：在點處的梯度為：例1：求二次函數(shù)在點處的梯度。解：在點處的梯度為：69例2：試求二次函數(shù)在點處的最速下降方向，并求沿這個方向移動一個單位長度后新點的目標函數(shù)值。

解：則函數(shù)在處的最速下降方向為例2：試求二次函數(shù)在點處的最速下降方向，并求沿這個方向移動一70該方向上的單位向量為新點該點函數(shù)值該方向上的單位向量為新點該點函數(shù)值71常用梯度公式：注意：梯度為向量二次型常用梯度公式：注意：梯度為向量二次型72二、多元函數(shù)的泰勒展開在

點處的泰勒展開為：其中1、一元函數(shù)二、多元函數(shù)的泰勒展開在點處的泰勒展開為：其中1732、二元函數(shù)其中：二元函數(shù)在點處的泰勒展開式為：2、二元函數(shù)其中：二元函數(shù)在74上式寫成矩陣形式：上式寫成矩陣形式：75令上式可寫成稱為函數(shù)在點處的海賽（Hessian）矩陣參見教材例題P30令上式可寫成稱為函數(shù)在76海賽矩陣是由函數(shù)在點處的二階偏導數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：所以矩陣為對陣方陣。海賽矩陣是由函數(shù)在點處的二階偏導數(shù)77海賽矩陣3、多元函數(shù)其中：梯度泰勒展開式海賽矩陣3、多元函數(shù)其中：梯度泰勒展開式78若將函數(shù)的泰勒展開式只取到線性項，即取則是過點和函數(shù)所代表的超曲面相切的切平面。若將函數(shù)的泰勒展開式取到二次項時，則得到二次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為二次型。矩陣形式-----對稱矩陣若將函數(shù)的泰勒展開式只取到線性項，即取則是過79當對任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。當對任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。80海賽矩陣的特征：是實對稱矩陣。4、海賽矩陣與正定矩陣正定的充要條件：矩陣G的各階順序主子式為正，即矩陣負定的充要條件：矩陣G的奇數(shù)階主子式主子式偶數(shù)階主子式海賽矩陣的正定性：正定-----為全局極小值點的充分條件負定-----為全局極大值點的充分條件海賽矩陣的特征：是實對稱矩陣。4、海賽矩陣與正定矩陣正定的充81例3

判定矩陣是否正定？解：該對稱矩陣的三個主子式依次為：故可知矩陣G是正定的。例3判定矩陣是否正定？解82定理：若二次函數(shù)中Q正定，則它的等值面是同心橢球面族，且中心為證明：作變換，代入二次函數(shù)式中：結(jié)論：Q為正定矩陣的二次型的等值面是以的同心橢球面族。原二次函數(shù)就是以為中心的同心橢球面族，橢圓中心為極小值點。定理：若二次函數(shù)83例4把二次函數(shù)化為矩陣向量形式并檢驗Q是否正定，如正定，試用公式求這個函數(shù)的極小點。解：與題中函數(shù)比較各系數(shù)得：由計算知Q正定，極小點例4把二次函數(shù)84三、無約束優(yōu)化問題的極值條件1、一元函數(shù)對于可微的一元函數(shù)判斷在處是否取得極值的過程：則為極小點。逐次檢驗其更高階導數(shù)的符號，開始不為零的導數(shù)階數(shù)若為偶次，則為極值點，若為奇次，則為拐點。

則為極大點。三、無約束優(yōu)化問題的極值條件1、一元函數(shù)對于可微的一元函數(shù)852、二元函數(shù)

定理1：若二元可微函數(shù)在處取得極值的必要條件是：即凡滿足上式的點稱為函數(shù)的駐點（零向量）2、二元函數(shù)定理1：若二元可微函數(shù)86如下圖所示的二元函數(shù)，在M0點雖有和是個駐點，但它不是極值點。如下圖所示的二元函數(shù)，在M0點雖有87定理2：若二元可微函數(shù)在的某個鄰域取得極小值的充分條件是要求在該點附近的一切點均滿足：若函數(shù)存在連續(xù)的一階及二階偏導數(shù)，當滿足則泰勒展開式的函數(shù)增量近似式（略三階以上高階微量）為：定理2：若二元可微函數(shù)在88令則可見，函數(shù)增量的性態(tài)與A,B,C的值有關?？梢宰C明，當滿足以下條件時，為極小值（證明略）。此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。令則可見，函數(shù)增量的性態(tài)與A,B,C的值有關?？梢宰C明，當滿89結(jié)論：二元函數(shù)在某點取得極小值的充分條件是要求該點處的海賽矩陣為正定。且

對于二元函數(shù)在處取得極值的充分必要條件是：參見教材例題P32

結(jié)論：二元函數(shù)在某點取得極小值的充分條件是要求該點903、多元函數(shù)對于多元函數(shù)若在處取得極值，則必要條件：充分條件：正定或負定3、多元函數(shù)對于多元函數(shù)91四、凸集、凸函數(shù)與凸規(guī)劃當極值點x*能使f(x*)在整個可行域中為最小值時，即在整個可行域中對任一x都有f(x)>=f(x*),則x*為全域最優(yōu)點（全域極小點）。若f(x*)為局部可行域中的極小值而非整個可行域的最小值時，則稱x*為局部最優(yōu)點或相對最優(yōu)點。優(yōu)化的目標是全域最優(yōu)點。為了判斷某個極值點是否為全域最優(yōu)點，研究函數(shù)的凸性是必要的。函數(shù)的凸性表現(xiàn)為單峰性。對于具有凸性特點的函數(shù)來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全域最優(yōu)點。為了研究函數(shù)的凸性，下面引入凸集的概念：四、凸集、凸函數(shù)與凸規(guī)劃當極值點x*能使f(x*)在整921、凸集如果對一切及一切滿足的實數(shù)，點則稱集合為凸集，否則稱為非凸集。yx2x1若y是x1和x2連線上的點，則有整理后即得1、凸集如果對一切及一切滿足的實數(shù)93凸集的性質(zhì)：若D為凸集，為一個實數(shù)，則集合仍是凸集；若D和F均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。凸集的性質(zhì)：若D為凸集，為一個實數(shù)，則集合942、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。其數(shù)學定義是：設f(x)為定義在n維歐式空間中的一個凸集D上的函數(shù)，如果對于任何實數(shù)以及對D中任意兩點x1，x2恒有：則為D上的凸函數(shù)，若不滿足上式，則為凹函數(shù)。如式中的等號去掉，則稱其為嚴格凸函數(shù)。2、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值95凸函數(shù)的幾何意義：在函數(shù)曲線上取任意兩點連成一直線段，則該線段上任一點的縱坐標值必大于或等于該點處的原函數(shù)值。凸函數(shù)的幾何意義：在函數(shù)曲線上取任意兩點連成一直線段，則該線96凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個凸函數(shù)，對于任意實數(shù)a>0，則af(x)也是凸集D上的凸函數(shù)；2）定義在凸集D上的兩個凸函數(shù)f1(x),f2(x)，其和f1(x)+f2(x)亦為該凸集上的一個凸函數(shù)；3）若f1(x),f2(x)為定義在凸集D上的兩個凸函數(shù)，為兩個任意正數(shù)，則仍為D上的凸函數(shù)。凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個凸函數(shù)，對于973、凸性條件（1）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性設f(x)為定義在凸集R上，且具有連續(xù)的一階導數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件是對凸集R內(nèi)任意不同兩點、，下面不等式恒成立。3、凸性條件（1）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性98（2）根據(jù)二階導數(shù)（海賽矩陣)來判斷函數(shù)的凸性設f(x)為定義在凸集R上且具有連續(xù)二階導數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件為：海賽矩陣在R上處處半正定。對于嚴格的凸函數(shù)，其充要條件為海賽矩陣為正定。當海賽矩陣G的主子式:det(G)＞0時，矩陣正定det(G)≥0時，矩陣半正定det(G)＜0時，矩陣負定det(G)≤0時，矩陣半負定G(x*)正定，是x*為全局極小值點的充分條件；G(x*)半正定,是x*為局部極小值點的充分條件；G(x*)負定，是x*為全局極大值點的充分條件；G(x*)半負定,是x*為局部極大值點的充分條件。說明：（2）根據(jù)二階導數(shù)（海賽矩陣)來判斷函數(shù)的凸性設f(x)為定994、凸規(guī)劃對于約束優(yōu)化問題

若、都為凸函數(shù)，則稱此問題為凸規(guī)劃。4、凸規(guī)劃對于約束優(yōu)化問題若、都為凸100凸規(guī)劃的性質(zhì)：2）可行域為凸集。3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1）若給定一點，則集合為凸集。凸規(guī)劃的性質(zhì)：2）可行域101五、等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題：求解等式約束化問題的理論基礎是導出極值存在的條件。五、等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題：求解等1021、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過增加變量將等式約束化問題變成無約束化問題。引入拉格朗日乘子，并構(gòu)成一個新的目標函數(shù)拉格朗日函數(shù)拉格朗日乘子新目標函數(shù)的極值的必要條件：參見教材例題1、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過103六、不等式約束優(yōu)化問題的極值條件庫恩—塔克條件（K-T條件）不等式約束的多元函數(shù)極值的必要條件是著名的庫恩—塔克（Kuhn-Tucker）條件,它是非線性優(yōu)化問題的重要理論。為了便于理解庫恩—塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。六、不等式約束優(yōu)化問題的極值條件庫恩—塔克條件（K-T條件）1041