非線性規(guī)劃問題及其數(shù)基礎(chǔ)

非線性規(guī)劃問題及其數(shù)基礎(chǔ)第一頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)§6.1非線性規(guī)劃問題及其數(shù)學(xué)形式§6.2非線性規(guī)劃的圖解法§6.3梯度、Hesse矩陣和Jacobi矩陣§6.4極值及其判定條件§6.5凸函數(shù)及其性質(zhì)§6.6搜索算法概述第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二頁，共三十四頁，編輯于2023年，星期二§6.1非線性規(guī)劃問題及其數(shù)學(xué)形式一、非線性規(guī)劃實(shí)例例1輸出功率最大問題圖6-1為一簡單電路，其中E、R1為固定常數(shù)，求R2的值，使R2上的輸出功率最大？R2+EUR1R2上的功率P：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)-+E第三頁，共三十四頁，編輯于2023年，星期二例3成組氣田開發(fā)的最優(yōu)化模型設(shè)有一組m個(gè)氣田，要求在一定開發(fā)期內(nèi)產(chǎn)氣總量為Qs,通過各氣田適當(dāng)配產(chǎn)使單產(chǎn)成本最低。解：開發(fā)期內(nèi)生產(chǎn)總量為Qs,而Qsi為第i個(gè)氣田的極限產(chǎn)量，Qgi為第i個(gè)氣田的最優(yōu)產(chǎn)量，ni為第i氣田的生產(chǎn)井?dāng)?shù)。目標(biāo)函數(shù)：約束條件：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第四頁，共三十四頁，編輯于2023年，星期二二、非線性規(guī)劃定義目標(biāo)函數(shù)不等式約束條件等式約束條件滿足變量的一組變量值x1,x2,…,xn為問題的一個(gè)可行解。如果目標(biāo)函數(shù)或約束條件中至少有一個(gè)函數(shù)是關(guān)于x1,x2,…,xn的非線性函數(shù)時(shí)，就稱其為非線性規(guī)劃。

向量形式：minf(x) s(x)≥0 h(x)=0第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第五頁，共三十四頁，編輯于2023年，星期二§6.2非線性規(guī)劃的圖解法例：求解x1x2(3,2)0第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第六頁，共三十四頁，編輯于2023年，星期二§6.3梯度、Hesse矩陣和Jacobi矩陣一、二次函數(shù)n元二次函數(shù)的一般形式是：矩陣形式：其中：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第七頁，共三十四頁，編輯于2023年，星期二1)若對(duì)于任何非零實(shí)向量x∈En,xTx>0矩陣A為正定矩陣.2)若∨x∈En,xTx>0矩陣A為半正定矩陣.3)若∨x∈En且x≠0都有xTx<0矩陣A為負(fù)正定矩陣.4)若∨x∈En都有xTx≤0矩陣A為半負(fù)定矩陣.5)若對(duì)某些x≠0有xTx>0,而對(duì)另一些x≠0,有xTx<0,矩陣A是不定的.第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第八頁，共三十四頁，編輯于2023年，星期二二、梯度若f(x)為定義在En上的可微函數(shù)，以f(x)的n個(gè)偏導(dǎo)數(shù)為分量的向量，稱為f(x)的梯度，記作f(x)在x0的梯度向量：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第九頁，共三十四頁，編輯于2023年，星期二高數(shù)：若L是E3中的一個(gè)給定方向，其方向余弦為（cosα,cosβ,cosγ)T,則f(x)沿Ｌ的方向?qū)?shù)為：若為Ｌ方向上的單位向量，單位向量：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十頁，共三十四頁，編輯于2023年，星期二例7求在

處梯度方向的單位向量。解：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十一頁，共三十四頁，編輯于2023年，星期二常用函數(shù)的梯度公式：１)若f(x)=c(常數(shù)），則這是常數(shù)c關(guān)于變量x1,x2,…,xn的使導(dǎo)數(shù)均為零．２)若f(x)=bTx，則證明設(shè)則所以３)４)若Ａ是對(duì)稱方陣，則有第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十二頁，共三十四頁，編輯于2023年，星期二三、Taylor展開與Hesse矩陣(1)單變量函數(shù)f(x)的Taylor展開式，若f(x)在點(diǎn)x0處二階可微(２)若x0∈E２，若f(x)在點(diǎn)x0處二階可微(３)若x0∈En，若f(x)在點(diǎn)x0處二階可微其中：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十三頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十四頁，共三十四頁，編輯于2023年，星期二向量泰勒展開式：當(dāng)f(x)的所有二階導(dǎo)數(shù)連續(xù)時(shí)：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十五頁，共三十四頁，編輯于2023年，星期二1．求的梯度和海賽矩陣。

第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)()23132221233241432xxxxxxxxxxf-+-++=解：第十六頁，共三十四頁，編輯于2023年，星期二例９：例１０：第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十七頁，共三十四頁，編輯于2023年，星期二一般有：(1)設(shè)f(x)=c(c是分量全為常數(shù)的n維向量)則▽c=0(0是n×n階零矩陣)(2)設(shè)f(x)=x(x是n維向量)則▽x=I(I是n×n階單位陣)(3)設(shè)f(x)=Ax(A是n×n階矩陣)則▽(Ax)=A第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第十八頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)§6.4極值及其判定條件定義一、對(duì)于任意給定的實(shí)數(shù)＆>0，滿足不等式‖x-x0‖<＆的x的集合稱為點(diǎn)x0

的鄰域，記為定義二、設(shè)，若存在和數(shù)，，恒有則稱x*為f(x)的局部極小點(diǎn)，f(x*)為局部極小值。定義三、設(shè)，若存在和數(shù)，，但x≠x*,恒有則稱x*為f(x)的嚴(yán)格局部極小點(diǎn)，f(x*)為嚴(yán)格局部極小值。()()xfxf＜*第十九頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)定義四、設(shè)，若存在，，恒有則稱x*為f(x)的全局極小點(diǎn)。()()xfxf￡*定義五、設(shè)，若存在，但x≠x*,恒有則稱x*為f(x)的嚴(yán)格全局極小點(diǎn)。()()xfxf＜*定義六、設(shè)，x*是Ｄ的內(nèi)點(diǎn)。若則稱x*為f(x)的駐點(diǎn)。第二十頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)定理一（必要條件），設(shè)具有連續(xù)一階偏導(dǎo)數(shù)，若x*是f(x)的局部極小點(diǎn)，并且是Ｄ的內(nèi)點(diǎn)，則必有判斷函數(shù)f(x)在Ｄ上是否存在極值問題？？定理二（充分條件），設(shè)具有連續(xù)二階偏導(dǎo)數(shù)，x*是Ｄ的內(nèi)點(diǎn)。若并且是正定的，則x*是f(x)的嚴(yán)格局部極小點(diǎn)。第二十一頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)１）對(duì)于具有對(duì)稱正定矩陣Ａ的二次函數(shù)是它的唯一極小點(diǎn)。利用上面定理，可證明下面兩個(gè)重要結(jié)論：２）若多元函數(shù)在其極小點(diǎn)處的Hesse矩陣是正定的，則它在這個(gè)極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面簇。第二十二頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)例11求的極值點(diǎn)解令駐點(diǎn)（判斷x*是否是極值點(diǎn)）？？利用Hesse陣Ａ第二十三頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)即Ａ正定，故駐點(diǎn)為極小點(diǎn)，極小值為第二十四頁，共三十四頁，編輯于2023年，星期二§6.5凸函數(shù)及其性質(zhì)第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二十五頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二十六頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二十七頁，共三十四頁，編輯于2023年，星期二第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二十八頁，共三十四頁，編輯于2023年，星期二凸規(guī)劃及其性質(zhì)約束集如果(MP)的約束集X是凸集，目標(biāo)函數(shù)f是X上的凸函數(shù)，則(MP)叫做非線性凸規(guī)劃，或簡稱為凸規(guī)劃。第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第二十九頁，共三十四頁，編輯于2023年，星期二定理6

凸規(guī)劃的任一局部最優(yōu)解都是它的整體最優(yōu)解。第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第三十頁，共三十四頁，編輯于2023年，星期二§6.6搜索算法概述-----無約束最優(yōu)化方法

無約束最優(yōu)化方法是基于古典極值理論的一種數(shù)值迭代方法，主要是用來求解非線性規(guī)劃問題。迭代法的基本思想就是在設(shè)計(jì)空間中選定一個(gè)初始的估計(jì)點(diǎn)，這一點(diǎn)稱為初始點(diǎn)。從這一點(diǎn)出發(fā)，我們計(jì)算一系列的點(diǎn)（），并希望這個(gè)點(diǎn)列{}的極限就是目標(biāo)函數(shù)的極小點(diǎn)。在設(shè)計(jì)空間中，點(diǎn)與點(diǎn)的差是一個(gè)向量，這個(gè)向量從出發(fā)指向。而一個(gè)向量總是可以用其方向和長度來確定的。假設(shè)其方向用表示，長度用表示，則可以寫成如下形式：即

式中為一標(biāo)量，我們稱為搜索步長，為一矢量，我們稱為搜索方向。第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第三十一頁，共三十四頁，編輯于2023年，星期二

由求得，由求得，由求得。從而也就確定了一個(gè)點(diǎn)列{}。如果這個(gè)點(diǎn)列逼近我們所要的極小點(diǎn)，則我們稱這個(gè)點(diǎn)列{}為極小化系列。由此可見，我們必須要求構(gòu)造出來的這個(gè)點(diǎn)列{}所對(duì)應(yīng)的目標(biāo)函數(shù)值{}應(yīng)該是遞減的，即滿足：

第六章非線性規(guī)劃問題及其數(shù)學(xué)基礎(chǔ)第