經(jīng)典最優(yōu)化方法

經(jīng)典最優(yōu)化方法第1頁(yè)，共31頁(yè)，2023年，2月20日，星期二內(nèi)容介紹微分學(xué)中求極值無(wú)約束最優(yōu)化問(wèn)題常用微分公式凸集與凸函數(shù)等式約束最優(yōu)化問(wèn)題不等式約束最優(yōu)化問(wèn)題變分學(xué)中求極值第2頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值一元函數(shù)的極值1.一元函數(shù)極值的求法與判別必要條件：設(shè)函數(shù)在點(diǎn)處具有導(dǎo)數(shù)，且在處取得極值，則該函數(shù)在處的導(dǎo)數(shù)

這里有個(gè)前提，即函數(shù)在設(shè)計(jì)區(qū)間要連續(xù)可導(dǎo)。凡是滿(mǎn)足上述的點(diǎn)都叫函數(shù)的駐點(diǎn)。我們可知駐點(diǎn)并不完全是極值點(diǎn)，它還有拐點(diǎn)，當(dāng)然，極值點(diǎn)必定是駐點(diǎn)。因此，還必須有判別函數(shù)極值的更充分條件。第3頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值第4頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值第5頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值二元函數(shù)的極值第6頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值第7頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值第8頁(yè)，共31頁(yè)，2023年，2月20日，星期二微分學(xué)中求極值(3)赫森矩陣（Hesse）第9頁(yè)，共31頁(yè)，2023年，2月20日，星期二無(wú)約束最優(yōu)化問(wèn)題由上一節(jié)可知，對(duì)于無(wú)約束最優(yōu)化問(wèn)題，其數(shù)學(xué)模型中只有目標(biāo)函數(shù)采用解析法求解，其求解過(guò)程可以歸結(jié)為一下三個(gè)步驟：

1.令梯度g=0，解出各個(gè)駐點(diǎn)。

2.計(jì)算各駐點(diǎn)的矩陣A,判斷矩陣A正定或負(fù)定，得到相對(duì)應(yīng)的極小點(diǎn)或極大點(diǎn)；

3.計(jì)算極值。

第10頁(yè)，共31頁(yè)，2023年，2月20日，星期二常用微分公式第11頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第12頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第13頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第14頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第15頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第16頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第17頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第18頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第19頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第20頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第21頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第22頁(yè)，共31頁(yè)，2023年，2月20日，星期二凸集與凸函數(shù)第23頁(yè)，共31頁(yè)，2023年，2月20日，星期二等式約束最優(yōu)化問(wèn)題

等式約束最優(yōu)化問(wèn)題的數(shù)學(xué)模型式這里介紹兩種比較常用的方法：消元法和拉格朗日乘子法。第24頁(yè)，共31頁(yè)，2023年，2月20日，星期二等式約束最優(yōu)化問(wèn)題

第25頁(yè)，共31頁(yè)，2023年，2月20日，星期二等式約束最優(yōu)化問(wèn)題

第26頁(yè)，共31頁(yè)，2023年，2月20日，星期二等式約束最優(yōu)化問(wèn)題

第27頁(yè)，共31頁(yè)，2023年，2月20日，星期二等式約束最優(yōu)化問(wèn)題

第28頁(yè)，共31頁(yè)，2023年，2月20日，星期二不等式約束最優(yōu)化問(wèn)題

不等式約束的最優(yōu)化問(wèn)題的解析法與前面處理的基本思路相類(lèi)似，也是構(gòu)造一個(gè)包含原目標(biāo)函數(shù)與約束函數(shù)的新目標(biāo)函數(shù)。只是具體的構(gòu)造方法不同，這里處理的也是二維問(wèn)題原問(wèn)題的數(shù)學(xué)模型為引入一個(gè)松弛變量r,把約束條件改為等式約束，即

第29頁(yè)，共31頁(yè)，2023年