優(yōu)化設計基礎

關于優(yōu)化設計基礎第一頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度

一個多元函數可用偏導數的概念來研究函數沿各坐標方向的變化率。

二元函數的偏導數：第二頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度方向導數：第三頁，共三十八頁，編輯于2023年，星期日θ2θ1o偏導數與方向導數之間的數量關系：第四頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度多元函數的方向導數：第五頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度例：第六頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度梯度：方向導數與梯度的關系：第七頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度梯度：梯度的性質：

1）梯度是一個向量；

2）梯度方向是方向導數最大的方向，即函數值變化最快（函數值變化率最大）的方向；

3）梯度方向是等值面（線）的法線方向。第八頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度多元函數的梯度：第九頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第一節(jié)多元函數的方向導數和梯度例題：解：

函數變化率最大的方向就是梯度方向，用單位向量表示，函數變化率最大的數值就是梯度的模。第十頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第二節(jié)多元函數的泰勒展開一元函數第十一頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第二節(jié)多元函數的泰勒展開二元函數：二元函數泰勒展開式的矩陣形式：對稱矩陣第十二頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第二節(jié)多元函數的泰勒展開多元函數泰勒展開式的矩陣形式：

是函數在該點的梯度第十三頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第二節(jié)多元函數的泰勒展開多元函數的海賽矩陣：第十四頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第二節(jié)多元函數的泰勒展開正定矩陣：第十五頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎矩陣正定與負定的判定：正定：矩陣A正定的條件是A的各階主子式大于零；負定：矩陣A負定的條件是各階主子式負、正相間。第二節(jié)多元函數的泰勒展開第十六頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第三節(jié)無約束優(yōu)化問題的極值條件必要條件充分條件第十七頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第三節(jié)無約束優(yōu)化問題的極值條件第十八頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第三節(jié)無約束優(yōu)化問題的極值條件例：第十九頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃

當極值點x*能使f（x*）在整個可行域中為最小值（最大值）時，即在整個可行域中對任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））時，則x*就是全局極小點（全局極大點）。全局極值點（最優(yōu)點）：第二十頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃

若f（x*）為局部可行域中的極小值（極大值）而不是整個可行域中的最小值（或最大值）時，則稱x*為局部極小點（局部極大點）。局部極值點（相對極值點）：第二十一頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃

一個下凸的函數，它的極值點只有一個，并且該點既是局部極值點也是全局極值點，我們就稱這個函數具有凸性。

函數的凸性（單峰性）：第二十二頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃

設R是一個點集（或區(qū)域），若連接其中任意兩點x1和x2的直線都屬于R，則稱這種集合R是一個凸集。凸集：第二十三頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃凸集的性質：第二十四頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃

具有凸性（表現為單峰性）或只有唯一的局部最優(yōu)值，即全局最優(yōu)值的函數，稱為凸函數或單峰函數。凸函數：第二十五頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃1．若f(x)為定義在凸集R上的一個凸函數，且α是一個正數（α>0），則αf(x)也必是定義在凸集R上的凸函數。

2．定義在凸集R上的兩個凸函數f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)

也一定是該凸集上的一個凸函數。

3．若f1(x)、f2(x)是定義在凸集R上的兩個凸函數，α和β為兩個任意正數，則函數αf1(x)+βf2(x)

仍是R上的凸函數。

4．若定義在凸集R上的一個凸函數f(x)有兩個最小點x1和x2則這兩點處的函數值f(x1)和f(x2)必相等，否則，其中較大的點就不是f(x)的最小點了。

5．若x1和x2是定義在凸集R上的一個凸函數f(x)的兩個最小點，則其連接線段上的一切點必為f(x)的最小點。凸函數的性質：第二十六頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃凹函數：凸函數下凸——有極小值上凸——有極大值凹函數第二十七頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第四節(jié)凸集、凸函數和凸規(guī)劃凸規(guī)劃：目標函數與約束條件均為凸函數的優(yōu)化問題稱為凸規(guī)劃。

凸規(guī)劃的性質第二十八頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第五節(jié)等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的數學模型：消元法——降維法拉格朗日乘子法——升維法解法第二十九頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第五節(jié)等式約束優(yōu)化問題的極值條件消元法：（二維）（一維）二元函數（一個等式約束）：第三十頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第五節(jié)等式約束優(yōu)化問題的極值條件n元函數（l個等式約束條件）：（n-l維無約束優(yōu)化問題）消元法第三十一頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第五節(jié)等式約束優(yōu)化問題的極值條件n元函數（l個等式約束條件）：拉格朗日乘子法極值必要條件第三十二頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第五節(jié)等式約束優(yōu)化問題的極值條件例：第三十三頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)化設計的數學基礎第六節(jié)不等式約束優(yōu)化問題的極值條件求解不等式約束優(yōu)化問題的基本思想：

——將不等式約束條件變成等式約束條件。具體做法：

——引入松弛變量。第三十四頁，共三十八頁，編輯于2023年，星期日松弛變量第二章優(yōu)化設計的數學基礎第六節(jié)不等式約束優(yōu)化問題的極值條件一元函數f(x)在給定區(qū)間[a,b]上的極值優(yōu)化問題：拉格朗日函數：第三十五頁，共三十八頁，編輯于2023年，星期日第二章優(yōu)