這個方向上的單位向量是新點是幾個常用的梯度公式例

1、這個方向上的單位向量是： 新點是 幾個常用的梯度公式： 例：求下列函數(shù)的梯度： 解： 故 故 三、Hesse矩陣： 下面我們來考察多元函數(shù) 關于X的二階導數(shù)。首先定義向量變量值函數(shù)的導數(shù)：定義：設 如果g（x）的所有分量 在 點均可微，則向量值函數(shù)g（x）在 處稱為可微。 根據(jù)前面多元函數(shù)定義，若g（x）在點 處可微，則對任意n維向量P均有： 因為向量的極限是通過它所有分量的極限來定義的。則上式等價于： 其中： 稱之為向量值函數(shù)g（x）在 處的導數(shù)，也稱響亮值函數(shù)g（x）在點 處的Jacoi矩陣。 設m=n。且 其中 為n元函數(shù)，有二階連續(xù)偏導數(shù)。 從而由上面（8）可得： 這就是多元函數(shù)f（X

2、） 關于X的二階導數(shù)，稱為f（X） 的Hessian矩陣。 多元函數(shù)的一階導數(shù)即梯度 。二階導數(shù)即Hesse陣 . 這兩個概念在最優(yōu)化中是最常用的。 在高等數(shù)學中我們已經證明過當f（X）的所有二階偏導數(shù)連續(xù)時，有 j=1，2n因此在這種情況下，Hesse矩陣是對稱的。例：求目標函數(shù)f（X）=的梯度和Hesse矩陣。 解：因為 則 又因為： 故Hesse陣為： 下面幾個Jacobi公式是今后常用到的：（1） 則 （2） 則 （單位陣） （3） Q對稱。 則（4）若 其中f： 則： 證明（4）：對t求導，根據(jù)多元函數(shù)復合函數(shù)求導公式： 再對t求一次導數(shù)有： 7 多元函數(shù)的Taylor展開公式 多元

3、函數(shù)Taylor展開式在最優(yōu)化理論中十分重要。許多方法及其收斂性的證明都是從它出發(fā)的。下面就給出多元函數(shù)Taylor展開式及其證明： 定理：設f： 具有二階連續(xù)偏導數(shù)。則： 其中 而01 證明：設 于是 按一元函數(shù)Taylor展開定理把 在t=0點展開。 有： 其中01 而 由前節(jié)（4） 代入上式 并令t=1 有： Taylor展開式還可寫成如下形式： 這是因為 的每一個分量都是連續(xù)函數(shù)。則 當 時 從而定理中T aylor公式可以寫成： 8 極小點及其判定條件一，極小點概念： f 例如：圖中一元函數(shù)f定義在區(qū)間a b上 為嚴格局部極小點， 0 X a b 為非嚴格局部極小點。 a為全局嚴格極

4、小點 。 定義1 滿足不等式 的點X的集合稱為 的鄰域。記為：定義2： 設 若 使 （1） 均有： 則稱 為f的非嚴格局部極小點。 （2） 。且 有 則稱 為f的嚴格局部極小點。定義3： 設 若 使 （1） 均有 則稱 為f在D上的非嚴格全局極小點。 （2） 有 則稱 f在D上的嚴格全局極小點。局部極小點 是指在 的某個鄰域內，f在 處取極小值 全局極小點 是指在整個定義域D中，f在 處取極小值。 全局極小點可能在某個局部極小點達到，也可能在邊界達到。 我們希望知道的當然是全局極小點，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點的。因此一般要先求出所有局部極小值點，再從中找出全局極小點

5、。二、 局部極小點的判定條件： 為了求出函數(shù)的局部極小值點，我們首先希望知道函數(shù)f在局部極小點處滿足什么條件？以及滿足什么條件的點是局部極小點。定理1： 設 具有連續(xù)的一階偏導數(shù)，若 是f的局部極小點，且為D的內點，則 證明：設e為任意單位向量。因為 是f（Z）的局部極小點。由定義知： 當|t| 即 時，總有：令 （一元輔助函數(shù)）則上式即為：而 是D的內點。從而與之對應的t=0是 的局部極小點。根據(jù)一元函數(shù)極小點必要性條件知：而由前述性質知： 則由單位向量任意性，即知（否則 取 則 矛盾注意：定理中條件僅為必要的，而不是充分的。例： 在 處梯度為但 只是雙曲拋物面的鞍點，而不是極小點。 f定義

6、：設 是D的內點，若 則稱 為f的駐點。定理2、設 具有連續(xù)的二階偏導數(shù)， 是D的內點，若 且 正定，則 是f（X）的嚴格局部極小點。 證明：因 正定，則 使對 均有： 將f在 處按Taylor公式展開。注意 有： 當X充分接近 時，上式左端的符號取決于右端的一項0（為正）。故 （X充分接近 時）。但我們實際中解最優(yōu)化問題時，一般難以求得目標函數(shù)的Hesse矩陣。更難以判別其正定性了。因此定理又只具有理論上的意義。推論：對于具有對稱正定矩陣的二次函數(shù)： 是它的唯一極小點。證明：求此二次函數(shù)的駐點： 由 知有唯一駐點 而這點處的Hesse陣 正定。 故由定理又知： 是其唯一極小點。 若多元函數(shù)在

7、其極小點處的Hesse陣正定，則它在這個極小點附近的等值面近似地呈現(xiàn)為同心橢球面族。 9、下降迭代算法及其收斂性證明：設 是多元函數(shù)f的極小點。并設f（X）=r是充分靠近極小點 的一個等值面，即 充分小。將f（X）在 點展開為Taylor公式。 因 為極小值點。又 是高階無窮小量。省略。則有： 這是等值面f=（X）的一個近似曲面。由于假設 正定，則 是以 為中心的橢球面方程。T 我們知道求解最優(yōu)化問題 可以通過求出其全部駐點，即求解非線性方程組： 達到。 但求解此非線性方程組的難度并不比原最優(yōu)化問題求解難度小。因此一般不采用此法，而利用對原問題的直接迭代法。一、下降迭代算法： 設 是f的一個局

8、部極小點。一般的尋找最優(yōu)點的方法是先找到極小點的一個初始估計點 然后按一定規(guī)則即算法產生一個序列 如果： 稱算法產生的序列收斂于 最常見的最優(yōu)化算發(fā)是下降算法。即給定初始點之后，如果每迭代一步均使目標函數(shù)有所下降，即 在一般算法中，若以迭代到點 那么下一次迭代有下面兩種情形之一發(fā)生： 從 出發(fā)沿任何方向移動，目標函數(shù)不再下降。 根據(jù)定義知，此點 即為局部極小點。迭代終止。 如果算法在某步迭代時找到了極小點 則稱算法是有限步終止的。這種情形極少見。 從 出發(fā)至少有一個方向使目標函數(shù)有所下降。 這時從中選定一個下降方向 再沿這個方向迭代一步。即在直線 上適當找一個新點 使 此時我們說完成了一次迭代。其中 稱為步長因子。一個算法是有效的，如果它所產生的序列 收斂于極小點 在利用計算機求解是，總只能進行有限次迭代，一般難求解精確的極小點，而只得到近似解。如何使計算機終止迭代而又得到一定精度的近似解。就需要預先給出算法終止準則。 一個自然的想法就是當 小于預先給定的誤差時，