西南科技大學(xué)網(wǎng)絡(luò)教育系列課程

1、5. 5. 優(yōu)優(yōu) 化化 設(shè)設(shè) 計(jì)計(jì)5.3 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.1 確定搜索區(qū)間的方法進(jìn)退法實(shí)際問(wèn)題數(shù)學(xué)模型數(shù)值計(jì)算方法程序設(shè)計(jì)上機(jī)計(jì)算求出結(jié)果 數(shù)值解法數(shù)值解法：利用計(jì)算機(jī)通過(guò)反復(fù)迭代計(jì)：利用計(jì)算機(jī)通過(guò)反復(fù)迭代計(jì)算，求得實(shí)際問(wèn)題的近似值。算，求得實(shí)際問(wèn)題的近似值。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.1 確定搜索區(qū)間的方法進(jìn)退法 下降迭代算法中在搜索方向下降迭代算法中在搜索方向S(k)上尋求最優(yōu)步上尋求最優(yōu)步長(zhǎng)長(zhǎng)ak時(shí)通常采用一維搜索法。時(shí)通常采用一維搜索法。 一維搜索

2、法一維搜索法就是一元函數(shù)極小化的數(shù)值迭代就是一元函數(shù)極小化的數(shù)值迭代算法，其求解過(guò)程稱(chēng)算法，其求解過(guò)程稱(chēng)一維搜索一維搜索。 一維搜索問(wèn)題指目標(biāo)函數(shù)為一維搜索問(wèn)題指目標(biāo)函數(shù)為單變量的非線性單變量的非線性規(guī)劃問(wèn)題規(guī)劃問(wèn)題。又稱(chēng)線性搜索問(wèn)題。其模型為：。又稱(chēng)線性搜索問(wèn)題。其模型為：t為實(shí)數(shù)為實(shí)數(shù)(t)min0 t(t)minmax0 tt 或或一般一維搜索問(wèn)題一般一維搜索問(wèn)題有效一維搜索問(wèn)題有效一維搜索問(wèn)題西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.1 確定搜索區(qū)間的方法進(jìn)退法 一維搜索問(wèn)題的算法分類(lèi)：一維搜索問(wèn)題的算法分類(lèi)： 1 1）精確一維搜索（最優(yōu)一維搜索）精確一維搜索（最

3、優(yōu)一維搜索） 2 2）非精確一維搜索（可接受一維搜索）非精確一維搜索（可接受一維搜索）1、進(jìn)退法確定搜索區(qū)間的方法、進(jìn)退法確定搜索區(qū)間的方法 在函數(shù)的任一單谷區(qū)間上必存在一個(gè)在函數(shù)的任一單谷區(qū)間上必存在一個(gè)極小點(diǎn)極小點(diǎn)，而且在極小點(diǎn)的而且在極小點(diǎn)的左側(cè)左側(cè)，函數(shù)呈，函數(shù)呈下降趨勢(shì)下降趨勢(shì)，在極小，在極小點(diǎn)的點(diǎn)的右側(cè)函數(shù)呈上升趨勢(shì)右側(cè)函數(shù)呈上升趨勢(shì)。 若已知方向若已知方向S(k)上的三點(diǎn)上的三點(diǎn)x1x2x3及其函數(shù)及其函數(shù)值值f(x1)、f(x2)和和f(x3)，便可通過(guò)比較三個(gè)函數(shù)值的，便可通過(guò)比較三個(gè)函數(shù)值的大小估計(jì)出極小點(diǎn)所在的位置，如圖大小估計(jì)出極小點(diǎn)所在的位置，如圖5.11所示。所示。

4、西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.1 確定搜索區(qū)間的方法進(jìn)退法圖圖5.15.11 1 極小點(diǎn)的估計(jì)極小點(diǎn)的估計(jì)西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.1 確定搜索區(qū)間的方法進(jìn)退法2、進(jìn)退法的定義、進(jìn)退法的定義 在某一方向上按一定方式逐次產(chǎn)生一些探測(cè)點(diǎn)，在某一方向上按一定方式逐次產(chǎn)生一些探測(cè)點(diǎn)，并比較這些探測(cè)點(diǎn)上函數(shù)值的大小，就可以找出函并比較這些探測(cè)點(diǎn)上函數(shù)值的大小，就可以找出函數(shù)值呈數(shù)值呈“大大-小小-大大”變化的三個(gè)相鄰點(diǎn)，其中兩端變化的三個(gè)相鄰點(diǎn)，其中兩端點(diǎn)所確定的閉區(qū)間必定包含著極小點(diǎn)，這樣的區(qū)間點(diǎn)所確定的閉區(qū)間必定包含著極小點(diǎn)，這

5、樣的區(qū)間稱(chēng)為稱(chēng)為初始區(qū)間，記作初始區(qū)間，記作a,b。這種尋找初始區(qū)間的方。這種尋找初始區(qū)間的方法稱(chēng)為法稱(chēng)為進(jìn)退法進(jìn)退法。 x* x1 x2 b西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程 若對(duì)任意若對(duì)任意x1 ,x2, x1 (x*); 2) 若若x2 x* ，則，則(x*) 0.5西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程1.4160 xx2x12)、第二輪：、第二輪：x2=1.146, x1=0.7082131. 0)(0611. 0)(21xxx2-0=1.1460.53)、第三輪：、第三輪：x1=0.438, x2=0.7082082. 0)(0611. 0)

6、(12xxb-x1=1.146-0.4380.51.8540 x x2x1西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程4)、第四輪：、第四輪：x2=0.876, x1=0.7080798. 0)(0611. 0)(21xxb-x1=1.146-0.7080.5輸出：輸出：x*=x2=0.876為最優(yōu)解，最優(yōu)值為為最優(yōu)解，最優(yōu)值為-0.07980 1.416xx1x2西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.3 Newton法法0)()(),(min xfxfxf二次可微，其中考慮Newton法基本思想：法基本思想：用探索點(diǎn)用探索點(diǎn)xk處的二階處的二階Taylo

7、r展開(kāi)式近似代替目展開(kāi)式近似代替目標(biāo)函數(shù)，以展開(kāi)式的最小點(diǎn)為新的探索點(diǎn)。標(biāo)函數(shù)，以展開(kāi)式的最小點(diǎn)為新的探索點(diǎn)。2)(21)()()(kkkkkxxxfxxxfxfxg 展開(kāi)式：:,0)(求導(dǎo)得的點(diǎn)的最小點(diǎn)即導(dǎo)數(shù)為xg)()(1kkkkxfxfxx 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程解題步驟：解題步驟：給定初始點(diǎn)給定初始點(diǎn)x1和精度和精度 是是是是停止，輸出停止，輸出x10)(1 xf是是否否停止，解題失敗停止，解題失敗)()(1112xfxfxx 計(jì)算否否停止，輸出停止，輸出x2否否 1xf12xx西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程 5.3.4 二次

8、插值法二次插值法叫截?cái)嗾`差叫插值結(jié)點(diǎn)插值法插值條件使被插函數(shù)近似代替插值函數(shù)用簡(jiǎn)單函數(shù)望希只知離散數(shù)據(jù)求知存在實(shí)際中問(wèn)題提出)()()(,)()(,)()(:).2 .1 .0( )(, ,)(:.1xPxfxRxxPxfxfxPnixfyxfyiiiii)( )(或多項(xiàng)式插值代數(shù)插值多項(xiàng)式函數(shù)或者三角插值三角函數(shù)通常取xP西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程 二次插值法二次插值法又稱(chēng)又稱(chēng)拋物線法拋物線法，它是以目標(biāo)函數(shù)，它是以目標(biāo)函數(shù)的的二次插值函數(shù)的極小點(diǎn)二次插值函數(shù)的極小點(diǎn)作為新的中間插入點(diǎn)，作為新的中間插入點(diǎn)，進(jìn)行區(qū)間縮小的一維搜索算法。進(jìn)行區(qū)間縮小的一維搜索算法。

9、 用用f(x)在在2 或或3 個(gè)點(diǎn)的函數(shù)值或?qū)?shù)值，構(gòu)造個(gè)點(diǎn)的函數(shù)值或?qū)?shù)值，構(gòu)造2 次或次或3次多項(xiàng)式作為次多項(xiàng)式作為f(x)的近似值，以這多項(xiàng)式的近似值，以這多項(xiàng)式的極小點(diǎn)為新的迭代點(diǎn)。的極小點(diǎn)為新的迭代點(diǎn)。 3點(diǎn)點(diǎn)2次，次，2點(diǎn)點(diǎn)2次，次，4點(diǎn)點(diǎn)3次，次，3點(diǎn)點(diǎn)3次，次，2點(diǎn)點(diǎn)3次次等等 以以3點(diǎn)點(diǎn)2次為例：次為例： 取取x 1，x 2，x3，求出，求出f(x1)， f(x2)， f(x3) 5.3.4 二次插值法二次插值法西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法 設(shè)二次插值多項(xiàng)式：設(shè)二次插值多項(xiàng)式： f(x) =a0+a1x +a2x2 f(x1)

10、 = a0+a1x1 +a2x12 f(x2 )= a0 +a1x2 +a2x22 f(x3) = a0 +a1x3 +a2x32 解得解得a1 a2 1332212131323212xxxxxxxfxxxfxxxfxxa 1332212221223221133221xxxxxxxfxxxfxxxfxxa212aaxp西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法 13131xxxfxfc 21322212232213322113322121xfxxxfxxxfxxxfxxxfxxxfxxxp21315 . 0ccxxxp 32112122xxcxxxfxfc西

11、南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法f2fp的新搜索區(qū)間的新搜索區(qū)間西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法2、特點(diǎn)：、特點(diǎn)： 1）二次插值法的中間插入點(diǎn)包含了函數(shù)）二次插值法的中間插入點(diǎn)包含了函數(shù)在在三個(gè)點(diǎn)上的函數(shù)值信息三個(gè)點(diǎn)上的函數(shù)值信息，因此這樣的插入點(diǎn)，因此這樣的插入點(diǎn)比較接近函數(shù)的極小值。比較接近函數(shù)的極小值。 2）二次插值法以）二次插值法以兩個(gè)中間插入點(diǎn)的距離兩個(gè)中間插入點(diǎn)的距離充分小作為收斂準(zhǔn)則充分小作為收斂準(zhǔn)則，即當(dāng)，即當(dāng) 成立時(shí)，成立時(shí)，把把 作為此次一維搜索的極小點(diǎn)。作為此次一維搜索的極小點(diǎn)。 二

12、次插值法的計(jì)算程序如下圖二次插值法的計(jì)算程序如下圖:2xxppx西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法 例例2.用用二次插值法二次插值法求函數(shù)求函數(shù) 的極的極小點(diǎn)，給定小點(diǎn)，給定 解：解：1）確定初始區(qū)間：）確定初始區(qū)間： 由于由于 ，應(yīng)加大步長(zhǎng)繼續(xù)向前探測(cè)，應(yīng)加大步長(zhǎng)繼續(xù)向前探測(cè)， 由于由于 ，可知初始區(qū)間已經(jīng)找到，可知初始區(qū)間已經(jīng)找到， 即即243)(3xxxf2 . 0, 1, 00hx2)(,01101xffxx1)(, 1102212xffhxx21ff 18)(, 23323xffhxx

13、32ff 2,0西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法2）用二次插值法逼近極小點(diǎn)）用二次插值法逼近極小點(diǎn) 記此初始區(qū)間內(nèi)的相鄰三點(diǎn)及其函數(shù)值依次為：記此初始區(qū)間內(nèi)的相鄰三點(diǎn)及其函數(shù)值依次為： 將它們代入式，得插值函數(shù)的極小點(diǎn)，即新的將它們代入式，得插值函數(shù)的極小點(diǎn)，即新的插入點(diǎn)及其函數(shù)值：插入點(diǎn)及其函數(shù)值： 由于，由于， 故新區(qū)間故新區(qū)間18, 1, 2, 2, 1, 0321321fffxxx292. 0,555. 0ppfx22,xxffpp1 , 0,2xaba西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法由于，由于

14、，故應(yīng)繼續(xù)作第二次插值計(jì)算。故應(yīng)繼續(xù)作第二次插值計(jì)算。在新的區(qū)間內(nèi)，相鄰三點(diǎn)及其函數(shù)值依次為：在新的區(qū)間內(nèi)，相鄰三點(diǎn)及其函數(shù)值依次為：將它們代入式，得將它們代入式，得由于，由于，新區(qū)間新區(qū)間2.0445.0555.012pxx1,292. 0, 2, 1,555. 0, 0321321fffxxx243. 0,607. 0ppfx22,xxffpp1 ,555. 0,2bxba西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.3.4 二次插值法由于，由于，故一維搜索到此結(jié)束，極小點(diǎn)和極小值為：故一維搜索到此結(jié)束，極小點(diǎn)和極小值為：2 . 0052. 0607. 0555. 02pxx

15、243. 0,607. 0*fxxp5. 5. 優(yōu)優(yōu) 化化 設(shè)設(shè) 計(jì)計(jì)5.4 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4 多維優(yōu)化方法是進(jìn)行多變量?jī)?yōu)化設(shè)計(jì)的數(shù)值多維優(yōu)化方法是進(jìn)行多變量?jī)?yōu)化設(shè)計(jì)的數(shù)值迭代法。它包括了迭代法。它包括了無(wú)約束優(yōu)化方法和約束優(yōu)化方無(wú)約束優(yōu)化方法和約束優(yōu)化方法法兩種。兩種。1、無(wú)約束優(yōu)化問(wèn)題的一般形式：、無(wú)約束優(yōu)化問(wèn)題的一般形式： 求解設(shè)計(jì)變量：求解設(shè)計(jì)變量：X=x1,x2,xnT,XRn 滿足目標(biāo)函數(shù)滿足目標(biāo)函數(shù)minf(X)的無(wú)約束最優(yōu)化解的無(wú)約束最優(yōu)化解X*和和最優(yōu)化函數(shù)最優(yōu)化函數(shù)minf

16、 (X *)。2、無(wú)約束優(yōu)化的分類(lèi)、無(wú)約束優(yōu)化的分類(lèi) 根據(jù)根據(jù)搜索方向搜索方向的不同構(gòu)成形式，可分類(lèi)以下的不同構(gòu)成形式，可分類(lèi)以下兩類(lèi)：兩類(lèi)：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4 1）導(dǎo)數(shù)法導(dǎo)數(shù)法：利用目標(biāo)函數(shù)的一階和二階導(dǎo)：利用目標(biāo)函數(shù)的一階和二階導(dǎo)數(shù)信息構(gòu)成搜索方向的算法，稱(chēng)為導(dǎo)數(shù)法，如數(shù)信息構(gòu)成搜索方向的算法，稱(chēng)為導(dǎo)數(shù)法，如梯梯度法和共軛梯度法度法和共軛梯度法。 注注：其收斂性和收斂速度都是比較好的。：其收斂性和收斂速度都是比較好的。 2）模式法模式法：通過(guò)幾個(gè)已知點(diǎn)上函數(shù)值的比：通過(guò)幾個(gè)已知點(diǎn)上函數(shù)值的比較構(gòu)造搜索方向的算法。如較構(gòu)造搜索方向的算法。如鮑威爾法

17、鮑威爾法。 對(duì)于對(duì)于較復(fù)雜的目標(biāo)函數(shù)優(yōu)化較復(fù)雜的目標(biāo)函數(shù)優(yōu)化是有利的。是有利的。3、約束優(yōu)化方法、約束優(yōu)化方法 minf(X) s.t. gu(X)0 (u=1,2,m) hv(X)=0 (v=1,2,pn)西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4 根據(jù)處理?xiàng)l件的不同，約束優(yōu)化方法分為根據(jù)處理?xiàng)l件的不同，約束優(yōu)化方法分為直直接法和間接法接法和間接法兩類(lèi)。兩類(lèi)。 直接法是指直接法是指在迭代過(guò)程中逐點(diǎn)考察約束，并在迭代過(guò)程中逐點(diǎn)考察約束，并使迭代點(diǎn)始終局限于可行域之內(nèi)的算法。如使迭代點(diǎn)始終局限于可行域之內(nèi)的算法。如可行可行方向法和復(fù)合法方向法和復(fù)合法。 間接法是指間接法是指把

18、約束條件引入目標(biāo)函，將約束把約束條件引入目標(biāo)函，將約束優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束問(wèn)題求解的算法。如優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束問(wèn)題求解的算法。如懲罰懲罰函數(shù)法函數(shù)法。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法1 定義定義 什么方向是函數(shù)下降最快的方向呢？答案是什么方向是函數(shù)下降最快的方向呢？答案是負(fù)梯度方向。負(fù)梯度方向。 梯度法又稱(chēng)梯度法又稱(chēng)最速下降法最速下降法，是無(wú)約束優(yōu)化方，是無(wú)約束優(yōu)化方法中間接法的一種。其基本原理：法中間接法的一種。其基本原理：是將一個(gè)多維是將一個(gè)多維無(wú)約束優(yōu)化問(wèn)題轉(zhuǎn)化為一系列沿目標(biāo)函數(shù)負(fù)梯度無(wú)約束優(yōu)化問(wèn)題轉(zhuǎn)化為一系列沿目標(biāo)函數(shù)負(fù)梯度方向進(jìn)行一維搜索尋

19、優(yōu)的一種方法方向進(jìn)行一維搜索尋優(yōu)的一種方法，即是在每一，即是在每一迭代點(diǎn)迭代點(diǎn) ，選取搜索方向，選取搜索方向 為負(fù)梯度方向：為負(fù)梯度方向： )(kX)()()(kkXfS)(kS西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法 再沿再沿 進(jìn)行一維搜索，以確定步長(zhǎng)因子進(jìn)行一維搜索，以確定步長(zhǎng)因子 ，找到新的設(shè)計(jì)點(diǎn)找到新的設(shè)計(jì)點(diǎn) 按照上述迭代公式進(jìn)行若干次一維搜索，每按照上述迭代公式進(jìn)行若干次一維搜索，每次迭代的初始點(diǎn)取上次迭代的終點(diǎn)，即可使迭代點(diǎn)次迭代的初始點(diǎn)取上次迭代的終點(diǎn)，即可使迭代點(diǎn)逐漸逼近目標(biāo)函數(shù)的極小點(diǎn)。逐漸逼近目標(biāo)函數(shù)的極小點(diǎn)。)()()1(kkkkSXX)

20、(kSk西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程梯度法程序框圖梯度法程序框圖 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法2 梯度法的特點(diǎn)梯度法的特點(diǎn) 1）梯度法理論明確，程序簡(jiǎn)單，計(jì)算量和存儲(chǔ)量）梯度法理論明確，程序簡(jiǎn)單，計(jì)算量和存儲(chǔ)量較少，對(duì)初始點(diǎn)的要求不嚴(yán)格。較少，對(duì)初始點(diǎn)的要求不嚴(yán)格。 2）負(fù)梯度方向不是理想的搜索方向，梯度法也不）負(fù)梯度方向不是理想的搜索方向，梯度法也不是一種理想的方法，梯度法的是一種理想的方法，梯度法的收斂速度并不快收斂速度并不快。 這是因?yàn)樽钏傧陆捣较騼H僅是指某點(diǎn)的一個(gè)局部性這是因?yàn)樽钏傧陆捣较騼H僅是指某點(diǎn)的一個(gè)局部性

21、質(zhì)，一旦離開(kāi)這點(diǎn)，就不能保證仍是最速下降方向了。質(zhì)，一旦離開(kāi)這點(diǎn)，就不能保證仍是最速下降方向了。 3）梯度法的迭代全過(guò)程的搜索路線呈鋸齒狀。）梯度法的迭代全過(guò)程的搜索路線呈鋸齒狀。 由于梯度法的相鄰兩次搜索方向的正交性決定的，由于梯度法的相鄰兩次搜索方向的正交性決定的，如圖如圖5.14所示，故前幾次迭代函數(shù)值下降較快，但以后所示，故前幾次迭代函數(shù)值下降較快，但以后的迭代下降越來(lái)越慢。的迭代下降越來(lái)越慢。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法圖圖5.14 二維目標(biāo)函數(shù)的梯度法搜索過(guò)程二維目標(biāo)函數(shù)的梯度法搜索過(guò)程 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育

22、系列課程5.4.1 梯度法 所以，梯度法常與其它方法聯(lián)合使用，即所以，梯度法常與其它方法聯(lián)合使用，即在迭代的第一步或前幾步使用，當(dāng)接近極小點(diǎn)在迭代的第一步或前幾步使用，當(dāng)接近極小點(diǎn)時(shí)，改為用其它算法，以此加快收斂速度。時(shí)，改為用其它算法，以此加快收斂速度。 特點(diǎn)：特點(diǎn)：全局收斂，線性收斂，易產(chǎn)生扭擺全局收斂，線性收斂，易產(chǎn)生扭擺現(xiàn)象而造成早?，F(xiàn)象而造成早停。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法例例1 用梯度法求下列無(wú)約束優(yōu)化問(wèn)題，已知用梯度法求下列無(wú)約束優(yōu)化問(wèn)題，已知函數(shù)函數(shù)X(0)=1 1T，0.1。 min 解：解：1）第一次迭代）第一次迭代 求求 令

23、令 則則 1212221422)(xxxxxXf ,42422)(2121xxxxXf24)() 0(Xf24)()0()0(XfS21412411) 0() 0() 0() 1 (SXX西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法對(duì)這種簡(jiǎn)單的一元函數(shù)，可以直接用解析法對(duì)對(duì)這種簡(jiǎn)單的一元函數(shù)，可以直接用解析法對(duì) 求極小。令求極小。令 解得解得 因因 還應(yīng)繼續(xù)迭代計(jì)算。還應(yīng)繼續(xù)迭代計(jì)算。)()41 ( 4)21)(41 ( 2)21 ( 2)41 ()(22) 1 (Xf016)41 ( 4)21 ( 8)21 ( 8)41 ( 8)(,25.041,5 .02)1

24、(X5 . 5)() 1 (Xf,5)() 1 ( Xf西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.1 梯度法 2)第二次迭代第二次迭代因因 解得解得 ,21)()1(Xf,21)1(S25 . 02215 . 02) 1 () 1 () 1 ()2(SXX)()2 ( 4)25 . 0)(2 ( 2)25 . 0 ( 2)2 ()(22) 2(Xf04)2 ( 4)25 . 0 ( 8)25 . 0 ( 8)2 ( 2)(, 5 . 0,5 . 15 . 2)2(X,75. 6)() 2(Xf,12)()2(Xf西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.

25、4.1 梯度法 因因 可知可知X(2)不是極小點(diǎn)，還應(yīng)不是極小點(diǎn)，還應(yīng)繼續(xù)進(jìn)行迭代。繼續(xù)進(jìn)行迭代。 最后得此問(wèn)題的最優(yōu)解為：最后得此問(wèn)題的最優(yōu)解為： ,5)()2( Xf8)(,24*XfXT西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法共軛方向的概念：共軛方向的概念： 設(shè)設(shè)H為一正定對(duì)稱(chēng)矩陣，若有一組非零向?yàn)橐徽▽?duì)稱(chēng)矩陣，若有一組非零向量量S1,S2,Sn滿足滿足 則稱(chēng)這組向量關(guān)于矩陣則稱(chēng)這組向量關(guān)于矩陣H共軛。共軛。 以正定二元二次函數(shù)為例。以正定二元二次函數(shù)為例。jiHSSjTi 0CXBAXXXfTT21)(21xxX西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科

26、技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法 任選初始點(diǎn)任選初始點(diǎn)X(0)并沿某一下降方向并沿某一下降方向S(0)作一維作一維搜索，得搜索，得 由于梯度的迭代過(guò)程中，相鄰的搜索方向由于梯度的迭代過(guò)程中，相鄰的搜索方向相互垂直?？芍嗷ゴ怪薄？芍?對(duì)函數(shù)對(duì)函數(shù) f(X)求點(diǎn)求點(diǎn)X(1)的梯度的梯度 從點(diǎn)從點(diǎn)X(1)開(kāi)始沿另一下降方向開(kāi)始沿另一下降方向S(1)作一維搜作一維搜索，得索，得)0(0)0()1(SXXBHXXf)1()1()(0)()0()1(SXfT)1(1)1()2(SXXBHXXf)2()2()(西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法 欲使

27、欲使X(2)成為極小點(diǎn)，則必有成為極小點(diǎn)，則必有 將式將式 代入得代入得 展開(kāi)得展開(kāi)得 化簡(jiǎn)為化簡(jiǎn)為 左乘左乘 S(0)T，且且 得得0)()2()2(BHXXf)1(1)1()2(SXX0)()1(1)1(BSXH0)()1(1)1(HSBXH0)()1(1)1(HSXf0)1()0(HSST01西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法 這就是說(shuō)，若要使第二個(gè)迭代點(diǎn)這就是說(shuō)，若要使第二個(gè)迭代點(diǎn)X(2)成為該成為該正定二元二次函數(shù)的極小點(diǎn)，只要使兩次一維正定二元二次函數(shù)的極小點(diǎn)，只要使兩次一維搜索的搜索方向搜索的搜索方向S(0)和和S(1)關(guān)于函數(shù)的二階導(dǎo)

28、數(shù)關(guān)于函數(shù)的二階導(dǎo)數(shù)矩陣矩陣H為共軛就可以了。換句話說(shuō)，如果能夠?yàn)楣曹椌涂梢粤恕Q句話說(shuō)，如果能夠找到以找到以H為共軛的兩個(gè)向量，則無(wú)論從哪個(gè)初為共軛的兩個(gè)向量，則無(wú)論從哪個(gè)初始點(diǎn)出發(fā)，依次沿這兩個(gè)共軛方向作一維搜索，始點(diǎn)出發(fā)，依次沿這兩個(gè)共軛方向作一維搜索，經(jīng)兩次迭代即可達(dá)到此正定二元二次函數(shù)的極經(jīng)兩次迭代即可達(dá)到此正定二元二次函數(shù)的極小點(diǎn)小點(diǎn)。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法 對(duì)于一般函數(shù)，共軛方向具有以下性質(zhì)：對(duì)于一般函數(shù)，共軛方向具有以下性質(zhì)： （1）若）若 是以是以H共軛的共軛的n個(gè)向個(gè)向量，則對(duì)于正定二次函數(shù)從任意初始點(diǎn)出發(fā)，依量，則對(duì)

29、于正定二次函數(shù)從任意初始點(diǎn)出發(fā)，依次沿這次沿這n個(gè)方向進(jìn)行一維搜索，最多個(gè)方向進(jìn)行一維搜索，最多n次即可達(dá)到次即可達(dá)到極小點(diǎn)。極小點(diǎn)。 （2）從任意兩個(gè)點(diǎn)）從任意兩個(gè)點(diǎn) 和和 出發(fā)，分別沿出發(fā)，分別沿同一方向同一方向 進(jìn)行一維搜索，得到兩個(gè)一維極小進(jìn)行一維搜索，得到兩個(gè)一維極小點(diǎn)點(diǎn) 和和 ，則連接此兩點(diǎn)構(gòu)成的向量，則連接此兩點(diǎn)構(gòu)成的向量與原方向與原方向 關(guān)于該函數(shù)的二階導(dǎo)數(shù)矩陣相共軛。關(guān)于該函數(shù)的二階導(dǎo)數(shù)矩陣相共軛。niSi, 2 , 1)()0(1X)0(2X)0(S)1(1X)1(2X)1(2)1(1)1(XXS)0(S西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共

30、軛梯度法 共軛梯度方向的公式：共軛梯度方向的公式：)() 1() 1()(kkkkSXfS2)(2)1()()(kkkXfXf)()()1(kkkkSXX共軛梯度法程序見(jiàn)下圖共軛梯度法程序見(jiàn)下圖:西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程圖圖5.14 共軛梯度法程序框圖共軛梯度法程序框圖 西南科技大學(xué)網(wǎng)絡(luò)教育系列課程西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.4.2 共軛梯度法例例2 用共軛梯度法求解例用共軛梯度法求解例1。解：解：1）第一次迭代沿負(fù)梯度方向搜索。）第一次迭代沿負(fù)梯度方向搜索。由例由例1得得X(0)=1 1T， 2）第二次迭代。求）第二次迭代。求 24)()0(Xf24)0(S,5 . 02) 1(X,21)() 1 ( Xf25. 0205)()(2)0(2)1(0XfXf5 . 122425. 021)()0(0) 1 () 1