優(yōu)化設(shè)計(jì)第7次課

第四章

無(wú)約束優(yōu)化方法第七節(jié)鮑威爾法一、共軛方向的生成

具有正定矩陣的二次函數(shù)另一方面，對(duì)于上述二次函數(shù)，其、兩點(diǎn)處的梯度可表示為兩式相減，得因而有若取方向

則得

說(shuō)明和對(duì)共軛。根據(jù)共軛方向的性質(zhì)，沿方向分別對(duì)函數(shù)做兩次一維搜索，得到兩個(gè)極小點(diǎn)、，則這兩點(diǎn)的連線(xiàn)所形成的方向就是與一起對(duì)共軛的方向。通過(guò)上面的分析可知：對(duì)于二維問(wèn)題，沿著此共軛方向做一次一維搜索即可找到目標(biāo)函數(shù)的極值點(diǎn)。二、鮑威爾法的基本算法(1)任選一初始點(diǎn)，令，選擇兩個(gè)線(xiàn)性無(wú)關(guān)的向量，如坐標(biāo)軸單位向量和作為初始搜索方向。(2)從出發(fā),順次沿、進(jìn)行一維搜索得點(diǎn)、，兩點(diǎn)連線(xiàn)得一新方向，即(3)從出發(fā),順次沿、進(jìn)行一維搜索得點(diǎn)、，兩點(diǎn)連線(xiàn)得一新方向，即用代替形成兩個(gè)線(xiàn)性無(wú)關(guān)的向量和，作為下一輪迭代的搜索方向。再?gòu)某霭l(fā)，沿做一維搜索得點(diǎn)

(即點(diǎn))，作為下一輪迭代的初始點(diǎn)。、兩點(diǎn)是從不同點(diǎn)、出發(fā)，分別沿方向進(jìn)行一維搜索而得到的極小點(diǎn)，因此根據(jù)前面所敘述的理論，、兩點(diǎn)連線(xiàn)的方向同一起對(duì)共軛。再?gòu)某霭l(fā)，沿做一維搜索得，因?yàn)橄喈?dāng)于從出發(fā)分別沿的兩個(gè)共軛方向、進(jìn)行兩次一維搜索而得到的點(diǎn)，所以點(diǎn)即是二維問(wèn)題的極小點(diǎn)。同理，將上述二維優(yōu)化問(wèn)題的基本算法擴(kuò)展到n維情況，則鮑威爾基本算法的原理為：從初始點(diǎn)出發(fā)，順次沿n個(gè)線(xiàn)性無(wú)關(guān)的搜索方向所構(gòu)成的搜索方向組進(jìn)行一維搜索得到一個(gè)終點(diǎn)，由終點(diǎn)和初始點(diǎn)的連線(xiàn)形成一個(gè)新的搜索方向，用這個(gè)新的搜索方向替換原來(lái)n個(gè)方向中的第一個(gè)方向，而將新方向排在原方向組的最后，這樣就形成了一個(gè)新的搜索方向組。此外規(guī)定，從這一輪的搜索終點(diǎn)出發(fā)沿新的搜索方向進(jìn)行一維搜索而得到的極小點(diǎn)，作為下一輪迭代的初始點(diǎn)，這樣就形成算法的循環(huán)。因?yàn)檫@種方法在迭代中逐次生成共軛方向，而共軛方向又是較好的搜索方向，所以鮑威爾法又稱(chēng)作方向加速法。三、鮑威爾基本算法的退化現(xiàn)象通過(guò)前面鮑威爾基本算法的介紹可知，在共軛方向的形成過(guò)程中，每一輪迭代都用連接始點(diǎn)和終點(diǎn)所產(chǎn)生的搜索方向去替換原搜索方向組中的第一個(gè)方向，而不管它的“好壞”，這樣就有可能造成在迭代中新形成的n個(gè)搜索方向會(huì)變成線(xiàn)性相關(guān)而不能形成共軛方向，即可能形不成n維空間，進(jìn)而求不到極小點(diǎn)，我們稱(chēng)鮑威爾基本算法的這種缺陷為退化現(xiàn)象。下面以三維問(wèn)題為例來(lái)說(shuō)明鮑威爾基本算法的退化現(xiàn)象。對(duì)一個(gè)三維問(wèn)題，首先由初始點(diǎn)出發(fā)，沿著3個(gè)坐標(biāo)軸方向、、進(jìn)行第一輪搜索，得到點(diǎn)，連接始點(diǎn)和終點(diǎn)，形成搜索方向，在這一輪中、、和是不共面的一組向量，如下圖所示。新生方向可表示為如果在某種條件下，即在方向上搜索沒(méi)有進(jìn)展，迭代點(diǎn)的位移為零，此時(shí)，則必與，共面，共面的3個(gè)向量必線(xiàn)性相關(guān)。由右圖可看出，在隨后的各輪的方向組中各向量必在由，所決定的平面內(nèi)，使以后的搜索局限在二維平面內(nèi)進(jìn)行，顯然，這種降維后的搜索將無(wú)法獲得三維目標(biāo)函數(shù)的最優(yōu)點(diǎn)四、鮑威爾基本算法的退化現(xiàn)象因?yàn)轷U威爾基本算法在迭代過(guò)程中存在上述退化現(xiàn)象，所以需要對(duì)鮑威爾基本算法進(jìn)行改進(jìn)。針對(duì)上述缺陷，鮑威爾基本算法改進(jìn)的原則是：首先要判斷原方向組是否需要替換；其次，如果需要替換，還要進(jìn)一步判斷原向量組中那個(gè)方向最壞，然后再用新產(chǎn)生的方向替換這個(gè)最壞的方向，以保證逐次生成共扼方向。鮑威爾改進(jìn)算法的具體步驟如下。(1)給定初始點(diǎn)和計(jì)算精度，選取初始方向組，它由n個(gè)線(xiàn)性無(wú)關(guān)的向量（比如n個(gè)坐標(biāo)軸單位向量）所組成，置，。

(2)如下圖所示,從出發(fā)，順次沿做一維搜索得，即這一步相當(dāng)于最佳步長(zhǎng)的坐標(biāo)輪換法。(3)接著以為起點(diǎn)，沿方向移動(dòng)一個(gè)的距離，得到、、分別稱(chēng)為第輪迭代的始點(diǎn)、終點(diǎn)和反射點(diǎn)。始點(diǎn)、終點(diǎn)和反射點(diǎn)所對(duì)應(yīng)的函數(shù)值分別表示為(4)計(jì)算第輪中相鄰兩點(diǎn)目標(biāo)函數(shù)值的下降量，并求出下降量最大者，即相應(yīng)的方向?yàn)?5)判斷是否滿(mǎn)足判別條件和若滿(mǎn)足上述判別條件，說(shuō)明共軛性好，則下輪迭代應(yīng)對(duì)原方向組進(jìn)行替換，將補(bǔ)充到原方向組的最后位置，而除掉，即新方向組為作為下輪迭代的搜索方向組。下輪迭代的始點(diǎn)取為沿方向進(jìn)行一維搜索的極小點(diǎn)。若不滿(mǎn)足判別條件，則下輪迭代仍用原方向組，即同時(shí)比較和的函數(shù)值和，取函數(shù)值相對(duì)小者作為下輪迭代的始點(diǎn)。(6)判斷是否滿(mǎn)足收斂準(zhǔn)則。若滿(mǎn)足，則取為極小點(diǎn)，為最優(yōu)值；否則應(yīng)置，返回步驟(2)，繼續(xù)進(jìn)行下一輪迭代。

例：試用Powell法求目標(biāo)函數(shù)

的最優(yōu)解。

試用Powell法求目標(biāo)函數(shù)的最優(yōu)解。已知初始點(diǎn)，迭代精度。

課堂練習(xí)第八節(jié)單純形法一、單純形法的基本思想

采用單純形法求解無(wú)約束優(yōu)化問(wèn)題是指在不計(jì)算導(dǎo)數(shù)的情況下，先計(jì)算出若干點(diǎn)處的函數(shù)值，然后依據(jù)函數(shù)值的大小關(guān)系來(lái)判斷函數(shù)變化的趨勢(shì)，確定函數(shù)的下降方向，進(jìn)而求得目標(biāo)函數(shù)值的極值，這里所說(shuō)的若干點(diǎn)，一般是取在單純形的頂點(diǎn)上。所謂單純形是指在n維空間中由n+1個(gè)線(xiàn)性獨(dú)立的點(diǎn)構(gòu)成的簡(jiǎn)單圖形或凸多面體，例如，在一維空間中由兩點(diǎn)構(gòu)成的線(xiàn)段(見(jiàn)下圖(a))；在二維空間中由不在同一直線(xiàn)上的三個(gè)點(diǎn)構(gòu)成的簡(jiǎn)單圖形，即三角形(見(jiàn)下圖(b))；在三維空間中由不在同一平面上的四個(gè)點(diǎn)構(gòu)成的簡(jiǎn)單圖形，即四面體(見(jiàn)下圖(c))；在n維空間中由n+1個(gè)頂點(diǎn)構(gòu)成的凸多面體等。單形替換法的基本思想是指在無(wú)約束優(yōu)化求解過(guò)程中、根據(jù)問(wèn)題的維數(shù)n，選取由n+1個(gè)頂點(diǎn)構(gòu)成的單純形．求出這些頂點(diǎn)處的目標(biāo)函數(shù)值并加以比較，確定它們當(dāng)中有最大值的點(diǎn)及函數(shù)值的下降方向，再設(shè)法找到一個(gè)新的比較好的點(diǎn)替換那個(gè)有最大值的點(diǎn)，從而構(gòu)成新的單純形。隨著這種取代過(guò)程的不斷進(jìn)行，新的單純形將向著極小點(diǎn)收縮，這樣經(jīng)過(guò)若干次迭代，即可得到滿(mǎn)足收斂準(zhǔn)則的近似解。一般來(lái)講，為加快單純形法的尋優(yōu)過(guò)程，可采用四種基本的尋優(yōu)措施，即反射、擴(kuò)張、壓縮和縮短邊長(zhǎng)。下面以二維無(wú)約束優(yōu)化問(wèn)題為例來(lái)說(shuō)明單純形法的尋優(yōu)過(guò)程。若如下圖所示，設(shè)二維目標(biāo)函數(shù)為，在平面上為線(xiàn)性獨(dú)立(不在同一直線(xiàn)上)三個(gè)點(diǎn)，以它們?yōu)轫旤c(diǎn)構(gòu)造單純形——三角形，計(jì)算這三個(gè)頂點(diǎn)處的函數(shù)值并做比較。則說(shuō)明點(diǎn)最差，點(diǎn)最好。如圖所示。查明單純形各項(xiàng)點(diǎn)目標(biāo)函數(shù)值的情況之后，采取以下基本策略搜索極小點(diǎn)。

(1)反射。單純形各項(xiàng)點(diǎn)目標(biāo)函數(shù)值的大小反映了目標(biāo)函數(shù)在單純形這個(gè)局部區(qū)域的變化性態(tài)。一般來(lái)說(shuō)，目標(biāo)函數(shù)最小點(diǎn)在最差點(diǎn)的對(duì)稱(chēng)位置的可能性最大，因此首先求出最差點(diǎn)的反射點(diǎn)，以探測(cè)目標(biāo)函數(shù)變化的趨向。首先，求出除以外的所有頂點(diǎn)(在本題中僅為，兩點(diǎn))的形心點(diǎn)(如圖)，并以為對(duì)稱(chēng)中心，求取的關(guān)于的對(duì)稱(chēng)點(diǎn)。應(yīng)在和連線(xiàn)的延長(zhǎng)線(xiàn)上，并滿(mǎn)足

(2)擴(kuò)張。若反射點(diǎn)的函數(shù)值小于最好點(diǎn)的函數(shù)值，即當(dāng)時(shí)，則表明所取的搜索方向正確。這時(shí)，可以進(jìn)一步擴(kuò)大效果，繼續(xù)沿向前進(jìn)行擴(kuò)張?jiān)诟h(yuǎn)處取一點(diǎn)，并使如果，說(shuō)明擴(kuò)張有利，就用代替最差點(diǎn)，構(gòu)成新的單純形；如果，說(shuō)明擴(kuò)張不利．則舍棄，仍以代替構(gòu)成新的單純形

(3)壓縮。若反射點(diǎn)的函數(shù)值小于最差點(diǎn)的函數(shù)值但大于次差點(diǎn)的函數(shù)值，即當(dāng)時(shí)，則表示點(diǎn)走得太遠(yuǎn)，應(yīng)回縮一些，即進(jìn)行壓縮，并且得到壓縮點(diǎn)，即這時(shí)，若式中，為壓縮系數(shù)，常取即用壓縮點(diǎn)代替最差點(diǎn)，形成新的單純形；否則不用壓縮點(diǎn)，而用反射點(diǎn)代替最差點(diǎn)構(gòu)成新的單純形若反射點(diǎn)的函數(shù)值大于最差點(diǎn)的函數(shù)值，即當(dāng)時(shí)，應(yīng)當(dāng)壓縮得更多一些，即將新點(diǎn)壓縮至與之間，這時(shí)所得的壓縮點(diǎn)應(yīng)為這時(shí)若，用壓縮點(diǎn)代替最差點(diǎn)，形成新的單純形；否則不用。

(4)縮短邊長(zhǎng)。如果在方向上所有點(diǎn)的函數(shù)值都大于，則不能沿此方向搜索。這時(shí)可使單純形向最好點(diǎn)進(jìn)行收縮，即使最好點(diǎn)不動(dòng)，其余各頂點(diǎn)、皆向移近為原距離的一半，如下圖所示，由單純形，收縮成單純形，在此基礎(chǔ)上．繼續(xù)采用上面的搜索策略進(jìn)行尋優(yōu)。以上說(shuō)明，可以通過(guò)反射、擴(kuò)張、壓縮和縮短邊長(zhǎng)等方式得到一個(gè)新單純形，其中至少有一個(gè)頂點(diǎn)的函數(shù)值比原單純形中最差點(diǎn)的函數(shù)值要小。二、單純形法的計(jì)算步驟

(1)構(gòu)造初始單純形。對(duì)于n維變量的目標(biāo)函數(shù)，其單純形應(yīng)有n+1個(gè)頂點(diǎn)，即。構(gòu)造初始單純形時(shí)，先在n維空間中取一初始點(diǎn)，從出發(fā)沿各坐標(biāo)軸方向，以步長(zhǎng)找到其余n個(gè)頂點(diǎn)，即式中——第個(gè)坐標(biāo)軸的單位向量；——步長(zhǎng)，一般取值范圍為，接近最優(yōu)點(diǎn)時(shí)要減小，構(gòu)成初始單純形的步長(zhǎng)可取。這樣選取頂點(diǎn)可以保證形成的單純形的各個(gè)棱邊線(xiàn)性無(wú)關(guān)，即下述幾個(gè)向量是線(xiàn)性無(wú)關(guān)的，否則，就有可能會(huì)使搜索范圍局限在較低的空間內(nèi)而可能找不到最優(yōu)點(diǎn)。當(dāng)然，沿各坐標(biāo)軸方向可以采取不等的步長(zhǎng)。

(2)計(jì)算單純形各頂點(diǎn)函數(shù)值

(3)比較函數(shù)值的大小，確定最好點(diǎn)和最差點(diǎn)和次差點(diǎn)，即有

(4)檢驗(yàn)是否滿(mǎn)足收斂準(zhǔn)則若滿(mǎn)足，則即為極小點(diǎn)，，停止迭代；否則，進(jìn)行下一步。求反射點(diǎn)，即

(5)計(jì)算除最差點(diǎn)外，其余各點(diǎn)的形心為并計(jì)算函數(shù)值

若，則用代替形成新的單純形，并返回（3）；否則用代替形成新的單純形，并返回（3）。

(6)當(dāng)，即反射點(diǎn)比最好點(diǎn)還要好，則進(jìn)行擴(kuò)張，得擴(kuò)張點(diǎn)為當(dāng)時(shí)，即反射點(diǎn)比最好點(diǎn)差，則進(jìn)行下一步。

(7)當(dāng)時(shí)，即反射點(diǎn)比次差點(diǎn)好，則用代替，并返回(3)；若，則進(jìn)行下一步。

(8)如果，計(jì)算壓縮點(diǎn)，即計(jì)算函數(shù)值求得壓縮點(diǎn)的函數(shù)值后與最差點(diǎn)的函數(shù)值比較，若，則用代替形成新的單純形，返回(3)；否則，進(jìn)行下一步。若，計(jì)算壓縮點(diǎn)，即

(9)將單純形邊長(zhǎng)縮短，即使單純形向最好點(diǎn)收縮，收縮后的單純形各頂點(diǎn)為然后返回(3)

例：試用單純形法求目標(biāo)函數(shù)的極小值。第五章

約束優(yōu)化方法約束優(yōu)化方法是求解復(fù)雜約束優(yōu)化問(wèn)題的重要方法。本章主要講述隨機(jī)方向搜索法、復(fù)合形法、可行方向法、懲罰函數(shù)法、增廣乘子法等幾種典型的約束優(yōu)化方法。第一節(jié)概述約束優(yōu)化問(wèn)題：

直接法：隨機(jī)方向法、可行方向法、復(fù)合形法、簡(jiǎn)約梯度法——適于僅含不等式約束間接法：懲罰函數(shù)法、增廣乘子法

——適于同時(shí)有等式和不等式約束約束優(yōu)化問(wèn)題解法

（6-1）一、約束優(yōu)化問(wèn)題的直接解法

原理：直接從可行的約束區(qū)域內(nèi)尋找最優(yōu)解。

每次迭代：——可行搜索方向)目標(biāo)函數(shù)值下降又不越出可行域。(特點(diǎn)：(1)由于全部求解過(guò)程是在可行域內(nèi)進(jìn)行的，因此，迭代計(jì)算不論何時(shí)終止，都可以獲得一個(gè)比初始點(diǎn)好的設(shè)計(jì)點(diǎn)。(2)若目標(biāo)函數(shù)為凸函數(shù)，可行域?yàn)橥辜?，則可保證獲得全局最優(yōu)解，如下圖(a)所示；否則，將由于所選擇的初始點(diǎn)的不同，而搜索到局部最優(yōu)解上。如；下圖(b)所示，在這種情況下，搜索結(jié)果經(jīng)常與初始點(diǎn)的選擇有關(guān)。為此，常常在可行域內(nèi)選擇幾個(gè)差別較大的初始點(diǎn)分別進(jìn)行計(jì)算，以便從求得的多個(gè)局部最優(yōu)解中選擇最好的最優(yōu)解——全局最優(yōu)解。(3)要求可行域D為有界非空集，即存在滿(mǎn)足約束條件的點(diǎn)列且目標(biāo)函數(shù)有定義。二、約束優(yōu)化問(wèn)題的間接解法

間接解法與直接解法有著不同的求解策略，它的基本思路是將約束優(yōu)化問(wèn)題中的約束函數(shù)進(jìn)行特殊的加權(quán)處理后和目標(biāo)函數(shù)結(jié)合起來(lái)，構(gòu)成一個(gè)新的目標(biāo)函數(shù)，即將原約束優(yōu)化問(wèn)題轉(zhuǎn)化成為一個(gè)或一系列的無(wú)約束優(yōu)化問(wèn)題，再對(duì)新的目標(biāo)函數(shù)進(jìn)行無(wú)約束優(yōu)化計(jì)算，從而間接地搜索到原約束優(yōu)化問(wèn)題的最優(yōu)解。

間接解法的基本迭代過(guò)程是，首先將式(5．1)所示的約束優(yōu)化問(wèn)題轉(zhuǎn)化成新的無(wú)約束目標(biāo)函數(shù)，即式中——轉(zhuǎn)化后的新目標(biāo)函數(shù)；、——分別為由不等式約束函數(shù)、等式約束函數(shù)經(jīng)過(guò)加權(quán)處理后構(gòu)成的某種形式的復(fù)合函數(shù)；——加權(quán)因子。

然后對(duì)進(jìn)行無(wú)約束優(yōu)化計(jì)算。由于在新的目標(biāo)函數(shù)中包含了各種約束條件，在求極值的過(guò)程中還將改變加權(quán)因子的大小，由此，可以不斷地調(diào)整設(shè)計(jì)點(diǎn)，使其逐步逼近約束邊界，從而間接地求得原約束優(yōu)化問(wèn)題的最優(yōu)解，這一基本迭代過(guò)程如下圖所示。例:求約束優(yōu)化問(wèn)題的最優(yōu)解。間接解法是目前在機(jī)械優(yōu)化設(shè)計(jì)中應(yīng)用較為廣泛的一類(lèi)有效方法，具有以下特點(diǎn)。(1)由于無(wú)約束優(yōu)化方法的研究日趨成熟，已經(jīng)研究出不少有效的無(wú)約束優(yōu)化方法和程序，使得間接解法有了可靠的基礎(chǔ)。目前，這類(lèi)算法的計(jì)算效率和數(shù)值計(jì)算的穩(wěn)定性也都有很大提高。(2)可以有效地處理具有等式約束條件的約束優(yōu)化問(wèn)題。(3)間接解法存在的主要問(wèn)題是，選取加權(quán)因子比較困難，加權(quán)因子選取不當(dāng)響收斂速度和計(jì)算精度，甚至?xí)?dǎo)致計(jì)算失敗。第二節(jié)隨機(jī)方向搜索法

隨機(jī)方向搜索法是求解約束優(yōu)化設(shè)計(jì)問(wèn)題的一種較為流行的直接解法，這種方法的優(yōu)點(diǎn)是對(duì)目標(biāo)函數(shù)的性態(tài)無(wú)特殊要求，程序設(shè)計(jì)簡(jiǎn)單，使用方便。由于可行搜索方向是從許多隨機(jī)方向中選擇的使目標(biāo)函數(shù)值下降最快的方向，加之步長(zhǎng)還可以靈活變動(dòng)，所以該算法的收斂速度比較快。若能取得一個(gè)較好的初始點(diǎn)，迭代次數(shù)可以大大減少。它是求解小型機(jī)械優(yōu)化設(shè)計(jì)問(wèn)題的一種十分有效的算法。一、隨機(jī)方向搜索法的基本原理長(zhǎng)進(jìn)行搜索，得到新點(diǎn)，新點(diǎn)應(yīng)滿(mǎn)足約束條件：且，至此完成一次迭代，然后，將起始點(diǎn)移至，即令。重復(fù)以上過(guò)程，經(jīng)過(guò)若干次迭代計(jì)算后，最終取得約束最優(yōu)解。

隨機(jī)方向搜索法的基本思路(見(jiàn)下圖)是在可行域內(nèi)選擇一個(gè)初始點(diǎn)，利用隨機(jī)數(shù)的概率特性，產(chǎn)生若干個(gè)隨機(jī)方向，并從中選擇一個(gè)能使目標(biāo)函數(shù)值下降最快的隨機(jī)方向作為可行搜索方向，記作。從初始點(diǎn)出發(fā)，沿可行搜索方向以一定的步在隨機(jī)方向搜索法中，為產(chǎn)生可行的初始點(diǎn)及可行搜索方向，需要用到大量的(0，1)和(-1，1)區(qū)間內(nèi)均勻分布的隨機(jī)數(shù)。在計(jì)算機(jī)內(nèi)，隨機(jī)數(shù)通常是按一定的數(shù)學(xué)模型進(jìn)行計(jì)算后得到的，這樣得到的隨機(jī)數(shù)稱(chēng)為偽隨機(jī)數(shù)，它的特點(diǎn)是產(chǎn)生速度快，計(jì)算機(jī)內(nèi)存占用少，并且有較好的概率統(tǒng)計(jì)特性。產(chǎn)生偽隨機(jī)數(shù)的方法很多，這里僅介紹一種常用的產(chǎn)生偽隨機(jī)數(shù)的數(shù)學(xué)方法二、隨機(jī)數(shù)的產(chǎn)生首先，令，，，?。樾∮诘恼鏀?shù)）,然后按以下步驟計(jì)算：令

若

，則

若

，則

，則

若

則為(0，1)區(qū)間內(nèi)均勻分布的偽隨機(jī)數(shù)。利用，很容易求得任意區(qū)間(a，b)內(nèi)的偽隨機(jī)數(shù)，其計(jì)算公式為三、初始點(diǎn)的選擇隨機(jī)方向搜索法的初始點(diǎn)必須是一個(gè)可行點(diǎn)，即滿(mǎn)足的全部要求，確定這樣的一個(gè)點(diǎn)的方法通常有以下兩種。

1．決定性的方法在可行域內(nèi)人為地確定一個(gè)可行的初始點(diǎn)。當(dāng)約束條件比較簡(jiǎn)單時(shí)，這種方法是可用的，但當(dāng)約束條件比較復(fù)雜時(shí)，人為選擇這樣一個(gè)點(diǎn)就比較困難，因此，建議用隨機(jī)選擇的方法來(lái)產(chǎn)生初始點(diǎn)。

2．隨機(jī)選擇的方法

利用計(jì)算機(jī)產(chǎn)生的偽隨機(jī)數(shù)選擇可行的初始點(diǎn)，其步驟如下

(1)輸入設(shè)計(jì)變量的上限值和下限值，即

(2)在(0，1)區(qū)間內(nèi)產(chǎn)生n個(gè)偽隨機(jī)數(shù)

(3)計(jì)算隨機(jī)點(diǎn)的各分量，即

(4)判別隨機(jī)點(diǎn)是否可行，若隨機(jī)點(diǎn)為可行點(diǎn)，則取初始點(diǎn)；若隨機(jī)點(diǎn)為非可行點(diǎn)，則返回步驟(2)重新計(jì)算，直到產(chǎn)生的隨機(jī)點(diǎn)為可行點(diǎn)為止。四、可行搜索方向的產(chǎn)生長(zhǎng)因子(也稱(chēng)試驗(yàn)步長(zhǎng))將單位圓縮小或放大，使試驗(yàn)點(diǎn)落在以為半徑的圓周上。太小，搜索方向的選擇受目標(biāo)函數(shù)局部性質(zhì)的影響大；若太大，同樣數(shù)量的試驗(yàn)點(diǎn)分別在很大的圓周上，降低了密度，取得較優(yōu)的搜索方向的機(jī)會(huì)就會(huì)減少，有時(shí)還會(huì)造成搜索的徒勞往返，影響收斂速度。==如下圖所示，對(duì)于二維問(wèn)題，其單位向量的端點(diǎn)分布于單位圓的圓周上。為了盡可能得到較優(yōu)的搜索方向，可同時(shí)選取多個(gè)試驗(yàn)點(diǎn)，從中找出使目標(biāo)函數(shù)值下降最多的試驗(yàn)點(diǎn)，以該點(diǎn)與初始點(diǎn)的連線(xiàn)方向作為搜索方向。另外，還應(yīng)選取適當(dāng)?shù)牟皆陔S機(jī)方向搜索法中，產(chǎn)生可行搜索方向的方法是從個(gè)隨機(jī)方向中，選取一個(gè)較好的方向，其計(jì)算步驟如下。

(1)在(-1，1)區(qū)間內(nèi)產(chǎn)生偽隨機(jī)數(shù)，按下式計(jì)算隨機(jī)單位向量,即

(2)取一試驗(yàn)步長(zhǎng)，按下式計(jì)算N個(gè)隨機(jī)點(diǎn)：

顯然，N個(gè)隨機(jī)點(diǎn)分布在以初始點(diǎn)為中心，以試驗(yàn)步長(zhǎng)為半徑的超球面上。

(3)檢驗(yàn)N個(gè)隨機(jī)點(diǎn)是否為可行點(diǎn)，去除非可行點(diǎn)，計(jì)算剩下的可行隨機(jī)點(diǎn)(為可行隨機(jī)點(diǎn)個(gè)數(shù))的目標(biāo)函數(shù)值，比較目標(biāo)函數(shù)值的大小，并從中選出目標(biāo)函數(shù)值最小的點(diǎn)，即

(4)比較與兩點(diǎn)的目標(biāo)函數(shù)值的大小，若，則取與兩點(diǎn)的連線(xiàn)方向作為可行搜索方向，即否則，則將試驗(yàn)步長(zhǎng)縮小，返回步驟(1)重新計(jì)算，直到出現(xiàn)為止。如果已經(jīng)縮到很