工程應(yīng)用數(shù)學(xué)智能算法

工程應(yīng)用數(shù)學(xué)智能算法第一頁，共五十三頁，2022年，8月28日主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）模擬退火（SimulatedAnnealing，SA）遺傳算法（GeneticAlgorithm，GA）第二頁，共五十三頁，2022年，8月28日生物神經(jīng)元及神經(jīng)網(wǎng)絡(luò)神經(jīng)元對(duì)信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多個(gè)輸入。由于輸入分布于不同的部位，對(duì)神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時(shí)間也不一祥。因此，一個(gè)神經(jīng)元接受的信息，在時(shí)間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對(duì)它們進(jìn)行積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。第三頁，共五十三頁，2022年，8月28日一、人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)？它就是在對(duì)大腦的生理研究的基礎(chǔ)上，用模擬生物神經(jīng)元的某些基本功能元件（即人工神經(jīng)元），按各種不同的聯(lián)結(jié)方式組織起來的一個(gè)網(wǎng)絡(luò)。其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面的功能，可以用在模仿視覺、模式識(shí)別、函數(shù)逼近、模式識(shí)別、分類和數(shù)據(jù)壓縮等領(lǐng)域，是近年來人工智能計(jì)算的一個(gè)重要學(xué)科分支。人工神經(jīng)網(wǎng)絡(luò)有多種形式，其中反向傳播人工神經(jīng)網(wǎng)絡(luò)(Back-PropagationArtificialNetwork,簡(jiǎn)稱BP網(wǎng)絡(luò))是一種廣泛使用的神經(jīng)網(wǎng)絡(luò)模型，它充分體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。BP網(wǎng)絡(luò)是一種對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80％～90％的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式。第四頁，共五十三頁，2022年，8月28日1.1BP神經(jīng)網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般為多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響外，還受神經(jīng)元內(nèi)部其它因素的制約，因此在人工神經(jīng)元的建模中，常常加一額外輸入信號(hào)，稱為偏差(bais)，并取值為1。

輸入分量權(quán)值分量

神經(jīng)元的輸出偏差權(quán)值

激活函數(shù)輸入分量通過與它相乘的權(quán)值分量相連，求和后與偏差權(quán)值共同構(gòu)成激活函數(shù)的輸入

。第五頁，共五十三頁，2022年，8月28日偏差神經(jīng)元的輸出為：

偏差b被簡(jiǎn)單地加在上，作為激活函數(shù)的一個(gè)輸入分量。偏差的重要作用，它使得激活函數(shù)的圖形可以左右移動(dòng)，這樣可增加網(wǎng)絡(luò)解決問題的能力。

第六頁，共五十三頁，2022年，8月28日激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmoid函數(shù)：雙曲正切tanh函數(shù)：Sigmoid函數(shù)和雙曲正切tanh函數(shù)都是單調(diào)上升函數(shù)，其極值分別為0、1和－1、＋1，且都是可微的。第七頁，共五十三頁，2022年，8月28日激活函數(shù)的一階導(dǎo)數(shù)在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中，要用到激活函數(shù)的一階導(dǎo)數(shù)。Sigmoid函數(shù)的導(dǎo)數(shù)：雙曲正切tanh函數(shù)的導(dǎo)數(shù)：由此可以看出，由于激活函數(shù)的特點(diǎn)，用神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)，需對(duì)輸入和輸出的值進(jìn)行調(diào)整。激活函數(shù)是采用Sigmoid函數(shù)時(shí)，輸入和輸出的值應(yīng)在{0,1}之間；激活函數(shù)是雙曲正切tanh函數(shù)時(shí)，輸入和輸出的值范圍則在{－1,1}之間。第八頁，共五十三頁，2022年，8月28日1.2BP網(wǎng)絡(luò)的模型結(jié)構(gòu)BP網(wǎng)絡(luò)是一種在輸入層和輸出層之間具有一層或多層隱層的網(wǎng)絡(luò)模型，而其典型的結(jié)構(gòu)為有一隱層、包含輸入層和輸出層的三層網(wǎng)絡(luò)模型。典型BP網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如下：網(wǎng)絡(luò)的輸入模式向量為P，有r個(gè)輸入神經(jīng)元，對(duì)應(yīng)輸入模式向量的每個(gè)元素。

隱層內(nèi)有s1個(gè)神經(jīng)元，對(duì)應(yīng)隱層輸出是a1。網(wǎng)絡(luò)的輸出為a2，有s2個(gè)神經(jīng)元，而目標(biāo)輸出為T。

三層BP神經(jīng)網(wǎng)絡(luò)不同層神經(jīng)元之間實(shí)現(xiàn)權(quán)重連接，而每層內(nèi)各個(gè)神經(jīng)元之間不連接。第九頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的四個(gè)計(jì)算過程輸人模式由輸入層經(jīng)隱含層向輸出層的“模式正向傳播”過程；（神經(jīng)元的激活值從輸入層經(jīng)隱含層向輸出層傳播，在輸出層各神經(jīng)元獲得網(wǎng)絡(luò)響應(yīng)。）網(wǎng)絡(luò)實(shí)際輸出與希望輸出的誤差信號(hào)由輸出層經(jīng)隱含層向輸入層逐層修正連接權(quán)和閡值的“誤差反向傳播”過程；由“模式正向傳播”過程與“誤差反向傳播”過程的反復(fù)交替進(jìn)行的網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程；網(wǎng)絡(luò)全局誤差趨向極小的學(xué)習(xí)收斂過程。（網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷增加。）第十頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的計(jì)算過程的簡(jiǎn)單描述（1）模式正向傳播過程隱含層中第j個(gè)神經(jīng)元的輸出為：輸出層中第k個(gè)神經(jīng)元的輸出為：誤差反向傳播過程定義誤差函數(shù)為：

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程就是通過調(diào)整權(quán)值，使誤差E最小，此時(shí)可利用最速下降法求權(quán)值及誤差的反向傳播。第十一頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的計(jì)算過程的簡(jiǎn)單描述（2）隱含層中第j個(gè)神經(jīng)元的輸出的權(quán)值變化為：對(duì)第i個(gè)輸入到隱含層中第j個(gè)神經(jīng)元輸出的權(quán)值變化為：修正后的新權(quán)重調(diào)整為：

η稱為學(xué)習(xí)系數(shù)，值在{0,1}之間。

第十二頁，共五十三頁，2022年，8月28日加快BP網(wǎng)絡(luò)訓(xùn)練速度的方法

BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用，但也存在自身的不足與限制，主要表現(xiàn)在網(wǎng)絡(luò)訓(xùn)練需較長(zhǎng)時(shí)間和網(wǎng)絡(luò)有可能達(dá)到局部最小。據(jù)此，BP網(wǎng)絡(luò)有各種改進(jìn)方法，以加快訓(xùn)練速度，避免陷入局部極小。主要的改進(jìn)方法有：增加動(dòng)量項(xiàng)，以平滑權(quán)的變化，一種常用形式是：α為動(dòng)量因子，值在{0,1}之間，n為迭代次數(shù)。

采用二階學(xué)習(xí)算法。前面的基于函數(shù)梯度的算法屬于一階算法，缺點(diǎn)就是在極值點(diǎn)附近收斂速度慢。采用二階算法，如牛頓法、共軛梯度法等，將有較快的收斂速度。模擬退火法等。第十三頁，共五十三頁，2022年，8月28日1.4BP神經(jīng)網(wǎng)絡(luò)計(jì)算（1）網(wǎng)絡(luò)的層數(shù)：在運(yùn)用BP神經(jīng)網(wǎng)絡(luò)時(shí)，最多采用的是具有一層或兩層隱層的網(wǎng)絡(luò)。

具有偏差和至少一個(gè)S型隱層的網(wǎng)絡(luò)，可以近似任何函數(shù)，這已成為設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)的原則。

網(wǎng)絡(luò)計(jì)算精度的提高，可以通過采用一個(gè)隱層，而增加隱層神經(jīng)元數(shù)的方法來獲得，這也就是通常用一隱層、包含輸入層和輸出層的三層BP網(wǎng)絡(luò)模型的原因。神經(jīng)元數(shù)：輸入和輸出的神經(jīng)元數(shù)可以根據(jù)需要求解的問題和數(shù)據(jù)所表示的方式來確定。問題確定后，輸入層與輸出層的神經(jīng)元數(shù)也就隨之定了。隱層神經(jīng)元數(shù)的選擇有較廣的范圍：當(dāng)隱層神經(jīng)元數(shù)較少時(shí)，誤差下降到一定程度后會(huì)變化很小；當(dāng)隱層神經(jīng)元數(shù)過多時(shí)，不僅網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)，還會(huì)出現(xiàn)過擬合問題，降低神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)功能。通常隱層神經(jīng)元數(shù)的選擇原則是：在能解決問題的前提下，再加上1到2個(gè)神經(jīng)元以加快誤差的下降速度即可。第十四頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計(jì)算（2）初始權(quán)值的選取權(quán)重初始值的選取，對(duì)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)是否達(dá)到局部最小，是否能夠收斂以及訓(xùn)練時(shí)間的長(zhǎng)短有很大的關(guān)系。如果初始權(quán)值太大，使得加和后的值落在激活函數(shù)的飽和區(qū)，從而導(dǎo)致激活函數(shù)的導(dǎo)數(shù)非常小，在計(jì)算權(quán)值修正時(shí)，調(diào)整值接近零，網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練幾乎處在停止?fàn)顟B(tài)。所以一般總是希望經(jīng)過初始權(quán)值計(jì)算后每個(gè)神經(jīng)元的輸出值都接近零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能在激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)。一般來說，初始權(quán)值取{-1,1}之間的隨機(jī)數(shù)是較好的選擇。

第十五頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計(jì)算（3）學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01~0.8之間。在一個(gè)神經(jīng)網(wǎng)絡(luò)的計(jì)算過程中，使網(wǎng)絡(luò)經(jīng)過幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練，通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷所選定的學(xué)習(xí)速率是否合適。如果誤差平方和下降很快，則說明學(xué)習(xí)速率合適若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學(xué)習(xí)速率過大。對(duì)于每一個(gè)具體網(wǎng)絡(luò)都存在一個(gè)合適的學(xué)習(xí)速率。但對(duì)于較復(fù)雜網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率。為了減少尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用變化的學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段自動(dòng)設(shè)置不同學(xué)習(xí)速率的大小。第十六頁，共五十三頁，2022年，8月28日1.3BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET簡(jiǎn)介BATCHNET是一個(gè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算的DOS程序，程序由batchnet.exe和weights.exe兩個(gè)可執(zhí)行文件構(gòu)成。batchnet為網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)程序，激活函數(shù)為Sigmoid函數(shù)，輸入輸出樣本值范圍為{0,1}。weights程序產(chǎn)生初始權(quán)值。批處理程序demo.batbatchnet-e10–d1.0e-5demo.run說明：-e10—

表示網(wǎng)絡(luò)每迭代10步后顯示誤差；-d1.0e-5—

表示網(wǎng)絡(luò)訓(xùn)練誤差；demo.run—

求解問題的網(wǎng)絡(luò)參數(shù)文件，由batchnet調(diào)用，文件名可改，但擴(kuò)展名run不能變。

第十七頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET簡(jiǎn)介網(wǎng)絡(luò)參數(shù)文件demo.run的格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—運(yùn)行次數(shù)，本例為4；

fOut—網(wǎng)絡(luò)計(jì)算結(jié)果輸出文件，輸出；fErr—網(wǎng)絡(luò)計(jì)算誤差文件，輸出；fPat—訓(xùn)練學(xué)習(xí)樣本文件，輸入；fWts—問題的初始權(quán)值文件，輸入，由程序weights產(chǎn)生；fWtso—訓(xùn)練后的權(quán)值文件，輸出；nPats—訓(xùn)練樣本數(shù)，本例為100；nIter—訓(xùn)練迭代次數(shù)，本例為1000；nInp—輸入層神經(jīng)元數(shù)目，本例為9；nHid—隱層神經(jīng)元數(shù)目，本例為4；nOut—輸出層神經(jīng)元數(shù)目，本例為2；eta—學(xué)習(xí)速率，本例為0.15；alpha—?jiǎng)恿恳蜃?，本例?.075。

表示用BP神經(jīng)網(wǎng)絡(luò)先對(duì)100對(duì)輸入輸出樣本進(jìn)行學(xué)習(xí)訓(xùn)練1000次，預(yù)測(cè)166個(gè)樣本一次，然后繼續(xù)學(xué)習(xí)訓(xùn)練1000次后再進(jìn)行一次預(yù)測(cè)。Batchnet如只計(jì)算一次，則不對(duì)連接權(quán)重進(jìn)行更新。

第十八頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET簡(jiǎn)介程序weights的運(yùn)行:weightsint_numnInpnHidnOutran_wts

說明：int_num—

任一6位整數(shù)；nInp—

輸入層神經(jīng)元數(shù)目；nHid—

隱層神經(jīng)元數(shù)目；nOut—

輸出層神經(jīng)元數(shù)目，這3個(gè)參數(shù)同run程序中的相一致；ran_wts—

初始權(quán)值取值范圍，實(shí)數(shù)1.表示取值范圍在{-1,1}之間。Weights1234569421.0第十九頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET簡(jiǎn)介訓(xùn)練樣本文件fPat的格式：說明：In_pat—

樣本的輸入；Out_pat—

對(duì)應(yīng)的樣本輸出；Id—

對(duì)應(yīng)的樣本標(biāo)號(hào)；

In_patOut_patId0.3636360.1916670.70.750.6666670.5312250.08983330.05042190.6844341012345670.3272730.1875010.7333330.750.80.5310380.08194420.05042190.801057101234567

第二十頁，共五十三頁，2022年，8月28日例題例題：合成烯胺中副產(chǎn)品的抑制（P249）在TiCl4的存在下，3,3-二甲基-2-丁酮和嗎啉合成嗎啉烯胺過程中會(huì)有一副產(chǎn)物。由于很難用精餾的方法將這副產(chǎn)物同產(chǎn)物烯胺分離，故需盡量抑制副產(chǎn)品的生成，為此，進(jìn)行了下面一系列正交實(shí)驗(yàn)研究。實(shí)驗(yàn)條件見表1，實(shí)驗(yàn)的設(shè)計(jì)和產(chǎn)率的結(jié)果見表2。請(qǐng)分析實(shí)驗(yàn)結(jié)果，確定如何調(diào)節(jié)實(shí)驗(yàn)條件，使烯胺的產(chǎn)率最大，而同時(shí)抑制副產(chǎn)品的生成。因素水平-1.414-1011.414x1：?jiǎn)徇?酮(mol/mol)3.003.595.006.417.00x2：TiCl4/酮(mol/mol)0.500.570.750.931.00x3：反應(yīng)溫度(℃)526080100108歸一化水平00.14640.50.85361第二十一頁，共五十三頁，2022年，8月28日實(shí)驗(yàn)結(jié)果與歸一化序號(hào)x1x2x3y1y21-1-1-141.614.621-1-145.16.73-11-151.726.2411-164.717.75-1-1147.811.961-1157.17.57-11163.026.1811177.811.091.4140066.78.110-1.4140049.522.21101.414070.418.9120-1.414043.98.013001.41466.49.81400-1.41452.417.31500056.513.81600060.012.31700058.612.61800057.213.6x11x21x31y1y20.14750.140.1428570.4160.1460.85250.140.1428570.4510.0670.14750.860.1428570.5170.2620.85250.860.1428570.6470.1770.14750.140.8571430.4780.1190.85250.140.8571430.5710.0750.14750.860.8571430.6300.2610.85250.860.8571430.7780.11010.50.50.6670.08100.50.50.4950.2220.510.50.7040.1890.500.50.4390.0800.50.510.6640.0980.50.500.5240.1730.50.50.50.5650.1380.50.50.50.6000.1230.50.50.50.5860.1260.50.50.50.5720.136第二十二頁，共五十三頁，2022年，8月28日1.4關(guān)于ANN的進(jìn)一步說明選用合適的學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)樣本、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、采用適當(dāng)?shù)膶W(xué)習(xí)訓(xùn)練方法就能得到包含學(xué)習(xí)訓(xùn)練樣本范圍的輸入與輸出關(guān)系。如果用于學(xué)習(xí)訓(xùn)練的樣本不能充分反映體系的特性，用ANN也不能很好的描述與預(yù)測(cè)體系，所以有“垃圾進(jìn)，垃圾出；金子進(jìn)，金子出”之說。確定性模型的參數(shù)回歸與ANN之類的非確定性模型的不同特點(diǎn)。第二十三頁，共五十三頁，2022年，8月28日確定性模型與非確定性模型的比較確定性模型的參數(shù)回歸的特點(diǎn)：自變量與因變量之間有明確的函數(shù)關(guān)系，具有未知數(shù)值的參數(shù)，需要通過自變量與因變量的數(shù)據(jù)組樣本來回歸估計(jì)，而且參數(shù)個(gè)數(shù)通常較少，具有明確的物理意義。ANN之類的非確定性模型的特點(diǎn)：無須針對(duì)問題提出明確的自變量與因變量之間的函數(shù)關(guān)系，而函數(shù)關(guān)系用含有眾多自由參數(shù)的模型回歸擬合，但自由參數(shù)無明確的物理意義。因此，確定性模型回歸的主要目標(biāo)是得到模型的參數(shù)值。而非確定性模型計(jì)算的主要目標(biāo)是得到輸入與輸出的關(guān)系。第二十四頁，共五十三頁，2022年，8月28日二、模擬退火法（SimulatedAnnealing）人工神經(jīng)網(wǎng)絡(luò)方法是用某種目標(biāo)函數(shù)的全局極小作為算法搜索和網(wǎng)絡(luò)所要達(dá)到的目標(biāo)。在學(xué)習(xí)或運(yùn)行過程中，網(wǎng)絡(luò)的誤差總是按其梯度下降的方向變化。當(dāng)梯度趨于零時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)或運(yùn)行就停止了，所以這種算法往往會(huì)陷入局部最小而達(dá)不到全局最小。導(dǎo)致網(wǎng)絡(luò)陷入局部最小的主要原因是網(wǎng)絡(luò)誤差按單方向減少，沒有上升的過程。如果將誤差的減少過程由“總是按梯度下降的方向變化”改為“大部分情況下按梯度下降的方向變化”，而有時(shí)按梯度上升的方向變化，這樣就有可能跳出局部最小而達(dá)到全局最小(下圖給出了梯度下降法(a)和SA方法(b)搜索途徑)。模擬退火算法的基本思想

第二十五頁，共五十三頁，2022年，8月28日模擬退火法的起源SA算法是受金屬冷卻過程的啟發(fā)，最早由Metropolis于1953年提出來的。它靈活有效，能對(duì)問題進(jìn)行全局優(yōu)化。金屬中原子的能量與溫度有關(guān)。原子能量高的時(shí)候，有能力擺脫其原來的能量狀態(tài)而最后達(dá)到一個(gè)更加穩(wěn)定的狀態(tài)——全局極小能量狀態(tài)。金屬固體進(jìn)行退火處理時(shí)，通常先將它加熱熔化，然后逐漸降低溫度。在凝固點(diǎn)附近，若溫度下降的速度足夠慢，則固體物質(zhì)會(huì)形成能量最低的穩(wěn)定狀態(tài)。其中的金屬粒子都經(jīng)歷能量由高到低、暫時(shí)由低到高、最終趨向低能態(tài)的過程。在金屬的退火過程中，能量的狀態(tài)分布：P(E)∝P(E)——系統(tǒng)處于具有能量E的狀態(tài)的概率；k——Boltzmann常數(shù)；T——系統(tǒng)的絕對(duì)溫度(Kelvin)

第二十六頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法SA算法將優(yōu)化問題與統(tǒng)計(jì)物理學(xué)中的熱平衡問題進(jìn)行類比，即將統(tǒng)計(jì)物理學(xué)處理金屬固體冷卻的熱平衡方法用于優(yōu)化問題。

目標(biāo)函數(shù)——能量函數(shù)優(yōu)化參數(shù)的狀態(tài)空間——物質(zhì)的微觀狀態(tài)人工溫度T——一個(gè)初值較大的控制參數(shù)依據(jù)網(wǎng)絡(luò)的能量來決定控制參數(shù)的調(diào)整量（稱為步長(zhǎng)）。當(dāng)T較大時(shí)，目標(biāo)函數(shù)值由低向高變化的可能性較大；而T減小，這種可能性也隨之減小。與金屬的退火過程（Annealing）非常相似。當(dāng)控制參數(shù)T下降到一定程度時(shí)，目標(biāo)函數(shù)將收斂于最小值。模擬退火優(yōu)化算法的基本思想第二十七頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法計(jì)算機(jī)模擬某一溫度T下物質(zhì)體系熱平衡狀態(tài)的方法：Step1：隨機(jī)選擇一個(gè)初始微觀狀態(tài)i作為當(dāng)前狀態(tài)，其相應(yīng)的能量為Ei。Step2：從狀態(tài)i作隨機(jī)擾動(dòng)，產(chǎn)生一新的狀態(tài)j，其相應(yīng)的能量為Ej，計(jì)算能量增量△E=Ei

–Ej。Step3：如果△E≤0，則接受狀態(tài)j作為當(dāng)前狀態(tài)，即j→i；若△E＞0

，計(jì)算基于Boltzmann分布函數(shù)的比值：其中:Boltzmann分布函數(shù)

k為Boltzmann常數(shù)取(0,1)之間的一個(gè)隨機(jī)數(shù)p，若r＞p，則接受狀態(tài)j作為當(dāng)前狀態(tài)，即j→i

；否則，保持原來的狀態(tài)i。第二十八頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法從Boltzmann分布函數(shù)的比值(即式)可看出，溫度高時(shí)大，相應(yīng)kT也較大，接受與當(dāng)前狀態(tài)能差較大的新狀態(tài)的概率大；降低溫度，r較小，只能接受能差較小的新狀態(tài)。因此不斷降低溫度，體系最終能達(dá)到能量最低熱平衡狀態(tài)。

Step4：重復(fù)第二、三步，在大量的能量狀態(tài)變化后，系統(tǒng)處于能量較低的平衡態(tài)。降低溫度T再重復(fù)上述過程，體系又處在能量更低的平衡態(tài)。第二十九頁，共五十三頁，2022年，8月28日SA基本算法的步驟與框圖首先進(jìn)行初始化，任意給定初始態(tài)X0，取參數(shù)初值T0，計(jì)算優(yōu)化目標(biāo)函數(shù)E0，然后按下進(jìn)行：（1）隨機(jī)產(chǎn)生擾動(dòng)態(tài)Xi，計(jì)算△E=Ei

–E0

;（2）若△E＜0

，轉(zhuǎn)到(4)。否則在(0,1)之間的一個(gè)隨機(jī)數(shù)p;（3）若exp(△E/T)＜p

，轉(zhuǎn)(5);（4）用Xi代替X0，E0

+△E代替E0；（5）以某種方式取Ti

＜T0，如Ti=αT0；（6）SA計(jì)算過程是否結(jié)束，是就停止，否則就轉(zhuǎn)到(1)。第三十頁，共五十三頁，2022年，8月28日SA算法的控制SA算法能否達(dá)到目標(biāo)函數(shù)的最小值，主要取決于控制參數(shù)的初值是否足夠高和其下降得是否慢，因此注意有關(guān)控制參數(shù)的選取問題。對(duì)于參數(shù)初值T0，常用的處理方法之一是在均勻地隨機(jī)抽樣X0后，取的E0方差作為T0。對(duì)于降溫策略Ti=αT0，0＜α＜1，常取α∈[0.85,0.96]。SA算法的使用可以參考教材P257（FORTRAN程序）用SA擬合丙烷－絲光沸石體系在303K時(shí)的吸附平衡數(shù)據(jù)和模型。GeneticAlgorithmandDirectSearchToolboxinMATLABv2007a

(UsingtheSimulatedAnnealingandThresholdAcceptanceAlgorithms)

第三十一頁，共五十三頁，2022年，8月28日三、遺傳算法(GeneticAlgorithm)遺傳算法是一種模擬自然選擇和遺傳的隨機(jī)搜索算法。它最初由Holland在1975年提出的，研究自然系統(tǒng)的適應(yīng)過程和設(shè)計(jì)具有自適應(yīng)性能的軟件。遺傳算法的基本形式是用染色體來表示參數(shù)空間的編碼，用適應(yīng)度函數(shù)來評(píng)價(jià)染色體群體的優(yōu)劣，通過遺傳操作產(chǎn)生新的染色體，并用概率來控制遺傳操作。遺傳算法是一種非線性方法，它具有簡(jiǎn)潔、靈活、高效和全局優(yōu)化的特性，在過程控制、系統(tǒng)診斷、非線性擬合與優(yōu)化、人工智能等工程和研究領(lǐng)域都得到了廣泛的應(yīng)用。第三十二頁，共五十三頁，2022年，8月28日遺傳算法基礎(chǔ)遺傳算法是一種迭代算法，它在每一次迭代時(shí)都擁有一組解(父代染色體群體)，這組解答最初是隨機(jī)生成的。在每次迭代時(shí)，首先保持解，然后染色體群體經(jīng)過遺傳操作(選擇、雜交、變異等)，生成新的組解(子代染色體群體)。每個(gè)解都由一個(gè)目標(biāo)函數(shù)來評(píng)價(jià)，而且這一過程不斷重復(fù)，直至達(dá)到某種形式上的收斂。新的一組解不但可以有選擇地保留一些先前迭代中目標(biāo)函數(shù)值高的解，而且可以包括一些經(jīng)由其它解結(jié)合而得的新的解，其子代的數(shù)值可以與其父代的情況有相當(dāng)大的差別。第三十三頁，共五十三頁，2022年，8月28日符號(hào)串表示和遺傳操作的設(shè)計(jì)遺傳算法的術(shù)語借鑒于自然遺傳學(xué),遺傳物質(zhì)的主要載體是染色體。在遺傳算法中，染色體(個(gè)體)由一串?dāng)?shù)據(jù)或數(shù)組構(gòu)成，用來作為問題解的代碼。染色體由決定其特性的基因構(gòu)成，而基因又可以有稱為等位基因的不同取值。目標(biāo)函數(shù)稱為適應(yīng)度函數(shù)，而一組染色體稱為群體。遺傳算法的一次迭代稱為一代。遺傳算法成功的關(guān)鍵在于符號(hào)串表示和遺傳操作的設(shè)計(jì)。第三十四頁，共五十三頁，2022年，8月28日染色體解空間中的每一點(diǎn)都對(duì)應(yīng)一個(gè)用由基因表示的染色體。

例如：要確定適應(yīng)度函數(shù)f(x,y)的最大值，搜尋空間變量x和y為整數(shù)，其變化范圍是0-15。這樣對(duì)應(yīng)于搜尋空間任何點(diǎn)可由兩基因的染色體來表示：

點(diǎn)（2,6）用二進(jìn)制數(shù)有如下的染色體：xy26→00100110第三十五頁，共五十三頁，2022年，8月28日交叉在兩父代的染色體的隨機(jī)長(zhǎng)度位置上，用交叉概率進(jìn)行后部交換，產(chǎn)生兩子代，如下所示：上面的交叉操作稱為單點(diǎn)交叉。一般地可以進(jìn)行多點(diǎn)交叉，如下所示：第三十六頁，共五十三頁，2022年，8月28日變異與交叉不同，變異涉及到一染色體個(gè)體的一個(gè)或多個(gè)基因位的翻轉(zhuǎn)，產(chǎn)生新的基因組合，以通過交叉來獲得子代染色體。下面的任一方法都可以用來進(jìn)行變異操作：隨機(jī)選擇的基因位數(shù)值可以被隨機(jī)產(chǎn)生的數(shù)值替代，這種替代對(duì)二進(jìn)制和非二進(jìn)制染色體都適用；在二進(jìn)制染色體中，可以對(duì)隨機(jī)選擇的基因位進(jìn)行觸發(fā)，即1→0或0→1?？梢砸愿怕蔖m隨機(jī)選擇個(gè)體進(jìn)行變異操作。變異操作的主要優(yōu)點(diǎn)是使染色體群體中出現(xiàn)各種基因，這樣遺傳算法有在參數(shù)解空間找出各種可能的解，避免解的丟失。第三十七頁，共五十三頁，2022年，8月28日有效性檢驗(yàn)對(duì)于不同的優(yōu)化問題，有時(shí)需要增加檢驗(yàn)，確保新子代的染色體表示的是參數(shù)解空間中的有效點(diǎn)。如考慮由四個(gè)基因組成的染色體，每個(gè)基因有三個(gè)可能的二進(jìn)制值A(chǔ)=01，B=10，C=11。二進(jìn)制染色體表示組合BACA是：1001110110011100如對(duì)最后的基因位進(jìn)行變異操作，產(chǎn)生了如下所示的無效染色體，因基因值00沒有定義。同樣，交叉也可能產(chǎn)生有缺陷的染色體操作?？朔@些問題的方法是采用結(jié)構(gòu)操作，交叉或變異操作針對(duì)基因，而不是針對(duì)基因位。這樣，交叉操作點(diǎn)總能與基因邊界相一致，變異操作對(duì)整個(gè)基因組隨機(jī)選擇新值，確保產(chǎn)生有效染色體。如此做的缺點(diǎn)是染色體群體的差異性會(huì)受到影響。

第三十八頁，共五十三頁，2022年，8月28日基本的遺傳算法框圖初始染色體群體隨機(jī)產(chǎn)生；用適應(yīng)度函數(shù)來評(píng)價(jià)染色體個(gè)體；根據(jù)適應(yīng)度產(chǎn)生繁殖的染色體個(gè)體，適應(yīng)度好的染色體個(gè)體其被選擇來繁殖的可能性大；通過染色體對(duì)的交叉和變異操作，產(chǎn)生各自的子代繁殖染色體。第三十九頁，共五十三頁，2022年，8月28日基本的遺傳算法在遺傳算法中，是依據(jù)適應(yīng)度來選擇個(gè)體進(jìn)行繁殖的，最適合的染色體繁殖的可能性也最大。選擇不僅決定由那些個(gè)體來繁殖，而且還要確定繁殖子代的數(shù)目。因此選擇的方法對(duì)遺傳算法的有效性有著重要的作用。GA算法的使用可以參考教材P262（FORTRAN程序）GeneticAlgorithmandDirectSearchToolboxinMATLABv2006a第四十頁，共五十三頁，2022年，8月28日GeneticAlgorithmToolboxinMATLABCallingtheFunctiongaattheCommandLine[xfval]=ga(@fitnessfun,nvars,options)@fitnessfunisahandletothefitnessfunction.nvarsisthenumberofindependentvariablesforthefitnessfunction.optionsisastructurecontainingoptionsforthegeneticalgorithm.Ifyoudonotpassinthisargument,gausesitsdefaultoptions.Step

x—Pointatwhichthefinalvalueisattainedfval—FinalvalueofthefitnessfunctionUsingtheGeneticAlgorithmToolgatool第四十一頁，共五十三頁，2022年，8月28日GAToolGUIofMATLAB目標(biāo)函數(shù)變量數(shù)約束條件圖形顯示執(zhí)行計(jì)算計(jì)算結(jié)果計(jì)算選項(xiàng)第四十二頁，共五十三頁，2022年，8月28日Ex1:UnconstrainedMinimizationUsingGAFunction：Thefunctionhastwolocalminima：oneatx=0,wherethefunctionvalueis-1,theotheratx=21,wherethefunctionvalueis-1-1/e.Sincethelattervalueissmaller,theglobalminimumoccursatx=21.第四十三頁，共五十三頁，2022年，8月28日Resultoflocalminimumfunctiony=two_min(x)ifx<=20y=-exp(-(x/20).^2);elsey=-exp(-1)+(x-20)*(x-22);end第四十四頁，共五十三頁，2022年，8月28日

Howtoexplorepointsneartheglobalminimum

Onewaytomakethegeneticalgorithmexploreawiderrangeofpoints—thatis,toincreasethediversityofthepopulations—istoincreasetheInitialrange.第四十五頁，共五十三頁，2022年，8月28日Rangeofindividualsineachgenerationamuchwiderrangeofindividuals.Bythesecondgenerationthereareindividualsgreaterthan21,andbygeneration12,thealgorithmfindsabestindividualthatisapproximatelyequalto21.allindividualsarebetween-2and2.5.WhilethisrangeislargerthanthedefaultInitialrangeof[0;1],duetomutation,itisnotlargeenoughtoexplorepointsneartheglobalminimumatx=21.第四十六頁，共五十三頁，2022年，8月28日Ex2:ConstrainedMinimizationUsingGA

minimizeasimplefitnessfunctionoftwovariablesx1andx2minf(x)=100*(x1^2-x2)^2+(1-x1)^2;x

thefollowingtwononlinearconstraintsandboundsaresatisfiedx1*x2+x1-x2+1.5<=0,(nonlinearconstraint)10-x1*x2<=0,(nonlinearconstraint)0<=x1<=1,and(bound)0<=x2<=13(bound)第四十七頁，共五十三頁，2022年，8月28日Defineofobjectivefunctionandconstrainsfunction[c,ceq]=simple_constraint(x)c=[1.5+x(1)*x(2)+x(1)-x(2);-x(1)*x(2)+10];ceq=[];functiony=simple_fitness(x)y=100*(x(1)^2-x(2))^2+(1-x(1))^2;0<=x1<=10<=x2<=13第四十八頁，共五十三頁，2022年，