非線(xiàn)性回歸小結(jié)

非線(xiàn)性回歸中參數(shù)估計(jì)的優(yōu)化算法現(xiàn)代數(shù)學(xué)新進(jìn)展結(jié)課論文（南京理工大學(xué)理學(xué)院 信息與計(jì)算科學(xué)?。┲笇?dǎo)教師：馮教授 南京理工大學(xué)理學(xué)院評(píng)語(yǔ):時(shí)間：2010年12月8日摘要：選擇現(xiàn)代非線(xiàn)性回歸問(wèn)題中的參數(shù)估計(jì)問(wèn)題作為近代數(shù)學(xué)新進(jìn)展的結(jié)課論文探討主題。首先在第一部分概述參數(shù)估計(jì)、回歸分析的用途等知識(shí)；第二部分主要回顧線(xiàn)性回歸模型的基本知識(shí)；第三部分介紹非線(xiàn)性回歸模型基本構(gòu)造知識(shí)以及非線(xiàn)性回歸中參數(shù)估計(jì)的幾個(gè)問(wèn)題，并著重介紹若干優(yōu)化算法，若傳統(tǒng)優(yōu)化算法、現(xiàn)代智能算法等。關(guān)鍵詞：非線(xiàn)性回歸參數(shù)估計(jì)優(yōu)化算法第一章回歸分析參數(shù)估計(jì)一、回歸分析（一）、回歸分析含義：回歸分析是指，為了擬合所需要的統(tǒng)計(jì)模型，進(jìn)而通過(guò)優(yōu)化目標(biāo)函數(shù)來(lái)估計(jì)模型中的參數(shù)，并對(duì)適當(dāng)?shù)哪Ｐ图僭O(shè)作檢驗(yàn)，以及用擬合好的模型作出統(tǒng)計(jì)預(yù)測(cè)的一種方法?；貧w分析就是將所關(guān)心的特性（稱(chēng)為“相應(yīng)變量”）的性能與潛在的原因（稱(chēng)為“解釋變量”）聯(lián)系起來(lái)。這樣的關(guān)系可以通過(guò)科學(xué)、經(jīng)濟(jì)、工程等學(xué)科的模型作出規(guī)定，目的是幫助人們理解響應(yīng)變差的潛在原因，并解釋每個(gè)因素對(duì)該變差所起的作用大小。數(shù)學(xué)處理時(shí)，通過(guò)統(tǒng)計(jì)將響應(yīng)變量的變差與解釋變量的變差聯(lián)系起來(lái)，并通過(guò)將預(yù)期和實(shí)際響應(yīng)變差之間的偏差減小至最低從而達(dá)到所謂的最佳擬合。（二）、回歸分析用途：1、檢驗(yàn)有關(guān)潛在解釋變量對(duì)響應(yīng)變量影響的假設(shè)，并針對(duì)解釋變量的已知變化，使用這些信息描述估計(jì)的響應(yīng)變化。2、 針對(duì)解釋變量的具體值，通過(guò)構(gòu)造的模型預(yù)測(cè)響應(yīng)變量值。3、 針對(duì)給出的解釋變量的特性值，在規(guī)定的置信水平內(nèi)預(yù)測(cè)響應(yīng)變量值的預(yù)期范圍。4、 估計(jì)響應(yīng)變量和解釋變量相關(guān)的方向和程度，這主要是研究變量之間的協(xié)方差，方向則用正負(fù)表示，程度是用絕對(duì)值大小衡量。但需要注意的是，這樣的關(guān)聯(lián)并不意味著因果關(guān)系，因果關(guān)系需要其他工具繼續(xù)分析，如Grander因果分析等。（三）回歸分析分類(lèi)：線(xiàn)性回歸和非線(xiàn)性回歸若丫是一個(gè)隨機(jī)變量，X是K維隨機(jī)變量，則給定X=（咅公2,……,Xk）時(shí)，丫的條件期望f（Xl，X2,……,Xk）作為Xl，X2,……，xk的函數(shù)，稱(chēng)為丫對(duì)X的回歸函數(shù)。此時(shí)，丫二壯心卷,……，Xk）稱(chēng)為回歸方程，回歸函數(shù)的圖形成為回歸曲面。當(dāng)y關(guān)于函數(shù)中每一個(gè)變量都是線(xiàn)性時(shí)，也即回歸曲面是一個(gè)超平面的時(shí)候，回歸函數(shù)形式為：y二iX<2X2……-AXk-z（其中z可看成是一個(gè)隨機(jī)干擾項(xiàng)的值），此時(shí)稱(chēng)模型為線(xiàn)性回歸模型，或者表示為Y=忙人+爲(wèi)乂2+……+0kXk+ZY=（X1fX2……Xk）B+Z其中X=（Xl，X2……Xk），一（F：2……J，另外一般假設(shè)Z服從正態(tài)分布，且期望為0。線(xiàn)性回歸模型在數(shù)理統(tǒng)計(jì)中發(fā)展迅速，進(jìn)而在社會(huì)經(jīng)濟(jì)生活各方面得到了廣泛的應(yīng)用，其中最小二乘估計(jì)等方法已經(jīng)甚為成熟。然而現(xiàn)實(shí)世界中嚴(yán)格的線(xiàn)性模型并不多，因此非線(xiàn)性回歸模型更加符合實(shí)際。當(dāng)丫關(guān)于函數(shù)中的變量不全都是線(xiàn)性關(guān)聯(lián)時(shí)，模型成為非線(xiàn)性模型，其可以表示為：丫二f（X,日）+z，其中x=（Xi,X2xj，日=佝，日2,日k），也就是說(shuō)，非線(xiàn)性模型的期望響應(yīng)是關(guān)于參數(shù)的非線(xiàn)性函數(shù)，除此之外的均與線(xiàn)性模型相同。二、參數(shù)估計(jì)參數(shù)估計(jì)是根據(jù)從總體中抽取的樣本估計(jì)總體分布中包含的未知參數(shù)的方法。它是統(tǒng)計(jì)推斷的一種基本形式（另一種形式即是假設(shè)檢驗(yàn)問(wèn)題） ，是數(shù)理統(tǒng)計(jì)學(xué)的一個(gè)重要分支，分為點(diǎn)估計(jì)和區(qū)間估計(jì)兩部分。

點(diǎn)估計(jì)問(wèn)題的提法是：設(shè)總體的分布函數(shù)F(XJ)的形式已知，二是待估計(jì)參數(shù)，Xi，X2,……Xk是.的一個(gè)樣本，Xi，X2,……Xk是相應(yīng)的一個(gè)樣本值。點(diǎn)估計(jì)的問(wèn)題就是要構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量T(Xi，X2,……Xk)，用其觀察值t二T(x>,x2,……Xk)來(lái)估計(jì)未知參數(shù)二，稱(chēng)T=T(Xi，X2,……Xk)為二的估計(jì)量，稱(chēng)4t二T(Xi,X2， Xk)為二的估計(jì)值，籠統(tǒng)的稱(chēng)為估計(jì)，記為二。區(qū)間估計(jì)是指對(duì)于參數(shù)不僅要求出其點(diǎn)估計(jì)，還要得到估計(jì)的誤差，即估計(jì)出一個(gè)范圍，并求出這個(gè)范圍包含參數(shù)真值的可信程度。此時(shí)的估計(jì)稱(chēng)為區(qū)間估計(jì)，相應(yīng)的區(qū)間稱(chēng)為置信區(qū)間。下面給出具體定義：設(shè)總體?的分布函數(shù)F(X,R中含有未知參數(shù)二，其是待估計(jì)參數(shù)。對(duì)于給定值：(1，若由樣本X1，X2,Xk確定的兩個(gè)統(tǒng)計(jì)量—g(Xi，X2,……Xk)，百=9(Xi,X2,……Xk)滿(mǎn)足P{?"^}=1—a，則稱(chēng)隨即區(qū)間［二習(xí)為置信度為1-：的置信區(qū)間。第二章線(xiàn)性回歸方法知識(shí)回顧對(duì)于統(tǒng)計(jì)回歸模型，無(wú)論是線(xiàn)性的或非線(xiàn)性的，模型中未知參數(shù)的估計(jì)有一個(gè)最通用的準(zhǔn)則：最小二乘準(zhǔn)則。(雖然有其它的準(zhǔn)則如極大似然準(zhǔn)則可用，但最小二乘準(zhǔn)則有某些最優(yōu)的性質(zhì)也許就夠了，最小二乘準(zhǔn)則提供了實(shí)踐中最佳可用的估計(jì)。)即，XZ中：的LS(最小二乘)估計(jì)是由觀察到的Yt與假nS(P)=：Z(Yt-0XJ2定的真實(shí)模型的偏差平方和取極小值而得到，即極小化 ,,(2.1)。使上式最小的卩可以記為目，當(dāng)假設(shè)似然函數(shù)P(Y|0)是正態(tài)分布函數(shù)極大似然估計(jì)與最小二乘估計(jì)相同，所以 也可稱(chēng)為極大似然估計(jì)

S的極小值可以由(1.1。式對(duì)：求微分得到，令導(dǎo)數(shù)等于0,解出‘，則有誤差并且它不是隨機(jī)變量時(shí)，'是隨機(jī)變量Yt的線(xiàn)性組合。若假定Yt是圍繞其均值Xt波動(dòng)且具有有限方差匚2的正太分布（這個(gè)方差也即是Z的方差），則由此得出[也是服從正態(tài)分布的。此外，1的期望是需要的真實(shí)參數(shù)-，意味著1是————(Y-Xt)Xt=0，得到:(2.2。。當(dāng)假定Xt沒(méi)有輸入_2Var（甘）= _2：的無(wú)偏估計(jì)，且‘的方差為： "Xt，它是'的任何線(xiàn)性無(wú)偏估計(jì)量中具有最小的可能方差。第三章非線(xiàn)性回歸模型及參數(shù)估計(jì)優(yōu)化算法根據(jù)前文所述，非線(xiàn)性模型表示為：丫=f（X-）Z，其中X=（Xi，X2……XQ廠十佔(zhàn)2,……如，再次假定z服從正態(tài)分布，且E[Z]=0，Var（Z）=；「2。一、可轉(zhuǎn)化為線(xiàn)性的非線(xiàn)性模型有部分非線(xiàn)性模型經(jīng)過(guò)適當(dāng)變換后可以變成線(xiàn)性模型，從而簡(jiǎn)化回歸分析，這類(lèi)模型也稱(chēng)固有線(xiàn)性模型。下面僅列舉幾個(gè)具體模型事例，且僅對(duì)其數(shù)學(xué)變換方法介紹，不介紹其實(shí)際含義，且由于知識(shí)有限不進(jìn)行進(jìn)一步的分析。1、1、f（x,?無(wú)：我們可以將其做倒數(shù)變換，則有2、C-D生產(chǎn)函數(shù)模型：丫二AK：Le1，其中'■服從正態(tài)分布，此模型可以通過(guò)兩邊取對(duì)數(shù)將其化為標(biāo)注的線(xiàn)性模型："丫"nA*InK「InL」然而認(rèn)為的數(shù)據(jù)變換引起了隨即擾動(dòng)項(xiàng)的變化，這將影響到隨機(jī)擾動(dòng)的假設(shè)條件。如果前文所述模型中隨機(jī)干擾項(xiàng)是服從正態(tài)分布的， 多維時(shí)可以是球形正態(tài)分布，這樣是合理的。但對(duì)于變換后的數(shù)據(jù)來(lái)說(shuō)，這樣的假設(shè)就不一定合適。因此要么對(duì)數(shù)據(jù)采用非線(xiàn)性回歸，要么對(duì)變換的數(shù)據(jù)使用加權(quán)最小二乘。除非有時(shí)數(shù)據(jù)集的變換產(chǎn)生了常數(shù)方差，此時(shí)就導(dǎo)出了線(xiàn)性的期望函數(shù)，因此也可以用線(xiàn)性回歸。二、非線(xiàn)性模型參數(shù)估計(jì)問(wèn)題（一）、非線(xiàn)性回歸及其最小二乘估計(jì)模型我們將前文的非線(xiàn)性模型的基礎(chǔ)上，其最小二乘估計(jì)問(wèn)題為：丫=f（X,RZ，其中Z??N（0,；「），設(shè)已知觀測(cè)值｛（X,yi）；i"2……k｝，則模型最小二乘估計(jì)問(wèn)題就是如何求出二，使得對(duì)于任何二都有：S（R乞S（"，其中k2SL）八W-f（x「）］7 ，可定義g/T）=yj-f（x月）為第i組數(shù)據(jù)的殘差，G（R（gi（R,g2（R……gk（R）T為全部數(shù)據(jù)的殘差向量，此時(shí)有ks（旳—［g"）］2引g（"||2。這樣，非線(xiàn)性回歸模型的參數(shù)估計(jì)問(wèn)題就轉(zhuǎn)化i日為無(wú)約束的最優(yōu)化問(wèn)題。（二）、參數(shù)估計(jì)的優(yōu)化算法淺析在非線(xiàn)性回歸分析的參數(shù)估計(jì)問(wèn)題轉(zhuǎn)化為最優(yōu)化問(wèn)題之后就轉(zhuǎn)化為了無(wú)約束極值問(wèn)題，進(jìn)入了另一門(mén)學(xué)科一一算法理論的研究范疇， 這些模型的參數(shù)不可能直接推導(dǎo)算得，只能通過(guò)計(jì)算機(jī)進(jìn)行數(shù)值模擬 （即通過(guò)迭代計(jì)算）從而進(jìn)行一定誤差范圍的近似。得益于數(shù)學(xué)規(guī)劃理論數(shù)十年的發(fā)展，求解參數(shù)問(wèn)題涌現(xiàn)出了大量的計(jì)算方法，除了傳統(tǒng)方法、在傳統(tǒng)方法基礎(chǔ)上的改進(jìn)方法外，現(xiàn)代智能算法的應(yīng)用使得參數(shù)估計(jì)算法工具更加豐富。下面對(duì)其中部分算法作簡(jiǎn)單介紹。1、傳統(tǒng)搜索算法（下降法）：在算法理論正式發(fā)展之前，對(duì)于無(wú)約束極小值問(wèn)題分析使用所謂最原始的古典分析方法，但在實(shí)踐當(dāng)中求解幾乎行不通，因?yàn)閷?shí)際當(dāng)中相當(dāng)多的函數(shù)不具有解析性（在區(qū)域上的可微性等），即使有解析性，有些方程求解也非常困難。而搜索算法就是一種下降、迭代思想，其根據(jù)目標(biāo)函數(shù)解析性的好壞分為兩類(lèi)：一是解析方法，即在構(gòu)造算法時(shí)用到了目標(biāo)函數(shù)的導(dǎo)數(shù)值； 另一類(lèi)算法是直接算法，構(gòu)造算法時(shí)僅用到了目標(biāo)函數(shù)值。搜索解析方法方法包括一維搜索、Newton方法及其改進(jìn)算法、共軛方向法、擬牛頓方法等；常用的直接搜索方法包括：適用于低維問(wèn)題的坐標(biāo)輪換法和步長(zhǎng)加速法（Hooke-Jeeves法）、單純形替換法、轉(zhuǎn)軸法和D.S.C方法、方向加速法（Powell法）。以上這算算法龐雜，因此不做展開(kāi)，下面僅對(duì)其中一種算法簡(jiǎn)單敘述。2、 Gauss-Newton算法及其改進(jìn)算法、12對(duì)于極小冋題minSe）=311G（^）h，， （3.1），注意此處將前文的k維轉(zhuǎn)寫(xiě)成N維，目的是為了防止與下文迭代中符號(hào)沖突。G-N方法按如下公式進(jìn)行迭代：給定初始近似值X0,令k=0,1, ,計(jì)算Xk1=Xk，Pk,其中Pk= AfNS（“（3.2）人二DGQk）珂21^］七”（i-1,2 ,m;j=1,2,…n）,S6）=A：gk。:■■在（3.2）中，G-N方向pk可以看作是Newton方向上的近似。G-N算法是一個(gè)局部極值算法，它對(duì)初始點(diǎn)x的依賴(lài)性很大，即僅僅當(dāng)X0充分接近極小值點(diǎn)x*時(shí)才有可能收斂，因此一些改進(jìn)算法就是對(duì)其修正。例如Hartly方法、L-M算法等等。3、 現(xiàn)代優(yōu)化算法使用非線(xiàn)性回歸模型的參數(shù)估計(jì)是較為困難的尋優(yōu)問(wèn)題， 前面所述的幾種經(jīng)典方法常會(huì)陷入局部極值，因而急需更加優(yōu)質(zhì)的算法去尋找全局最優(yōu)解。同時(shí)，隨著回歸分析在國(guó)民經(jīng)濟(jì)各領(lǐng)域應(yīng)用范圍的進(jìn)一步擴(kuò)大，各領(lǐng)域所涉及的多因素、大規(guī)模、高難度、影響廣的優(yōu)化問(wèn)題對(duì)求解算法的計(jì)算速度、收斂性、初值敏感性等提出了更高的要求。從算法思想上看，主要有群智能優(yōu)化算法和基于純粹數(shù)學(xué)優(yōu)化算法兩個(gè)發(fā)展思路。智能算法：進(jìn)入上世紀(jì)90年代以來(lái)，以不確定性、非線(xiàn)性、時(shí)間不可逆性為內(nèi)涵，以復(fù)雜問(wèn)題為對(duì)象的新科學(xué)范式得到了學(xué)術(shù)界的普遍認(rèn)同， 而建立在解析基礎(chǔ)上的常規(guī)方法已經(jīng)顯得無(wú)能為力，因此智能算法開(kāi)始興起。作為計(jì)算智能的一個(gè)分支，群智能優(yōu)化算法使人們從生物進(jìn)化機(jī)理和一些物理現(xiàn)象中受到啟發(fā)，提出的許多用以解決復(fù)雜優(yōu)化問(wèn)題的新方法。 這些方法主要有：遺傳算法（GA、粒子群優(yōu)化算法、蟻群算法、免疫算法、細(xì)菌覓食算法、Memetic算法、混合智能算法等。基于純粹數(shù)學(xué)理論優(yōu)化：部分學(xué)者根據(jù)純粹數(shù)學(xué)的理論思想，開(kāi)拓出了新的算法改進(jìn)思想，因而同樣促進(jìn)了算法的改進(jìn)，例如基于區(qū)間分析的全局優(yōu)化算法、序貫優(yōu)化數(shù)論方法（均勻設(shè)計(jì)）等。（1）、遺傳算法基本原理（GA）：遺傳算法是一類(lèi)借鑒生物界的進(jìn)化規(guī)律（適者生存，優(yōu)勝劣汰遺傳機(jī)制）演化而來(lái)的隨機(jī)化搜索方法。它是由美國(guó)的J.Holland教授1975年首先提出，其主要特點(diǎn)是直接對(duì)結(jié)構(gòu)對(duì)象進(jìn)行操作，不存在求導(dǎo)和函數(shù)連續(xù)性的限定；具有內(nèi)在的隱并行性和更好的全局尋優(yōu)能力；采用概率化的尋優(yōu)方法，能自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)地調(diào)整搜索方向，不需要確定的規(guī)則。遺傳算法的基本運(yùn)算過(guò)程如下:a） 初始化：設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器t=0，設(shè)置最大進(jìn)化代數(shù)T,隨機(jī)生成M個(gè)個(gè)體作為初始群體P（0）。b） 個(gè)體評(píng)價(jià):計(jì)算群體P（t）中各個(gè)個(gè)體的適應(yīng)度。c） 選擇運(yùn)算：將選擇算子作用于群體。選擇的目的是把優(yōu)化的個(gè)體直接遺傳到下一代或通過(guò)配對(duì)交叉產(chǎn)生新的個(gè)體再遺傳到下一代。選擇操作是建立在群體中個(gè)體的適應(yīng)度評(píng)估基礎(chǔ)上的。d） 交叉運(yùn)算：將交叉算子作用于群體。所謂交叉是指把兩個(gè)父代個(gè)體的部分結(jié)構(gòu)加以替換重組而生成新個(gè)體的操作。遺傳算法中起核心作用的就是交叉算子。e） 變異運(yùn)算:將變異算子作用于群體。即是對(duì)群體中的個(gè)體串的某些基因座上的基因值作變動(dòng)。群體P（t）經(jīng)過(guò)選擇、交叉、變異運(yùn)算之后得到下一代群體 P（ti）。f） 終止條件判斷:若t=T,則以進(jìn)化過(guò)程中所得到的具有最大適應(yīng)度個(gè)體作為最優(yōu)解輸出，終止計(jì)算。（2）、粒子群算法基本原理（PSO）：這一方法的基本思想是通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解，包含的簡(jiǎn)單道理是：群體中的每個(gè)個(gè)體都可以從臨近個(gè)體的以往經(jīng)驗(yàn)中受益。粒子群優(yōu)化算法同遺傳算法一樣也是一種進(jìn)化計(jì)算技術(shù)，1995年由Eberhart博士和kennedy博士提出，源于對(duì)鳥(niǎo)群捕食的行為研究。PSO同遺傳算法類(lèi)似，是一種基于迭代的優(yōu)化算法。系統(tǒng)初始化為一組隨機(jī)解，通過(guò)迭代搜尋最優(yōu)值。但是它沒(méi)有遺傳算法用的交叉以及變異，而是粒子在解空間追隨最優(yōu)的粒子進(jìn)行搜索。同遺傳算法比較，PSO勺優(yōu)勢(shì)在于簡(jiǎn)單容易實(shí)現(xiàn)并且沒(méi)有許多參數(shù)需要調(diào)整。其標(biāo)準(zhǔn)的算法流程簡(jiǎn)述如下：初始化粒子群體，群體規(guī)模為m包括隨即位置和速度；評(píng)價(jià)每個(gè)；粒子的適應(yīng)度；對(duì)于每個(gè)粒子，將其當(dāng)前適應(yīng)值與其個(gè)體歷史最佳位置對(duì)應(yīng)的適應(yīng)值做對(duì)比，若當(dāng)前的適應(yīng)值更高，則用當(dāng)前位置更新歷史最佳位置；對(duì)于每個(gè)粒子，將其當(dāng)前適應(yīng)值與全局最佳位置對(duì)應(yīng)的適應(yīng)值作比較，若當(dāng)前的適應(yīng)值更高，則將用當(dāng)前粒子的位置更新全局最佳位置；根據(jù)一定的運(yùn)算式更新粒子的速度和位置；如果沒(méi)有滿(mǎn)足結(jié)束條件，則返回步驟b)。通常算法達(dá)到最大迭代次數(shù)或者最佳適應(yīng)度值的增量小于某個(gè)給定的閾值時(shí)算法停止。、蟻群算法概述(ACA)：蟻群算法最早是由意大利學(xué)者M(jìn).Dorigo等于20世紀(jì)90年代初提出的一種基于種群的啟發(fā)式仿生進(jìn)化系統(tǒng)。螞蟻這類(lèi)群居動(dòng)物，雖然個(gè)體的行為極其簡(jiǎn)單，但由這些簡(jiǎn)單的個(gè)體所組成的蟻群卻表現(xiàn)出極其復(fù)雜的行為特征，能夠完成復(fù)雜的任務(wù)；另外螞蟻還能夠適應(yīng)環(huán)境的變化，如在蟻群運(yùn)動(dòng)路線(xiàn)上突然出現(xiàn)障礙物時(shí)，螞蟻能夠很快地重新找到最優(yōu)路徑。人們經(jīng)過(guò)大量研究發(fā)現(xiàn)，螞蟻個(gè)體之間是通過(guò)一種稱(chēng)之為外激素(pheromone)的物質(zhì)進(jìn)行信息傳遞，從而能相互協(xié)作，完成復(fù)雜的任務(wù)。蟻群之所以表現(xiàn)出復(fù)雜有序的行為，個(gè)體之間的信息交流與相互協(xié)作起著重要的作用。螞蟻在運(yùn)動(dòng)過(guò)程中，能夠在它所經(jīng)過(guò)的路徑上留下該種物質(zhì)，而且能夠感知這種物質(zhì)的存在及其強(qiáng)度，并以此指導(dǎo)自己的運(yùn)動(dòng)方向。螞蟻傾向于朝著該物質(zhì)強(qiáng)度高的方向移動(dòng)。因此，由大量螞蟻組成的蟻群的集體行為便表現(xiàn)出一種信息正反饋現(xiàn)象：某一路徑上走過(guò)的螞蟻越多，則后來(lái)者選擇該路徑的概率就越大。螞蟻個(gè)體之間就是通過(guò)這種信息交流達(dá)到搜索食物的目的。蟻群發(fā)現(xiàn)最短路徑的原理和機(jī)制：設(shè)A是蟻巢，E是食物源，HC是障礙物。由于障礙物存在，螞蟻要想由A到達(dá)E或者由E返回A，只能由H或C繞過(guò)障礙物。設(shè)每個(gè)時(shí)間單位有3O只螞蟻由A到B,有30只螞蟻由E到D,螞蟻過(guò)后留下的信息索為1。設(shè)信息素停留時(shí)間為1。在初始時(shí)刻，由于路徑BHBe、DHDe上均無(wú)信息存在，位于B和E的螞蟻可以隨機(jī)選擇路徑。從統(tǒng)計(jì)的角度可認(rèn)為它們以相同的概率選擇BHBCDHDG經(jīng)過(guò)一個(gè)時(shí)間單位后，在路徑BCD上的信息量是路徑BHD上信息量的二倍。t=l時(shí)刻，將有20只螞蟻由B和D到達(dá)C,有10只螞蟻由B和D到達(dá)H。隨著時(shí)間的推移，螞蟻將會(huì)以越來(lái)越大的概率選擇路徑BCD最終完全選擇路徑BCD從而找到由蟻巢到食物源的最短路徑。上述過(guò)程可以看出，蟻群算法優(yōu)化過(guò)程的本質(zhì)體現(xiàn)在：① 選擇機(jī)制：②更新機(jī)制：③協(xié)調(diào)機(jī)制。這樣的機(jī)制使蟻群算法具有很強(qiáng)的發(fā)現(xiàn)較好解的能力。（4）、免疫算法基本原理AIS:免疫算法主要模擬生物免疫系統(tǒng)中的有關(guān)抗原處理的核心思想， 包括抗體的產(chǎn)生、自體耐受、克隆擴(kuò)增、免疫記憶等。免疫算法的基本架構(gòu)如下圖所示。在使用免疫算法解決具體問(wèn)題時(shí)，首先要定義免疫元素的數(shù)學(xué)表達(dá)式，即確立目標(biāo)函數(shù)和約束；然后將需要解決的問(wèn)題抽象成抗原形式（即問(wèn)題的解）；再產(chǎn)生初始抗體（即問(wèn)題的一個(gè)隨機(jī)解）群體；接著計(jì)算抗體與抗原之問(wèn)的親和力，也就是對(duì)問(wèn)題解的評(píng)估；根據(jù)評(píng)估結(jié)果，形成對(duì)優(yōu)化解的促進(jìn)與非優(yōu)化解的刪除；對(duì)新的抗體群體進(jìn)行評(píng)估，若終止條件滿(mǎn)足，則其為該問(wèn)題的最佳解，否則重新計(jì)算親和力，進(jìn)行下一輪的克隆選擇。以上是集中最基本的智能算法，然而還有多種正在發(fā)展的新型算法未能全部作介紹。下面本文介紹從數(shù)學(xué)理論思想出發(fā)產(chǎn)生的優(yōu)化算法理論——序貫優(yōu)化算法，而具體算法設(shè)計(jì)因?yàn)檩^為艱深略去。（5）、序貫優(yōu)化數(shù)論方法（均勻設(shè)計(jì)思想）：數(shù)論優(yōu)化與其說(shuō)是一種優(yōu)化算法，不如說(shuō)是在回歸分析中模型分析時(shí)一種設(shè)計(jì)新思路。它由方開(kāi)泰教授和數(shù)學(xué)家王元在1978年共同提出，是數(shù)論方法中的“偽蒙特卡羅方法”的一個(gè)應(yīng)用。在《數(shù)論方法在統(tǒng)計(jì)中的應(yīng)用》一書(shū)中，作者提出了均勻設(shè)計(jì)是一種試驗(yàn)設(shè)計(jì)方法，稱(chēng)為均勻設(shè)計(jì)或均勻設(shè)計(jì)試驗(yàn)法,或空間填充設(shè)計(jì)。它是只考慮試驗(yàn)點(diǎn)在試驗(yàn)范圍內(nèi)均勻散布的一種試驗(yàn)設(shè)計(jì)方法。在均勻設(shè)計(jì)思想的基礎(chǔ)上，序貫優(yōu)化算法才被應(yīng)用到解決實(shí)際的優(yōu)化模型參數(shù)估計(jì)問(wèn)題當(dāng)中來(lái)。該方法自90年代提出后，被成功地運(yùn)用于許多復(fù)雜的優(yōu)化問(wèn)題中。該算法只要求目標(biāo)函數(shù)連續(xù)，不需要函數(shù)的微商和差分，對(duì)非數(shù)學(xué)專(zhuān)業(yè)的使用者易懂，可處理多峰優(yōu)化問(wèn)題，編程簡(jiǎn)單。雖然此算法具有較強(qiáng)的通用性，但其原則上仍是一種“爬山”搜索法，它通常也只能給出目標(biāo)函數(shù)的局部最優(yōu)解，而且算法的效率很大程度地受限于初始領(lǐng)域的選取及每一次迭代時(shí)領(lǐng)域加細(xì)的精度。第四章小結(jié)通過(guò)以上全文的總結(jié)，可以發(fā)現(xiàn)非線(xiàn)性回歸模型參數(shù)估計(jì)問(wèn)題求解難度遠(yuǎn)遠(yuǎn)大于我們?cè)?jīng)學(xué)習(xí)過(guò)的線(xiàn)性模型參數(shù)估計(jì)，不僅古典解析方法需要較深的分析才能夠理解，現(xiàn)代優(yōu)化算法的快速