共軛梯度算法的設(shè)計(jì)與實(shí)現(xiàn)畢業(yè)設(shè)計(jì).doc

西安石油大學(xué)本科畢業(yè)設(shè)計(jì)（論文）本科畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告題目：共軛梯度算法的設(shè)計(jì)與實(shí)現(xiàn)學(xué)生姓名：院（系）：理學(xué)院專(zhuān)業(yè)班級(jí)：信息0602指導(dǎo)教師：完成時(shí)間：2010年月日西安石油大學(xué)本科畢業(yè)設(shè)計(jì)（論文）一、課題的意義最優(yōu)化方法是近幾十年形成的，它主要運(yùn)用數(shù)學(xué)方法研究各種系統(tǒng)的優(yōu)化途徑及方案，為決策者提供科學(xué)決策的依據(jù)。最優(yōu)化方法的目的在于針對(duì)所研究的系統(tǒng)，求得一個(gè)合理運(yùn)用人力、物力和財(cái)力的最佳方案，發(fā)揮和提高系統(tǒng)的效率及效益，最終達(dá)到系統(tǒng)的最優(yōu)目標(biāo)。實(shí)踐表明，隨著科學(xué)技術(shù)的日益進(jìn)步和生產(chǎn)經(jīng)營(yíng)的日益發(fā)展，最優(yōu)化方法已成為現(xiàn)代管理科學(xué)的重要理論基礎(chǔ)和不可缺少的方法，被人們廣泛地應(yīng)用到公共管理、經(jīng)濟(jì)管理、國(guó)防等各個(gè)領(lǐng)域，發(fā)揮著越來(lái)越重要的作用。最優(yōu)化方法又可分為無(wú)約束最優(yōu)化方法和約束最優(yōu)化方法，其中無(wú)約束最優(yōu)化方法包括最速下降法，牛頓法，共軛方向法，以及共軛梯度法和變尺度法，約束優(yōu)化方法包括單純形法，解線性規(guī)劃的圖解法，等式約束的罰函數(shù)法，以及Rosen梯度投影法。本文將討論無(wú)約束最優(yōu)化方法下的共軛梯度法，通過(guò)MATLAB編程實(shí)現(xiàn)，并以具體實(shí)例得出相應(yīng)的數(shù)值結(jié)果，然后驗(yàn)證該方法是否有效。二、國(guó)內(nèi)外研究現(xiàn)狀近年來(lái)，隨著模糊理論、神經(jīng)網(wǎng)絡(luò)等智能技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，智能式的優(yōu)化方法越來(lái)越受重視?，F(xiàn)今，國(guó)內(nèi)外主要研究的方法有：（1）神經(jīng)網(wǎng)絡(luò)優(yōu)化方法人工神經(jīng)網(wǎng)絡(luò)的研究起源于1943年和McCulloch和Pitts的工作。在優(yōu)化方面，1982年Hopfield首先引入Lyapuov能量函數(shù)用于5判斷網(wǎng)絡(luò)的穩(wěn)定性，提出了Hopfield單層離散模型；Hopfield和Tank又發(fā)展了Hopfield單層連續(xù)模型。1986年，Hopfield和Tank將電子電路與Hopfield模型直接對(duì)應(yīng)，實(shí)現(xiàn)了硬件模擬；Kennedy和Chua基于非線性電路理論提出了模擬電路模型，并使用系統(tǒng)微分方程的Lyapuov函數(shù)研究了電子電路的穩(wěn)定性。這些工作都有力地促進(jìn)了對(duì)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的研究。（2）模糊優(yōu)化方法最優(yōu)化問(wèn)題一直都是模糊理論應(yīng)用最為廣泛的領(lǐng)域之一。自從Bellman和L.A.zadeh在70年代初期對(duì)這一研究作出開(kāi)創(chuàng)性工作以來(lái)，其主要研究集中在一般意義下的理論研究、模糊線性規(guī)劃、多目標(biāo)模糊規(guī)劃、以及模糊規(guī)劃理論在隨機(jī)規(guī)劃及許多實(shí)際問(wèn)題中的應(yīng)用。主要的研究方法是利用模糊集的a截集或確定模糊集的隸屬函數(shù)將模糊規(guī)劃問(wèn)題轉(zhuǎn)化為經(jīng)典的規(guī)劃問(wèn)題來(lái)解決。（3）支持向量機(jī)方法支持向量機(jī)是由Vapnik領(lǐng)導(dǎo)的AT&TBell實(shí)驗(yàn)室研究小組在1963年提出的一種新的非常有潛力的分類(lèi)技術(shù)，SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，主要應(yīng)用于模式識(shí)別領(lǐng)域。由于當(dāng)時(shí)這些研究尚不十分完善，在解決模式識(shí)別問(wèn)題中往往西安石油大學(xué)本科畢業(yè)設(shè)計(jì)（論文）趨于保守，且數(shù)學(xué)上比較艱澀，這些研究一直沒(méi)有得到充分的重視。直到90年代，統(tǒng)計(jì)學(xué)習(xí)理論的實(shí)現(xiàn)和由于神經(jīng)網(wǎng)絡(luò)等較新興的機(jī)器學(xué)習(xí)方法的研究遇到一些重要的困難，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題、過(guò)學(xué)習(xí)與欠學(xué)習(xí)問(wèn)題、局部極小點(diǎn)問(wèn)題等，使得SVM迅速發(fā)展和完善，在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。共軛梯度法在以上的優(yōu)化方法中都得到了應(yīng)用，例如，有學(xué)者就應(yīng)用共軛梯度法對(duì)網(wǎng)絡(luò)的權(quán)值和閡值進(jìn)行優(yōu)化計(jì)算，完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法；還有學(xué)者在支持向量機(jī)方法中應(yīng)用共軛梯度法，便得到了一種更有效的光滑支持向量機(jī)方法。三、畢業(yè)論文的主要內(nèi)容1了解共軛梯度法的背景和意義。2建立一個(gè)求解無(wú)約束最優(yōu)化問(wèn)題的共軛梯度算法。3闡述該算法的具體實(shí)現(xiàn)步驟并分析該算法的全局收斂性。4通過(guò)MATLAB編程實(shí)現(xiàn)得到的數(shù)值實(shí)驗(yàn)結(jié)果來(lái)驗(yàn)證算法是否有效。四、所采用的方法、手段以及步驟通過(guò)網(wǎng)絡(luò)、書(shū)籍和一些參考資料，查詢相關(guān)信息，理解什么是共軛梯度法，以及如何應(yīng)用共軛梯度法完成最優(yōu)化設(shè)計(jì)。將從以下幾個(gè)內(nèi)容考慮：1.建立一個(gè)求解無(wú)約束最優(yōu)化問(wèn)題的共軛梯度算法：通過(guò)實(shí)例，結(jié)合參考資料以及自己所掌握的知識(shí)，建立一個(gè)求解該實(shí)例的共軛梯度算法。2.分析算法的全局收斂性：運(yùn)用所學(xué)知識(shí)，并借鑒一些學(xué)者的文獻(xiàn)證明該算法在指定的搜索方向下具有全局收斂性。3.通過(guò)數(shù)值實(shí)驗(yàn)結(jié)果來(lái)驗(yàn)證算法是否有效：通過(guò)MATLAB編程，代入實(shí)例中的相關(guān)數(shù)據(jù)得到一些相關(guān)的數(shù)值結(jié)果，最后對(duì)數(shù)據(jù)進(jìn)行分析驗(yàn)證，判斷該算法是否有效。五、階段進(jìn)度計(jì)劃第1-2周：在老師的指導(dǎo)下,搜索與共軛梯度法相關(guān)的資料，按照規(guī)定做相應(yīng)的外文翻譯，并了解其背景、應(yīng)用及意義，弄懂該方法的基本思想。第3-4周：查閱相關(guān)參考資料，完成開(kāi)題報(bào)告和外文翻譯，并通過(guò)老師的審查第5-6周：對(duì)畢業(yè)設(shè)計(jì)的具體內(nèi)容做詳細(xì)的了解，分析研究共軛梯度法，并完成論文的引言部分。第7-9周：建立一個(gè)求解實(shí)際問(wèn)題的共軛梯度算法，闡述該算法的具體實(shí)現(xiàn)步驟并分析該算法的全局收斂性，完成論文的核心部分。第9-10周：通過(guò)MATLAB編程對(duì)算法進(jìn)行檢驗(yàn)并對(duì)算法是否有效進(jìn)行解釋?zhuān)⑼瓿烧撐淖詈蟮慕Y(jié)束語(yǔ)部分。第11-12周：整合以上各個(gè)階段的成果，總結(jié)所做的工作，并完成論文的初稿。西安石油大學(xué)本科畢業(yè)設(shè)計(jì)（論文）第13-15周：將論文初稿交予指導(dǎo)老師審閱，根據(jù)老師的意見(jiàn)修改并完善論文。第16周：請(qǐng)?jiān)u閱老師評(píng)閱論文，最后進(jìn)行畢業(yè)論文的答辯。六、參考文獻(xiàn)1袁亞湘，孫文瑜.最優(yōu)化理論與算法M.北京：科學(xué)出版社,1997.2蔣金山,何春雄,潘少華.最優(yōu)化計(jì)算方法M.廣東：華南理工大學(xué)出版社,2008.3張秀軍，徐安農(nóng).一種新的非線性共軛梯度法的全局收斂性J.廣西科學(xué)報(bào)，2005，5(04)：87-96.4時(shí)貞軍.精確搜索下的非線性共軛梯度法J.數(shù)學(xué)物理學(xué)報(bào)，2004，21（06）：55-58.5云天銓.二維無(wú)約束優(yōu)化問(wèn)題的最優(yōu)方向搜索法J.華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，1980，22（03）：73-85.6張秀軍,徐安農(nóng),李安坤,蔣利華.改進(jìn)的共軛梯度法及其收斂性J.桂林電子工業(yè)學(xué)院學(xué)報(bào)，2005，13（06）：5-8.7孟江,王耀才,洪留榮.共軛梯度與牛頓混雜算法及在神經(jīng)網(wǎng)絡(luò)的應(yīng)用J.計(jì)算機(jī)工程與應(yīng)用，2004，25(35)：31-37.8陳紅霞,袁業(yè)立,劉娜,曲媛媛.非線性共軛梯