最優(yōu)化運用心得范文.doc

最優(yōu)化運用心得范文 最優(yōu)化問題的普遍性、實用性和趣味性，最優(yōu)化問題的困難，數(shù)學的簡單與復(fù)雜的辯證關(guān)系及其引發(fā)的對生活態(tài)度的思考，理論問題與數(shù)值問題的差異，最優(yōu)化問題的信息論視角，最優(yōu)化問題和解方程問題的關(guān)系。 最優(yōu)化問題無處不在。 只要存在選擇，并涉及稀缺資源，就一定存在優(yōu)化問題。 可以很“高深”，比如前面提到的電力系統(tǒng)無功優(yōu)化問題，比如導(dǎo)彈的軌跡優(yōu)化問題；也可以很“生活”，比如有同學研究了在海師大教室、圖書館、實驗室和幾個食堂之間的最優(yōu)路徑問題，它們有著共同的特點，就是很實際，并且很有趣。 可以說，作為一個普通的理學本科生，以往從沒有接觸過一門數(shù)學課程如此地貼近現(xiàn)實問題，立足現(xiàn)實問題，而最終亦指向現(xiàn)實問題。 在最優(yōu)化理論系統(tǒng)中，除了可以感受到一般數(shù)學理論的那種純粹、抽象、透徹、簡潔，也能感受一種無處不在的實用主義價值觀，“實用”、“好用”、“湊效”這些看起來不那么“數(shù)學”的評價標準在這個領(lǐng)域中也有著相當?shù)牡匚弧?而在各種“數(shù)學”、“非數(shù)學”的標準之間的權(quán)衡取舍，本身就是一個多目標優(yōu)化問題而體現(xiàn)出某種對系統(tǒng)性思維的訴求。 思考、研究這樣的問題，即有用，又有趣，令人快樂無窮。 這些可能與生活瑣事緊緊相連的問題可能引發(fā)數(shù)學上極大的麻煩。 比如對于“皮球下山法”的局部收斂問題。 將一個皮球擲向一個可微的谷域曲面，最終能停止到極小值點周圍，這是直覺必然，也是物理事實。 為了讓它能在理論上最終精確停在極小值點，需要取消摩擦力作用；為了讓球的能量最終全部耗散，同時為了讓連續(xù)運動問題變?yōu)殡x散的跳躍問題，必須讓球在任何情況下都保持跳躍而不能滾動，且每次跳躍按一定規(guī)則衰減動能。 然而，就是這一點點和實際物理過程的看起來不影響結(jié)果的改動，放到數(shù)學領(lǐng)域嚴格考察，就會發(fā)現(xiàn)收斂性恐怕是有條件的，因為速度的衰減太快，在某種具體的目標函數(shù)形態(tài)下，完全有可能使算法收斂到不是極小值點的地方。 進而，要證明或給出收斂條件，就是很困難的工作了。 由于最優(yōu)化問題本身的多樣性與復(fù)雜性，雖然在最優(yōu)化理論課程上，我們學習了眾多的算法，可是放到現(xiàn)實科學工程領(lǐng)域，真正全面有效的算法其實卻不多，甚至限于我的認識，還沒有任何一種對于高維的、有復(fù)雜約束的全局優(yōu)化問題湊效的算法，而現(xiàn)實科學工程領(lǐng)域中，這個領(lǐng)域也才擁有無限的發(fā)展空間和蓬勃生機，從而散發(fā)出醉人的魅力。 理論問題和數(shù)值問題的差異是在本學期兩門相關(guān)數(shù)學課上才被真正當作一個問題擺在我們面前的。 我想這本身就是我國數(shù)學基礎(chǔ)教育的一個弊病由于在研究生教育以前，很少接觸數(shù)值計算及相關(guān)問題，學生無法對這個問題有充足的感知和眼界，而現(xiàn)實當中需要數(shù)學的時候，恰恰又都無法避免數(shù)值計算問題，于是，所學和所用之間多了一條裂痕。 這是應(yīng)當引起思考和重視的。 在最優(yōu)化理論課程的三次數(shù)值實驗中，無處不是數(shù)值計算相對理論計算的差異。 最典型的問題是局部優(yōu)化算法的可靠性。 對于一切基于一維搜索的方法，當一維搜索在理論上絕對可行的時候，在現(xiàn)實計算中出現(xiàn)理論外結(jié)果的情況幾乎可說是大量存在的，特別對于某些專門的測試函數(shù)。 目標函數(shù)的數(shù)量級太大，梯度函數(shù)的數(shù)量級太小，舍入誤差等等，都可能使一維搜索失敗、結(jié)果不可靠甚至異常退出，為防止這些不符合理論要求的情況出現(xiàn)，又需增加運算負責檢查矯正，最終也很難完全避免。 信賴域的方法同樣存在著數(shù)值計算中的不可靠，甚至在小尺度時，實驗中比基于一維搜索的方法有時更加不可靠。 又比如特征值計算問題，當使用eigs函數(shù)而Hessian陣數(shù)值的數(shù)量級太大時，就會發(fā)生異常返回。 再比如，在各種出現(xiàn)數(shù)值大小比較的地方，都存在著數(shù)值計算帶來的問題和隱患，比如判定Hessian陣正定，理論上只需最小特征值大于0，可是，萬一由于數(shù)值的原因這個最小特征值在計算機中是負的，就會得出錯誤的結(jié)果。 相等判斷更是如此，一切“x=A”對double變量都因舍入誤差的存在是不可靠的，只能是|x-A| 最后，像最速下降法這樣理論上對正定二次函數(shù)一定收斂的算法，當特征值分布分散，問題維數(shù)很高的時候，實際是不可行的，根本達不到現(xiàn)實中的精度要求。 總之，計算機在大力推動數(shù)學的發(fā)展和應(yīng)用的同時，也引出了許許多多新的問題，理論和工具的結(jié)合，本身產(chǎn)生了大量理論問題，這是任何一個從事科學工程領(lǐng)域工作的人都必須有所認識的。 我認為，抽象地講，解最優(yōu)化問題的過程，就是獲取目標函數(shù)一條全局信息的過程，這個需要獲取的全局信息，就是某點的函數(shù)值最小。 因為說某點函數(shù)值“最小”，其實是說某點函數(shù)值“比其它所有點的函數(shù)值都小”，包含了該點函數(shù)值對所有點函數(shù)值的大小比較關(guān)系，這當然是全局性的。 而最優(yōu)化問題的主要矛盾就是，問題的解所包含的信息是全局性的，但為求取這個解所能采集到的可利用信息是局部的甚至單點的，且采集次數(shù)是有限的。 比如求一點函數(shù)值，只能得單點信息。 又比如水平集方法之所以不好用，就是因為它每一步都要求算法獲得水平集測度這種全局信息。 正是這個根本矛盾，導(dǎo)致了最優(yōu)點搜索、確認上的困難。 因為對于可微函數(shù)，從解析式中的有限次信息采集如求單點梯度就可獲得一個有限領(lǐng)域內(nèi)可利用的局部信息。 對于全局優(yōu)化問題，我們卻沒有這樣的手段。 也就是說，通過局部信息的有限次累計，得到全局信息。 其實比較各種局部優(yōu)化算法就可有這樣的體會，理論上好的算法，往往就是能在各次獲取單點信息的過程中實現(xiàn)一種信息累積使得算法掌握的信息越來越能鉤織出局部信息。 出于這樣的認識，我認為，要發(fā)明一種好的全局優(yōu)化算法，可以在兩個地方下功夫一是如何從解析式與約束中通過少的信息采樣挖掘出更大范圍、更大信息量的信息；二是，如何逐步有效累積信息把前面挖掘的信息匯成全局信息。 另外是否可以把信息、通信領(lǐng)域的理論方法結(jié)合到最優(yōu)化理論中，也是值得思考的問題。 最優(yōu)化問題和解方程問題在很多時候是等效的。 比如一階最性條件就是個方程，而一些解方程的方法，就是將方程反