5無約束優(yōu)化1課稿

無約束最優(yōu)化標準形式：求解無約束最優(yōu)化問題的根本思想求解的根本思想(以二元函數(shù)為例)531連續(xù)可微多局部微小唯一微小(全局微小)搜尋過程最優(yōu)點(11)初始點(-11)-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.900.0030.990.991E-40.9990.9981E-50.99970.99981E-8返回無約束優(yōu)化問題的根本算法最速下降法是一種最根本的算法，它在最優(yōu)化方法中占有重要地位.最速下降法的優(yōu)點是工作量小，存儲變量較少,初始點要求不高；缺點是收斂慢，最速下降法適用于尋優(yōu)過程的前期迭代或作為間插步驟，當接近極值點時，宜選用別種收斂快的算法.1．最速下降法〔共軛梯度法〕算法步驟：2．牛頓法算法步驟：假設f是對稱正定矩陣A的二次函數(shù)，則用牛頓法經(jīng)過一次迭代就可到達最優(yōu)點,如不是二次函數(shù)，則牛頓法不能一步到達極值點，但由于這種函數(shù)在極值點四周和二次函數(shù)很近似,因此牛頓法的收斂速度還是很快的.

牛頓法的收斂速度雖然較快，但要求Hessian矩陣要可逆，要計算二階導數(shù)和逆矩陣，就加大了計算機計算量和存儲量.3．擬牛頓法返回Matlab優(yōu)化工具箱簡介1.MATLAB求解優(yōu)化問題的主要函數(shù)2.優(yōu)化函數(shù)的輸入變量

使用優(yōu)化函數(shù)或優(yōu)化工具箱中其它優(yōu)化函數(shù)時,輸入變量見下表:3.優(yōu)化函數(shù)的輸出變量下表:4．掌握參數(shù)options的設置(3)MaxIter:允許進展迭代的最大次數(shù),取值為正整數(shù).Options中常用的幾個參數(shù)的名稱、含義、取值如下:(1) Display:顯示水平.取值為’off’時,不顯示輸出;取值為’iter’時,顯示每次迭代的信息;取值為’final’時,顯示最終結果.默認值為’final’.(2) MaxFunEvals:允許進展函數(shù)評價的最大次數(shù),取值為正整數(shù).例：opts=optimset(‘Display’,’iter’,’TolFun’,1e-8)該語句創(chuàng)立一個稱為opts的優(yōu)化選項構造,其中顯示參數(shù)設為’iter’,TolFun參數(shù)設為1e-8.掌握參數(shù)options可以通過函數(shù)optimset創(chuàng)立或修改。命令的格式如下：(1)options=optimset(‘optimfun’)創(chuàng)立一個含有全部參數(shù)名,并與優(yōu)化函數(shù)optimfun相關的默認值的選項構造options.〔2〕options=optimset(‘param1’,value1,’param2’,value2,...)創(chuàng)立一個名稱為options的優(yōu)化選項參數(shù),其中指定的參數(shù)具有指定值,全部未指定的參數(shù)取默認值.(3)options=optimset(oldops,‘param1’,value1,’param2’,value2,...)創(chuàng)立名稱為oldops的參數(shù)的拷貝,用指定的參數(shù)值修改oldops中相應的參數(shù).用Matlab解無約束優(yōu)化問題其中〔3〕、〔4〕、〔5〕的等式右邊可選用〔1〕或〔2〕的等式右邊。函數(shù)fminbnd的算法基于黃金分割法和二次插值法，它要求目標函數(shù)必需是連續(xù)函數(shù)，并可能只給出局部最優(yōu)解。常用格式如下：〔1〕x=fminbnd(fun,x1,x2)〔2〕x=fminbnd(fun,x1,x2，options)〔3〕[x，fval]=fminbnd〔...〕〔4〕[x，fval，exitflag]=fminbnd〔...〕〔5〕[x，fval，exitflag，output]=fminbnd〔...〕主程序為wliti1.m:f=”2*exp(-x).*sin(x)”;fplot(f,[0,8]);%作圖語句[xmin,ymin]=fminbnd(f,0,8)例2對邊長為3米的正方形鐵板，在四個角剪去相等的正方形以制成方形無蓋水槽，問如何剪法使水槽的容積最大？解先編寫M文件fun0.m如下:functionf=fun0(x)f=-(3-2*x).^2*x;主程序為wliti2.m:[x,fval]=fminbnd(”fun0”,0,1.5);xmax=xfmax=-fval運算結果為:xmax=0.5000,fmax=2.0000.即剪掉的正方形的邊長為0.5米時水槽的容積最大,最大容積為2立方米.命令格式為:〔1〕x=fminunc〔fun,X0〕；或x=fminsearch〔fun,X0〕〔2〕x=fminunc〔fun,X0，options〕；或x=fminsearch〔fun,X0，options〕〔3〕[x，fval]=fminunc〔...〕；或[x，fval]=fminsearch〔...〕〔4〕[x，fval，exitflag]=fminunc〔...〕；或[x，fval，exitflag]=fminsearch〔5〕[x，fval，exitflag，output]=fminunc〔...〕；或[x，fval，exitflag，output]=fminsearch〔...〕2、多元函數(shù)無約束優(yōu)化問題標準型為：minF(X)[3]fminunc為中型優(yōu)化算法的步長一維搜尋供給了兩種算法，由options中參數(shù)LineSearchType掌握：LineSearchType=’quadcubic’(缺省值)，混合的二次和三次多項式插值；LineSearchType=’cubicpoly’，三次多項式插使用fminunc和fminsearch可能會得到局部最優(yōu)解.說明:fminsearch是用單純形法尋優(yōu).fminunc的算法見以下幾點說明：[1]fminunc為無約束優(yōu)化供給了大型優(yōu)化和中型優(yōu)化算法。由options中的參數(shù)LargeScale掌握：LargeScale=’on’(默認值),使用大型算法LargeScale=’off’(默認值),使用中型算法[2]fminunc為中型優(yōu)化算法的搜尋方向供給了4種算法，由options中的參數(shù)HessUpdate掌握：HessUpdate=’bfgs’〔默認值〕，擬牛頓法的BFGS公式；HessUpdate=’dfp’，擬牛頓法的DFP公式；HessUpdate=’steepdesc’，最速下降法例3minf(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)1、編寫M-文件fun1.m:functionf=fun1(x)f=exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1);