無約束最優(yōu)化問題的一般結(jié)構(gòu)

無約束最優(yōu)化問題的一般結(jié)構(gòu)第1頁，課件共22頁，創(chuàng)作于2023年2月4.1無約束問題的最優(yōu)性條件一元函數(shù)的最優(yōu)性條件無約束問題局部最優(yōu)解的必要條件無約束問題局部最優(yōu)解的充分條件無約束凸規(guī)劃問題最優(yōu)解的充要條件例子第2頁，課件共22頁，創(chuàng)作于2023年2月一元函數(shù)的最優(yōu)性條件（１）若（２）為的局部極小點，則若則為的嚴格局部極小點；若（３）為的局部極小點，則：第3頁，課件共22頁，創(chuàng)作于2023年2月一階導數(shù)為0，非極值點充分條件的一個例子：f(x)=x^3,f’(0)=0,f’’(0)=0第4頁，課件共22頁，創(chuàng)作于2023年2月無約束問題局部最優(yōu)解的必要條件定理1:若為的局部極小點，且在內(nèi)一階連續(xù)可導，則注:(1)僅僅是必要條件，而非充分條件．(2)滿足的點稱為駐點．駐點分為：極小點，極大點，鞍點．第5頁，課件共22頁，創(chuàng)作于2023年2月無約束問題局部最優(yōu)解的必要條件(續(xù))定理2:若為的局部極小點，且在內(nèi)二階連續(xù)可導，則半正定．第6頁，課件共22頁，創(chuàng)作于2023年2月無約束問題局部最優(yōu)解的充分條件定理3:若在內(nèi)二階連續(xù)可導，且正定,則為嚴格局部極小點．注:如果負定,則為嚴格局部極大點．第7頁，課件共22頁，創(chuàng)作于2023年2月無約束凸規(guī)劃問題最優(yōu)解的充要條件

定理4:設在上是凸函數(shù)且有一階連續(xù)偏導數(shù)，則為的全局極小點的充要條件是第8頁，課件共22頁，創(chuàng)作于2023年2月例1：利用極值條件解下列問題：解：令即：得到駐點：第9頁，課件共22頁，創(chuàng)作于2023年2月函數(shù)的海賽陣：由此，在點處的海賽陣依次為：第10頁，課件共22頁，創(chuàng)作于2023年2月由于矩陣不定，則不是極小點．負定，則不是極小點，實際上它是極大點．正定，則是局部極小點．第11頁，課件共22頁，創(chuàng)作于2023年2月4.2無約束問題的最速下降算法第12頁，課件共22頁，創(chuàng)作于2023年2月問題提出問題：在點處，沿什么方向下降最快?分析：考查：顯然當時，取極小值．因此：結(jié)論：負梯度方向使下降最快，亦即最速下降方向．第13頁，課件共22頁，創(chuàng)作于2023年2月最速下降法算法Step1:給出Step2:計算如果停．Step3:計算下降方向Step4:計算步長因子Step5:令轉(zhuǎn)步２.第14頁，課件共22頁，創(chuàng)作于2023年2月第15頁，課件共22頁，創(chuàng)作于2023年2月4.3算法的收斂性收斂含義實用收斂準則（停機準則）收斂速度算法的二次終止性最速下降算法的收斂性第16頁，課件共22頁，創(chuàng)作于2023年2月收斂含義第17頁，課件共22頁，創(chuàng)作于2023年2月實用收斂準則第18頁，課件共22頁，創(chuàng)作于2023年2月收斂速度第19頁，課件共22頁，創(chuàng)作于2023年2月算法的二次終止性定義：若某個算法對于任意的正定二次函數(shù)，從任意初始點出發(fā)，都能經(jīng)過有限步迭代達到極小點，則稱該算法具有二次終止性。原因：正定二次函數(shù)具有某些好的性質(zhì)，一個好的算法應該能在有限步內(nèi)達到其極小點對于一個一般的目標函數(shù)，若在其極小點處的Hesse矩陣正定，則目標函數(shù)在該極小點附近于一個正定二次函數(shù)相似，因此對于正定二次函數(shù)好的算法，對一般目標函數(shù)也會有好的性質(zhì)。第20頁，課件共22頁，創(chuàng)作于2023年2月最速下降算法的收斂性定理1:設在上存在且一致連續(xù)，則最速下降法產(chǎn)生的序列滿足或者對某個有或者定理2:二次連續(xù)可微，其中是個正常數(shù)，對任何給定的初始點最速下降算法或有限終止，或者設且或者第21頁，課件共22頁，創(chuàng)作于2023年2月最速下降法優(yōu)點(1)