廣義牛頓法精品課件

1、廣義牛頓法第1頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三(二次近似).如果二階海賽陣正定,那么存在最小點(diǎn)(方法同上)第2頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第3頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三牛頓法第4頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三說(shuō)明:實(shí)際應(yīng)用中,迭代方向通過(guò)解方程第5頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第6頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第7頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第8頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三牛頓法優(yōu)

2、點(diǎn)二階收斂.特別地,對(duì)于正定二次 函數(shù)一步迭代即達(dá)最優(yōu)解.第9頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三牛頓法缺點(diǎn)局部收斂.當(dāng)初始點(diǎn)選擇不當(dāng)時(shí),往往導(dǎo)致不收斂.牛頓法不是下降算法.當(dāng)二階海賽陣非正定時(shí),不能保證產(chǎn)生的方向?yàn)橄陆捣较?正定也不能保證下一個(gè)點(diǎn)函數(shù)值下降).二階海賽陣必須可逆.對(duì)函數(shù)要求苛刻(二階連續(xù)可微,海賽陣可逆),并且運(yùn)算量大.第10頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三特點(diǎn)：恒定步長(zhǎng)為1。為解決收斂性的問(wèn)題，采用廣義牛頓法（采用一維搜索來(lái)確定步長(zhǎng)因子）。第11頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三廣義牛頓法牛頓法在充分接近極小

3、點(diǎn)時(shí),是二階收斂的.如果初始點(diǎn)遠(yuǎn)離極小點(diǎn)時(shí),就不能保持收斂性.改進(jìn).引進(jìn)一維搜索.第12頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第13頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三采用一維搜索使方法具有全局收斂性.若限定步長(zhǎng)為1,即得牛頓法.第14頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第15頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第16頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第17頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第18頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三例如第19頁(yè)，共28頁(yè)

4、，2022年，5月20日，7點(diǎn)44分，星期三例如該方向非下降方向.第20頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三不正定時(shí)如何修正？1、與最速下降法相結(jié)合。搜索方向介于牛頓法搜索方向和負(fù)梯度方向之間。第21頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三2、負(fù)曲率下降方向。第22頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三收斂性第23頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第24頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第25頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期三第26頁(yè)，共28頁(yè)，2022年，5月20日，7點(diǎn)44分，星期