基于二次函數(shù)極小值搜索法的拉格朗日乘子搜索

基于二次函數(shù)極小值搜索法的拉格朗日乘子搜索

0基于二次搜索的拉格朗日乘子搜索計(jì)算在地球磁性反演中，目標(biāo)函數(shù)梯度信息的優(yōu)化方法發(fā)揮著重要作用。很多學(xué)者在優(yōu)化Occam反演的計(jì)算量上做了大量的研究,Siripunvaraporn基于上述考慮,作者對(duì)Occam法反演中提高拉格朗日乘子的搜索效率上做了進(jìn)一步研究,結(jié)合拉格朗日乘子在Occam方法反演迭代中的變化特性,提出了對(duì)該參數(shù)應(yīng)當(dāng)采用對(duì)數(shù)變換,并結(jié)合二次搜索方法來開展搜索計(jì)算。將上述方法應(yīng)用到了一維Occam反演的拉格朗日乘子搜索中,試圖提高拉格朗日乘子搜索的計(jì)算速度。這里首先介紹了Oc-cam法反演的原理,然后詳細(xì)介紹了對(duì)數(shù)二次法搜索原理,并進(jìn)行一維模型算例分析,說明了其快速搜索的優(yōu)勢。1octorm法反演的梯度函數(shù)一維Occam反演的目標(biāo)函數(shù)包含數(shù)據(jù)目標(biāo)函數(shù)和模型粗糙度函數(shù):其中:μ為拉格朗日乘子;大括號(hào)內(nèi)的為數(shù)據(jù)目標(biāo)函數(shù):d為實(shí)測數(shù)據(jù);F為正演算子;W為數(shù)據(jù)誤差加權(quán)矩陣;X反演的過程就是尋找使目標(biāo)函數(shù)得到最小值的模型。為此Occam法將正演算子F線性化,在初始模型m其中:d此時(shí)的梯度函數(shù)是一個(gè)關(guān)于模型參數(shù)的一次函數(shù),令梯度g(m)=0,求得的模型參數(shù)即為目標(biāo)函數(shù)取得極小值的模型:由于正演算子是非線性的,目標(biāo)函數(shù)也不是二次函數(shù),故反演過程中需要不斷迭代,反復(fù)修正初始模型m在每次迭代中,對(duì)于不同的拉格朗日乘子u,利用式(5)可得到不同的模型參數(shù)及其相應(yīng)的絕對(duì)擬合誤差。相比其他反演方法直接輸入一個(gè)經(jīng)驗(yàn)的拉格朗日乘子,Occam法反演提出在每次迭代中都要通過搜索,得到一個(gè)滿足數(shù)據(jù)擬合誤差最小的μ值(如果數(shù)據(jù)擬合誤差低于目標(biāo)擬合誤差,則搜索滿足目標(biāo)數(shù)據(jù)擬合差的最小模型粗糙度的μ值)。用此μ值求得模型參數(shù)m再作為下一次迭代的初始模型,進(jìn)行第二次迭代。這樣反復(fù)迭代,最后找到一個(gè)滿足目標(biāo)擬合差且粗糙度最小的模型,或者是達(dá)到最大迭代次數(shù)后得到的擬合差最小的模型。正是由于Occam法反演對(duì)拉格朗日乘子的搜索,使其具有很高的反演穩(wěn)定性和模型分辨率,但同時(shí)也增加了反演的運(yùn)算量。2改進(jìn)的值搜索方案考慮到拉格朗日乘子的搜索效率對(duì)Occam法反演運(yùn)算時(shí)間的巨大影響,作者對(duì)拉格朗日乘子的搜索方式進(jìn)行改進(jìn)。對(duì)于μ值的搜索,一般采用先搜索到一個(gè)谷值區(qū)間,然后在此區(qū)間上搜索數(shù)據(jù)擬合差的最小值,搜索到最小值后進(jìn)行下一次迭代;而在搜索過程中,一旦有數(shù)據(jù)擬合誤差小于目標(biāo)擬合誤差就直接進(jìn)入滿足擬合差的最小模型粗糙度的μ值搜索。這里也采用以上搜索策略,但做了兩點(diǎn)改進(jìn)。2.1絕對(duì)擬合誤差曲線理論上μ值可以為大于“0”的任意數(shù),但如果直接對(duì)μ進(jìn)行搜索,在區(qū)間搜索過程中,μ值的修正步長是隨著μ值的變化而變化的,且初始μ值如果給的不合適,區(qū)間搜索的次數(shù)會(huì)相對(duì)較大?？紤]到將原目標(biāo)函數(shù)中的拉格朗日乘子μ變?yōu)?0式(6)經(jīng)過式(3)、式(4)、式(5)運(yùn)算過程可得每次迭代中模型參數(shù)的求取公式:可以看出式(7)只是將式(5)中的μ變?yōu)?0從圖1可以看出,圖1(a)絕對(duì)擬合誤差曲線整體上變化平緩,更近似一個(gè)二次曲線;如果我們將區(qū)間搜索步長在以10為底的對(duì)數(shù)上設(shè)為“1”,一般在左右?guī)讉€(gè)步長之內(nèi)就能搜索到谷值區(qū)間,從而擺脫了初始值的設(shè)定對(duì)搜索次數(shù)的影響。圖1(b)絕對(duì)擬合誤差曲線在最小值左右變化相當(dāng)劇烈,而在μ值較大時(shí)變化相當(dāng)平緩。這給區(qū)間搜索步長的確定帶來很大的不便,且初始μ值對(duì)區(qū)間搜索的次數(shù)有很大的影響。正是基于上述因素,這里更加明確將拉格朗日乘子的搜索從自然數(shù)域中轉(zhuǎn)到了以10為底的對(duì)數(shù)域進(jìn)行,將拉格朗日乘子變化為μ=102.2次函數(shù)的構(gòu)建做了上述變化后能快速地搜索到一個(gè)谷值區(qū)間,但此區(qū)間的范圍相對(duì)自然數(shù)搜索的區(qū)間較大,如果區(qū)間最小值搜索繼續(xù)使用二分法進(jìn)行,則搜索次數(shù)相對(duì)自然數(shù)搜索的谷值區(qū)間二分法,增加了很多次。同樣以圖2(a)為例,首次迭代對(duì)數(shù)搜索區(qū)間次數(shù)為4次,但用二分法進(jìn)行區(qū)間最小值搜索則用了8次,共計(jì)12次;自然數(shù)區(qū)間搜索用了9次,但最小值搜索只用了5次,共14次;二者相比,對(duì)數(shù)搜索基本沒有優(yōu)勢。因此,提出利用二次函數(shù)極小值來搜索區(qū)間最小值。構(gòu)建二次函數(shù):其中ε≤1。當(dāng)滿足式(9)要求后,則取擬合差小的λ值及其相對(duì)應(yīng)的模型進(jìn)入下一次迭代。3優(yōu)化算法搜索結(jié)果對(duì)比為了驗(yàn)證本方法的搜索效率,建立了四種地電模型(圖2)。特別說明模型一為陳小斌表1為八層模型在首次迭代中的μ值變化過程,對(duì)數(shù)二分法只經(jīng)過4次區(qū)間搜索加3次最小值搜索就完成了迭代,而自然二分法經(jīng)歷了9次區(qū)間搜索加5次最小值搜索才完成迭代。而從搜索的結(jié)果來看,兩種方法搜索到的μ值基本上沒有差異,甚至本例中對(duì)數(shù)二次法搜索得到的絕對(duì)擬合誤差還更小一點(diǎn)?？梢妼?duì)數(shù)二分法在搜索上的優(yōu)勢,這種優(yōu)勢在首次迭代中體現(xiàn)得最為明顯。表2、表3分別為模型一Occam反演用對(duì)數(shù)二次法搜索與自然二分法搜索的詳細(xì)迭代過程。結(jié)果可以看出,對(duì)數(shù)二次法區(qū)間搜索往往只需要3次~4次,而3次搜索已經(jīng)是區(qū)間搜索的極限;二次最小值搜索基本上也只需要1次~3次。整體對(duì)比,每次迭代對(duì)數(shù)二次法搜索的次數(shù)都明顯少于自然二分法搜索。表4為四種模型分別用兩方搜索法進(jìn)行Occam反演的μ值變化次數(shù)對(duì)比。無一例外,對(duì)數(shù)二次法搜索次數(shù)均少于自然二分法搜索,減小比例在20%~50%之間。從圖2反演結(jié)果上看,本方法在提高μ值搜索效率的同時(shí),對(duì)Occam反演的結(jié)果沒有任何影響。4拉格朗日乘子搜索方法,根據(jù)下對(duì)于第1次作者提出了一種Occam反演中拉格朗日乘子的搜索方法,此方法主要做了以下兩方面的改進(jìn)。1)利用關(guān)于拉格朗日乘子的絕對(duì)擬合誤差曲線的形態(tài)特征,用公式μ=102)利用區(qū)間搜索到的已知三點(diǎn),構(gòu)建關(guān)于λ值的擬合差二次函數(shù),并求得此二次函數(shù)取得極小值時(shí)的λ值;用此λ值代入反演中求得擬合差,再得到一個(gè)新的谷值區(qū)間。這樣反復(fù)進(jìn)行二次函數(shù)構(gòu)建,尋找區(qū)間最小值。在實(shí)際算例中,我們發(fā)現(xiàn)往往只需要1次~3次二次函數(shù)構(gòu)建就能搜索到區(qū)間的最小值,這大大地提高了區(qū)間最小值的搜索效率。