分層多元譜梯度方法及其在大規(guī)模非線性方程組求解和醫(yī)學(xué)圖像彈性配準(zhǔn)中的應(yīng)用

1、分類號(hào)：扭：，咿跌蕊毋博士學(xué)位論文分層多元譜梯度方法及其在大規(guī)模非線性方程組求解和醫(yī)學(xué)圖像彈性配準(zhǔn)中的應(yīng)用學(xué)位申請(qǐng)人韓樂一導(dǎo)師姓名廈職稱關(guān)履泰教授信息計(jì)算科學(xué)中文摘要中山大學(xué)博士學(xué)位論文分層多元譜梯度方法及其在大規(guī)模非線性方程組求解和醫(yī)學(xué)圖像彈性配準(zhǔn)中的應(yīng)用專業(yè)：信息計(jì)算科學(xué)韓樂關(guān)履泰教授學(xué)位申請(qǐng)人：導(dǎo)師及職稱摘要：大規(guī)模優(yōu)化問(wèn)題不僅出現(xiàn)在經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、工程學(xué)、管理學(xué)等應(yīng)用領(lǐng)域，也是理論研究領(lǐng)域的研究重點(diǎn)構(gòu)造大規(guī)模優(yōu)化問(wèn)題的計(jì)算方法，研究這些方法的理論性質(zhì)和實(shí)際計(jì)算表現(xiàn)，具有重要的理論意義和實(shí)際應(yīng)用價(jià)值求解無(wú)約束最優(yōu)化問(wèn)題的譜梯度方法由于其簡(jiǎn)單、有效和存儲(chǔ)需求少等特點(diǎn)，已經(jīng)受到越來(lái)越多研究學(xué)

2、者的重視本文主要討論了分層多元譜梯度方法和它的一些應(yīng)用首先。將譜梯度方法和多元步長(zhǎng)的思想結(jié)合，提出了求解無(wú)約束最優(yōu)化問(wèn)題的多元譜梯度方法該方法與譜梯度方法一樣具有擬牛頓性質(zhì)，但允許沿搜索方向的每一個(gè)坐標(biāo)分量方向選取步長(zhǎng)，所以多元譜梯度方法具有二次終止性，對(duì)具有對(duì)角矩陣的正定二次函數(shù)至多兩步收斂，而且對(duì)具有正定對(duì)角矩陣的目標(biāo)函數(shù)具有二階收斂速度，和非單調(diào)線搜索結(jié)合后，得到了全局收斂的多元譜梯度算法數(shù)值實(shí)驗(yàn)結(jié)果顯示多元譜梯度算法對(duì)某些目標(biāo)函數(shù)有時(shí)收斂的很慢，為了克服這個(gè)缺點(diǎn)我們還提出了混合譜梯度方法然后，在多元譜梯度算法數(shù)值分析的基礎(chǔ)上，將多元譜梯度方法與譜梯度方法的優(yōu)勢(shì)結(jié)合起來(lái)，提出了求解無(wú)約束

3、最優(yōu)化問(wèn)題的分層多元譜梯度方法它是多元譜梯度方法與譜梯度方法的結(jié)合體，兼具了二者的優(yōu)點(diǎn)，但比它們更靈活，其全局收斂性可以借助于非單調(diào)線搜索得到之后，利用求解方程組問(wèn)題等價(jià)于求解某個(gè)無(wú)約束問(wèn)題，提出了求解大規(guī)模非線性方程組的分層多元譜梯度算法該迭代算法針對(duì)非線性映射矩陣的結(jié)構(gòu)特征，用對(duì)角陣和非線性映射的乘積確定搜索方向，隨著迭代次數(shù)的增加，降低對(duì)角陣中對(duì)角元相異的程度，達(dá)到減少層數(shù)的效果為了避免矩陣的計(jì)算和線性方程組的求解，每步迭代均采取正反兩個(gè)方向搜索，同時(shí)與非單調(diào)線搜索結(jié)合，保證算法的全局收斂性最后，將譜梯度算法、混合譜梯度算法和分層多元譜梯度算法應(yīng)用于醫(yī)學(xué)圖像彈性配準(zhǔn)參數(shù)模型的求解醫(yī)學(xué)圖像

4、配準(zhǔn)是指尋找聯(lián)系兩幅醫(yī)學(xué)圖像間的幾何一一中文摘要變換，使兩幅圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致，具有很重要的臨床應(yīng)用價(jià)值依據(jù)圖像變形的方式，醫(yī)學(xué)圖像配準(zhǔn)可以分為剛性配準(zhǔn)和彈性配準(zhǔn)，其中剛性配準(zhǔn)的研究已較為成熟，而彈性配準(zhǔn)研究則剛剛起步彈性配準(zhǔn)模型又可以分為參數(shù)模型和非參數(shù)模型參數(shù)模型本質(zhì)上是一個(gè)圖像的多參數(shù)最優(yōu)化問(wèn)題，首先根據(jù)具體的配準(zhǔn)問(wèn)題確定一個(gè)衡量是否配準(zhǔn)或配準(zhǔn)程度的準(zhǔn)則，然后根據(jù)配準(zhǔn)準(zhǔn)則定義一個(gè)適當(dāng)?shù)哪繕?biāo)函數(shù)，最后通過(guò)對(duì)目標(biāo)函數(shù)的最優(yōu)化搜索得到配準(zhǔn)參數(shù)，因此最優(yōu)化過(guò)程在配準(zhǔn)過(guò)程中具有非常重要的地位本文將提出的算法應(yīng)用于醫(yī)學(xué)圖像彈性配準(zhǔn)樣條參數(shù)模型的求解，主要介紹了樣條彈性形變模型的核心思想，

5、相關(guān)的相似性測(cè)度函數(shù)，比較分析了最速下降法、譜梯度方法、混合譜梯度方法對(duì)該模型的求解效果；還嘗試了分層多元譜梯度方法不同分層方式對(duì)該模型無(wú)標(biāo)示和有標(biāo)示問(wèn)題的求解，每種算法均給出了配準(zhǔn)后的效果圖關(guān)鍵詞：譜梯度方法，無(wú)約束最優(yōu)化，大規(guī)模優(yōu)化，非線性方程組，非單調(diào)線搜索，全局收斂性，彈性配準(zhǔn)一一英文摘要：，一英文摘要，：，英文摘要，：，一致謝及聲明聲明本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過(guò)的作品成果。對(duì)本文的研究作出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲

6、明的法律結(jié)果由本人承擔(dān)。學(xué)位論文作者：二阻日期：謎！圣！致謝及聲明聲明本人完全了解中山大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留學(xué)位論文并向國(guó)家主管部門或其指定機(jī)構(gòu)送交論文的電子版和紙質(zhì)版，有權(quán)將學(xué)位論文用于非贏利目的的少量復(fù)制并允許論文進(jìn)入學(xué)校圖書館、院系資料室被查閱，有權(quán)將學(xué)位論文的內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用復(fù)印、縮印或其他方法保存學(xué)位論文。學(xué)位論文作者：彝立：日期：絲劃一導(dǎo)師簽一第一章緒論第一章緒論本章主要介紹了譜梯度方法的研究現(xiàn)狀和醫(yī)學(xué)圖像彈性配準(zhǔn)的相關(guān)知識(shí)，全面總結(jié)了譜梯度方法的發(fā)展歷程，著重分析了全局的譜梯度算法，詳細(xì)介紹了譜梯度方法在凸約束優(yōu)化和方程組求解中的推

7、廣、應(yīng)用，以及醫(yī)學(xué)圖像彈性配準(zhǔn)的相關(guān)概念和研究進(jìn)展最后介紹了論文的主要工作和內(nèi)容安排譜梯度方法最優(yōu)化問(wèn)題的數(shù)學(xué)模型如下：（），劈其中，函數(shù)，是定義在艫上的實(shí)值函數(shù)若艫，則稱問(wèn)題（）為無(wú)約束最優(yōu)化問(wèn)題（簡(jiǎn)稱無(wú)約束問(wèn)題）無(wú)約束問(wèn)題通常記為（）肝（）無(wú)約束問(wèn)題不僅出現(xiàn)在一些應(yīng)用領(lǐng)域，如經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、理學(xué)、工程應(yīng)用、管理科學(xué)等，也是理論研究領(lǐng)域的研究重點(diǎn)，因?yàn)樵S多優(yōu)化問(wèn)題是轉(zhuǎn)化為無(wú)約束問(wèn)題求解的無(wú)約束問(wèn)題的一個(gè)主要研究?jī)?nèi)容就是求問(wèn)題（）的解此時(shí)，常常假設(shè)廠光滑由無(wú)約束問(wèn)題解的最優(yōu)性條件可以構(gòu)造求解無(wú)約束問(wèn)題的下降算法，其基本思想是從某個(gè)初始點(diǎn)出發(fā)，按照使目標(biāo)函數(shù)值下降的的原則構(gòu)造點(diǎn)列），即點(diǎn)列南）滿

8、足條件（）（），算法的最終目標(biāo)是使得點(diǎn)列）中的某個(gè)點(diǎn)或某個(gè)極限點(diǎn)是問(wèn)題（）的解或穩(wěn)定點(diǎn)下降算法的一般步驟是（）其奄為搜索方向，知為步長(zhǎng)因子，可由一維線搜索獲取下降算法多是基于梯度的算法，是局部算法，即尋找充分靠近初始點(diǎn)的一個(gè)穩(wěn)定點(diǎn)已經(jīng)有許多有效的梯度下降法，如最速下降法、牛頓法、擬牛頓方法、信賴域方法和共軛梯度法一般來(lái)講，這些方法收斂快且可以獲得高精度的解，已經(jīng)被成功的應(yīng)用于很多領(lǐng)域我們著重討論其中的最速下降法一一第一章緒論最速下降法最初是眭在年提出的，故也常被稱為方法，有時(shí)也會(huì)簡(jiǎn)稱為梯度法若記夕為廠的梯度函數(shù)，最速下降法可以表述為：算法（最速下降法）步給出艫，厶：；步計(jì)算一；如果，則停止；步

9、由精確一維搜索求步長(zhǎng)因子七，使得（七七）恕占，（鞏如）；步步（）計(jì)算七七；：。轉(zhuǎn)步于年證明了上述算法產(chǎn)生的序列釓）趁。的任意極限點(diǎn)是穩(wěn)定點(diǎn)，即滿足夕（）但對(duì)于許多問(wèn)題，最速下降法并非”最速下降”，而是下降非常緩慢數(shù)值實(shí)驗(yàn)表明，當(dāng)目標(biāo)函數(shù)的等值線接近于一個(gè)圓（球）時(shí)，最速下降法下降較快，而當(dāng)目標(biāo)函數(shù)的等值線是一個(gè)扁長(zhǎng)的橢球時(shí)，最速下降法開始幾步下降較快，然后就會(huì)出現(xiàn)鋸齒現(xiàn)象，下降十分緩慢其原因是因?yàn)橐痪S搜索滿足夕玉，且鯫函，這表明在相鄰兩個(gè)迭代點(diǎn)上函數(shù)廠（）的兩個(gè)梯度方向是互相垂直的，即兩個(gè)搜索方向互相垂直，就產(chǎn)生了鋸齒形狀當(dāng)接近極小點(diǎn)時(shí)，步長(zhǎng)愈小，前進(jìn)愈慢所以，最速下降法雖然在優(yōu)化領(lǐng)域有著廣泛

10、的應(yīng)用，但是在解決實(shí)際問(wèn)題時(shí)，它經(jīng)常產(chǎn)生鋸齒現(xiàn)象，導(dǎo)致算法收斂的很慢甚至不能收斂總之，最速下降法的主要缺點(diǎn)是：（）每步迭代是獨(dú)立于其他迭代點(diǎn)獨(dú)立計(jì)算，沒有儲(chǔ)存信息和加速效果，（）不具有二次終止性，（）收斂速度強(qiáng)烈依賴于目標(biāo)函數(shù)的結(jié)構(gòu)特征，若函數(shù)廠的矩陣的最大與最小特征值的比值很大，最速下降法在最優(yōu)解附近就會(huì)發(fā)生鋸齒現(xiàn)象在多數(shù)情況下它的收斂速度很慢且已被廣泛接受和于年提出了兩點(diǎn)步長(zhǎng)梯度法【，其基本思想是利用迭代當(dāng)前點(diǎn)和前一點(diǎn)的信息來(lái)確定步長(zhǎng)因子，有時(shí)也被稱之為梯度法兩點(diǎn)步長(zhǎng)梯度法本質(zhì)上是一種最速下降法，它沿著負(fù)梯度方向的步長(zhǎng)的選取類似擬牛頓方法，是借助于前兩步迭代點(diǎn)的位置信息和梯度信息逼近割線方

11、程若記孤為迭代一一第一章緒論點(diǎn)七處的梯度，兩點(diǎn)步長(zhǎng)梯度法的迭代公式可寫作鞏一贏磯，其中因子七由（）。麗：摯業(yè)未一鯫一魏一知一奄一，瓠一一（）或（）給出，而（）兩點(diǎn)步長(zhǎng)梯度法步長(zhǎng)因子的選取與擬牛頓方程鼠一一（）有一定聯(lián)系上式中的鼠是一個(gè)禮×咒階的對(duì)稱正定矩陣，它逼近函數(shù)，（）在點(diǎn)處的矩陣事實(shí)上，若記矩陣七。，則由奄一一一（）而得，當(dāng)鼠巧時(shí)（）和（）是沒有差異的類似的，由仇一仇紈一得到，當(dāng)七時(shí)（）和（）則是一樣的其實(shí)，已經(jīng)在有限記憶的擬牛頓算法里作為初始矩陣的比例因子，詳細(xì)的內(nèi)容可以參看【】另一方面，兩點(diǎn)步長(zhǎng)梯度法的步長(zhǎng)因子與商有著緊密聯(lián)系注意到璣一嵋了七一七一）硼】南一，這里，了表示梯

12、度函數(shù)的矩陣因此，（）是如下形式妁商己舊（一）一七一一第一章緒論式子（）是如下形式拘商己（片（一一）棚尸詹（一一）一乏詹（一一）一為譜系數(shù)譜梯度算法可描述如下：算法（譜梯度法）步因此，兩點(diǎn)步長(zhǎng)梯度法又被稱為譜梯度方法，而步長(zhǎng)因子（）或（）也相應(yīng)地稱給出艫，后：；步計(jì)算毗一肌；如果鯫，則停止；步如果，利用一維搜索求；否則，利用（）或（）計(jì)算口七步夏女，步：，轉(zhuǎn)步譜梯度方法無(wú)論在理論還是實(shí)際應(yīng)用中都優(yōu)于古典的最速下降法對(duì)于二維的嚴(yán)格凸二次函數(shù)，譜梯度方法具有超線性收斂階，且與最速下降法不同的是，當(dāng)矩陣病態(tài)時(shí)譜梯度算法的收斂速度反而是增加的譜梯度方法的發(fā)展對(duì)于二次函數(shù)的極小化問(wèn)題（）去一礦，厶（）當(dāng)

13、問(wèn)題的維數(shù)時(shí)，和（）證明了此時(shí)譜梯度方法具有超線性收斂速度，且用一個(gè)幾的例子說(shuō)明了譜梯度方法遠(yuǎn)比古典的梯度方法有效，但沒有給出其他的數(shù)值實(shí)驗(yàn)之后，（）】對(duì)任意維的二次函數(shù)，討論了譜梯度方法與（）中矩陣的譜之間的關(guān)系當(dāng)（）是任意維的嚴(yán)格凸二次函數(shù)時(shí)，（）證明了譜梯度方法總會(huì)收斂到問(wèn)題（）的唯一解但這兩篇文章都沒有給出任何數(shù)值實(shí)驗(yàn)，也沒怎么引起大家的重視由于譜梯度方法的收斂性分析很困難且沒有統(tǒng)一的標(biāo)準(zhǔn)，所以收斂結(jié)論多是針對(duì)凸二次函數(shù)的分析當(dāng)（）是任意維的凸二次函數(shù)時(shí)，和（）！伸】建立了（預(yù)條件的）譜梯度方法的線性收斂速度的求證，但有一個(gè)假設(shè)入這里入，分別是矩陣的最小和最大特征值這一一第一章緒論個(gè)假

14、設(shè)要求太強(qiáng)，和（）沒有用這個(gè)假設(shè)，在深入分析（）的證明后，建立了譜梯度方法具有線性收斂速度的結(jié)論，一個(gè)直接的推論就是，對(duì)一般的目標(biāo)函數(shù)譜梯度方法具有局部的線性收斂速度，所以，結(jié)合了非單調(diào)線搜索的譜梯度方法，只要參數(shù)選用適當(dāng)，迭代靠近最優(yōu)解時(shí)的步長(zhǎng)因子總是可以接受的然而，很少有人研究譜梯度方法迭代的漸進(jìn)過(guò)程，即使是對(duì)二次函數(shù)也僅僅知道維數(shù)的情形和（）針對(duì)朋寸稱正定的二次函數(shù)分析了計(jì)算譜梯度方法漸進(jìn)過(guò)程的可行性，觀察到禮時(shí)的某些值，隨著他的增加有一個(gè)從超線性收斂到線性收斂的轉(zhuǎn)變，從而給出了譜梯度方法的一個(gè)簡(jiǎn)單版本，可以預(yù)測(cè)這個(gè)轉(zhuǎn)變之后，等人（）通過(guò)仿真譜梯度算法對(duì)二維二次函數(shù)極小化的求解，提出了極

15、小化二次函數(shù)的自適應(yīng)步長(zhǎng)的譜梯度方法，利用擬信賴域技術(shù)在兩個(gè)譜系數(shù)（）和（）間選取合適的一個(gè)作為步長(zhǎng)他們的數(shù)值實(shí)驗(yàn)說(shuō)明自適應(yīng)的譜梯度方法優(yōu)于譜梯度方法，特別是系數(shù)矩陣非常病態(tài)時(shí)仍可達(dá)到要求的精度另外，當(dāng)限制低精度時(shí)自適應(yīng)譜梯度方法優(yōu)于線性共軛梯度方法等（）將【】【】的結(jié)果推廣，提出一類重開始的非單調(diào)梯度法，并建立了收斂性，用不同的例子說(shuō)明了這些新方法的優(yōu)點(diǎn)和（）】在說(shuō)明法效果差歸因于最優(yōu)步長(zhǎng)的選取而不是梯度方向的取法后，將的線搜索方法推廣提出了一種法和法相結(jié)合的新梯度法：（）方法這種方法在適當(dāng)?shù)姆稊?shù)下可以有一線性收斂速度這種方法也是非單調(diào)的，其核心思想是在每步迭代時(shí)計(jì)算一次步長(zhǎng)迭代兩次文提出的

16、梯度類算法是方法的一種特殊情況，當(dāng)，是嚴(yán)格凸的二次函數(shù)時(shí)【】已經(jīng)建立了方法的全局收斂性對(duì)于一般的凸二次函數(shù)，則由文】給出了方法線性收斂的證明，而文【】則對(duì)一般的非線性目標(biāo)函數(shù)證明了方法的局部線性收斂性對(duì)一般的非線性目標(biāo)函數(shù)，譜梯度方法僅是局部收斂而非全局收斂，它的全局收斂性借助于非單調(diào)線搜索得到【，對(duì)一般的非二次函數(shù)極小化問(wèn)題（），（）建立了全局的譜梯度方法，耳（）方法方法是由譜梯度方法和等人提出的非單調(diào)線搜索策略【】結(jié)合而成，對(duì)一般的光滑無(wú)約束問(wèn)題可以證明具有全局收斂性這篇文章另一同等重要的內(nèi)容在于，它提供了大量的數(shù)值實(shí)驗(yàn)，部分問(wèn)題的維數(shù)甚至高達(dá)實(shí)驗(yàn)結(jié)果顯示，全局譜梯度方法在數(shù)值表現(xiàn)上可以媲

17、美一些標(biāo)準(zhǔn)的共軛梯度算法（）對(duì)算法作了進(jìn)一步分析討論，解釋了為什么它會(huì)優(yōu)于共一一第一章緒論軛梯度法，說(shuō)明了非單調(diào)線搜索在全局收斂性中的重要性，指出【】中的非單調(diào)線搜索方式并不是全局譜梯度方法最好的選擇，并給出了其他的替換選擇其實(shí)，對(duì)于一般的非二次函數(shù)極小化問(wèn)題，（）和（）中的和月匕：會(huì)非常大或非常小，甚至對(duì)非凸函數(shù)還可能是負(fù)的，這些都可能造成算法不收斂因此，必須要求（）和（）中的值滿足七口，（）對(duì)所有的正整數(shù)成立，這里的乜，“是給定的固定值然而，這樣仍不能保證算法對(duì)一般非二次函數(shù)的收斂性，所以，需要對(duì)步長(zhǎng)因子的選取作些其它的限制由于譜梯度方法的步長(zhǎng)因子不能保證目標(biāo)函數(shù)值的單調(diào)下降性。而它對(duì)正定

18、二次函數(shù)又有較好的收斂速度，所以全局算法既要盡可能的選擇譜系數(shù)作為步長(zhǎng)因子，又要維持譜梯度算法的局部收斂速度，就得采用非單調(diào)線搜索策略值得注意的是，非單調(diào)的全局技術(shù)對(duì)困難的非線性問(wèn)題是非常有效的，因?yàn)樗粌H具有默認(rèn)步長(zhǎng)因子特殊的局部收斂性質(zhì)，更重要的是它可以跳出局部極小方法中采用的是的非單調(diào)線搜索公式七七）。毗）七一歹）靠也，（），（，），（，】這是一種基于型的非單調(diào)線搜索，（）中的是一給定參數(shù)全局譜梯度算法是對(duì)譜梯度算法加（）和（）的步長(zhǎng)因子限制得到的，數(shù)值結(jié)果顯示全局譜梯度算法在梯度計(jì)算次數(shù)和時(shí)間上有時(shí)甚至優(yōu)于一些共軛梯度算法，然而，數(shù)值結(jié)果也顯示，對(duì)一些病態(tài)的問(wèn)題全局譜梯度算法是失效的注

19、意到，（）滿足時(shí)，需要每步迭代的七必須落在水平集七：）。蛐（）七一）（）中這個(gè)限制太嚴(yán)格了，要求，（，）均要落在局部極小點(diǎn)附近，致使線搜索實(shí)施過(guò)程中這樣的非單調(diào)線方法可能不是很有效另一個(gè)后果是，對(duì)病態(tài)的凸問(wèn)題和困難的非線性問(wèn)題，全局譜梯度算法強(qiáng)烈依賴初始點(diǎn)的選取和參數(shù)以一個(gè)凸問(wèn)題（目標(biāo)函數(shù)含有一個(gè)小的非凸項(xiàng)）為例，分析了增加非單調(diào)性的重要性和必須性，同時(shí)介紹了比（）稍弱些的非單調(diào)搜索原則在同一一第一章緒論一篇文獻(xiàn)中，丕分析了凸問(wèn)題，提出了一種基于梯度范數(shù)的非單調(diào)線搜索方法，它不需要計(jì)算函數(shù)值，且數(shù)值應(yīng)用效果良好另外，在分析了譜梯度方法對(duì)大多數(shù)問(wèn)題在數(shù)值上的非單調(diào)行為，以及為何比共軛梯度法有效的

20、原因后，進(jìn)一步強(qiáng)調(diào)了譜梯度方法需要和非單調(diào)線搜索結(jié)合的重要性之后，等人【馴對(duì)一般的非凸問(wèn)題定義了兩種新的非單調(diào)線搜索方法，使得一些點(diǎn)可以跳出當(dāng)前的水平集驢，但最終仍會(huì)收斂到目標(biāo)函數(shù)，在中的穩(wěn)定點(diǎn)，且不會(huì)收斂到局部極大值其中的一種方法將看門狗技術(shù)引入（），可以看作是（）的修正；另一種方法主要是采用，（七以）。（奄，），知一）饑吾毗一能比，（）饑，飽，他的搜索準(zhǔn)則這兩種搜索方式與譜梯度方法結(jié)合后形成了新的算法，等人還證明了相關(guān)算法的全局收斂性，并做了大量的數(shù)值研究輔助說(shuō)明算法對(duì)大規(guī)模無(wú)約束問(wèn)題的有效性文貝提出了一種新的非精確線搜索策略，線搜索是它的特殊情況，與下降法結(jié)合的新算法在某些情況下也即為譜

21、梯度方法方法其他的修正，主要旨在提高算法效率和降低線搜索參數(shù)的影響方面文提出了一種自適應(yīng)的非單調(diào)線搜索策略，可以降低非單調(diào)搜索中參數(shù)對(duì)算法的影響，與譜梯度方法結(jié)合得到了自適應(yīng)的譜梯度算法，該算法同樣具有全局收斂性，而且數(shù)值結(jié)果良好，但與（）相比又多了個(gè)參數(shù)文貝從插值的角度解釋了譜系數(shù)的選取其實(shí)，對(duì)于一維的優(yōu)化問(wèn)題，譜梯度方法就是切線法，在高維情形下，譜系數(shù)不僅可以由擬牛頓方程得到，還可以由和七間的二次插值得到從而，文提出了兩種新的計(jì)算步長(zhǎng)因子的方法，當(dāng)，（）在七一和七間是二次函數(shù)時(shí)，新步長(zhǎng)就等同于（）和（）基于這兩種新步長(zhǎng)因子文還提出了兩個(gè)求解無(wú)約束問(wèn)題的修正兩點(diǎn)步長(zhǎng)梯度法文【】則對(duì)搜索方法做

22、了一定的限制后提出了預(yù)條件的譜梯度方法而文針對(duì)帶強(qiáng)噪聲的無(wú)約束問(wèn)題提出了一種更有效的策略：譜梯度方法和隨機(jī)逼近方法的有效結(jié)合無(wú)約束問(wèn)題（）的求解往往借助于一階必要條件，即極小值處的梯度為零一一第一章緒論利用這點(diǎn)構(gòu)造無(wú)約束問(wèn)題的解法可歸為這樣兩種：（）幾何解法，構(gòu)造迭代序列。態(tài)，最簡(jiǎn)單的梯度流，七以夕禮，其中以為下降步長(zhǎng)，釓為下降方向當(dāng)一，以取作譜系數(shù)時(shí)，即為譜梯度方法的迭代格式（）動(dòng)力系統(tǒng)，即梯度流方法最優(yōu)解滿足某一動(dòng)力系統(tǒng)的穩(wěn)定狀掣一（亡），亡，【（）梯度方法】引入梯度流，構(gòu)造了求解非線性問(wèn)題的預(yù)條件梯度流法（）顯然，對(duì)時(shí)間的離散化后即是簡(jiǎn)單的梯度法和將預(yù)條件的譜總之，譜梯度方法由于其簡(jiǎn)單性

23、、數(shù)值有效性和對(duì)存儲(chǔ)空間的極小需求，已經(jīng)受到越來(lái)越多研究學(xué)者的關(guān)注也延伸到了許多其他的研究領(lǐng)域譜梯度方法的應(yīng)用譜梯度方法雖然不能保證目標(biāo)函數(shù)值在每一步迭代的下降性，但在實(shí)際計(jì)算時(shí)遠(yuǎn)遠(yuǎn)優(yōu)于經(jīng)典的最速下降法，甚至比一些共軛梯度法還快，而且譜梯度方法往往只需要極少的計(jì)算量且編碼簡(jiǎn)單，所以已經(jīng)被推廣并廣泛地應(yīng)用于其它領(lǐng)域譜梯度方法最早最直接的應(yīng)用是在化學(xué)中的應(yīng)用方法提出后，被成功應(yīng)用于物理研究【】，且被推廣求解凸約束優(yōu)化、隨機(jī)優(yōu)化、方程組求解等問(wèn)題（）的想法后來(lái)在】中進(jìn)一步擴(kuò)展，用于極小化閉凸集上的可微函數(shù)，從而引出了一類更有效的投影梯度法：譜投影梯度法啪鋤】此外，矛等對(duì)譜梯度方法及其應(yīng)用也做了大量的

24、研究【坫，文禾用梯度投影法和活動(dòng)集技術(shù)將譜梯度方法推廣至求解箱形約束優(yōu)化問(wèn)題凸約束優(yōu)化中的應(yīng)用在譜梯度方法的基礎(chǔ)上，、和提出了一種求解凸約束優(yōu)化（）（）的譜投影梯度（）方法，簡(jiǎn)稱為方法（）中為閉一一第一章緒論凸集該方法的主要思想是在當(dāng)前迭代點(diǎn)七處，計(jì)算搜索方向（一口七鯫）一七，（名）是向量在閉凸集上的垂直投影，而七即為譜系數(shù)新的迭代點(diǎn)知，（）（）其中七為迭代步長(zhǎng)當(dāng)閉凸集上的投影易于計(jì)算時(shí)，方法非常有效，特別是對(duì)箱形約束和球形約束這種情形下，方法特別易于編碼而且所需的存儲(chǔ)空間很少令人吃驚的是它的數(shù)值表現(xiàn)很好，優(yōu)于與之比較的復(fù)雜的信賴域算法到目前為止，算法已經(jīng)成功的解決了許多學(xué)術(shù)問(wèn)題和工業(yè)問(wèn)題文】

25、列舉了大量的數(shù)值實(shí)驗(yàn)，結(jié)果顯示步長(zhǎng)取為譜系數(shù)比取作常數(shù)求解算法效率有極大的提高，而且非單調(diào)線搜索也很有效然而，其中的收斂定理證明有一點(diǎn)小錯(cuò)誤，原因是情形（見文的頁(yè)）的證明里，錯(cuò)誤的將序列七看作是序列的子列，所以原文獻(xiàn)里的結(jié)論是得不到的事實(shí)上，如果添加一些合適的條件，該定理的結(jié)論仍然成立文獻(xiàn)】重新研究方法的收斂性，去掉了原定理中各種無(wú)界的假設(shè)，證明了如果目標(biāo)函數(shù)的梯度函數(shù)一致連續(xù)，則方法收斂且投影梯度序列趨近于零向量，在適當(dāng)?shù)臈l件下方法還有一些令人鼓舞的收斂性質(zhì)，如全局收斂性和有限終止性鑒于方法的成功，文將算法應(yīng)用求解條件約束問(wèn)題，（），（），（）的外層迭代，并做了大量的數(shù)值實(shí)驗(yàn)來(lái)評(píng)價(jià)算法的應(yīng)用

26、（）的目標(biāo)函數(shù)，：兄和約束函數(shù)九：形艫均為一階連續(xù)可微，艫龜（），其中連續(xù)可微且為凸函數(shù)另外，文將【】中求解無(wú)約束優(yōu)化拘（）方法推廣到求解箱形約束問(wèn)題（）：），一一（）第一章緒論其中，是連續(xù)可微的實(shí)值函數(shù)，定義在集合召鐘：），其中，或者如一或且與（具體說(shuō)明見】）和（數(shù)值比較（），）方法做了對(duì)于箱形約束問(wèn)題，文在箱形約束可行集內(nèi)部迭代時(shí)采用了比例循環(huán)的譜梯度迭代，從而提出了一種求解箱形約束的仿射比例算法，與非單調(diào)線搜索結(jié)合后具有全局收斂性，當(dāng)滿足二階充分優(yōu)化條件時(shí)具有局部的線性收斂速度，數(shù)值實(shí)驗(yàn)顯示收斂速度對(duì)問(wèn)題條件不敏感文將活動(dòng)集技術(shù)與譜梯度方法結(jié)合用于求解大規(guī)模的箱形約束問(wèn)題，全局收斂性也借

27、助于非單調(diào)線搜索得到，數(shù)值實(shí)驗(yàn)結(jié)果可與算法媲美線性方程組求解顯然，求解（）等價(jià)于求解線性方程組，（）其中對(duì)稱正定若記吼為點(diǎn)亂處的殘量，即鯫七一，則很容易得到求解問(wèn)題（）相應(yīng)的最速下降法和譜梯度法等【給出了這兩種方法的一般形式，并比較了幾種不同的步長(zhǎng)選舉策略等人【】對(duì)求解非對(duì)稱線性方程組（系數(shù)矩陣煳非奇異但不一定是對(duì)稱正定陣）的譜梯度方法予以分析假設(shè)未知量?jī)H有兩個(gè)變量且有兩個(gè)實(shí)特征值，此外，還假設(shè)：紈對(duì)任意的成立，這個(gè)假設(shè)并不能保證是正定的，而這恰是，所需要的在這些假設(shè)下，等證明了：如果有兩個(gè)相同的特征值，譜梯度法是一超線性收斂的；如果有不同特征值，譜梯度法幾乎對(duì)所有的初始點(diǎn)收斂且具有超線性收斂

28、性這些結(jié)論強(qiáng)烈的依賴于文中兩個(gè)非線性遞推關(guān)系的分析研究文中還指出，譜梯度法的收斂性與矩陣的對(duì)稱程度有關(guān)如果陵近于對(duì)稱矩陣，算法則收斂的很快；反之，若明顯的非對(duì)稱，則算法收斂的很慢而且，譜梯度法求解非對(duì)稱線性方程組的收斂速度慢于求解對(duì)稱線性方程組的收斂速度，當(dāng)對(duì)稱時(shí)，若有兩個(gè)相同特征值則譜梯度法至多兩步收斂；若有一對(duì)相異特征值，由【】可知該方法的超線性收斂階是一，是任一第一章緒論一比以小的正數(shù)；當(dāng)非對(duì)稱時(shí)，若有相異特征值則超線性收斂階僅為所以，要加速求解非對(duì)稱線性方程組的譜梯度法的收斂速度，需要進(jìn)一步研究怎樣將非對(duì)稱矩陣變化以提高它的對(duì)稱性另外，至子空間方法中】還將譜系數(shù)用大規(guī)模非線性方程組求解

29、近年來(lái)，譜梯度方法己被用于求解大規(guī)模非線性方程組問(wèn)題【蝴】考慮非線性方程組問(wèn)題：（），研，（）其中，：毋為連續(xù)可微的非線性映射我們著重討論迭代求解和大規(guī)模情形，即當(dāng)很大，（）相應(yīng)的矩陣無(wú)法獲取或存儲(chǔ)量太大無(wú)法承受、計(jì)算時(shí)間太長(zhǎng)無(wú)法接受的情形求解非線性方程組的基本迭代解法主要有三種第一種為固定點(diǎn)迭代，此方法僅需要函數(shù)（）的信息，以殘向量作為搜索方向第二種為有限差分或不精確牛頓法，此方法建立在子空間投影理論上，需要用一向量逼近矩陣的變化從而保持牛頓法的快速收斂性【最后一種方法相關(guān)的研究很少，也許因?yàn)橐玫揭恍┓椒ǖ挠邢抻洃浭侄巍酒渲兄饕慕夥ㄓ信ｎD法和擬牛頓法，嘶這些方法在充分靠近真解時(shí)具有快速的

30、局部收斂速度，但不適用于求解大規(guī)模非線性方程組問(wèn)題，因?yàn)槊坎降枰镁仃嚮蚱浣魄蠼庖痪€性系統(tǒng)全局收斂技術(shù)一直是非線性方程組求解中的一個(gè)主要的研究?jī)?nèi)容，即保證從任一初始點(diǎn)都可以收斂逼近最優(yōu)解經(jīng)典的作法是引入對(duì)偶函數(shù)。如（）（）（），利用線搜索或信賴域技術(shù)極小化，（）在適當(dāng)?shù)募僭O(shè)前提下，理論上可以通過(guò)合適的極小化算法收斂到非線性系統(tǒng)的解然而，因?yàn)椋ǎ┕肪仃囀俏粗模炙惴ú荒苡玫綄?duì)偶函數(shù)廠（）的梯度信息，因此，要建立收斂理論必須用有限差分逼近廠（）的梯度或依賴于合適的全局收斂理論和無(wú)梯度方法在這樣的框架下。等人建立了求解大規(guī)模非線性方程組的譜算法（），迭代格式（）鞏一（七）（），一一第一章

31、緒論七取作譜系數(shù)的適當(dāng)修改全局收斂性由【】中的非單調(diào)線搜索方法的變形得到，搜索方向一（七）七，線搜索中的（七）七用向前差分獲得同時(shí)（）以逼近值的符號(hào)還被用于確定搜索方向的符號(hào)原則上，這種方法的收斂條件就要求（）的梯度不能與（）正交即使這樣，算法的數(shù)值表現(xiàn)在計(jì)算時(shí)間上與一些牛頓型方法比仍具有競(jìng)爭(zhēng)力之后，等人又提出了一種新的無(wú)梯度線搜索方法，進(jìn)一步給出了求解大規(guī)模非線性方程組問(wèn)題的（）方法【，數(shù)值實(shí)驗(yàn)表明該方法非常有效等人】定義分析了一系列針對(duì)無(wú)約束問(wèn)題的非單調(diào)無(wú)梯度的線搜索策略，并介紹了一種結(jié)合了看門狗技術(shù)和非單調(diào)線搜索的全局技術(shù)，將其與譜梯度方法結(jié)合用于求解大規(guī)模非線性方程組和將譜梯度方法和文

32、】中的投影方法結(jié)合用于求解非線性的單調(diào)方程組類似于【】，等人【】則將共軛梯度法與中的搜索方法結(jié)合后應(yīng)用于求解大規(guī)模非線性方程組問(wèn)題喻【也作了一些這方面的研究醫(yī)學(xué)圖像彈性配準(zhǔn)醫(yī)學(xué)圖像配準(zhǔn)是指尋找聯(lián)系兩幅醫(yī)學(xué)圖像間的幾何變換，使兩幅圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致醫(yī)學(xué)診斷和治療過(guò)程中，常需要對(duì)比分析多幅圖像，以獲得更為精確和全面的信息圖像分析大都要求多幅圖像的幾何位置一致，因此配準(zhǔn)是醫(yī)學(xué)圖像分析的一個(gè)重大課題圖像配準(zhǔn)不僅可以校正病人多次成像問(wèn)的位置變化，也可以校正由于成像模式本身導(dǎo)致的畸變對(duì)同一個(gè)病人的不同時(shí)間的圖像進(jìn)行配準(zhǔn)，可以了解發(fā)育過(guò)程及腫瘤或退行性病變的病情進(jìn)展；對(duì)不同人的圖像進(jìn)行配準(zhǔn)，去除

33、種族、年齡等臨床及遺傳差異，從而形成疾病或人群特異性圖譜，可用于正常與否的分析；對(duì)不同成像模式進(jìn)行配準(zhǔn)，可以獲得互補(bǔ)信息用兄和表示待配準(zhǔn)的兩幅圖像，其中兄為參考圖像（），表示檢驗(yàn)圖像（）配準(zhǔn)過(guò)程就是要找到一個(gè)空間變換西，使參考圖像與變形后的檢驗(yàn)圖像達(dá)到空間上的一致性即選擇合適的相似性測(cè)度（）使得它們的相似性（，）（，西（）（）達(dá)到最大其（）是相似性測(cè)度，也常常稱為價(jià)格函數(shù)（）或目標(biāo)函數(shù)（）圣為參考圖像和檢驗(yàn)圖像之間的空間變換，如果這個(gè)變形函一一第一章緒論數(shù)表示線性關(guān)系，這種變形就稱為剛性變形【；如果表示非線性關(guān)系，則稱為彈性變形【”圖像配準(zhǔn)的過(guò)程可歸結(jié)為變換模型（，西（），（）即尋求使得（，西

34、（）取得最大值的空間變換西變換模型中的參數(shù)可能的取值范圍稱為搜索空間，參數(shù)的個(gè)數(shù)稱為變換模型的自由度參數(shù)的個(gè)數(shù)與變換模型的特性有關(guān)，不同的變換模型，其自由度常常是不同的二維剛體變換只有三個(gè)自由度，分別表示坐標(biāo)軸方向上的平移和空間的旋轉(zhuǎn)角度：三維剛體變換則有六個(gè)自由度，分別表示三個(gè)坐標(biāo)軸方向上的偏移量和相對(duì)旋轉(zhuǎn)角度，參數(shù)的取值范圍根據(jù)特定的應(yīng)用和實(shí)際情況進(jìn)行選??；彈性配準(zhǔn)所含參數(shù)更多，有可能達(dá)到成千上萬(wàn)個(gè)，變換模型更加復(fù)雜圖像配準(zhǔn)是信息融合研究中的一項(xiàng)重要課題對(duì)于部分計(jì)算機(jī)視覺和模式識(shí)別任務(wù)而言，圖像配準(zhǔn)是其關(guān)鍵和先決條件圖像配準(zhǔn)依據(jù)其解決圖像形變的能力而分為剛性配準(zhǔn)方法和彈性配準(zhǔn)方法兩類其中，

35、剛性配準(zhǔn)只解決剛性形變問(wèn)題，是尋找一個(gè)六自由度（三個(gè)旋轉(zhuǎn)，三個(gè)平移）的變換，使得參考圖像中的點(diǎn)映射到檢驗(yàn)圖像中的對(duì)應(yīng)點(diǎn)經(jīng)過(guò)多年的發(fā)展，用于同一模式和不同模式的剛性配準(zhǔn)算法已經(jīng)成熟，可以達(dá)到很高的配準(zhǔn)精度，并且能夠臨床應(yīng)用彈性變換具有足夠的通用性，可以逼近任意的非線性變換，則可以處理圖像中存在的彈性形變（亦稱為非剛性形變）相對(duì)于剛性配準(zhǔn)方法而言，彈性配準(zhǔn)方法的研究起步較晚，是近些年才開始的從現(xiàn)有文獻(xiàn)來(lái)看，目前彈性配準(zhǔn)方法的研究主要集中在基于區(qū)域的方法中彈性變換的變形模型基本可以分為兩類：一類是非參數(shù)化模型在這種模型中，圖像被看成是一片有彈性的薄膜，在外力和內(nèi)力的作用下達(dá)到平衡外力由參考圖像和變形圖像（即檢驗(yàn)圖像）的差異確定；內(nèi)力由薄膜的強(qiáng)度和平滑程度確定主要有以下幾種模型：、彈性力學(xué)模型思路是將檢驗(yàn)圖像到參考圖像的變形過(guò)程建模為一個(gè)物理過(guò)程，類似于拉伸一個(gè)諸如橡皮的彈性材料這個(gè)物理過(guò)程由兩種力來(lái)控制內(nèi)力和外力內(nèi)力是由于彈性材料的變形和抵消任何使彈性體從平衡形狀變形的力產(chǎn)生的外力是外界作用于彈性體的力，當(dāng)作用于彈性體上的外力和內(nèi)力達(dá)到平一一第章緒論衡時(shí)變形過(guò)程結(jié)束彈性體的變形可以由線性偏微分方程（，）（）（亂（，），（，）（）來(lái)