自適應(yīng)信號(hào)處理ASP4

第4章性能表面的搜索Chap.4SearchingthePerformanceSurface1.本章內(nèi)容為什么要進(jìn)行梯度搜索？梯度搜索法的基本思想一個(gè)簡(jiǎn)單的梯度搜索法算法的性能分析學(xué)習(xí)曲線兩種梯度搜索法穩(wěn)定性收斂速度牛頓法最速下降法當(dāng)輸入的期望響應(yīng)均為統(tǒng)計(jì)平穩(wěn)過程時(shí)，ALC的均方誤差性能表面是權(quán)向量的二次函數(shù)，但在多數(shù)實(shí)際運(yùn)用的場(chǎng)合中，的參數(shù)是未知的，即得不到的解析表達(dá)式。因?yàn)椋翰荒苡肳iener方程來直接得到最佳解所以：只能用搜索的方法來尋找為什么要進(jìn)行梯度搜索？梯度搜索法的基本思想（1）用梯度來指明的最小值所在的方向梯度搜索法梯度搜索法的基本思想（2）以單權(quán)為例，

單權(quán)時(shí)，

其中：過程：從

開始，測(cè)該點(diǎn)的梯度（斜率），選一個(gè)的新值，使它等于

加上一個(gè)正

比于斜率的增量，得到

，測(cè)

處的斜率

一直到梯度為零處，過程停止。

使用的是負(fù)梯度-------“下山”(downhill)法GradientSearch一個(gè)簡(jiǎn)單的梯度搜索法將上述思想用數(shù)學(xué)方式表達(dá)出來

：

常數(shù)，控制收斂速度和穩(wěn)定性在搜索的每一步上，wk的取值？

等比級(jí)數(shù)采用歸納法等比級(jí)數(shù)求和

算法的性能分析—穩(wěn)定性為使

收斂于

i）是正值，否則會(huì)使搜索方向發(fā)生變化-不收斂ii）有上限取值，輸入信號(hào)能量越大，

可得：

穩(wěn)定性在算法收斂的前提下，r取值的大小決定了收斂速度

算法的性能分析—收斂速度不穩(wěn)定收斂速度!!

希望0<r<1越小越好，r=0最好??能否做到，是否真的最好學(xué)習(xí)曲線（learningcurve）定義：

隨k

的變化曲線

自適應(yīng)過程是一個(gè)學(xué)習(xí)過程，用學(xué)習(xí)曲線描述學(xué)習(xí)“效果”用表示學(xué)習(xí)曲線的公比說明什么問題？從物理上講，任何時(shí)刻的均不會(huì)小于其最小值

不同迭代次數(shù)及之間的連線沒有物理意義，僅指明了疊代過程中均方誤差的減小過程。??！學(xué)習(xí)曲線不會(huì)出現(xiàn)振蕩現(xiàn)象（欠阻尼）牛頓法（Newton’smethod）：數(shù)學(xué)意義重要最速下降法（MethodofsteepestDescent）：實(shí)際應(yīng)用廣泛

兩種梯度搜索法牛頓法定義：

在梯度搜索法中，當(dāng)r=0時(shí)，即時(shí)的方法

特點(diǎn)：學(xué)習(xí)過程處于臨界阻尼狀態(tài)稱作牛頓法。對(duì)于二次型性能表面而言，該方法一步迭代就能收斂?；舅枷耄▎螜?quán)情況為例）與數(shù)學(xué)中求解方程根的牛頓有對(duì)應(yīng)關(guān)系。

求函數(shù)的零點(diǎn)!!

如果知道

點(diǎn)的函數(shù)值和梯度值，就可以得出

當(dāng)用來搜索性能表面時(shí)，希望

（梯度）

則有

令梯度的搜索實(shí)際中必須估計(jì)和對(duì)于二次型函數(shù)，若已知，則二次型函數(shù)的特殊之處一步搜索到最佳值前提條件：

精確已知是二次型1）

2）

定義：在多維二次型性能表面上，一步搜索到達(dá)最佳解的方法稱作多維牛頓法。

一維

→

多維

左邊乘，得到多維空間的牛頓法當(dāng)為二次型時(shí)：所以：

可以看出：即使對(duì)于多維情況，牛頓法仍可一步搜索出由于的存在權(quán)值搜索不是在橢圓的中心，即的方向進(jìn)行的，而是指向牛頓法的搜索方向梯度搜索法：牛頓法：有時(shí)并不希望一步調(diào)整到

上，此時(shí)用代替1/2目的：調(diào)整收斂速度。歸納可知：算法推廣非二次型性能表面舉例與牛頓法不同，有量綱，為功率的倒數(shù)。

定義：在負(fù)梯度方向上調(diào)整權(quán)向的自適應(yīng)方法。

直接用多維形式最速下降法權(quán)值搜索過程的比較—牛頓法第n個(gè)分量：

各個(gè)分量各自調(diào)整，相互之間沒有影響權(quán)值調(diào)整是去耦的牛頓法：第

n個(gè)分量：

權(quán)值搜索過程的比較—最速下降法最速下降法：耦合的權(quán)值調(diào)整方式變換坐標(biāo)系，簡(jiǎn)化問題平移坐標(biāo)系：最速下降法—去耦分析主軸坐標(biāo)系：第

n個(gè)分量：權(quán)值調(diào)整時(shí)，個(gè)分量之間沒有耦合存在。性能分析起來更方便，更簡(jiǎn)單。主軸坐標(biāo)系中由歸納推理：收斂條件：

即：穩(wěn)定性分析每一個(gè)分量都有一個(gè)需要滿足的步長(zhǎng)要求。選擇其中為苛刻的條件：即可使所有分量都收斂。最速下降法搜索過程主軸方向上有不同但各自恒定的公