自適應(yīng)信號處理

1自適應(yīng)信號處理

AdaptiveSignalProcessing

薛永林

xueyl@FIT1-410

2課程內(nèi)容C.1 自適應(yīng)信號處理（Introduction）自適應(yīng)系統(tǒng)特點(diǎn),自適應(yīng)處理原理梯度和最小均方誤差，性能函數(shù)和性能曲面C.2 自適應(yīng)搜索算法性能曲面梯度搜索 牛頓法，最陡下降法學(xué)習(xí)曲線及比較C.3 LMS算法LMS算法導(dǎo)出，加權(quán)矢量的收斂性學(xué)習(xí)曲線，梯度估計(jì)對自適應(yīng)過程的影響加權(quán)矢量解中的噪聲，失調(diào)C.4 最小二乘自適應(yīng)濾波及快速算法投影矩陣，濾波算子格型濾波器，快速橫向?yàn)V波器C.5 自適應(yīng)信號處理的應(yīng)用

3參考文獻(xiàn)(1)張旭東、陸明泉，離散隨機(jī)信號處理，清華大學(xué)出版社，2005(2)BernardWidrow，SamuelD.Stearns， AdaptiveSignalProcessing，

Prentice-Hall，1985(3)SimonHaykin，自適應(yīng)濾波器原理，第4版，電子工業(yè)出版社，20034C.1自適應(yīng)信號處理C1.1自適應(yīng)處理概述C1.1.1自適應(yīng)系統(tǒng)特點(diǎn):能自動(dòng)適應(yīng)(最佳)變化的(時(shí)變)環(huán)境條件和要求可被訓(xùn)練以實(shí)現(xiàn)特定的過濾和判決可趨于自學(xué)習(xí)、自修復(fù)、自更新和自設(shè)計(jì)復(fù)雜性高，系統(tǒng)性能高（尤其是對時(shí)變信號）主要是時(shí)變的非線性系統(tǒng)5自適應(yīng)濾波器：

當(dāng)環(huán)境條件發(fā)生變化時(shí)，能自動(dòng)檢測變化并調(diào)整參數(shù)使輸出性能達(dá)到最優(yōu)的濾波器

自適應(yīng)過程：

包括學(xué)習(xí)過程和跟蹤過程 性能測量：

自適應(yīng)的速度 接近最優(yōu)的程度

6C1.1.2自適應(yīng)系統(tǒng)分類開環(huán)系統(tǒng)

7

閉環(huán)系統(tǒng)8C1.1.3自適應(yīng)系統(tǒng)指標(biāo)（1）收斂速率

濾波器從初始參數(shù)調(diào)節(jié)到輸出充分接近最優(yōu)所需 的迭代次數(shù)（2）失調(diào)

充分接近與最優(yōu)的偏離程度（3）計(jì)算量（復(fù)雜度）9C1.1.4自適應(yīng)算法

根據(jù)濾波器結(jié)構(gòu)和算法準(zhǔn)則,自適應(yīng)算法主要有：梯度算法最小均方濾波器格型自適應(yīng)濾波器最小二乘自適應(yīng)濾波器快速橫向自適應(yīng)濾波器自適應(yīng)無限沖激響濾波器

隨機(jī)梯度濾波算子

10C1.1.5自適應(yīng)濾波應(yīng)用范圍系統(tǒng)辨識自適應(yīng)均衡語音處理譜分析自適應(yīng)信號檢測自適應(yīng)噪聲消除自適應(yīng)動(dòng)目標(biāo)檢測11C1.2自適應(yīng)系統(tǒng)基本原理C1.2.1自適應(yīng)線性組合器非遞歸自適應(yīng)濾波器12輸入信號可以是多個(gè)信源信號輸入，也可以是一個(gè)信號的個(gè)連續(xù)樣本的輸入，記

或每個(gè)信號的加權(quán)因子為

輸出

或

對閉環(huán)自適應(yīng)系統(tǒng)，系統(tǒng)參數(shù)（加權(quán)矢量）和“希望響應(yīng)”或“訓(xùn)練信號”有關(guān)，即有性能反饋13C1.2.2性能函數(shù)和均方誤差性能表面

若希望響應(yīng)為dk，誤差信號為平方誤差信號為如果該過程為統(tǒng)計(jì)平穩(wěn)的，則 設(shè)相關(guān)矩陣，希望響應(yīng)和輸入分量間的互相關(guān)用表示,則均方誤差—性能函數(shù)14

均方誤差性能表面是一個(gè)關(guān)于的碗形的二次誤差函數(shù)或二次曲面。

15C1.2.3梯度和最小均方誤差常用梯度法以尋求性能表面的最小點(diǎn)梯度可求得為：

為獲得均方誤差的最小值，對加權(quán)向量取其最佳值，使梯度為0，即

這是Wiener-Hopf方程的一種矩陣表示，則最小均方誤差為

16性能函數(shù)也可用下式表示（可證與2.2中性能函數(shù)相等）

若令則

欲使,則須 當(dāng)時(shí),,Rx

正定,Rx

半正定

若梯度可有另一種表達(dá)方式若17C1.2.4二次性能曲面的性質(zhì)對于輸入相關(guān)矩陣Rx，

為Rx的特征值

為Rx的特征矢量，

則

可以證明：（1）若

，即特征矢量相互正交,即,,n=0，…L

令（3）歸一化 （2）18證明：（1），，則故（2）令，則，，故 （3）歸一化為標(biāo)準(zhǔn)正交矩陣，則19特征值和特征矢量的幾何意義

—平移—旋轉(zhuǎn)—等值線橢圓 或可表示為即另由 梯度20結(jié)論：輸入相關(guān)矩陣的特征矢量規(guī)定誤差曲面的主軸輸入相關(guān)矩陣的特征值規(guī)定誤差曲面關(guān)于其主軸的二階導(dǎo)數(shù)

21C1.2.5誤差和輸入信號的不相關(guān)性

當(dāng)時(shí)，

結(jié)論：當(dāng)濾波器響應(yīng)達(dá)到最佳時(shí)， 誤差信號與輸入信號互不相關(guān)（正交）。誤差信號22C.2自適應(yīng)搜索算法

或

或

C.2.1梯度搜索算法基本原理23在性能曲面上，以任意W0為起始尋求W*，即是決定收斂速率和穩(wěn)定性的增益常數(shù)，稱作收斂因子?；驓w納可得第K次迭代當(dāng)時(shí)，對于一維加權(quán)矢量24C.2.2牛頓搜索算法選定初值w0，預(yù)計(jì)下一估值w1其導(dǎo)數(shù)

則歸納可得求函數(shù)的解：25

而故令，則對于二次曲面，將當(dāng)時(shí)，，一次迭代即可。為估值代入26一般地對于任意加權(quán)矢量，有 ∴

一次迭代27又有最小均方誤差加權(quán)矢量梯度向量故當(dāng)時(shí)，，一次迭代即達(dá)最優(yōu)。2829

在二次性能曲面上，牛頓迭代法可一次達(dá)到最優(yōu)，但實(shí)際自適應(yīng)系統(tǒng)沒有足夠的信息量來保證這一次迭代的成功。在非穩(wěn)條件下，有兩個(gè)問題：（1）

矩陣未知，僅僅只能盡可能好地估計(jì)。（2）在每一次自適應(yīng)迭代時(shí)，梯度須利用局部觀測來加以估計(jì)。30為了預(yù)期有噪的和估計(jì)的影響，我們調(diào)整牛頓迭代法：得到一種算法，使在許多次迭代后收斂于，這小增量將有平滑在和估計(jì)中噪聲的效果， 以較小的增量調(diào)節(jié)修改后的牛頓迭代法為：使得自適應(yīng)系統(tǒng)有穩(wěn)定的性能31

在無噪聲條件下，和收斂僅取決于標(biāo)量收斂因子為此代入式歸納為可以準(zhǔn)確知道32

在無噪情況下的收斂條件為： 是一步收斂是振蕩收斂

實(shí)際自適應(yīng)系統(tǒng)中具有噪聲，的優(yōu)化在小于1/2，通常作為多次迭代的收斂因子。是平滑收斂33最陡下降法和牛頓方法不同，每一步的加權(quán)調(diào)節(jié)是在梯度方向上。最陡下降法迭代算法為：而

則

平移向量平移C.2.3最陡下降梯度搜索方法所以34旋轉(zhuǎn)座標(biāo)到主軸方向，即 其中故歸納可得迭代公式35最陡下降法穩(wěn)定和收斂的條件為： 由于對角矩陣之積恰等于相應(yīng)對角元素乘積之矩陣，故36要滿足收斂條件，須其中是的最大特征值。 而則則3738C.2.4迭代的穩(wěn)定性和收斂速率

若滿足上述條件，各項(xiàng)公比均滿足 迭代收斂的條件為39當(dāng)，稱為過阻尼情況，穩(wěn)定收斂。，當(dāng)，稱為臨界阻尼情況，一步收斂。，當(dāng)，稱為欠阻尼情況，振蕩收斂。，當(dāng)或稱為不收斂或不穩(wěn)定情況。

時(shí)，40收斂速率隨r的減小而增大。41

自適應(yīng)系統(tǒng)中，MSE收斂于其最小值的過程，作為其性能的一種測度，我們現(xiàn)稱之為學(xué)習(xí)過程，而MSE值對應(yīng)其迭代次數(shù)的曲線稱之為學(xué)習(xí)曲線。均方誤差 利用移動(dòng)座標(biāo)則C.2.5自適應(yīng)搜索學(xué)習(xí)曲線42在牛頓迭代算法中：

則

為簡單幾何級數(shù)，幾何比為：

43牛頓法的學(xué)習(xí)曲線是有單一時(shí)間常數(shù)的純指數(shù)函數(shù)

44為了說明學(xué)習(xí)曲線的收斂過程，定義兩種時(shí)間常數(shù)：如果一個(gè)單位時(shí)間相應(yīng)于一次迭代，可以記為收斂特性時(shí)間常數(shù)和權(quán)值公比的關(guān)系，，，即K次迭代，一次迭代而則權(quán)值收斂時(shí)間常數(shù)45

學(xué)習(xí)曲線的時(shí)間常數(shù)定義為學(xué)習(xí)曲線的幾何比則相應(yīng)的時(shí)間常數(shù)為由此 46在最陡下降搜索算法時(shí)： 其中

和均為對角矩陣，可交換47則

故最陡下降搜索算法的學(xué)習(xí)曲線是一些遞降幾何級數(shù)之和，各個(gè)幾何級數(shù)之公比為： 最陡下降法的學(xué)習(xí)曲線是具有幾何比為即學(xué)習(xí)