自適應(yīng)濾波器原理 第四講-NLMS算法

2023/2/4自適應(yīng)信號(hào)處理1第四講歸一化最小均方（NLMS)自適應(yīng)濾波算法

Y.J.Pang自適應(yīng)信號(hào)處理22023/2/4CONTENTNLMS算法推導(dǎo)過程N(yùn)LMS算法穩(wěn)定性NLMS算法在回聲消除中的應(yīng)用自適應(yīng)信號(hào)處理32023/2/4為什么歸一化？如何歸一化及歸一化的穩(wěn)定性回聲消除應(yīng)用仿射投影濾波器應(yīng)用自適應(yīng)信號(hào)處理42023/2/4為什么歸一化？由第五章的傳統(tǒng)的LMS濾波器的標(biāo)準(zhǔn)形式從上式可以看出n+1次迭代中應(yīng)用于濾波器抽頭權(quán)向量的失調(diào)為w(n+1)-w(n)由以下三點(diǎn)影響：

1.步長(zhǎng)參數(shù)u（由設(shè)計(jì)者控制）

2.抽頭輸入向量u(n)（由信息源提供）

3.實(shí)數(shù)據(jù)的估計(jì)誤差e（n）或復(fù)數(shù)據(jù)估計(jì)誤差e*（n）（n次迭代計(jì)算的結(jié)果）

可知失調(diào)與抽頭輸入向量u（n）成正比。我們?cè)谡{(diào)整濾波器的權(quán)向量使濾波器達(dá)到穩(wěn)定狀態(tài)的過程中，應(yīng)當(dāng)使權(quán)向量以最小方式改變，這樣才能的得到最優(yōu)解。當(dāng)u（n）較大時(shí)，出現(xiàn)梯度噪聲放大問題。歸一化：n+1次迭代時(shí)對(duì)抽頭權(quán)向量的失調(diào)相對(duì)于n次迭代時(shí)抽頭輸入向量u（n）的平方歐式范數(shù)進(jìn)行歸一化。自適應(yīng)信號(hào)處理52023/2/44.1.歸一化LMS濾波器作為約束最優(yōu)化問題的解

（1）在結(jié)構(gòu)上，歸一化LMS濾波器與標(biāo)準(zhǔn)LMS濾波器完全一樣，都是橫向?yàn)V波器。區(qū)別在于權(quán)值控制器的機(jī)理，如下圖橫向?yàn)V波器w(n）自適應(yīng)控制算法∑—+輸出信號(hào)y（n）期望響應(yīng)d（n）誤差信號(hào)e(n）輸入向量u（n）自適應(yīng)橫向?yàn)V波器框圖自適應(yīng)信號(hào)處理62023/2/4最小化干擾原理：從一次迭代到下一次中，自適應(yīng)濾波器的權(quán)向量應(yīng)當(dāng)以最小方式改變，而且受到更新的濾波器輸出所施加的約束。歸一化LMS濾波器設(shè)計(jì)準(zhǔn)則表述為約束優(yōu)化問題。即給定抽頭輸入向量u（n）和目標(biāo)響應(yīng)d（n），確定更新的抽頭向量w（n+1），使得增量的歐式范數(shù)最小化，并受制于以下約束條件我們應(yīng)用拉格朗日乘子法來解決這個(gè)約束優(yōu)化問題。代價(jià)函數(shù)為

其中Re[.]表示取實(shí)部運(yùn)算，約束對(duì)代價(jià)函數(shù)的貢獻(xiàn)是實(shí)值的；為復(fù)數(shù)拉格朗日乘子，*表示復(fù)共軛；表示歐式范數(shù)的平方運(yùn)算，其結(jié)果也是實(shí)值的。因此代價(jià)函數(shù)J（n）是實(shí)值的二次函數(shù)，且表示為自適應(yīng)信號(hào)處理72023/2/4為了得到代價(jià)函數(shù)為最小的最優(yōu)更新權(quán)向量，推到如下：第一步；代價(jià)函數(shù)對(duì)w（n+1）求導(dǎo)，得：令其為零，得最優(yōu)解為第二步;將第一步的結(jié)果帶入式（2）得自適應(yīng)信號(hào)處理82023/2/4對(duì)求解得其中是誤差信號(hào)。第三步；由上兩步的結(jié)果，表示增量變化的最優(yōu)值。故歸一化LMS算法抽頭權(quán)向量期望的遞歸結(jié)果為自適應(yīng)信號(hào)處理92023/2/4為了對(duì)一次迭代到下一次迭代抽頭權(quán)向量的增量變化進(jìn)行控制而不改變向量的方向，引入了一個(gè)正的實(shí)數(shù)標(biāo)度因子。故得到歸一化抽頭權(quán)向量的遞歸方程以上便是解決了當(dāng)u（n）較大時(shí)，造成的LMS濾波器的梯度噪聲放大的問題。而當(dāng)u（n）較小時(shí)，不得不用較小的平方范數(shù)除以，以致有可能出現(xiàn)數(shù)值計(jì)算困難。故將遞歸方程修改為；

其中自適應(yīng)信號(hào)處理102023/2/44.2歸一化LMS濾波器的穩(wěn)定性期望響應(yīng)d（n）多重回歸模型控制，重寫如下加權(quán)誤差向量為于是從w中減去式得到以均方偏差為基礎(chǔ)，進(jìn)行穩(wěn)定性分析。對(duì)式兩邊取平方歐式范數(shù)，并取期望值得：其中是無干擾誤差信號(hào)自適應(yīng)信號(hào)處理112023/2/4由式看做為變量的一元二次函數(shù)則當(dāng)滿足如下條件歸一化LMS濾波器在均方誤差意義下是穩(wěn)定的。最優(yōu)步長(zhǎng)參數(shù)為0u自適應(yīng)信號(hào)處理122023/2/4特殊情況：復(fù)數(shù)據(jù)實(shí)數(shù)據(jù)為便于計(jì)算最優(yōu)步長(zhǎng)提出三個(gè)假設(shè)：假設(shè)一：從一次迭代到下一次迭代的輸入信號(hào)能量的波動(dòng)足夠小滿足自適應(yīng)信號(hào)處理132023/2/4從而得到簡(jiǎn)化的最優(yōu)步長(zhǎng)假設(shè)二：無干擾誤差信號(hào)與期望響應(yīng)d（n）的多重回歸模型干擾（噪聲）v(n)無關(guān)第五章中，干擾信號(hào)e（n）與無干擾信號(hào)有關(guān)。最優(yōu)步長(zhǎng)自適應(yīng)信號(hào)處理142023/2/4假設(shè)三：輸入信號(hào)u（n）的譜內(nèi)容在比加權(quán)誤差向量每一個(gè)分量所占頻帶更寬的頻帶上基本上是平坦的，因此證實(shí)了如下近似：（低通濾波作用）最優(yōu)步長(zhǎng)自適應(yīng)信號(hào)處理152023/2/44.3回聲消除中的步長(zhǎng)控制幾乎所有的談話都在存在回聲的情況下進(jìn)行。根據(jù)是否可察覺是有所涉及的時(shí)延決定。語音與回聲之間時(shí)延較短，不容易察覺。（頻譜失真）時(shí)延較長(zhǎng)，(超過幾十毫秒)，就能感覺到?，F(xiàn)實(shí)生活中很常見；電話電路：電路中的混合變換器的橋式電路，當(dāng)平衡不好時(shí)，輸入與輸出之間存在耦合現(xiàn)象，引起回聲。免提電話：‘嘯叫’聲。這是由于麥克風(fēng)得到了揚(yáng)聲器的語音信號(hào)和機(jī)殼反射的回波信號(hào)。聽到自己的延遲的聲音。經(jīng)系統(tǒng)環(huán)繞-往返時(shí)間延遲造成的。自適應(yīng)信號(hào)處理162023/2/4回聲消除中的步長(zhǎng)控制揚(yáng)聲器-機(jī)殼-麥克風(fēng)環(huán)境（LEM）橫向?yàn)V波器w（n）自適應(yīng)和步長(zhǎng)控制器期望響應(yīng)d（n）u（n）遠(yuǎn)處說話者的信號(hào)u(n)誤差信號(hào)e（n）—+合成回聲y（n）回聲消除器回聲控制系統(tǒng)的結(jié)構(gòu)框圖自適應(yīng)信號(hào)處理172023/2/4步長(zhǎng)控制多重回歸模型的干擾v（n）誤差e（n）增大步長(zhǎng)參數(shù)的上界下降可能過大回聲濾波器不穩(wěn)定1.本地說話者語音信號(hào)導(dǎo)致的干擾。（雙說話）2.永久的本地噪聲（汽車內(nèi)的背景噪聲）3.需要長(zhǎng)的濾波器長(zhǎng)度，但不能滿足的話，不能考慮全部脈沖響應(yīng)，而不能建模的那部分系統(tǒng)的剩余回聲成為本地噪聲4.定點(diǎn)數(shù)字信號(hào)處理器中的定點(diǎn)計(jì)算的量化噪聲。本地干擾大時(shí)，步長(zhǎng)參數(shù)u可能很高（濾波器不穩(wěn)定）本地干擾小時(shí)，步長(zhǎng)參數(shù)u很小（降低了濾波器收斂速率）因此應(yīng)用時(shí)變步長(zhǎng)參數(shù)u（n）來代替不變參數(shù)u自適應(yīng)信號(hào)處理182023/2/4對(duì)最優(yōu)步長(zhǎng)的估計(jì)由上式可變?yōu)橄铝腥齻€(gè)獨(dú)立的估計(jì)：

1.誤差信號(hào)功率估計(jì)，即E[e2(n)]2.輸入信號(hào)功率估計(jì)，即E[u2(n)]

3.均方偏差的估計(jì)，即D（n）（由于表征LEM環(huán)境的多重回歸模型參數(shù)w未知）（人工時(shí)延方法）

（凸組合思想表示一階遞歸）r取值一般在[0.9,0.999]內(nèi)如圖中遠(yuǎn)端說話者信號(hào)被延遲了MD個(gè)樣值。用自適應(yīng)橫向?yàn)V波器模型，故對(duì)應(yīng)的人工時(shí)延的參數(shù)向量w為0，可令將自適應(yīng)濾波器趨向均勻地將加權(quán)誤差向量擴(kuò)展到它的M個(gè)抽頭上。將均方偏差近似為自適應(yīng)信號(hào)處理192023/2/4

本地激勵(lì)引起的誤差信號(hào)e（n）增大時(shí)，步長(zhǎng)參數(shù)減小，穩(wěn)定。系統(tǒng)卡滯，阻斷了濾波器的自適應(yīng)和延遲系數(shù)。用LEM的附加檢測(cè)器來解決自適應(yīng)信號(hào)處理202023/2/44.4實(shí)數(shù)據(jù)時(shí)收斂過程的幾何考慮權(quán)向量調(diào)整量用于n+1次迭代的歸一化濾波器得1）調(diào)整量的方向與輸入向量u（n）的方向一致。2）調(diào)整量的大小取決于輸入向量u（n）與u（n-1）的樣值相關(guān)系數(shù)。對(duì)實(shí)數(shù)據(jù)，該系數(shù)為是所有權(quán)向量的集合，它作用于輸入向量u（n）以產(chǎn)生輸出y（n），同理兩個(gè)超平面的夾角就是輸入向量u（n）和u（n-1）的夾角。由空間理論可知，自適應(yīng)信號(hào)處理212023/2/4a）當(dāng)（即輸入向量u（n）與u（n-1）正交）時(shí)，歸一化LMS濾波器收斂速度最快。b）當(dāng)=0或180（輸入向量u（n）與u（n-1）處于相同方向或相反方向）時(shí)，歸一化LMS濾波器的收斂速度最慢。為防止b）讓收斂速率基本上為常數(shù)，獨(dú)立于輸入向量u（n）與u（n-1）的夾角。我們使用放射投影濾波器。圖（a）權(quán)值空間內(nèi)，w（n+1）與w（n）的連線正交與圖（b）正交于自適應(yīng)信號(hào)處理222023/2/4自適應(yīng)信號(hào)處理232023/2/4自適應(yīng)信號(hào)處理242023/2/4特點(diǎn)LMS濾波器簡(jiǎn)易，穩(wěn)定收斂速率慢自適應(yīng)常數(shù)u有反功率量綱模型獨(dú)立性，性能有魯棒性歸一化LMS濾波器減輕了當(dāng)u（n）過大時(shí)梯度噪聲收斂速率快于傳統(tǒng)LMS自適應(yīng)常數(shù)沒有量綱的較LMS計(jì)算復(fù)雜均方意義上穩(wěn)定收斂仿射投影自適應(yīng)濾波器歸一化LMS的推廣收斂性最好計(jì)算難度大自適應(yīng)信號(hào)處理252023/2/44.5仿射投影濾波器歸一化LMS濾波器為仿射投影自適應(yīng)的一個(gè)特例，N=1,仿射投影自適應(yīng)濾波器階數(shù)為N個(gè)約束個(gè)數(shù)的約束最優(yōu)準(zhǔn)則。權(quán)值增量約束條件代價(jià)函數(shù)NM數(shù)據(jù)矩陣A(n),其埃爾米特轉(zhuǎn)置為：AH(n)=[u(n),u(n-1),....u(n-N+1)]N1期望響應(yīng)向量，它的埃爾米特轉(zhuǎn)置為：dH(n)=[d(n),d(n-1,....d(n-N+1))]自適應(yīng)信號(hào)處理262023/2/4由上式重新寫代價(jià)函數(shù)：對(duì)權(quán)向量微分：令其為0得由式得由式移項(xiàng)并求自適應(yīng)信號(hào)處理272023/2/4代入式并為保證權(quán)向量迭代控制的方向不變引入步長(zhǎng)參數(shù)得到所期望的仿射投影濾波器的更新方程如下將公式代入上式得定義投影算子P=自適應(yīng)信號(hào)處理282023/2/4仿射投影自適應(yīng)濾波器的穩(wěn)定性分析以均方偏差D(n)的基礎(chǔ)上，得到若穩(wěn)定須滿足最優(yōu)步長(zhǎng)自適應(yīng)信號(hào)處理292023/2/4假設(shè)4：從一個(gè)迭代到下一次迭代，矩陣乘積A(n)AH(n)之逆的波動(dòng)足夠小以使得最優(yōu)步長(zhǎng)近似為假設(shè)5：無干擾誤差向量與干擾誤差向量不相關(guān)。在復(fù)數(shù)據(jù)中自適應(yīng)信號(hào)處理302023/2/4自適應(yīng)信號(hào)處理312023/2/4仿射投影濾波器中的實(shí)際考慮1.在噪聲環(huán)境下，(A(n)AH(n)）-1可能發(fā)生計(jì)算困難.正則化(防止近端噪聲過大)2.當(dāng)投影維數(shù)N