自適應(yīng)信號處理含代碼

1、7.1 引 言自適應(yīng)信號處理是信號與信息處理領(lǐng)域的重要分支和組成部分，自20世紀(jì)五六十年代出現(xiàn)以來，自適應(yīng)信號處理的理論和技術(shù)受到了學(xué)術(shù)界和許多應(yīng)用領(lǐng)域的普遍重視。它的研究的內(nèi)容是以信號與信息自適應(yīng)處理為主線，包括自適應(yīng)濾波檢測理論和自適應(yīng)技術(shù)應(yīng)用兩大部分。自適應(yīng)濾波理論和技術(shù)是統(tǒng)計(jì)信號處理和非平穩(wěn)隨機(jī)信號處理的主要內(nèi)容，它可以在無需先驗(yàn)知識的條件下，通過自學(xué)習(xí)適應(yīng)或跟蹤外部環(huán)境的非平穩(wěn)隨機(jī)變化，并最終逼近維納濾波和卡爾曼濾波的最佳濾波性能。因而，自適應(yīng)濾波器不但可以用來檢測確定性信號，而且可以檢測平穩(wěn)的或非平穩(wěn)的隨機(jī)信號。自適應(yīng)技術(shù)應(yīng)用包括自適應(yīng)譜線增強(qiáng)與譜估計(jì)方法、自適應(yīng)噪聲干擾抵消技術(shù)、

2、自適應(yīng)均衡技術(shù)、自適應(yīng)陣列處理與波束形成以及自適應(yīng)神經(jīng)網(wǎng)絡(luò)信號處理等內(nèi)容。自適應(yīng)信號處理技術(shù)在通信、雷達(dá)、聲納、圖像處理、地震勘探、工業(yè)技術(shù)和生物醫(yī)學(xué)等領(lǐng)域有著極其廣泛的應(yīng)用。其中，通信技術(shù)的許多最新進(jìn)展，都與自適應(yīng)信號處理密切相關(guān)，盡管新的信號處理理論和方法層出不窮，但是自適應(yīng)信號處理仍然以其算法簡單、易于實(shí)現(xiàn)和無須統(tǒng)計(jì)先驗(yàn)知識等獨(dú)特的優(yōu)點(diǎn)，成為許多理論與工程實(shí)際問題的首選解決方案之一。近年來，隨著超大規(guī)模集成電路技術(shù)和計(jì)算機(jī)技術(shù)的迅速發(fā)展，出現(xiàn)了許多性能優(yōu)異的高速信號處理專用芯片和高性能的通用計(jì)算機(jī)，為信號處理，特別是自適應(yīng)濾波器的發(fā)展和應(yīng)用提供了重要的物質(zhì)基礎(chǔ)。另外，信號處理理論和應(yīng)用的

3、發(fā)展，也為自適應(yīng)濾波理論的進(jìn)一步發(fā)展提供了必要的理論基礎(chǔ)。本章主要介紹目前應(yīng)用較為廣泛的自適應(yīng)濾波理論與技術(shù)，包括維納濾波、lms濾波和卡爾曼濾波及其應(yīng)用。7.2 維 納 濾 波從連續(xù)的(或離散的)輸入數(shù)據(jù)中濾除噪聲和干擾以提取有用信息的過程稱為濾波，而相應(yīng)的裝置稱為濾波器。根據(jù)濾波器的輸出是否為輸入的線性函數(shù)，可將它分為線性濾波器和非線性濾波器兩種。濾波器研究的一個基本課題就是：如何設(shè)計(jì)和制造最佳的或最優(yōu)的濾波器。所謂最佳濾波器是指能夠根據(jù)某一最佳準(zhǔn)則進(jìn)行濾波的濾波器。20世紀(jì)40年代，維納奠定了關(guān)于最佳濾波器研究的基礎(chǔ)。即假定線性濾波器的輸入為有用信號和噪聲之和，兩者均為廣義平穩(wěn)過程且知它

4、們的二階統(tǒng)計(jì)特性，維納根據(jù)最小均方誤差準(zhǔn)則(濾波器的輸出信號與需要信號之差的均方值最小)，求得了最佳線性濾波器的參數(shù)，這種濾波器被稱為維納濾波器。在維納研究的基礎(chǔ)上，人們還根據(jù)最大輸出信噪比準(zhǔn)則、統(tǒng)計(jì)檢測準(zhǔn)則以及其他最佳準(zhǔn)則求得的最佳線性濾波器。實(shí)際上，在一定條件下，這些最佳濾波器與維納濾波器是等價的。因而，討論線性濾波器時，一般均以維納濾波器作為參考。維納濾波理論用于解決最小均方誤差下的線性濾波問題。設(shè)接收到(或觀測到)的信號為隨機(jī)信號 (7-1)其中s(t)是未知的實(shí)隨機(jī)信號，n(t)是噪聲。要設(shè)計(jì)的線性濾波器，其沖擊響應(yīng)為h(t, )，輸入為x(t)，輸出為，即 (7-2)令為估計(jì)誤差。

5、沖擊響應(yīng)h(t, )按最小均方誤差準(zhǔn)則確定，即h(t, )必須滿足使 (7-3)達(dá)到最小。根據(jù)最小均方誤差估計(jì)的正交條件，有以下關(guān)系成立 (7-4)令 (7-5) (7-6)則有 (7-7)上述方程通常稱為非平穩(wěn)隨機(jī)過程條件下的維納-霍甫(wiener-kolmogorov)積分方程。特別當(dāng)x(t)，s(t)均為廣義(或?qū)?平穩(wěn)隨機(jī)信號，而濾波器是線性時不變系統(tǒng)的情況下，x(t)與s(t)必為聯(lián)合平穩(wěn)，式(7-7)可寫為 (7-8)令，則有 (7-9)此處，“*”號表示卷積，對上式兩邊取fourier變換，可得 (7-10) (7-11)對于因果線性系統(tǒng)，有 (7-12)采用完全相同的分析方法

6、，推得因果平穩(wěn)維納-霍甫積分方程如下 (7-13)(7-14)其中，表示的零、極點(diǎn)位于， 表示的零、極點(diǎn)位于。表示位于的零、極點(diǎn)。matlab圖像處理工具箱提供了wiener2函數(shù)進(jìn)行自適應(yīng)濾出圖像噪聲，它根據(jù)圖像的局部方差來調(diào)節(jié)濾波器的輸出，往往較線性濾波效果好，可以更好地保存圖像的邊緣和高頻細(xì)節(jié)信息。wiener2函數(shù)采用的算法是首先估計(jì)像素的局部均值和方差： (7-15) (7-16)其中，是圖像中每個像素的mn的鄰域。然后，對每個像素利用wiener濾波器估計(jì)其灰度值： (7-17)式中，v2是圖像中噪聲的方差。wiener2的語法格式為：j=wiener2(i,m,n)j=wiene

7、r2(i,m,n,noise)j,noise=wiener2(i,m,n)其中，j=wiener2(i,m,n)返回有噪聲圖像i經(jīng)過wierner(維納)濾波后的圖像，m,n指定濾波器窗口大小為，默認(rèn)值為。j=wiener2(i,m,n,noise)指定噪聲的功率，j,noise=wiener2(i,m,n)在圖像濾波的同時，返回噪聲功率的估計(jì)值noise?！纠?-1】對加入高斯噪聲的圖像saturan.png作維納濾波。例程7-1 噪聲圖像維納濾波% e.g.7-1.m for example7-1;%test the function of weina filter.rgb = imrea

8、d(saturn.png);i = rgb2gray(rgb);j = imnoise(i,gaussian,0,0.005); figure, imshow(j);k = wiener2(j,5 5);figure, imshow(k); 圖7-1 噪聲圖像 圖7-2 維納濾波復(fù)原圖像實(shí)現(xiàn)維納濾波的要求是：輸入過程是廣義平穩(wěn)的；輸入過程的統(tǒng)計(jì)特性是已知的。根據(jù)其他最佳準(zhǔn)則的濾波器亦有同樣要求。然而，由于輸入過程取決于外界的信號、干擾環(huán)境，這種環(huán)境的統(tǒng)計(jì)特性常常是未知的、變化的，因而難以滿足上述兩個要求。這就促使人們研究自適應(yīng)濾波器。7.3 lms自適應(yīng)濾波器自適應(yīng)濾波器實(shí)際上是一種能夠自動調(diào)

9、整本身參數(shù)的特殊維納濾波器，在設(shè)計(jì)時不需要預(yù)先知道關(guān)于輸入信號和噪聲的統(tǒng)計(jì)特性，它能夠在工作過程中逐步“了解”或估計(jì)出所需的統(tǒng)計(jì)特性，并以此為依據(jù)自動調(diào)整自身的參數(shù)，以達(dá)到最佳濾波效果。一旦輸入信號的統(tǒng)計(jì)特性發(fā)生變化，它又能夠跟蹤這種變化，自動調(diào)整參數(shù)，使濾波器性能重新達(dá)到最佳。圖7-3 自適應(yīng)濾波器原理圖自適應(yīng)濾波器由參數(shù)可調(diào)的數(shù)字濾波器(或稱為自適應(yīng)處理器)和自適應(yīng)算法兩部分組成，如圖7-3所示。參數(shù)可調(diào)數(shù)字濾波器可以是fir數(shù)字濾波器或iir數(shù)字濾波器，也可以是格型數(shù)字濾波器。輸入信號x(n)通過參數(shù)可調(diào)數(shù)字濾波器后產(chǎn)生輸出信號(或響應(yīng)) y(n)，將其與參考信號(或稱期望響應(yīng)) d(n

10、)進(jìn)行比較，形成誤差信號e(n)，并以此通過某種自適應(yīng)算法對濾波器參數(shù)進(jìn)行調(diào)整，最終使e(n)的均方值最小。盡管自適應(yīng)濾波器具有各種不同的算法和結(jié)構(gòu)，但是，其最本質(zhì)特征是始終不變的。這種最本質(zhì)的特征可以概括為：自適應(yīng)濾波器依據(jù)用戶可以接受的準(zhǔn)則或性能規(guī)范，在未知的而且可能是時變的環(huán)境中正常運(yùn)行，而無須人為的干預(yù)。本章主要討論的是基于維納濾波器理論的最小均方(lms)算法，可以看到lms算法的主要優(yōu)點(diǎn)是算法簡單、運(yùn)算量小、易于實(shí)現(xiàn)；其主要缺點(diǎn)是收斂速度較慢，而且與輸入信號的統(tǒng)計(jì)特性有關(guān)。7.3.1 lms算法基本原理1. 自適應(yīng)線性濾波器 圖7-4 單輸入自適應(yīng)線性濾波器 圖7-5 多輸入自適應(yīng)

11、線性濾波器 自適應(yīng)線性濾波器是一種參數(shù)可自適應(yīng)調(diào)整的有限沖激響應(yīng)(fir)數(shù)字濾波器，具有非遞歸結(jié)構(gòu)形式。因?yàn)樗姆治龊蛯?shí)現(xiàn)比較簡單，所以在大多數(shù)自適應(yīng)信號處理系統(tǒng)中得到了廣泛應(yīng)用。如圖7-4所示的是自適應(yīng)線性濾波器的一般形式。輸入信號矢量x(n)的l+1個元素，既可以通過在同一時刻對l+1個不同信號源取樣得到，也可以通過對同一信號源在n以前l(fā)+1個時刻取樣得到。前者稱為多輸入情況，如圖7-5所示，后者稱為單輸入情況如圖7-4所示，這兩種情況下輸入信號矢量都用x(n)表示，但應(yīng)注意它們有如下區(qū)別。單輸入情況： (7-18)多輸入情況： (7-19)單輸入情況下x(n)是一個時間序列，其元素由一

12、個信號在不同時刻的取樣值構(gòu)成；而多輸入情況下x(n)是一個空間序列，其元素由同一時刻的一組取樣值構(gòu)成，相當(dāng)于并行輸入。對于一組固定的權(quán)系數(shù)來說，線性濾波器是輸出y(n)等于輸入矢量x(n)的各元素的線性加權(quán)之和。然而實(shí)際上權(quán)系數(shù)是可調(diào)的，調(diào)整權(quán)系數(shù)的過程叫做自適應(yīng)過程。在自適應(yīng)過程中，各個權(quán)系數(shù)不僅是誤差信號e(n)的函數(shù)，而且還可能是輸入信號的函數(shù)，因此，自適應(yīng)線性濾波器的輸出就不再是輸入信號的線性函數(shù)。 輸入信號和輸出信號之間的關(guān)系為單輸入情況： (7-20)多輸入情況： (7-21)如圖7-4所示的單輸入自適應(yīng)線性濾波器，實(shí)際上是一個時變橫向數(shù)字濾波器，有時稱為自適應(yīng)橫向?yàn)V波器。它在信號

13、處理中應(yīng)用很廣泛。自適應(yīng)線性濾波器的l+1個權(quán)系數(shù)構(gòu)成一個權(quán)系數(shù)矢量，稱為權(quán)矢量，用w(n)表示，即 (7-22)這樣，輸出響應(yīng)表示為 (7-23)參考響應(yīng)與輸出響應(yīng)之差稱為誤差信號，用e(n)表示，即 (7-24)自適應(yīng)線性濾波器按照誤差信號均方值(或平均功率)最小的準(zhǔn)則，即 (7-25)來自動調(diào)整權(quán)矢量。2. 自適應(yīng)濾波器的性能函數(shù)習(xí)慣上常稱均方誤差為自適應(yīng)濾波器的性能函數(shù)，并記為、或，即 (7-26)由式(7-24)、(7-25)和式(7-26)，均方誤差表示式為 (7-27)在d(n)和x(n)都是平穩(wěn)隨機(jī)信號的情況下，輸入信號的自相關(guān)矩陣r，d(n)與x(n)的互相關(guān)矩陣p都是與時間

14、無關(guān)的恒定二階統(tǒng)計(jì)，分別定義為 (7-28) (7-29)以上二式對應(yīng)于多輸入情況，對于單輸入情況，不難寫出類似結(jié)果。將上二式代入式(7-27)，得到均方誤差的簡單表示形式 (7-30)為了書寫方便這里省略了w(n)的時間標(biāo)記。從該式可看出，在輸入信號和參考響應(yīng)都是平穩(wěn)隨機(jī)信號的情況下，均方誤差是權(quán)矢量w各分量的二次函數(shù)。這就是說，若將上式展開，則w各分量只有一次項(xiàng)和二次項(xiàng)存在。的函數(shù)圖形是l+2維空間中一個中間下凹的超拋物面，有唯一的最低點(diǎn)，該曲面稱為均方誤差性能曲面，簡稱性能曲面，如圖7-6所示。自適應(yīng)是自動調(diào)整權(quán)系數(shù)，使均方誤差達(dá)到最小值的過程，這相當(dāng)于沿性能曲面往下搜索最低點(diǎn)。圖 7-

15、6 均方誤差性能曲面3. 最速下降法從前面的討論中已經(jīng)知道，在輸入信號和參考響應(yīng)都是平穩(wěn)隨機(jī)信號的情況下，自適應(yīng)線性組合器的均方誤差性能曲面是權(quán)矢量w(n)的二次函數(shù)。由于自相關(guān)矩陣為正定的，故此超拋物面向上凹，表示均方誤差函數(shù)有唯一的最小值，該最小值所對應(yīng)的權(quán)系數(shù)矢量為自適應(yīng)濾波器的最佳權(quán)矢量，即等于維納濾波器的權(quán)矢量。如果自適應(yīng)濾波器的權(quán)系數(shù)個數(shù)大于2，其性能表面的超拋物面仍有唯一的全局最優(yōu)點(diǎn)。在許多實(shí)際應(yīng)用中，性能曲面的參數(shù)，甚至解析表示式都是未知的，因此，只能根據(jù)已知的測量數(shù)據(jù)，采用某種算法自動地對性能曲面進(jìn)行搜索，尋找最低點(diǎn)，從而得到最佳矢量。最常見的搜索方法是最速下降法(metho

16、d of steepest descent)，它在工程上比較容易實(shí)現(xiàn)，有很大的實(shí)用價值。下面進(jìn)行簡單討論。均方誤差性能曲面的梯度用表示，定義為 (7-31)將式(7-31)代入上式，得到 (7-32)最小均方誤差對應(yīng)的權(quán)矢量稱為最佳權(quán)矢量或維納解，用表示。在性能曲面上，該點(diǎn)梯度等于零，即 (7-33)由此解出 (7-34)式(7-34)稱為維納霍夫方程。將上式代入式(7-31)，即可得到自適應(yīng)濾波器的最小均方誤差為 (7-35)利用矩陣運(yùn)算規(guī)則，可以將上式簡化為 (7-36)由式(7-17)可知，只要知道了輸入信號的自相關(guān)矩陣r和期望響應(yīng)與輸入信號的互相關(guān)矢量p，就可以由該式直接得出最佳權(quán)矢量

17、。但是在實(shí)際應(yīng)用中，這種方法往往是難以實(shí)現(xiàn)的。一方面，我們通常很難得到有關(guān)信號和噪聲的統(tǒng)計(jì)先驗(yàn)知識；另一方面，當(dāng)r的階數(shù)較高時，直接計(jì)算r的逆矩陣有一定的困難。因此，最佳權(quán)矢量的實(shí)現(xiàn)一般都采用迭代方法，一步一步地在性能表面上搜索，并最終達(dá)到最小均方值和實(shí)現(xiàn)最佳權(quán)矢量。最速下降法是一種古老而又非常有用的通過迭代尋找極值的方法。從幾何意義上來說，迭代調(diào)整權(quán)矢量的結(jié)果是使系統(tǒng)的均方誤差沿性能曲面最陡的方向向下搜索曲面的最低點(diǎn)，曲面的最速下降方向是曲面的負(fù)梯度方向，或性能函數(shù)的梯度的反方向連續(xù)調(diào)整濾波器的權(quán)矢量w(n)，梯度矢量可以表示為 (7-37)這樣，最速下降法可以表示為 (7-38)式中，是正

18、值常數(shù)，稱為收斂因子，用于調(diào)整自適應(yīng)迭代的步長。為了證明最速下降法滿足，即在迭代的每一步都滿足在性能表面上下降，將性能函數(shù)在處進(jìn)行一階泰勒展開，并利用式(7-38)，得到 (7-39)由于收斂因子是正值常數(shù)，因此，隨著的增加，性能函數(shù)不斷減小，當(dāng)時，性能函數(shù)趨于最小值。最速下降法的自適應(yīng)迭代公式可以通過把式(7-32)代入式(7-38)得到，即 (7-40)最速下降法的穩(wěn)定性取決于兩個因素，一是收斂因子的取值，二是自相關(guān)矩陣r的特性。定義權(quán)誤差矢量v(n)為 (7-41)利用上式和，消去式(7-40)中的互相關(guān)矢量，有 (7-42)式中，為單位陣。式(7-42)再次強(qiáng)調(diào)了最速下降法的穩(wěn)定性是由

19、和控制的。利用正交相似變換，可以將自相關(guān)陣表示為 (7-43)式中，q為正交矩陣，矩陣q的各個列矢量為自相關(guān)矩陣r的特征值相對應(yīng)的特征矢量。為一對角陣，其對角元素為矩陣r的特征值。通常將這些特征值表示為，且均為正實(shí)值。每一個特征值對應(yīng)矩陣q中一列特征矢量。將式(7-43)代入式(7-42)，有 (7-44)上式兩邊左乘，并利用正交矩陣的性質(zhì)，有 (7-45)定義 (7-46)有 (7-47)設(shè)的初始值為 (7-48)再假定自適應(yīng)濾波器權(quán)矢量的初始值為，則上式簡化為 (7-49)考慮矢量的第個模式，則式(7-30)所示的最速下降法的迭代公式變?yōu)?(7-50)式中，為自相關(guān)矩陣r的第個特征值，為矢

20、量的第個元素。上式為的一階齊次方程。若設(shè)的初始值為，則該差分方程的解為 (7-51)由于矩陣r為正定陣，其特征值均為正實(shí)值。這樣， 構(gòu)成了一個等比級數(shù)，其公比為。為了保證最速下降法穩(wěn)定收斂，必須有 (7-52)即保證的幅值小于1。當(dāng)?shù)螖?shù)時，最速下降法的各個模式均趨于0，而與初始狀態(tài)無關(guān)。這意味著當(dāng)時，自適應(yīng)濾波器的權(quán)矢量趨于最佳權(quán)矢量。將式(7-51)寫成矢量形式，有 (7-53)由式(7-52)可以得到最速下降法收斂因子的限制條件： (7-54)式中，為自相關(guān)矩陣r的最大的特征值。最速下降法的主要優(yōu)點(diǎn)是它的簡單性，然而，這種方法需要大量的迭代，才能使算法收斂于充分接近最優(yōu)解的點(diǎn)。這個性能

21、是由于最速下降法是以圍繞當(dāng)前點(diǎn)的性能表面的一階近似為基礎(chǔ)的。在實(shí)際應(yīng)用中，如果計(jì)算的簡單性相對重要，則選擇最速下降法是合適的。然而，如果收斂速度是更重要的，可以選用牛頓法及其改進(jìn)方法，這里就不再討論了?！纠?-2】均方誤差性能函數(shù)為，初值權(quán)值為0，=0.05，給出最速下降法的學(xué)習(xí)曲線。已知 即按式7-30的形式可得： 由式7-34可得: 由式7-36可得： 由式7-41可知最速下降法學(xué)習(xí)曲線為： 由7-46式定義可知 由7-41式權(quán)誤差矢量定義知 可以解得自相關(guān)矩陣r的第m個特征值為： 自相關(guān)矩陣r的特征值對應(yīng)特征矢量為列矢量構(gòu)成的正交陣q為： 則 , , 所以 在matlab中，計(jì)算方陣的特

22、征值與特征向量可以使用如下函數(shù)： 其中矩陣d的主對角線由a的特征值構(gòu)成，矩陣v的列矢量由對應(yīng)的特征向量構(gòu)成。本例的學(xué)習(xí)曲線如圖7-7所示。圖7-7 最速下降法學(xué)習(xí)曲線4. 最小均方(lms)算法在最速下降法中，如果我們能夠在迭代過程的每一步得到梯度的準(zhǔn)確值，并且適當(dāng)?shù)剡x擇了收斂因子，則最速下降法肯定會收斂于最佳維納解。然而，在迭代的每一步準(zhǔn)確地測量梯度矢量是難以做到的。因?yàn)檫@需要具有關(guān)于自相關(guān)矩陣r和互相關(guān)矢量p的先驗(yàn)知識。在實(shí)際應(yīng)用中，梯度矢量需要在迭代的每一步依據(jù)數(shù)據(jù)進(jìn)行估計(jì)。換句話說，自適應(yīng)濾波器的權(quán)矢量是根據(jù)輸入數(shù)據(jù)在最優(yōu)準(zhǔn)則的控制下不斷更新的。widrow等人提出的最小均方算法(lm

23、s)就是一種以期望響應(yīng)和濾波器輸出信號之間誤差的均方值最小為準(zhǔn)則，依據(jù)輸入信號在迭代過程中估計(jì)梯度矢量，并更新權(quán)系數(shù)以達(dá)到最佳的自適應(yīng)迭代算法。lms算法是一種梯度最速下降算法，其顯著特點(diǎn)簡單性、計(jì)算量小、易于實(shí)現(xiàn)。這種算法不需要計(jì)算相關(guān)矩陣，也不需要進(jìn)行矩陣運(yùn)算。只要自適應(yīng)線性組合器每次迭代運(yùn)算時都知道輸入信號和參考響應(yīng)，選用lms算法是很合適的?，F(xiàn)在的任務(wù)是采用如何來估計(jì)均方誤差函數(shù)的梯度，并以此梯度估值來替代最速下降法中理論情況下的梯度真值。lms算法進(jìn)行梯度估計(jì)的方法是以誤差信號每一次迭代的瞬時平方值替代其均方值，這樣，原來由式(7-14)定義的梯度可近似為 (7-55)根據(jù)上式并利用

24、式(7-24)，得到 (7-56)實(shí)際上，只是單個平方誤差序列的梯度，而則是多個平方誤差序列統(tǒng)計(jì)平均的梯度，所以lms算法就是用前者作為后者的近似。用梯度估值替代最速下降法中的梯度真值，有 (7-57)式中，為自適應(yīng)濾波器的收斂因子。式(7-57)即為著名的lms算法的濾波器權(quán)矢量迭代公式?？梢钥闯觯赃m應(yīng)迭代下一時刻的權(quán)系數(shù)矢量可以由當(dāng)前時刻的權(quán)系數(shù)矢量加上以誤差函數(shù)為比例因子的輸入矢量得到?！纠?-3】用matlab程序?qū)崿F(xiàn)lms算法。如果給定輸入序列x(n)，期望響應(yīng)序列d(n)，步長和要求的自適應(yīng)fir濾波器長度n，我們就能夠利用lms算法的迭代公式(7-57)來確定自適應(yīng)濾波器的權(quán)系

25、數(shù)，下面給出實(shí)現(xiàn)這種算法的matlab函數(shù)，函數(shù)名為lms。例程7-2 lms算法functionh,y=lms(x,d,u,n)%lms算法的實(shí)現(xiàn)%h,y=lms(x,d,u,n)%h=估計(jì)的fir濾波器%y=輸出數(shù)組y(n)%x=輸入數(shù)組x(n)%d=預(yù)期數(shù)組d(n),其長度應(yīng)與x相同%u=步長%n=fir濾波器的長度m=length(x);y=zeros(1,m);h=zeros(1,n);for n=n:m x1=x(n:-1:n-n+1); y=h*x1; e=d(n)-y; h=h+u*e*x1;end 7.3.2 lms算法性能分析1. lms算法的收斂性收斂性是自適應(yīng)濾波器的一

26、個非常重要的指標(biāo)。為了檢驗(yàn)lms算法的收斂性，首先需要證明式(7-56)所示的梯度估計(jì)是無偏的。將式(7-56)的兩邊取數(shù)學(xué)期望，得到 (7-58)由此可見，lms算法對性能函數(shù)梯度的估值是無偏的。這就是說，如果每次迭代調(diào)整權(quán)矢量前能夠進(jìn)行多次觀測，獲得多個x(n)，并對按式(7-56)計(jì)算得到的多個梯度估計(jì)進(jìn)行統(tǒng)計(jì)平均，然后依據(jù)梯度的統(tǒng)計(jì)平均值來調(diào)整權(quán)矢量，那么，迭代結(jié)果必能得到理想的最佳權(quán)矢量。但是，實(shí)際運(yùn)用中每次調(diào)整權(quán)矢量前，通過觀測只能得到一個x(n)，再由式(7-56)得到一個，據(jù)此調(diào)整權(quán)矢量得到的w(n)必然是隨機(jī)的。當(dāng)?shù)^程收斂后，權(quán)矢量將在最佳權(quán)矢量附近隨機(jī)起伏，這等于在最佳

27、權(quán)矢量上疊加了一個噪聲。由式(7-57)可知，當(dāng)前時刻權(quán)矢量w(n)只是過去輸入矢量的函數(shù)，如果假設(shè)這些輸入矢量相互獨(dú)立，那么w(n)將與x(n)無關(guān)。為了研究方便起見，假設(shè)lms算法的連續(xù)兩次迭代時間足夠長，以保證輸入信號x(n)和x(n+1)互不相關(guān)，即滿足了w(n)將與x(n)無關(guān)的要求。對式(7-57)兩邊取數(shù)學(xué)期望，有 (7-59)在前面我們討論最速下降法時，得到的權(quán)矢量為 (7-60)將上面的兩個式子相對照，可以看出，lms算法得到的權(quán)矢量，其期望值與最速下降法得到的權(quán)矢量本身都服從相同的迭代計(jì)算規(guī)律。因此，用相同的推導(dǎo)方法能夠得出這樣的結(jié)論：當(dāng)式(7-60)的條件得到滿足時，隨著

28、迭代次數(shù)趨近于無窮，權(quán)矢量的期望值將趨近于最佳權(quán)矢量。對于橫向自適應(yīng)濾波器來說，輸入信號的自相關(guān)矩陣的跡可用輸入信號功率表示為 (7-61)式中，是輸入信號功率。因此，式(7-51)的收斂條件可表示為 (7-62)這是工程上用起來很方便的公式，因?yàn)檩斎胄盘柟β屎苋菀赘鶕?jù)輸入信號取樣值來估計(jì)。最后需要說明的是，前面所作的關(guān)于輸入信號功率是平穩(wěn)隨機(jī)信號和輸入信號相繼矢量不相關(guān)的假設(shè)對于lms算法的收斂不是必需的。因?yàn)檫@些假設(shè)僅僅簡化了式(7-59)的推導(dǎo)，如果沒有這些假設(shè)，仍可推導(dǎo)出類似于式(7-60)的結(jié)果，只是其中的不再是平穩(wěn)隨機(jī)信號的自相關(guān)矩陣。但這不影響算法的收斂條件?！纠?-4】時域lm

29、s算法收斂曲線的仿真。例程7-3 lms算法收斂性% 該程序?qū)崿F(xiàn)時域lms算法，并用統(tǒng)計(jì)的方法仿真得出不同步長下的收斂曲線clear % 清空變量空間g=100; % 統(tǒng)計(jì)仿真次數(shù)為gn=1024; % 輸入信號抽樣點(diǎn)數(shù)nk=128; % 時域抽頭lms算法濾波器階數(shù)pp=zeros(g,n-k); % 將每次獨(dú)立循環(huán)的誤差結(jié)果存于矩陣pp中，以便后 % 面對其平均u=0.001; % 收斂因子for q=1:g t=1:n; a=1; s=a*sin(0.5*pi*t); % 輸入單頻信號s figure(1); plot(t,real(s); % 信號s時域波形 title(信號s時域波形

30、); xlabel(n); ylabel(s); axis(0,n,-a-1,a+1); xn=awgn(s,3); % 加入均值為零的高斯白噪聲，信噪比為3db % 設(shè)置初值 y=zeros(1,n); % 輸出信號y y(1:k)=xn(1:k); % 將輸入信號xn的前k個值作為輸出y的前k個值 w=zeros(1,k); % 設(shè)置抽頭加權(quán)初值 e=zeros(1,n); % 誤差信號 % 用lms算法迭代濾波 for i=(k+1):n xn=xn(i-k+1):(i); y(i)=w*xn; e(i)=s(i)-y(i); w=w+u*e(i)*xn; end pp(q,:)=(e(

31、k+1:n).2; end for b=1:n-k bi(b)=sum(pp(:,b)/g; % 求誤差的統(tǒng)計(jì)平均 end figure(2); % 算法收斂曲線 t=1:n-k; plot(t,bi); hold off % 將每次循環(huán)的圖形顯示結(jié)果保存下來【程序運(yùn)行結(jié)果】 圖7-8 lms算法收斂曲線2. 自適應(yīng)時間常數(shù)與學(xué)習(xí)曲線在自適應(yīng)調(diào)整權(quán)系數(shù)的過程中，均方誤差是迭代次數(shù)的函數(shù)，由該函數(shù)給出的曲線稱為學(xué)習(xí)曲線。根據(jù)均方誤差函數(shù)和最小均方誤差表達(dá)式，可以得到均方誤差函數(shù)的另一種表達(dá)形式 (7-63)再根據(jù)我們所定義的權(quán)誤差矢量，代入上式，得到 (7-64)再經(jīng)過正交相似變換，將坐標(biāo)軸轉(zhuǎn)至

32、主軸坐標(biāo)系，得到 (7-65)將式(7-53)代入式(7-65)中，有 (7-66)由于矩陣和矩陣均為對角陣，因此有 (7-67)將該式展開后，得到 (7-68)式(7-68)即為lms算法的自適應(yīng)學(xué)習(xí)曲線，其中，為矢量的第k個分量，為對角陣中第k個對角元素。由此我們可以看出，均方誤差函數(shù)是迭代次數(shù)n的指數(shù)函數(shù)，只要能夠滿足式(7-54)所規(guī)定的收斂條件，均方誤差將隨著迭代的進(jìn)行呈現(xiàn)出指數(shù)下降的趨勢，并最終趨近于維納濾波所滿足的最小均方誤差。從式(7-68)還可以看出，學(xué)習(xí)曲線是m+1條指數(shù)曲線之和，每條指數(shù)曲線上的離散點(diǎn)的均方誤差值按幾何級數(shù)衰減，若定義其等比級數(shù)的公比為 (7-69)再用一

33、指數(shù)包絡(luò)曲線來擬合這一等比級數(shù)，則可以得到 (7-70)如果取該式的前兩項(xiàng)，就可以得到其近似值為 (7-71)比較式(7-69)和式(7-71)，得到 (7-72)式(7-72)即為lms算法的第k個權(quán)系數(shù)的衰減時間常數(shù)。由公比的定義式(7-52)及自適應(yīng)學(xué)習(xí)曲線式(7-51)，可以得到均方誤差時間常數(shù)與權(quán)系數(shù)時間常數(shù)的關(guān)系為 (7-73)這樣，第k個的均方誤差學(xué)習(xí)曲線時間常數(shù)的計(jì)算公式為 (7-74)學(xué)習(xí)曲線時間常數(shù)是用迭代次數(shù)來度量的，若用其取樣間隔來度量，則稱之為自適應(yīng)時間常數(shù)，常用表示。在lms算法中，每次梯度估計(jì)是基于一個輸入數(shù)據(jù)樣本進(jìn)行的，這樣，輸入數(shù)據(jù)的時間常數(shù)就與均方誤差學(xué)習(xí)曲

34、線的時間常數(shù)相等，即 (7-75)學(xué)習(xí)曲線時間常數(shù)的大小決定了自適應(yīng)學(xué)習(xí)過程的長短及收斂的快慢，根據(jù)上面各式，時間常數(shù)是與收斂因子成反比的，即步長越小，學(xué)習(xí)曲線收斂越慢。3. 穩(wěn)態(tài)誤差及失調(diào)系數(shù)lms算法之所以簡單，主要是因?yàn)樗鼘μ荻仁噶扛鞣至康墓烙?jì)是根據(jù)單個數(shù)據(jù)取樣值得到的，沒有進(jìn)行平均。也正是這個原因，才使梯度估計(jì)中存在噪聲。并且由于lms算法的加權(quán)矢量w(n)具有隨機(jī)性，使得lms算法的將高于最速下降法的。特別是，對于lms算法來說，在收斂到最佳值后，由于加權(quán)矢量繼續(xù)按公式 (7-76)變化，其校正值不為零而是繼續(xù)隨機(jī)起伏，從而使w(n)也繼續(xù)隨機(jī)起伏。這就使得lms算法的收斂到后，均方

35、誤差將大于維納誤差，其偏移量用表示，的期望值稱為超量均方誤差，或“超量mse”，即 (7-77)梯度噪聲的存在，使得收斂后的穩(wěn)態(tài)權(quán)矢量在最佳權(quán)矢量附近隨機(jī)起伏，這意味著穩(wěn)態(tài)均方誤差值總大于最小均方誤差，且在附近隨機(jī)地改變，如圖7-9所示。圖7-9 lms算法的穩(wěn)態(tài)誤差widrow引入失調(diào)系數(shù) (7-78)來描述lms算法(和其他算法)的穩(wěn)態(tài)誤差對維納誤差的相對偏差。下面對lms算法的失調(diào)系數(shù)進(jìn)行估計(jì)。首先對權(quán)矢量噪聲的方差的近似值進(jìn)行估計(jì)，令第n次迭代中梯度估計(jì)的噪聲矢量用n(n)表示，于是有 (7-79)若lms算法已收斂到最佳權(quán)矢量附近，則這時上式中的真實(shí)梯度將趨近于零，于是得到 (7-8

36、0)而其協(xié)方差為 (7-81)由于與近似地不相關(guān)，故式可化簡為 (7-82)經(jīng)正交變換，將上式變換到主軸坐標(biāo)系，令，得到 (7-83)這是梯度估計(jì)噪聲的方差的近似計(jì)算公式。用式(7-78)中的代替式(7-38)中的，得到 (7-84)將上式變換到平移坐標(biāo)系，得 (7-85)進(jìn)行正交變換后，可得到 (7-86)第二步，我們就可以對權(quán)噪聲矢量v(n)的方差進(jìn)行估計(jì)，推導(dǎo)過程用到了式(7-86)，可得到 (7-87)式中是對角矩陣，交叉項(xiàng)之積的期望值等于零，則 (7-88)通過化簡，可以得到 (7-89)該式建立了梯度估計(jì)噪聲協(xié)方差與權(quán)矢量協(xié)方差之間的關(guān)系。將式(7-83)代入上式，得到 (7-90

37、)若選取為很小的數(shù)值，則的值將遠(yuǎn)小于1，上式得到進(jìn)一步近似 (7-91)現(xiàn)在來估計(jì)lms算法的失調(diào)系數(shù)。將式(7-77)變換到主坐標(biāo)系，得 (7-92)假定自適應(yīng)過渡過程已經(jīng)結(jié)束，平方誤差已接近于性能曲面的最低點(diǎn)，這樣，可認(rèn)為是的協(xié)方差矩陣中的元素。于是，可將上式進(jìn)一步近似為 (7-93)根據(jù)式(7-93)，可得到lms算法的失調(diào)系數(shù)的表達(dá)式為 (7-94)它正比于自適應(yīng)增量常數(shù)。對照式(7-74)，學(xué)習(xí)曲線的時間常數(shù)為 (7-95)式中，下標(biāo)k表示第k個學(xué)習(xí)曲線時間常數(shù)。根據(jù)上式可將相關(guān)矩陣r的跡寫成 (7-96)式中，下標(biāo)av表示“平均”。將式(7-95)代入式(7-94)，得到 (7-9

38、7)在所有特征值相等的情況下，上式得到進(jìn)一步的簡化為 (7-98)上式說明了失調(diào)系數(shù)、學(xué)習(xí)曲線時間常數(shù)以及權(quán)系數(shù)的個數(shù)三者的關(guān)系。由該表達(dá)式可以看出，選擇大的自適應(yīng)時間常數(shù)，可以使失調(diào)系數(shù)減小，而對于給定的時間常數(shù)，失調(diào)系數(shù)隨加權(quán)數(shù)目成正比例增加。實(shí)驗(yàn)表明，這是一個很好的近似關(guān)系式。在特征值未知的情況下，這個近似式對于設(shè)計(jì)自適應(yīng)系統(tǒng)是很有用的?！纠?-5】如圖7-10所示，自適應(yīng)濾波器有兩個實(shí)加權(quán)系數(shù)，輸入隨機(jī)信號的樣本間隔相互獨(dú)立，且他的平均功率為；信號周期為n=16個樣點(diǎn)。求最佳權(quán)向量和使該系統(tǒng)收斂的自適應(yīng)步長因子的取值范圍。圖 7-10 自適應(yīng)線性濾波器 先求出輸入信號的相關(guān)值。對單頻正

39、弦波信號求相關(guān)可等效為周期內(nèi)在時間上求平均，即再計(jì)算期望響應(yīng)和輸入信號的互相關(guān)值：因此，輸入信號的自相關(guān)矩陣為則均方誤差性能函數(shù)為：由正規(guī)方程可得最佳加權(quán)矢量：為求出的取值范圍，可求出相關(guān)矩陣r的特征值： 而。有兩種的取值方法： 和按第二種取法得：實(shí)際使用lms算法，的取值約為上式給出的上界的1/10量級。7.3.3 lms自適應(yīng)濾波器的改進(jìn)從基本的lms算法出發(fā)，通過改進(jìn)lms算法的收斂特性，減小穩(wěn)態(tài)均方誤差和計(jì)算復(fù)雜度等基礎(chǔ)上，相繼提出了lms自適應(yīng)濾波器的一些改進(jìn)形式，以下內(nèi)容列舉了其中的三種算法。1. 歸一化lms算法(nlms)通過對前面兩個小節(jié)對lms算法的基本原理和性能的分析得知

40、，lms算法的收斂性和穩(wěn)定性能均與自適應(yīng)濾波器權(quán)系數(shù)矢量的系數(shù)數(shù)目和輸入信號的功率直接相關(guān)。為了確保自適應(yīng)濾波器的穩(wěn)定收斂，出現(xiàn)了對收斂因子進(jìn)行歸一化的nlms算法，這種算法的歸一化收斂因子表示為 (7-99)式中，為輸入信號x(n)的方差。直接計(jì)算是很難求出結(jié)果的，通常的做法是用時間平均來代替上式中的統(tǒng)計(jì)方差，即 (7-100)式中，是對的近似估計(jì)。將歸一化收斂因子代入lms算法，得到 (7-101)通常我們還要在上式中的分母上加上一個小的正的常數(shù)，這樣可以避免0值的出現(xiàn)。于是，我們得到的nlms算法迭代公式表示為 (7-102)由于式(7-101)中的歸一化收斂因子是在迭代過程中隨時間變化

41、的，因此，實(shí)際上nlms是一種歸一化變步長算法?！纠?-6】考慮一個線性自適應(yīng)均衡器系統(tǒng)，用nlms算法進(jìn)行實(shí)現(xiàn)，畫出一次實(shí)驗(yàn)的誤差平方的收斂曲線，給出最后設(shè)計(jì)濾波器系數(shù)。一次實(shí)驗(yàn)的訓(xùn)練序列長度為500。進(jìn)行20次獨(dú)立實(shí)驗(yàn)，畫出誤差平方的收斂曲線。給出3個步長值的比較。假設(shè)隨機(jī)數(shù)據(jù)產(chǎn)生雙極性的隨機(jī)序列xn，它隨機(jī)地取+1和-1。隨機(jī)信號通過一個信道傳輸，信道性質(zhì)可由一個三系數(shù)fir濾波器刻畫，濾波器系數(shù)分別是0.3，0.9，0.3。在信道輸出加入方差為平方高斯白噪聲，設(shè)計(jì)一個有11個權(quán)系數(shù)的fir結(jié)構(gòu)的自適應(yīng)均衡器，令均衡器的期望響應(yīng)為xn-7，選擇幾個合理的白噪聲方差平方(不同信噪比)，進(jìn)行

42、實(shí)驗(yàn)。例程7-4 歸一化lms算法matlab程序?qū)崿F(xiàn)如下：1. nlms算法1次實(shí)驗(yàn)% n=訓(xùn)練序列長度 % u=收斂因子clear; n=500;db=20;sh1=sqrt(10(-db/10);u=1; error_s=zeros(1,n); for loop=1:1 w=0.05*ones(1,11); v=sh1*randn(1,n ); k=randn(1,n)-0.5; x=sign(k);for n=3:n; m(n)=0.3*x(n)+0.9*x(n-1)+0.3*x(n-2);endz=m+v; for n=8:n; d(n)=x(n-7);end a(1)=z(1)2;

43、 for n=2:11; a(n)=z(n).2+a(n-1);endfor n=12:n; a(n)=z(n).2-z(n-11)2+a(n-1);end for n=11:n; z1=z(n) z(n-1) z(n-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10); y(n)=w*z1; e(n)=d(n)-y(n); w=w+u./(eps+a(n).*z1.*conj(e(n);end error_s=error_s +e.2;end w error_s=error_s./1; n=1:n;plot(n,error_

44、s);xlabel(n (當(dāng)u=1;db=20時); ylabel(e(n)2); title(nlms算法1次實(shí)驗(yàn)誤差平方的均值曲線); 2.nlms算法20次實(shí)驗(yàn)clear; n=500; db=20;sh1=sqrt(10(-db/10); u=1; error_s=zeros(1,n); for loop=1:20 w=0.05*ones(1,11); v=sh1*randn(1,n ); k=randn(1,n)-0.5; x=sign(k);for n=3:n; m(n)=0.3*x(n)+0.9*x(n-1)+0.3*x(n-2);end z=m+v;for n=8:n; d(n

45、)=x(n-7); end a(1)=z(1)2; for n=2:11; a(n)=z(n).2+a(n-1);endfor n=12:n; a(n)=z(n).2-z(n-11)2+a(n-1);end for n=11:n; z1=z(n) z(n-1) z(n-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10); y(n)=w*z1; e(n)=d(n)-y(n); w=w+u./(eps+a(n).*z1.*conj(e(n); end error_s=error_s +e.2; end w error_s=error_s./20; n=1:n;plot(n,error_s);xlabel(n (當(dāng)u=1;db=20時); ylabel(e(n)2); title(nlms算法20次實(shí)驗(yàn)誤差平方的均值曲線); 【程序運(yùn)行結(jié)果】圖7-11 收斂曲線表7-1 用lms算法設(shè)計(jì)的自適應(yīng)均衡器系數(shù)序號12345678910111次-0.00370.0074-0.0010-0.05170.1667-0.51121.4216-0.52440.1668-0.05970.016420次0.0383-0.04800.0565-0