維納自適應(yīng)濾波器設(shè)計(jì)及Matlab實(shí)現(xiàn)

1、維納自適應(yīng)濾波器設(shè)計(jì)及Matlab實(shí)現(xiàn)摘 要本文從隨機(jī)噪聲的特性出發(fā)，分析了傳統(tǒng)濾波和自適應(yīng)濾波基本工作原理和性能，以及濾波技術(shù)的現(xiàn)狀和發(fā)展前景。然后系統(tǒng)闡述了基本維納濾波原理和自適應(yīng)濾波器的基本結(jié)構(gòu)模型，接著在此基礎(chǔ)上結(jié)合最陡下降法引出LMS算法。在MSE準(zhǔn)則下，設(shè)計(jì)了一個(gè)定長的自適應(yīng)最小均方橫向?yàn)V波器，并通過MATLAB編程實(shí)現(xiàn)。接著用圖像復(fù)原來驗(yàn)證該濾波器的性能，結(jié)果表明圖像的質(zhì)量在MSE準(zhǔn)則下得到了明顯的改善。最后分析比較了自適應(yīng)LMS濾波和頻域維納遞歸濾波之間的性能。本文還對(duì)MATLAB里面的自適應(yīng)維納濾波函數(shù)wiener2進(jìn)行了簡單分析。關(guān)鍵字：退化圖像 維納濾波自適應(yīng)濾波最陡下降

2、法 LMSAbstractThis paper analyses the basic work theory, performance of traditional filter and adaptive filter based on the property of random noise, and introduce the status quo and the foreground of filter technology. Then we explain basic theory of wiener filter and basic structure model of adapti

3、ve filter, and combine the method of steepest descent to deduce the LMS. Afterward according to the MSE rule, we design a limited length transversal filter, and implement by MATLAB. And then we validate performance of adaptive LMS filter by restoring images, Test result show that the quality of the

4、degrade images were improved under the rule of MSE. Finally, we compare the performance of adaptive LMS filter and iterative wiener filter.We also simply analyses the wiener2 () which is a adaptive filter in MATLAB.Keywords: degrade image；wiener filter；adaptive filter；ADF；LMS algorithm目錄1 緒論11. 1 引言

5、11. 2 研究目標(biāo)及現(xiàn)狀11. 2 .1 圖像復(fù)原技術(shù)的目標(biāo)11. 2 .2 圖像復(fù)原技術(shù)的研究現(xiàn)狀12 理論基礎(chǔ) 32. 1 基本自適應(yīng)濾波器的模塊結(jié)構(gòu)32. 2 基本維納濾波原理43 自適應(yīng)濾波原理及算法 63.1 橫向?yàn)V波結(jié)構(gòu)的最陡下降算法73.1.1 最陡下降算法的原理73.1.2 最陡下降算法穩(wěn)定性103.2 LMS濾波原理及算法113.2.1 從最陡下降算法導(dǎo)出LMS算法 113.2.2 基本LMS算法的實(shí)現(xiàn)步驟 113.2.3 基本LMS算法的實(shí)現(xiàn)流程圖 123.2.4 LMS算法的Matlab實(shí)現(xiàn) 123.2.5 wiener2()的原理 123.2.6 LMS性能分析自適應(yīng)

6、收斂性134 Matlab 實(shí)驗(yàn)結(jié)果 144.1.LMS濾波器的收斂性 144.2.LMS濾波器和頻域迭代維納濾波器的性能比較 165 總結(jié)18致謝 19參考文獻(xiàn) 20附錄A 21附錄B 22附錄C 271 緒論1.1引言人類傳遞信息的主要媒介是語言和圖像。據(jù)統(tǒng)計(jì)，在人類接受的信息中，聽覺信息占20，視覺信息占60，其它如味覺、觸覺、嗅覺總的加起來不過占20，所以圖像信息是十分重要的信息1。然而，在圖像的獲取和圖像信號(hào)的傳輸過程中，圖像信號(hào)中不可避免的混入各種各樣的隨機(jī)噪聲，造成圖像失真（圖像退化）。造成人類所獲取的信息和實(shí)際是有偏差的，成為人類從外界獲取準(zhǔn)確信息的障礙。因此，對(duì)圖像信號(hào)中的隨

7、機(jī)噪聲的抑制處理是圖像處理中非常重要的一項(xiàng)工作。在圖像的獲取和傳輸過程中所混入的噪聲，主要來源于通信系統(tǒng)中的各種各樣的噪聲，根據(jù)通信原理及統(tǒng)計(jì)方面的知識(shí)，可以知道在通信系統(tǒng)中所遇到的信號(hào)和噪聲，大多數(shù)均可視為平穩(wěn)的隨機(jī)過程15。又有“高斯過程又稱正態(tài)隨機(jī)過程，它是一種普遍存在和重要的隨機(jī)過程，在通信信道中的噪聲，通常是一種高斯過程，故又稱高斯噪聲。因此，在大多數(shù)的情況下，我們可以把造成圖像失真的噪聲可視為廣義平穩(wěn)高斯過程。本文針對(duì)圖像信號(hào)中混入的隨機(jī)噪聲，在怎樣把現(xiàn)有的濾波算法應(yīng)用到實(shí)際的圖像復(fù)原中去的問題上提出了解決方法，并且應(yīng)用Matlab 軟件編程對(duì)圖像進(jìn)行處理。1.2研究目標(biāo)及現(xiàn)狀1.

8、2.1圖像復(fù)原技術(shù)的目標(biāo)為了從含有噪聲的數(shù)據(jù)中提取我們所感興趣的、接近規(guī)定質(zhì)量的圖像，我們需要設(shè)計(jì)一個(gè)系統(tǒng)滿足：當(dāng)信號(hào)與噪聲同時(shí)輸入時(shí)，在輸出端能將信號(hào)盡可能精確地重現(xiàn)出來，而噪聲卻受到最大抑制，即最佳濾波器。1.2.2圖像復(fù)原技術(shù)的研究現(xiàn)狀目前的圖像復(fù)原技術(shù)，即去噪的濾波技術(shù)可以分為兩大類：傳統(tǒng)濾波和現(xiàn)代濾波。傳統(tǒng)濾波技術(shù)是建立在已知有用信號(hào)和干擾噪聲的統(tǒng)計(jì)特性（自相關(guān)函數(shù)或功率譜）的基礎(chǔ)上的噪聲去除；現(xiàn)代濾波技術(shù)則是不需要知道圖像的先驗(yàn)知識(shí)，只是根據(jù)觀測數(shù)據(jù)，即可對(duì)噪聲進(jìn)行有效濾除。早在20世紀(jì)40年代，就對(duì)平穩(wěn)隨機(jī)信號(hào)建立了維納濾波理論。根據(jù)有用信號(hào)和干擾噪聲的統(tǒng)計(jì)特性（自相關(guān)函數(shù)或功率

9、譜），以線性最小均方誤差（MSE）估計(jì)準(zhǔn)則所設(shè)計(jì)的最佳濾波器，稱為維納濾波器。這種濾波器能最大程度的濾除干擾噪聲，提取有用信號(hào)。但是，當(dāng)輸入信號(hào)的統(tǒng)計(jì)特性偏離設(shè)計(jì)條件，則它就不再是最佳的了，這在實(shí)際應(yīng)用中受到了限制。到60年代初，由于空間技術(shù)的發(fā)展，出現(xiàn)了卡爾曼濾波理論，即利用狀態(tài)變量模型對(duì)非平穩(wěn)、多輸入多輸出隨機(jī)序列作最優(yōu)估計(jì)?？柭鼮V波器既可以對(duì)平穩(wěn)的和平穩(wěn)的隨機(jī)信號(hào)作線性最佳濾波，也可以作為非線性濾波2。然而只有在對(duì)信號(hào)和噪聲的統(tǒng)計(jì)特性已知的情況下，這兩種濾波器才能獲得最優(yōu)解。在實(shí)際的應(yīng)用中，往往無法得到這些統(tǒng)計(jì)特性的先驗(yàn)知識(shí)，或者統(tǒng)計(jì)特性是隨時(shí)間變化的，因此，這兩種濾波器就實(shí)現(xiàn)不了真正

10、的最佳濾波。Widrow B.和Hoff于1967年提出的自適應(yīng)濾波理論，可使在設(shè)計(jì)自適應(yīng)濾波器時(shí)不需要事先知道關(guān)于輸入信號(hào)和噪聲的統(tǒng)計(jì)特性的知識(shí)，它能夠在自己的工作過程中逐漸估計(jì)出所需的統(tǒng)計(jì)特性，并以此為依據(jù)自動(dòng)調(diào)整自己的參數(shù)，以達(dá)到最佳濾波效果。一旦輸入信號(hào)的統(tǒng)計(jì)特性發(fā)生變化，它又能夠跟蹤這種變化，自動(dòng)調(diào)整參數(shù)，使濾波器性能重新達(dá)到最佳。自適應(yīng)濾波器自動(dòng)調(diào)節(jié)參數(shù)可以通過各種不同的遞推算法來實(shí)現(xiàn)，由于它采用的是逼近的算法，使得實(shí)際估計(jì)值和理論值之間必然存在差距，也就造成了自適應(yīng)濾波問題沒有唯一的解。依照各種遞推算法的特點(diǎn)，我們把它應(yīng)用于不同的場合?，F(xiàn)在廣為應(yīng)用的自適應(yīng)濾波方法主要是基于以下幾

11、種基本理論，再融合遞推算法導(dǎo)出來的：（1） 基于維納濾波理論的方法維納濾波是在最小均方誤差準(zhǔn)則下通過求解維納霍夫方程來解決線性最優(yōu)濾波問題的?；诰S納濾波原理，我們利用相關(guān)的瞬時(shí)值通過在工作過程中的逐步調(diào)整參數(shù)逼近信號(hào)的統(tǒng)計(jì)特性，實(shí)現(xiàn)最優(yōu)濾波。由此，我們得到一種最常用的算法最小均方算法，簡稱LMS算法。（2） 基于卡爾曼濾波理論的方法 卡爾曼濾波是線性無偏最小方差濾波遞推濾波，它能使濾波器工作在平穩(wěn)的或非平穩(wěn)的環(huán)境，得到最優(yōu)解。利用卡爾曼濾波理論的遞推求解法導(dǎo)出自適應(yīng)濾波器更新權(quán)矢量得不同遞推算法。比LMS算法有極快的收斂速率，可是計(jì)算復(fù)雜度也增大了，它需要計(jì)算卡爾曼矩陣。（3） 基于最小二乘

12、準(zhǔn)則的方法維納濾波和卡爾曼濾波推導(dǎo)的算法是基于統(tǒng)計(jì)概念的，而最小二乘估計(jì)算法是以最小誤差平方和為優(yōu)化目標(biāo)的。根據(jù)濾波器的實(shí)現(xiàn)結(jié)構(gòu)，有以下3種不同的最小二乘自適應(yīng)濾波算法：自適應(yīng)遞歸最小二乘法（RLS），自適應(yīng)最小二乘格型算法，QR分解最小二乘算法。（4） 基于神經(jīng)網(wǎng)絡(luò)理論的方法 神經(jīng)網(wǎng)絡(luò)是有大量的神經(jīng)元相互連接而成的網(wǎng)絡(luò)系統(tǒng)，實(shí)質(zhì)上它是一個(gè)高度非線性的動(dòng)力學(xué)網(wǎng)絡(luò)系統(tǒng)，這個(gè)系統(tǒng)具有很強(qiáng)的自適應(yīng)、自學(xué)習(xí)、自組織能力，以及巨量并行性、容錯(cuò)性和堅(jiān)韌性，因而，它可以做很多傳統(tǒng)的信號(hào)和信息處理技術(shù)所不能做的事情。因其超強(qiáng)的自動(dòng)調(diào)節(jié)能力，使得它在自適應(yīng)信號(hào)處理方面有著廣闊的前景2。 在一系列的自適應(yīng)算法中，

13、雖然基于后面3種基本理論的方法在收斂速率和穩(wěn)定、堅(jiān)韌性方面有著更好的性能，但是， 基于維納濾波理論的LMS算法因其算法簡單，而且能達(dá)到滿意的性能，得到了青睞，成為了應(yīng)用最廣泛的自適應(yīng)算法。為此，本文主要研究LMS自適應(yīng)濾波器在圖像去噪方面的應(yīng)用。2.理論基礎(chǔ)2.1基本自適應(yīng)濾波器的模塊結(jié)構(gòu)自適應(yīng)濾波器通常由兩部分構(gòu)成，其一是濾波子系統(tǒng)，根據(jù)它所要處理的功能而往往有不同的結(jié)構(gòu)形式。另一是自適應(yīng)算法部分，用來調(diào)整濾波子系統(tǒng)結(jié)構(gòu)的參數(shù)，或?yàn)V波系數(shù)。在自適應(yīng)調(diào)整濾波系數(shù)的過程中，有不同的準(zhǔn)則和算法。算法是指調(diào)整自適應(yīng)濾波系數(shù)的步驟，以達(dá)到在所描述的準(zhǔn)則下的誤差最小化。自適應(yīng)濾波器含有兩個(gè)過程，即自適應(yīng)

14、過程和濾波過程。前一過程的基本目標(biāo)是調(diào)節(jié)濾波系數(shù)，使得有意義的目標(biāo)函數(shù)或代價(jià)函數(shù)最小化，濾波器輸出信號(hào)逐步逼近所期望的參考信號(hào)，由兩者之間的誤差信號(hào)驅(qū)動(dòng)某種算法對(duì)濾波系數(shù)進(jìn)行調(diào)整，使得濾波器處于最佳工作狀態(tài)以實(shí)現(xiàn)濾波過程。所以自適應(yīng)過程是一個(gè)閉合的反饋環(huán)，算法決定了這個(gè)閉合環(huán)路的自適應(yīng)過程所需要的時(shí)間。但是，由于目標(biāo)函數(shù)是輸入信號(hào),參考信號(hào)及輸出信號(hào)的函數(shù)，即,因此目標(biāo)函數(shù)必須具有以下兩個(gè)性質(zhì)：（1） 非負(fù)性 ( 2.1 )（2） 最佳性 ( 2.2 )在自適應(yīng)過程中，自適應(yīng)算法逐步使目標(biāo)函數(shù)最小化，最終使逼近于，濾波參數(shù)或權(quán)系數(shù)收斂于，這里是自適應(yīng)濾波系數(shù)的最優(yōu)解即維納解。因此，自適應(yīng)過程也

15、是自適應(yīng)濾波器的最佳線性估計(jì)的過程，既要估計(jì)濾波器能實(shí)現(xiàn)期望信號(hào)的整個(gè)過程，又要估計(jì)濾波權(quán)系數(shù)以進(jìn)行有利于主要目標(biāo)方向的調(diào)整。這些估計(jì)過程是以連續(xù)的時(shí)變形式進(jìn)行的，這就是自適應(yīng)濾波器需要有的自適應(yīng)收斂過程。如何縮短自適應(yīng)收斂過程所需要的收斂時(shí)間，這個(gè)與算法和結(jié)構(gòu)有關(guān)的問題時(shí)人們一直重視研究的問題之一2。當(dāng)然濾波子系統(tǒng)在整個(gè)自適應(yīng)濾波器的設(shè)計(jì)中也占有很重要的地位，因?yàn)樗鼘?duì)最終的濾波性能有很大的影響。本文要研究的是基于維納濾波原理的LMS算法，那么下面我們需要介紹一下基本維納濾波原理。2.2基本維納濾波原理基本維納濾波就是用來解決從噪聲中提取信號(hào)問題的一種過濾(或?yàn)V波)方法。它基于平穩(wěn)隨機(jī)過程模型

16、，且假設(shè)退化模型為線性空間不變系統(tǒng)的。實(shí)際上這種線性濾波問題，可以看成是一種估計(jì)問題或一種線性估計(jì)問題?；镜木S納濾波是根據(jù)全部過去的和當(dāng)前的觀察數(shù)據(jù)來估計(jì)信號(hào)的當(dāng)前值，它的解是以均方誤差最小條件下所得到的系統(tǒng)的傳遞函數(shù)或單位樣本響應(yīng)的形式給出的，因此更常稱這種系統(tǒng)為最佳線性過濾器或?yàn)V波器。設(shè)計(jì)維納濾波器的過程就是尋求在最小均方誤差下濾波器的單位樣本響應(yīng)或傳遞函數(shù)的表達(dá)式，其實(shí)質(zhì)是解維納-霍夫(Wiener-Hopf)方程。基本維納濾波器是這樣的，有兩個(gè)信號(hào)x(k)和y(k)同時(shí)加在濾波器上。典型地y(k)包含一個(gè)與x(k)相關(guān)地分量和另一個(gè)與x(k)不相關(guān)地分量。維納濾波器則產(chǎn)生y(k)中與

17、x(k)相關(guān)分量地最優(yōu)估計(jì)，再從y(k)中減去它就得到e(k)。假定一個(gè)N個(gè)系數(shù)（權(quán)值）的FIR濾波器的結(jié)構(gòu)，維納濾波和原始信號(hào)y(k)之間的差信號(hào)e(k)為： ( 2.3 )其中和w分別為輸入信號(hào)矢量和權(quán)矢量，由下式確定： ( 2.4 )誤差平方為： ( 2.5 )對(duì)（3）式兩邊取期望得到均方誤差(MSE) ，若輸入x(k)與輸出y(k)是聯(lián)合平穩(wěn)的，則： ( 2.6 )其中代表期望，是的方差，是長度為N地互相關(guān)矢量，是N×N的自相關(guān)矩陣。一個(gè)MSE濾波系數(shù)的圖形是碗形地，且只有唯一地底部，這個(gè)圖稱為性能曲面，它是非負(fù)的。性能曲面地梯度可由下式給出： ( 2.7 )每組系數(shù)w(i)

18、(i=1,2,N-1)對(duì)應(yīng)曲面是一點(diǎn)，在曲面是地最小點(diǎn)梯度為0，濾波權(quán)矢量達(dá)到最優(yōu), ( 2.8 )即著名的維納霍夫方程的解。自適應(yīng)濾波地任務(wù)是采用合適的算法來調(diào)節(jié)濾波權(quán)重，從而找到性能曲面地最優(yōu)點(diǎn)。維納濾波的實(shí)際用途有限，因?yàn)椋海?） 它需要已知自相關(guān)矩陣R和互相關(guān)矢量P，這兩個(gè)量通常是未知的。（2） 它包含了矩陣的求逆，非常的耗時(shí)。（3） 若信號(hào)為非平穩(wěn)的，則R和P是時(shí)變的，導(dǎo)致必需重復(fù)計(jì)算。對(duì)于實(shí)際的應(yīng)用需要一種能夠依次加入地抽樣點(diǎn)而得到的算法。自適應(yīng)算法就就是用于達(dá)到這個(gè)目的，而且不需顯式計(jì)算R和P或進(jìn)行矩陣求逆3。 3 自適應(yīng)濾波原理及算法在實(shí)際應(yīng)用中常常會(huì)遇到這樣的情況：隨機(jī)信號(hào)的

19、統(tǒng)計(jì)特性是未知的，或者信號(hào)的統(tǒng)計(jì)特性是緩慢的變化著的（非平穩(wěn)信號(hào)），這就促使人們?nèi)パ芯恳活愄厥獾臑V波器，這類濾波器具有以下特點(diǎn)：當(dāng)輸入過程的統(tǒng)計(jì)特性未知時(shí)，或者輸入過程的統(tǒng)計(jì)特性變化時(shí)，能夠相應(yīng)的調(diào)整自身的參數(shù)，以滿足某種準(zhǔn)則的要求，由于這類濾波器能變動(dòng)自身的參數(shù)以“適應(yīng)”輸入過程統(tǒng)計(jì)特性的估計(jì)或變化，因此，就把這類濾波器稱為自適應(yīng)濾波器4 。在本文中我們研究的是退化圖像復(fù)原的問題，由于圖像自身的多樣性和所混入的噪聲的隨機(jī)性和多樣性，我們選擇自適應(yīng)濾波取出圖像中混入的噪聲。3.1 橫向?yàn)V波結(jié)構(gòu)的最陡下降算法3.1.1 最陡下降算法的原理首先考慮如下圖所示的橫向FTR自適應(yīng)濾波器它的輸入序列以向

20、量的形式記為： ( 3.1 )假設(shè)取自一均值為零，自相關(guān)矩陣為的廣義平穩(wěn)隨機(jī)過程，而濾波器的系數(shù)矢量（加權(quán)矢量）為： ( 3.2 )以上二式中括號(hào)內(nèi)的為時(shí)間指數(shù)，因此，和分別表示時(shí)刻的濾波器輸入序列和加權(quán)值，濾波器的輸出為：( 3.3 )式中M為濾波器的長度。圖3.1 中的稱為“期望理想響應(yīng)信號(hào)”，有時(shí)也可稱為“訓(xùn)練信號(hào)”，它決定了設(shè)計(jì)最佳濾波器加權(quán)向量的取值方向。在實(shí)際應(yīng)用中，通常用一路參考信號(hào)來作為期望響應(yīng)信號(hào)。是濾波器輸出相對(duì)于的誤差，即 (3.4)顯然，自適應(yīng)濾波控制機(jī)理是用誤差序列按照某種準(zhǔn)則和算法對(duì)其系數(shù)進(jìn)行調(diào)節(jié)的，最終使自適應(yīng)濾波的目標(biāo)（代價(jià)）函數(shù)最小化，達(dá)到最佳濾波狀態(tài)。按照均

21、方誤差（MSE）準(zhǔn)則所定義得目標(biāo)函數(shù)是 ( 3.5 )將式（3.4）代入式（3.5），目標(biāo)函數(shù)可以化為 ( 3.6 )當(dāng)濾波系數(shù)固定時(shí)，目標(biāo)函數(shù)又可以寫為 ( 3.7 )其中，是長度為N的期望信號(hào)與輸入信號(hào)的互相關(guān)矢量，是N×N的輸入向量得自相關(guān)矩陣。由式（3.7）可見，自適應(yīng)濾波器的目標(biāo)函數(shù)是延遲線抽頭系數(shù)（加權(quán)或?yàn)V波系數(shù)）的二次函數(shù)。當(dāng)矩陣R和矢量P已知時(shí)，可以由權(quán)矢量直接求其解?，F(xiàn)在我們將式（3.7）對(duì)W求倒數(shù)，并令其等于零，同時(shí)假設(shè)R是非奇異的，由此可以得到目標(biāo)函數(shù)最小的最佳濾波系數(shù)為 ( 3.8 )這個(gè)解就是維納解，即最佳濾波系數(shù)值。因?yàn)榫秸`差函數(shù)是濾波系數(shù)的二次方程，由

22、此形成一個(gè)形如圖（2.2）的超拋物面，當(dāng)濾波器工作在平穩(wěn)隨機(jī)過程的環(huán)境下，這個(gè)誤差性能曲面就具有固定邊緣的恒定形狀。自適應(yīng)濾波系數(shù)的起始值是位于性能曲面上的某一點(diǎn)，結(jié)果自適應(yīng)調(diào)節(jié)過程，使對(duì)應(yīng)于濾波系數(shù)變化的點(diǎn)移動(dòng)，朝碗底最小點(diǎn)方向移動(dòng)，最終到達(dá)碗底的最小點(diǎn)，實(shí)現(xiàn)了最佳維納濾波。最陡下降法就是實(shí)現(xiàn)上述搜索最佳值的一種優(yōu)化技術(shù)，它利用梯度信息分析自適應(yīng)濾波性能和追蹤最佳濾波狀態(tài)。梯度矢量是由均方誤差的梯度來定義的，在多維超拋物面上任意一點(diǎn)的梯度矢量是對(duì)應(yīng)于均方誤差對(duì)濾波系數(shù)的一階倒數(shù)，由起始點(diǎn)變化到下一點(diǎn)的濾波系數(shù)變化量正好是梯度矢量的負(fù)數(shù)。換句話說，自適應(yīng)過程是在梯度矢量的負(fù)方向接連的校正濾波系

23、數(shù)的，即在誤差性能曲面的最陡下降方向移動(dòng)和逐步校正濾波系數(shù)，最終到達(dá)均方誤差為最小的碗底最小點(diǎn)，獲得最佳濾波或準(zhǔn)優(yōu)工作狀態(tài)。令代表k時(shí)刻的維梯度矢量，這里M等于濾波器濾波系數(shù)的數(shù)目，為自適應(yīng)濾波器在k時(shí)刻的濾波系數(shù)和權(quán)矢量。按照最陡下降法調(diào)節(jié)濾波系數(shù)，則在k+1時(shí)刻的濾波系數(shù)或權(quán)矢量可以用下列簡單遞歸關(guān)系來計(jì)算：( 3.9 )式中，為自適應(yīng)收斂系數(shù)或步長，是一個(gè)正實(shí)常數(shù)。根據(jù)梯度矢量定義，可寫成( 3.10 )當(dāng)濾波系數(shù)為最佳值，即是維納解時(shí)，梯度矢量應(yīng)等于零。將式（3.7）代入（3.10）得到 ( 3.11 )因此，在最陡下降算法中，當(dāng)相關(guān)矩陣R和互相關(guān)矢量P已知時(shí)，由濾波系數(shù)矢量可以計(jì)算梯

24、度矢量，把式（3.11）代入（3.9）中，可以計(jì)算出濾波系數(shù)的更新值( 3.12 )式（3.12）所描述的即是最陡下降算法自適應(yīng)迭代的基本公式，且由該式我們可以不用再直接求R的逆。（3.12）式所示的迭代算法是一個(gè)反饋模型，因此算法的收斂性（穩(wěn)定性）就非常重要。下面我們簡單討論一下最陡下降法的收斂性。3.1.2 最陡下降算法穩(wěn)定性首先我們定義k時(shí)刻的加權(quán)誤差矢量為 ( 3.13 )則最陡下降算法式（3.12）可以寫成另一種形式 ( 3.14 )這樣，我們得到最陡下降法的穩(wěn)定性取決于兩個(gè)因素：自適應(yīng)步長參數(shù)和輸入信號(hào)矢量的自相關(guān)矩陣。根據(jù)線性代數(shù)里的酉相似變換原理，用酉矩陣將相關(guān)矩陣對(duì)角線化，即

25、 ( 3.15 )式中為對(duì)角線矩陣，它的元素是的特征值，矩陣的列矢量是相關(guān)矩陣的特征值對(duì)應(yīng)的特征向量的正交集，是的共軛轉(zhuǎn)置。酉矩陣的性質(zhì)是。把式（3.15）代入式（3.14），得到 ( 3.16 )兩邊乘以得到，(3.17a)或?qū)憺?3.17b)其中，為旋轉(zhuǎn)參數(shù)矢量或旋轉(zhuǎn)濾波系數(shù)矢量誤差，的起始值為( 3.18)由（3.17b）式，可以推算出( 3.19 )把單位矩陣和對(duì)角線矩陣展開，上式可以寫為( 3.20 )上式表明，為了保證最陡下降算法的穩(wěn)定性（收斂性），矩陣中的每一個(gè)元素的絕對(duì)值必須小于1，由此可以得到算法穩(wěn)定性的收斂條件為( 3.21 )式中是相關(guān)矩陣的最大特征值。在此條件下，對(duì)角線

26、矩陣中全部元素當(dāng)而趨近于零，結(jié)果使得。當(dāng)很大時(shí)，意味著自適應(yīng)濾波系數(shù)矢量趨近于最佳維納解。3.2 LMS濾波原理及算法3.2.1 從最陡下降法導(dǎo)出LMS算法如上節(jié)所述，最陡下降算法不需要知道誤差特性曲面的先驗(yàn)知識(shí)，其算法就可以收斂到最佳維納解，且與起始條件無關(guān)。但是最陡下降算法的主要限制是它需要準(zhǔn)確測得每次迭代的梯度矢量，這妨礙了它的應(yīng)用。為了減少計(jì)算復(fù)雜度和縮短自適應(yīng)收斂時(shí)間，1960年，美國斯坦福大學(xué)的Widrow等提出了最小均方（LMS）算法，這是一種用瞬時(shí)值估計(jì)梯度矢量的方法，即( 3.22 )可見，這種瞬時(shí)估計(jì)法是無偏的，因?yàn)樗钠谕荡_實(shí)等于式（3.10）的梯度矢量。所以，按照自適

27、應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計(jì)的方向之間的關(guān)系，可以寫出LMS算法的公式如下：( 3.23 )3.2.2 基本LMS算法的實(shí)現(xiàn)步驟（1） 初始化 令所有權(quán)重為任一固定值或?yàn)?，對(duì)每一個(gè)接下來地抽樣時(shí)刻（k=1,2,N）執(zhí)行（2）到（4）。（2） 計(jì)算濾波輸出 ( 3.24 )（3） 計(jì)算估計(jì)誤差 ( 3.25 )（4） 更新下一時(shí)刻的權(quán) ( 3.26 )從上面看出，LMS算法具有簡潔和易于實(shí)現(xiàn)地特點(diǎn)使它成為許多實(shí)時(shí)系統(tǒng)的首選算法，LMS算法對(duì)每組輸入和輸出抽樣大約需2N1次乘法和2N1次加法。太多數(shù)信號(hào)處理器陡適宜進(jìn)行乘法和累加運(yùn)算，使直接實(shí)現(xiàn)LMS算法更具有吸引力。3.2.3 基本

28、LMS算法的實(shí)現(xiàn)流程圖3.2.4 LMS算法的Matlab實(shí)現(xiàn)wiener2（）的原理LMS算法實(shí)現(xiàn)的代碼可見附錄A3.2.5 wiener2（）的原理我們下面介紹一下wiener2()的基本處理方法和過程：根據(jù)圖像的局部統(tǒng)計(jì)性質(zhì)，一個(gè)像素與它周圍的局部區(qū)域內(nèi)的像素相關(guān)，因此去噪圖像中某一點(diǎn)像素值可由退化圖像中相應(yīng)于該點(diǎn)的局部區(qū)域內(nèi)的像素值予以恢復(fù)，我們做一個(gè)S×S（S=2×L+1,L為窗口半寬）的矩形窗口，對(duì)退化圖像中的每個(gè)像素在以該像素維中心的窗口內(nèi)進(jìn)行相應(yīng)的濾波處理，可得去噪圖像為：( 3.27 )式中為所要求的權(quán)值，為退化圖像，寫成矩陣形式有：( 3.28 )其中

29、， ( 3.29 )于是問題轉(zhuǎn)換成求，我們選取一塊有較多信號(hào)的區(qū)域作為特征區(qū)域，令其為，并對(duì)其做自適應(yīng)濾波處理，以得到該區(qū)域的近似原始圖像，稱為理想圖像，濾波步驟如下：（1） 先求特征區(qū)域中的局部圖像均值和方差( 3.30 )( 3.31 )（2） 再根據(jù)加權(quán)最小二乘法，求得自適應(yīng)濾波后的理想圖像( 3.32 )其中，這里表示噪聲方差。Wiener2() 函數(shù)的解析可見附錄B3.2.6 LMS性能分析自適應(yīng)收斂性自適應(yīng)濾波器系數(shù)矢量的起始值是任意的常數(shù)，應(yīng)用LMS算法調(diào)節(jié)濾波系數(shù)具有隨機(jī)性而是系數(shù)矢量帶來非平穩(wěn)過程。通常為了簡化LMS算法的統(tǒng)計(jì)分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：

30、（1） 每個(gè)輸入信號(hào)樣本矢量與其過去全部樣本矢量是統(tǒng)計(jì)獨(dú)立的，不相關(guān)的。（2） 每個(gè)輸入信號(hào)樣本矢量與全部過去的期望響應(yīng)信號(hào)也是統(tǒng)計(jì)獨(dú)立的。（3） 期望響應(yīng)信號(hào)依賴于輸入樣本矢量，但全部過去的期望信號(hào)樣本是統(tǒng)計(jì)獨(dú)立的。（4） 濾波器抽頭輸入信號(hào)矢量于期望信號(hào)包含著全部k的共同的高斯分布隨機(jī)變量。通常將基于上述基本假設(shè)的LMS算法的統(tǒng)計(jì)分析稱為獨(dú)立理論。我們發(fā)現(xiàn)（1）和（2）的觀點(diǎn)，假設(shè)濾波系數(shù)矢量與輸入信號(hào)矢量和期望信號(hào)的獨(dú)立無關(guān)是很有用的。但是，在實(shí)際中，許多問題對(duì)輸入過程和期望信號(hào)并不滿足上述基本假設(shè)。盡管如此，LMS算法的實(shí)踐經(jīng)驗(yàn)證明，在有足夠的關(guān)于自適應(yīng)過程結(jié)構(gòu)信息的條件下，基于這些假

31、設(shè)所分析的結(jié)果仍可用作可靠的設(shè)計(jì)指導(dǎo)準(zhǔn)則，即使某些問題帶有依賴的數(shù)據(jù)樣本。經(jīng)過推導(dǎo)，我們得到LMS算法和它的基礎(chǔ)最陡下降算法有系統(tǒng)的精確數(shù)學(xué)表達(dá)形式。因此，可以得出它們的收斂條件也是一致的，即( 3.33 )當(dāng)?shù)螖?shù)k趨近于無窮的時(shí)候，自適應(yīng)濾波系數(shù)矢量近似等于最佳維納解，但是事實(shí)上我們知道，LMS算法的濾波系數(shù)總是在最佳維納解附近波動(dòng)，而不能精確等于最佳維納解。在滿足收斂條件的情況下，自適應(yīng)步長決定了收斂速率，當(dāng)?shù)螖?shù)一定時(shí)，的值越大，則收斂的越快，濾波器的均方誤差（MSE）也越來越?。划?dāng)自適應(yīng)步長一定時(shí)，隨著迭代次數(shù)的增大，濾波器的均方誤差（MSE）越來越小。4 Matlab實(shí)驗(yàn)結(jié)果4

32、.1LMS濾波器的收斂性下面我們通過實(shí)驗(yàn)來查看LMS算法的濾波性能。在實(shí)驗(yàn)中我們通過改變自適應(yīng)步長的值，來觀測的變化對(duì)LMS濾波器的性能的影響。以下為實(shí)驗(yàn)結(jié)果：圖4.1圖4.2圖4.3通過上面的三幅圖，我們可以看出當(dāng)值超出收斂條件時(shí)，LMS濾波器不能收斂，呈發(fā)散形式，所得到的復(fù)原圖像的質(zhì)量很差，甚至比原圖像更差。而仔細(xì)觀測圖4.2和圖4.3，我們又發(fā)現(xiàn)當(dāng)滿足收斂條件時(shí)，的值小，反而效果要差，或者說是，MSE的下降較小，事實(shí)上，這是因?yàn)楫?dāng)值越小，下降越平滑，效果本應(yīng)該更好，但是由于我們?cè)O(shè)計(jì)的是定長的濾波器，也就是濾波器的迭代次數(shù)是固定的，在這樣的情況下，當(dāng)然值越大，收斂越快效果越好了。4.2 L

33、MS濾波器和頻域迭代維納濾波器的性能比較在這里我們把所設(shè)計(jì)的自適應(yīng)LMS濾波器跟頻域迭代維納濾波器進(jìn)行比較，涉及到了基本頻域迭代和加權(quán)頻域迭代兩種形式的濾波器。在實(shí)驗(yàn)中我們對(duì)圖像人為的加入20db的高斯白噪聲。在性能比較方面，頻域加權(quán)的維納濾波我們計(jì)算的是復(fù)原圖像和原圖像的MSE。而在LMS濾波器方面，我們是按照目標(biāo)函數(shù)來計(jì)算的MSE。圖4.4圖4.5通過以上兩幅圖片，我們可以看出統(tǒng)一的迭代次數(shù)的情況下，頻域?yàn)V波器的性能要比LMS算法要好。這主要是因?yàn)轭l域迭代維納濾波器還屬于傳統(tǒng)濾波器，它是通過已知的統(tǒng)計(jì)知識(shí)功率譜密度來進(jìn)行迭代的。是一種比較精確的迭代算法，而我們的LMS濾波器，則是僅僅根據(jù)退

34、化圖像，進(jìn)行迭代濾波的，其中采用的是用瞬時(shí)值來估計(jì)統(tǒng)計(jì)特性，所以在系統(tǒng)的迭代次數(shù)下，所取得的效果是要稍微差一些的。5總結(jié)在整個(gè)畢業(yè)設(shè)計(jì)的過程中，我們從基本的維納濾波到最陡下降法再到自適應(yīng)LMS算法，進(jìn)行了系統(tǒng)的分析和實(shí)驗(yàn)驗(yàn)證。知道在相關(guān)統(tǒng)計(jì)特性已知的情況下，傳統(tǒng)濾波器能取得最佳濾波，但是在沒有相關(guān)的先驗(yàn)知識(shí)的情況下，傳統(tǒng)濾波器就不能滿足我們的質(zhì)量要求，這就需要我們的自適應(yīng)濾波器來實(shí)現(xiàn)了。但是，自適應(yīng)濾波技術(shù)是一種迭代的運(yùn)算，采用的是逼近的策略，所以這有限次數(shù)的迭代下，我們還是不能精確恢復(fù)圖像?？墒牵瑢?shí)驗(yàn)證明，在有足夠的關(guān)于自適應(yīng)過程結(jié)構(gòu)信息的情況下，我們所設(shè)計(jì)的自適應(yīng)濾波器還是能取得很好的效果

35、，并且遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)濾波器。在目前的自適應(yīng)技術(shù)中怎樣解決濾波器中的參考輸入是一個(gè)很關(guān)鍵的問題，由自適應(yīng)濾波算法的原理可知，參考信號(hào)必須是與實(shí)際噪聲信號(hào)相關(guān)的信號(hào)，且與有用信號(hào)不相關(guān)。參考信號(hào)與噪聲信號(hào)的相關(guān)性越強(qiáng)，則估計(jì)出來的噪聲才會(huì)越接近真實(shí)噪聲。在實(shí)際中我們往往無法得到符合理想要求的參考信號(hào)，但是我們只要采用于噪聲類型一致，統(tǒng)計(jì)特性相似的信號(hào)就可以取得較好的效果的。在本課題實(shí)驗(yàn)中我們采用的是隨機(jī)信號(hào)作為參考信號(hào)，理論上大多數(shù)的隨機(jī)噪聲都是廣義平穩(wěn)的高斯噪聲或瑞利噪聲，我們所采用的randn()函數(shù)生成的參考信號(hào)應(yīng)該能取得與理論要求很相符的值，但是因?yàn)橛?jì)算機(jī)中的隨機(jī)信號(hào)是在內(nèi)存中隨機(jī)獲得的，雖

36、然統(tǒng)計(jì)特性可以符合要求，但是可能會(huì)出現(xiàn)大能量信號(hào)，導(dǎo)致圖像質(zhì)量受到影響。不過，實(shí)驗(yàn)證明在隨機(jī)信號(hào)的數(shù)值取得較少的情況下，還是能滿足廣義平穩(wěn)的，也能取得較好的效果。在實(shí)驗(yàn)中，我們驗(yàn)證了LMS的收斂性能，比較了它與頻域迭代維納的性能，可以知道，我們所采用的基本LMS算法還是有待改進(jìn)的。我們需要在收斂速度和處理速度方面，以及穩(wěn)定性方面進(jìn)行改善。致 謝本文的順利完成受到了我的導(dǎo)師工程師，以及大學(xué)電信工程系的老師的大力支持和精心指導(dǎo)。在畢業(yè)設(shè)計(jì)進(jìn)行階段，老師總是嚴(yán)格的要求，及時(shí)為我指引方向并不斷給予督促，她的鼓勵(lì)使我能有信心去克服畢業(yè)設(shè)計(jì)遇到的困難。趙老師則是在設(shè)計(jì)的末尾階段就性能評(píng)估方面給了我理論上的

37、指導(dǎo)，使得畢業(yè)設(shè)計(jì)得以順利完成。老師對(duì)學(xué)生平易近人、精心負(fù)責(zé)的態(tài)度使我受益非淺，在此，我謹(jǐn)向兩位老師表示衷心的感謝！感謝同組同學(xué)多次同我進(jìn)行算法和編程實(shí)現(xiàn)上的交流和討論，給予我技術(shù)上的指導(dǎo)。另外，還有感謝我所有的朋友和親人，感謝他們?cè)谏钌虾蛯W(xué)習(xí)上給予我的支持和幫助！最后，感謝所有參加論文評(píng)審和對(duì)本文提出寶貴意見的專家和老師！參考文獻(xiàn)1 阮秋琦 著.數(shù)字圖像處理學(xué).北京：電子工業(yè)出版社，20012 何振亞 著.自適應(yīng)信號(hào)處理.北京：科學(xué)出版社，20023 英 Emmanuel C. Ifeacher , Barrie W . Jervis 著，羅鵬飛，楊世海，朱國富，譚全之 譯，數(shù)字信號(hào)處理實(shí)

38、踐方法（第二版）。電子工業(yè)出版社，20044 沈鳳麟 陳和晏生物醫(yī)學(xué)隨機(jī)信號(hào)處理合肥：中國科學(xué)技術(shù)大學(xué)出版社1999 5 美 Simon Haykin 著.鄭寶玉 等譯.自適應(yīng)濾波器原理（第四版）.北京：電子工業(yè)出版社.20036 Dimitris G. Manokakis,Vinay K. Ingle,Stephen M.Kogon著, 周正 等譯.統(tǒng)計(jì)與自適應(yīng)濾波.北京：電子工業(yè)出版社，20037 施曉紅，周佳編著，精通GUI 圖形界面編程。北京大學(xué)出版社，2003 8 董長虹主編，賴志國，余嘯海編著，MATLAB 圖像處理與應(yīng)用。國防工業(yè)出版社，2004 9 加Simon Haykin,

39、美Barry Van Veen 著，信號(hào)與系統(tǒng)（第二版）。電子工業(yè)出版社，2004 10 Miroslaw D. Lutovac , Dejan V . Tosic , Brian L . Evans 著，朱義勝，董輝等譯，信號(hào)處理濾波器設(shè)計(jì)基于MATLAB和Mathematica 設(shè)計(jì)方法。電子工業(yè)出版社，2004 12 Paulo S.R. Diniz , Eduardo A.B.da Silva , Sergio L. Netto 著，門愛東，楊波，全子一譯，數(shù)字信號(hào)處理系統(tǒng)分析與設(shè)計(jì)。北京：電子工業(yè)出版社，200413 胡廣書編著，數(shù)字信號(hào)處理理論、算法與實(shí)現(xiàn)（第二版）。北京：清華大學(xué)

40、出版社，2003 14 張玲華，鄭寶玉編著，隨機(jī)信號(hào)處理。北京：清華大學(xué)出版社，2003 15 通信原理，樊昌信，徐炳祥，吳成柯，國防工業(yè)出版社，北京，2001附錄Aclear clcF=checkerboard(2); %原圖像D=imnoise(F,'gaussian',0,0.02); %退化圖像=參考信號(hào)nhood=3 3;% Estimate the local mean of f.localMean = filter2(ones(nhood), D) / prod(nhood);H=D-localMean;仿照wiener2函數(shù)里的求取類似的“均值”h k=size

41、(D);L=h*k;D=reshape(D,L,1); %將圖像矩陣變?yōu)槭噶啃问絝=zeros(size(D); %系統(tǒng)輸出誤差信號(hào)y=f; %噪聲逼近信號(hào)初始化E=f; %聲明誤差矢量%設(shè)置輸入噪聲信號(hào)基本輸入信號(hào)%X=randn(h,k);X=zeros(h,k);X=imnoise(X,'gaussian',0,0.02);X=reshape(X,L,1);W=zeros(L,L); %設(shè)置權(quán)矢量初值lmsMSE=f;a=0;%核心算法u=0.000005;for i=1:L for n=1:L for m=1:i if n-m+1>0 y(n)=y(n)+W(m,

42、n)*X(n-m+1);濾波器輸出 end end end E=D-y;計(jì)算誤差 a=a+1; lmsMSE(a)=mean(E.2);根據(jù)目標(biāo)函數(shù)計(jì)算MSE for n=1:L-1 W(i,n+1)=W(i,n)+u*E(n)*X(n);更新權(quán)值 endenda=linspace(1,L,L);%設(shè)置畫MSE變化曲線的橫坐標(biāo)f=reshape(E,h,k)+H;重構(gòu)圖像矩陣figure,subplot(2,2,1),imshow(F);title('原圖像')D=reshape(D,h,k);subplot(2,2,2),imshow(D);title('退化圖像&#

43、39;)myMSE=mean2(F-f).2)subplot(2,2,3),imshow(f);title('復(fù)原圖像')subplot(2,2,4)plot(a,lmsMSE,'r-');title('當(dāng)u0.000001時(shí)的 MSE 變化曲線')xlabel('迭代次數(shù)'),ylabel('MSE');legend('lmsMSE(a)',0);附錄Bfunction f,noise = wiener2(varargin)%WIENER2 Perform 2-D adaptive noise-r

44、emoval filtering.% WIENER2 lowpass filters an intensity image that has been% degraded by constant power additive noise. WIENER2 uses a% pixel-wise adaptive Wiener method based on statistics% estimated from a local neighborhood of each pixel.% J = WIENER2(I,M N,NOISE) filters the image I using% pixel

45、-wise adaptive Wiener filtering, using neighborhoods of% size M-by-N to estimate the local image mean and standard% deviation. If you omit the M N argument, M and N default to% 3. The additive noise (Gaussian white noise) power is assumed% to be NOISE.% J,NOISE = WIENER2(I,M N) also estimates the ad

46、ditive% noise power before doing the filtering. WIENER2 returns this% estimate as NOISE.% Class Support% -% The input image I can be of class uint8, uint16, or double. % The output image J is of the same class as I.% Example% -% I = imread('saturn.tif');% J = imnoise(I,'gaussian',0,0

47、.005);% K = wiener2(J,5 5);% imshow(J), figure, imshow(K)% See also FILTER2, MEDFILT2.% The following syntax is grandfathered:% J = WIENER2(I,M N,MBLOCK NBLOCK,NOISE) or J,NOISE =% WIENER2(I,M N,MBLOCK NBLOCK) processes the intensity% image I as above but in blocks of size MBLOCK-by-NBLOCK. Use% J =

48、 WIENER2(I,M N,SIZE(I),NOISE) to process the matrix all% at once. % Copyright 1993-2002 The MathWorks, Inc. % $Revision: 5.18 $ $Date: 2002/03/15 15:29:28 $% Uses algorithm developed by Lee (1980).% Reference: "Two-Dimensional Signal and Image Processing" by % Jae S. Lim, pp.536-540.g, nho

49、od, block, noise, msg = ParseInputs(varargin:);%調(diào)用ParseInput()處理不同的輸入?yún)?shù)的情況,且將輸入?yún)?shù)以數(shù)組的形式表示if (isempty(msg) error(msg);endclassin = class(g);classChanged = 0;if isa(g, 'double') classChanged = 1; g = im2double(g);end% Estimate the local mean of f.localMean = filter2(ones(nhood), g) / prod(nhoo

50、d);%用一個(gè)所有的值全相等的小矩陣中的二維FIR濾波器對(duì)二維數(shù)據(jù)g進(jìn)行濾波 %其實(shí)質(zhì)是利用小矩陣對(duì)g進(jìn)行二維卷積運(yùn)算，最終結(jié)果的維數(shù)大小 %等于g的維數(shù)，取的是卷積結(jié)果的中心部分。類似于求均值 % Estimate of the local variance of f.localVar = filter2(ones(nhood), g.2) / prod(nhood) - localMean.2;%求取類似于方差的localVar。這樣的算法正好體現(xiàn)了圖像矩陣中 %元素間的相關(guān)性% Estimate the noise power if necessary.if (isempty(noise

51、) noise = mean2(localVar);%若沒有輸入noise，則取localVar的均值作為noiseend% Compute result% f = localMean + (max(0, localVar - noise) ./ .% max(localVar, noise) .* (g - localMean);% Computation is split up to minimize use of memory% for temp arrays.f = g - localMean;%去除圖像信號(hào)中的直流分量，使得圖像信號(hào)成為零均值的信號(hào)g = localVar - noise; g = max(g, 0);localVar = max(localVar, noise);f = f ./ localVar;f = f .* g;f = f + localMean;%對(duì)處理后的信號(hào)再重新加上直流分量if classChanged, f = changeclass(classin, f);%使圖像矩陣的數(shù)據(jù)類型與輸入時(shí)相同end% Subfunction ParseInputs