第5章552均方誤差準(zhǔn)則MSE和LMS算法

1、5.5.2均方誤差準(zhǔn)則（MSE）禾口 LMS 算法引言：均方誤差準(zhǔn)則同時(shí)考慮 ISI及噪聲的影響，使其最小化。本節(jié)討論問題：1. 均方誤差準(zhǔn)則；2. 無限長LMS均衡器（C（z）, Jmin）；3. 有限長LMS均衡器（Copt，Jmin）；4. LMS算法；5. 均衡器的操作；6. 遞推LMS算法收斂特性的分析。一.均方誤差準(zhǔn)則j -：其中，接收數(shù)據(jù)樣本為：VkkP' fnIk. k，k為白噪聲。；估計(jì)誤差：:k=Ik-E，；k包括ISI及噪聲定義：估計(jì)值I?的均方誤差J = E環(huán)為均衡器的性能指數(shù)均方誤差準(zhǔn)則：使均方誤差性能指數(shù)J最小（Jmin）,此準(zhǔn)則同時(shí)考慮使ISI 及噪聲影響

2、最小。獲得Jmin的途徑：調(diào)整E '，當(dāng)J =Jm時(shí)，C=C°pt（最佳抽頭系數(shù)）尋找Copt的方法：1）根據(jù)正交性原理（線性均方估計(jì)）：E ；kvkJH0,所有I。（注:與ZF準(zhǔn)則不同的是，這里的輸入是經(jīng)過兩個(gè)輸入濾波器的數(shù)據(jù)樣本vk，這就包含了噪聲）。即E皿0，所有I。、J2）求函數(shù)極值方法：令Or Copt =?EC k2013年5月3日星期五上午講于此處，已經(jīng)是第十次矣。這兩種方法是等價(jià)的，證明如下。證明：求導(dǎo)置零方法與正交性原理等價(jià)。I?kkjlim VJcK_.-' k假如均衡器為有限長，則I?二 VkT c其中-Tvk =黒七vk敬斗III vklil

3、vk*十vk* ，以及-_Tc= C_K C_K 斗Co IH CkCk I oJ(c)= E胡 2=E(Ik-I?k)(I：-I?)*T=E淑4-Vkc)故E 1 ；M !cc另一種方法：J (C)= E| 珠 |2=E(Ik I?)(I ： ?*)=E( I k -二 CiVk 丄)(I k'為 CjVk_j)ij2 *= EL -瓦cElkV一瓦c；ElkV廿+瓦瓦 寓申廿iji j= Elk2-E cEIkvk-E gElkVk+瓦 E CjC：EVkM_Jiji j可見，J(c)是Cj的平方函數(shù)(二次型)。求導(dǎo)置零可得：-E l：Vk二 CjE VkjVz =oQj卄CJj

4、I * *即， 二E ? 11 k 二 CjV k _j v k 丄=°,-： | ：2jE ；*Vk_i =0,或E 譏2 =0，一二 i :Vk 二 Vk KVk K4 川 Vk IHVk_K 1結(jié)論：求導(dǎo)方法與正交性原理是等價(jià)的,滿足正交條件，就可以獲得最小MSE o、無限長LMS均衡器（C Z , Jmin性能）1.求C z :從正交原理出發(fā),E 丄=0(10-2-27)即QOE(lk - 'CjVk)vk_l = 0j即oOCj E Vk-jV k-i =E IkVk 丄 |1山川(注：Vkj是收數(shù)據(jù)樣本，其中的噪聲已經(jīng)白化。在（* ）式左邊可以得到: * *-fm

5、I k_m，k 丄-m=E 二二 fn 唧 k-j( k4-mk_j k_l.n mf f * E ' L I*/ Nn i mk -j -n k -k-m0 ljn m)正交條件nl" 心式中利用了Vk 八 Wkk，E J =0。nj -k斗=6（k - j） = 6jk = 6k,j都是Kroenecker沖激或離散沖激的不同寫法。因此我們有:注:EVk_jV2八 Vn mfn f'n,m l -jN 'lj mLfn fn 1 -jN 'ljn £X_jN'lj0, elsefm fm l -j N0|j(A)X(z) =F z

6、 F (1/z)，F(xiàn)” z代表了 F z序列的共軛顛倒序列?；蛘哒fF zA代表了 F z的MF（零時(shí)延）X(z)二 F z F (1/z )=(f。+ fl z + 川 + fL z)zL(+ fz+ 川 + 化4 + f,z)LLL LfiZ、=z電芒 fi fL_jzi =0j=0i=0 j =0L L= zLv、fifL_jZi=0 j =0L Lfin _ifn zi =0 nz0LLv fn I fn Z(注：令I(lǐng)二i - n)I =_Ln=0Lx = ' fn fn I，其支撐為：-L _ I _ Ln =2或者說，可以得到Xk =fn二 'f_l fk J八fl

7、fl kIIL八 fn fn k n=0L -k八 fn fn kn z0也可以寫為L 4I -j)L-fn fn I -jfn fn £n出(* )式右邊:E(lNk 丄)二 EIF fnlk 一5*八 fn EU44Eg kJn 遏cm式中，'kkIT1,當(dāng) n = T0,當(dāng) n 1由此可得-L< <0(B)將（A）、（ B）兩式代入（*式:Q0cjX| No、 = f j -上式就是：C ： X N C = _ f取 Z 變換：C z F z F (z J) N0 =F (z )(10-2-31)則MMSE均衡器F (z JF(z)F (z)N。(10-2-

8、32)等效MMSE均衡器:C zJ-F(z)pz ) +N° X(z)+N°(10-2-33)C'z2.求J min （最小均方誤差）（1）時(shí)域J = E聞=Ek（Ik- E） = E% I 訂 - E陰 % jj利用正交原理第二項(xiàng)為零，所以Jmin =E（Ik -E）I； = Elk2-ElkC CjVj）j二c-7 CjEVk_jI；- ' Cj f_j （利用（B）式）jj令信息符號(hào)的平均功率為1，則2c = EL =1I =0Jmin 二1cjf=1-C|：f|Tx, Ch, JCs WFC(z)j uf(e)5jofi(z)=®=

9、63;勺幾丿i=YJ二厶=1%(2)頻域通過z變換及令z二ejT,將Jmin式的Jmin ' fn 關(guān)系變換成Jmin X ej T關(guān)系(10-2-35)全傳輸系統(tǒng)響應(yīng)：b”Bz=H以z反變換(留數(shù)法)求:bn2j丄 B(z 2n-1dzB(z才dz =X(z) d z X z N0 dz(10-2-36)令z=ej竹，且蘭一,bo=-；x eX ej Tj T ' NoX ejTee肉(jT )dw(10-2-37)2二：Xej LNod，代入Jmin = 1 - g，得N。X ej T N0d將X(ej T)以信道折疊譜表示。因?yàn)閄k =x(kT)二 h(t) ： h (t

10、)2h(t)輕ht)的傅里葉變換為H®)，故2二 noo送 xk6(tkT)- t 丄£ H I® +k =FT ' 心(t -kT) =Xk、(t -kT)e.k-. k =qQ2叭27fdt = Z xke二 DTFT (Xk)所以X宀專nHf31< T(10-2-18)所以JminT2 二(10-2-38)所以，當(dāng)Is|=0時(shí)，Jmi池，u(10-2-39)因 x 譏-？，故 Ik =? ；k，E|Ik|2 = E|l?- J2，利用正交原理 E譏=0, 易證：E|Ik|E|I? |2 E| ；k |2，即 E"Jmin。輸出 SNR

11、:1 -Jmin(10-2-40)EQ®J min三、有限長LMS均衡器（jt,J min )均方誤差:-J(k)=Elk-I； =E IkK_瓦 CjVk_jj =-KcJcC=Ebyc =C_KC_k +IIICoi 11 Ck j=VKVk永4III vk 川Vk_K +vk -KCk(2K+1)人1、求 copt:無限長均衡器 V CjX|_jNo'：ij二 f*j=°0仿上面無限長均衡器的推導(dǎo)：K r 1 *根據(jù)正交條件:二.Cj X|_j No-：ij Jj =來則C其其他Z(注：X|的支撐為I蘭L。-L _丨 _0其他(10-2-43)K得V 5卄Ij

12、 =-K矩陣形式：PC = E(10-2-46)所以， Copt 二飛(10-2-47)說明：Copt, E為有(2K+1)個(gè)元素的列向量為(2K+1) x (2K+1)的 Hermitian 矩陣。是共因?yàn)樽韵嚓P(guān)函數(shù)Xk =x*k且6j =6*，所以r= rj 中元素滿足j =口 軛轉(zhuǎn)置陣(Hermite)陣。2、求均衡器的性能即求最小能達(dá)到的均方差Jmin :前已經(jīng)證明Jmin胡- J Cjf_j將C opt代入Jmin K式：0Jmin(K)十' c J =1 -E Copt 十 C E(10-2-48)j注：fj的支撐為0豈產(chǎn)L。工程實(shí)用方法：采用簡單的迭代過程一一最速下降法四

13、.LMS算法：內(nèi)容：a）算法：Cm = Ck-Gk （理論算法）b）梯度：Gk 器二-E kVkdC kc）工程實(shí)用算法：Ck 1 =（?.kV kd）均衡器結(jié)構(gòu)：圖11-1-21、算法：LMS算法是一種最陡下降法，其實(shí)質(zhì)是一個(gè)迭代過程，而迭代過 程是通過遞推運(yùn)算來進(jìn)行的。設(shè)j有（2K+1）個(gè)抽頭遞推運(yùn)算：Cj k 1 二 Cj k - :.Cj k， j = -K，-，0, K每次迭代變化量： k二川Gj k令Gj kCj k 1-Cj kjj Gjk，j ，,0，K，則Cj k 1 二Cj k - ：Gj k或矩陣形式：C k 1= C k - G k，式中厶為調(diào)節(jié)階距（步長）注：可以看到

14、1即強(qiáng)制要求抽頭系數(shù)向著誤差下降的方向變化。k 1 pCj k - ：Gj kCk 1= C k或矩陣形式: 式中厶為調(diào)節(jié)階距（步長step）,其中第k符號(hào)時(shí)間的抽頭系數(shù)列矢量（即均衡器)為：Ck-|c&(k) Ji(k)川 c°(k)川 CK,k) CK(k2、梯度：71G j £ 01G j a 0丿-ILj g >°T Cj,opt g £0Gj(k)= dJk)為第k次迭代時(shí)，J5曲線的梯度jdjk)jGk= =-E<VkdC kG k=-eR®dC kTVk = vk如 vk如 4 111 vk 111 vk_K+

15、 Vk-K 1討論：1)理想情況下，經(jīng)過若干次迭代(k =k°時(shí))，現(xiàn)1C = C optGk = EfVJ(k),J(k°) = Jmin2)實(shí)際情況中，計(jì)算G k困難G k = -E ；kV:統(tǒng)計(jì)平均,不實(shí)時(shí)為克服這一困難，用估計(jì)值（?k取代梯度真值G k:Gk = -E ；Vk對G k的無偏估計(jì)有：Gk = E（訃則Gk-kVkG k為梯度真值，Gk為真值G k的無偏估計(jì)量。3.工程實(shí)用LMS算法：Ck 1 二?k - Gk（11-1-9）即（?k Ck -kvk（11-1-11）或 6站=Ckvk在商用的自適應(yīng)均衡器中，為簡化乘法運(yùn)算次數(shù)，僅取Vk和（或）；k的正負(fù)

16、號(hào)進(jìn)行運(yùn)算，而不管大小。其優(yōu)點(diǎn)是簡單，易實(shí)現(xiàn)，運(yùn)算次數(shù)少；缺點(diǎn)是收斂慢。如：Cj k 1i=Cj k csgn * csgn v；_j（11-1-14）1 +j (Re(x)>O,lm(x)O)定義復(fù)符號(hào)函數(shù):i1j (Re( x )> 0,1m (x )v 0 )csgn x(11-1-15)-1 +j (Re(x)c0,lm(x)n0)T - j Re x : 0, Im x : 04均衡器結(jié)構(gòu)五.均衡器的操作過程1.方框圖2. 兩種工作模式（狀態(tài)）(1)訓(xùn)練模式(training mode):二 I k - I?(2)工作模式(run mode):k - I?k, P/10&

17、#176;在完成訓(xùn)練之后，進(jìn)入正常的工作模式情況下，P10，k三lk，即使有錯(cuò)判，由于厶很小，由此引起的誤調(diào)整影響很小。3. 步長厶選擇與收斂特性':1大一加速初始調(diào)整，接近Jmin ':2小一穩(wěn)態(tài)誤差小，J "Jmin訓(xùn)練時(shí)：糾:九2 < d工作時(shí)：丄2步長選擇考慮：穩(wěn)定且收斂快穩(wěn)態(tài)MSE小六.遞推LMS算法收斂特性的分析1、引言說明三個(gè)問題：要解決什么問題；分析從何入手；分析的方法。(1) 算法表示(A)?k 1 - Ck- "kVk( B)理論上LMS算法:實(shí)用的遞推算法：梯度向量有噪無偏估計(jì)值：Gk = - ；kVk(2) 問題收斂特性與厶的關(guān)

18、系？如何選擇厶，以確保收斂？因?yàn)镚 k二 E也：， 即Gk為真值G k的無偏估計(jì)，所以，厶對收斂特性的影響，對(A)( B)兩式是相同的。為數(shù)學(xué)分析方便，我們 只研究(A)式的收斂特性。(3) 收斂特性的分析方法采用反饋系統(tǒng)穩(wěn)定性的分析方法：建立以Cki輸出的閉環(huán)系統(tǒng)模型，定性分析厶的影響;建立系統(tǒng)的差分方程，定量分析八的影響2、閉環(huán)系統(tǒng)模型定性分析收斂特性算法：Ck 1 - Ck -八G k(A)式中，G k = rC k- E = -( E - rC k)(B)r-接收信號(hào)自相關(guān)矩陣，由EVk_jVk_L確定。E互相關(guān)矩陣，由ElkVkd確定。分析：由(A )式可看出(1) C k的迭代過

19、程可以看作：每次迭代增量(、；Ck二Gk)的累積過程由保持器實(shí)現(xiàn)；(2) 第k時(shí)刻計(jì)算的增量(k)應(yīng)在第(k+1)時(shí)刻反映出來由延遲(Z 1)來實(shí)現(xiàn)。圖3結(jié)論：對閉環(huán)輸出ck1收斂特性影響因素：厶，r3、系統(tǒng)的差分方程定量分析收斂特性由（A）式Ck i = Ck - Gk=5 -上（rCk- E）得Cki（lr）Ck r E（ A ） （11-1-20）為一階差分方程組，即-;1Ck卅-1 :1-+ 一-I Il 1CCk+JJ 一11)因?yàn)閞不是對角矩陣，故，（2K+1）個(gè)一階差分方程是相互耦合的，必須聯(lián)解 所以，用解聯(lián)立方程組來定量分析收斂特性是困難的。解決方法：利用線性變換（酉變換）來解

20、耦。r為Hermite （厄米特）矩陣，可用U（酉矩陣）表示為r= u au(U-1)(11-1-21)式中，u（酉矩陣）由r的特征向量確定。a（對角矩陣）的對角元素為r的特征值，特征值 j為特征方程r-?a= 0 的根。 再利用U矩陣的性質(zhì)：U U= I （U-2） 將（U-1）式代入（A J式，兩邊再乘U ,然后利用（U-2）式，可得C k i = (I - : A)Ck * 二 了(11-1-22)式中,Ck 1=U Ck 1C “ U C kE 二 U EC，止反映迭代產(chǎn)生的變化量（與k有關(guān)）+也E信道特性不隨迭代而變化（與k無關(guān)）說明：（1）因?yàn)锳為對角矩陣，所以一階差分方程組是線性不相關(guān)的（即解耦）（2）收斂特性取決于其齊次方程組：Ck1 =（I - ：A）Ck（11-1-23）即表示成（2K+1）個(gè)一階差分方程組:-C CC_K,(k+)+1-亠 1h-C-K,(k)b+C CC0,(k+)+=1 -®-0IIbC0,(k)b+-CK：k 出)-1q13-bCK ,(k)-可見，（2K+1 ）個(gè) J與（2K+1 ）個(gè)G對應(yīng)對第j個(gè)抽頭系數(shù)Cj的差分方程為Cj,(k 1)j 一心II , 0U Kk =0,1,12，其相應(yīng)的閉環(huán)系