現代統計信號處理(第一章)

1、2.718281828459045235360287471352662497757247093699959 57496696762772407663035354759457138217852516642742746 63919320030599218174135966290435729003342952605956307 3813232862794349076323382988075319525101901 SelectFromDitits/PartitionFirstRealDigitsE,10,1000,10,1,PrimesQ,1 現代統計信號處理 Modern Statistical

2、Signal Processing 電子與信息工程學院 School of Electronics and Information Engineering 0 Reference Harvard University Engineering Sciences 251r. Advanced Topics in Inference, Information, and Statistical Signal Processing Waterloo, Canada ECE 603: Statistical Signal Processing, for Graduate student, Steven M

3、. Kay, Fundamentals of Statistical Signal Processing, Prentice Hall, 1993 邱田爽等著 統計信號處理-非高斯信號處理及應用. 電子工業(yè)出版社，2004 J.G.Proakis(美) 統計信號處理算法，清華大學出版社，2006 School of Electronics and Information Engineering 3/30 第一章 引言 1.1基本概念 統計信號處理 是從噪聲背景中提取有用信息的最佳理論和方法從噪聲背景中提取有用信息的最佳理論和方法。基本內容 包括了信號檢測、估計和最佳濾波理論及其應用。 應用領域

4、 通信、雷達、聲納、導航、自動控制、語音信號、圖像、生物醫(yī) 學、地震信號等 School of Electronics and Information Engineering 4/30 噪聲信號觀測信號 + 統計信號處理 統計信號處理的基本問題 舉例1：通信系統 處理要求：有效性問題、可靠性問題 處理約束：外部干擾、內部噪聲、信號畸變 解決的問題： 噪聲中信息檢測問題 消除信號畸變的最佳濾波問題 School of Electronics and Information Engineering 5/30 信源變換編碼調制 解調解碼反變換信宿 信道信道 統計信號處理的基本問題 舉例2：雷達系統

5、處理要求：目標發(fā)現問題、目標定位問題 處理約束：外部干擾、內外部噪聲、雜波 解決的問題： 噪聲中目標檢測問題 回波信號延遲測量的最佳濾波問題 School of Electronics and Information Engineering 6/30 統計信號處理的基本問題 舉例3：聲納系統 處理要求： 目標發(fā)現問題、目標定位問題 處理約束：外部干擾、內外部噪聲、雜波 解決的問題： 傳感器陣列目標定位問題 回波信號的波形估計問題 School of Electronics and Information Engineering 7/30 0 0 2 d c 0 1 cos 1.2統計信號處理的

6、數學描述 針對觀測序列 估計問題：估計某個參數 ， 檢測問題： 濾波問題 School of Electronics and Information Engineering 8/30 ) 1(),1 (),0( Nxxxg )()()(: )()(: 1 0 nwnsnxH nwnxH ) 1(),1 (),0()(NxxxTnf 1.3統計信號處理的發(fā)展歷史 基礎理論：統計推斷的假設檢驗理論 1、貝葉斯定理：Thomas Bayes（1702-1761） 以最大后驗概率估計參數 先驗知識的應用 1758年，An essay towards solving a Problem in the D

7、octrine of Chances” 1763年，A letter to John Canton” School of Electronics and Information Engineering 9/30 n i ii ii i APABP APABP BAP 1 )()|( )()|( )|( 1.3統計信號處理的發(fā)展歷史 基礎理論：統計推斷的假設檢驗理論 2、參數估計中的評價函數： Pierre-Simon Laplace(1749-1827) 以真值和估計值間的單調函數作為評價標準 Carl Friedrich Gauss(1777-1855) 1794，最小二乘法 1801，用于

8、計算小行星谷神星軌道 School of Electronics and Information Engineering 10/30 ) ( wg 2 g 1.3統計信號處理的發(fā)展歷史 基礎理論：統計推斷的假設檢驗理論 3、穩(wěn)定分布和廣義中心極限定理： Paul Pierre Lvy（1886-1971） 穩(wěn)定分布 Alpha穩(wěn)定分布1925 廣義中心極限定理1937 有限方差的隨機變量和的分布趨向正態(tài)分布。 具有無限方差的隨機變量和的分布趨向穩(wěn)定分布 f(x;,0,c,0) 。 School of Electronics and Information Engineering 11/30 )

9、2/tan()(1 (exp tsngictit 1.3統計信號處理的發(fā)展歷史 基礎理論：統計推斷的假設檢驗理論 4、顯著性檢驗和最大似然法 Ronald Fisher（1890-1962） 1920，顯著性檢驗 最大似然法 Fisher信息 似然函數 School of Electronics and Information Engineering 12/30 );(Xf 2 );(ln)(XfEI 1.3統計信號處理的發(fā)展歷史 基礎理論：假設檢驗統計推斷的假設檢驗理論 4、假設檢驗和矩的理論 Karl Person（1857-1936） 線性遞歸和矩的理論 Jerzy Neyman（189

10、4-1981） 假設檢驗：Neyman-Person公式（1933） 假設 H1成立的似然比檢驗為 School of Electronics and Information Engineering 13/30 11 00 : : H H )|( )|( )( 1 0 xL xL x )|)( 0 HxP 1.3統計信號處理的發(fā)展歷史 基礎理論：假設檢驗統計推斷的假設檢驗理論 5、代價和風險原則、極大極小原理 Abraham Wald （1902-1950） 不同的判決有不同的代價 代價最小的檢驗 極大極小原理（1939） 最小化最大可能損失 統計假設的序貫檢驗 Sequential Test

11、s of Statistical Hypotheses School of Electronics and Information Engineering 14/30 1.3統計信號處理的發(fā)展歷史 應用技術：統計方法的信號處理 1、維納濾波 Norbert Wiener（1894-1964） 1941，反飛機武器的自動瞄準系統 信息的通信可以看作一個統計學問題 最佳準則，使得系統性能可以被計算 1949，維納濾波器 估計噪聲中的信號 最小方差準則，尋找最佳函數g(t)使得誤差函數最小 預測、濾波、平滑 School of Electronics and Information Engineer

12、ing 15/30 )()()()(tntsgtx )()()(txdtste 1.3統計信號處理的發(fā)展歷史 應用技術：統計方法的信號處理 2、卡爾曼濾波 Rudolf E. Kalman （1930-） 2008 Charles Stark Draper Prize 德雷珀獎 1960,”A new approach to linear filtering and prediction problems”, 隨機離散系統的狀態(tài)估計問題 1961, 和R.S.Bucy一起” New Results in Linear Filtering and Prediction Theory”,連續(xù)時間系

13、統的狀態(tài)估計問題 將維納濾波問題擴展到非平穩(wěn)的多入多出系統 應用廣泛 School of Electronics and Information Engineering 16/30 1.3統計信號處理的發(fā)展歷史 應用技術：統計方法的信號處理 3、匹配濾波器(Match Filter) D.O. North An analysis of the factors which determine signal/noise discrimination in pulsed carrier systems”,1943 最大輸出信噪比準則:從噪聲和信號的統計特性出發(fā),最佳線性濾波器的傳遞 函數為 信號檢測

14、的基礎理論 相關接收機 School of Electronics and Information Engineering 17/30 0 )()( *tj ecSH 1.3統計信號處理的發(fā)展歷史 應用技術：經典的統計信號處理 20世紀50-60年代 使用統計的假設檢驗、參數估計、序列分析等 信號檢測、估計等 特點： 高斯過程 自相關、互相關函數 統計量為二階 中心極限定理 解決平穩(wěn)、線性過程問題 一般為單入單出系統 School of Electronics and Information Engineering 18/30 1.3統計信號處理的發(fā)展歷史 現代統計信號處理 20世紀60年代至

15、今 統計理論 高階統計量和高階譜高階統計量和高階譜 低階低階a穩(wěn)定分布穩(wěn)定分布 估計理論： 自適應濾波 粒子濾波 數據融合 信號檢測理論 CFAR檢測 非參量檢測 分布式檢測 量子檢測 現代統計信號處理 處理方法 時頻分析 神經網絡 盲信號處理盲信號處理PCA/ICA 針對問題 陣列信號處理 非平穩(wěn) 非線性 特點： 非高斯過程 統計量為高階或低階 廣義中心極限定理 解決多入多出問題 School of Electronics and Information Engineering 19/30 1.4統計信號處理數學基礎 1、隨機過程 1.1一些定義 對任意時刻，x(t)是一個隨機變量，均值定義

16、為 方差定義為 自相關函數 協方差函數 School of Electronics and Information Engineering 20/30 dxtxxptxEtmx),()()( )()()()()( 22 2 2 tmtxEtmtxEt xxx 212121212121 ),()()(),(dxxdttxxpxxtxtxEttRx )()(),( )()()()(),( 2121 221121 tmtmttR tmtxtmtxEttC xxx xxx 1.4統計信號處理數學基礎 1、隨機過程 1.2平穩(wěn)性 嚴格平穩(wěn)（狹義平穩(wěn)） 廣義平穩(wěn) 實際意義 與實際信號的觀測量或指標相關 正

17、態(tài)隨機過程的一般性 School of Electronics and Information Engineering 21/31 ),(),( )(),( ),(),( 212121 1111 xxpttxxp xptxp ttxxpctctxxp NNNN )(),( )( 21 xx xx RttR mtm 1.4統計信號處理數學基礎 1、隨機過程 1.2功率譜 隨機過程x(t)的功率譜 單位頻帶內信號的頻譜分量消耗在單位電阻上的平均功率的統計均值 從頻域角度描述隨機過程的統計特性,僅表示功率分布,不包含相位信息 與相關函數的關系 School of Electronics and In

18、formation Engineering 22/30 2 )( 2 1 lim)( T T x X T EG T T tj T dtetxX )()( deRG j xx )()( deGR j xx )()( 1.4統計信號處理數學基礎 1、隨機過程 1.3經過線性系統 對輸入隨機過程x(t)而言,輸出y(t)的均值為 若輸入x(t)為平穩(wěn)隨機過程 H(0)為系統的傳遞函數在 =0 處的值 School of Electronics and Information Engineering 23/30 )()()()()(txthdhtxty dhtmdhtxEdhtxEtyE x )()(

19、)()()()()( dhtmtm xy )()()( )0()()(Hmdhmdhmm xxxy h(t) x(t)y(t) 1.4統計信號處理數學基礎 1、隨機過程 1.3經過線性系統 輸入和輸出互相關 輸出自相關 頻譜變換后 School of Electronics and Information Engineering 24/30 ),()( )(),( )()()( )()( ),( 212 21 21 21 21 ttRth duuhuttR duuhutxtxE tytxE ttR x x xy ),()( )(),( )()()( )()( ),( 211 21 21 21

20、21 ttRth duuhtutR tyduuhutxE tytyE ttR xy xy yy ),( 21 ttRxy ),( 21 ttRyy )()()( * xxy GHG )()( )()()( )()()( 2 * x x xyy GH GHH GHG 1.4統計信號處理數學基礎 1、隨機過程 1.4常用隨機變量和過程 正態(tài)分布 其概率密度函數 正態(tài)分布 n階矩(零均值) 分布 有N個相互獨立的零均值、單位方差的高斯隨機變量 若 則該變量為 分布，概率密度函數為 School of Electronics and Information Engineering 25/30 2 2

21、2 )( exp 2 1 )( mx xp ),( 2 mN 0, 120 1,2) 1(531 kkn kknn xE n n 2 1 0 22 N i i x 1210 , N xxxx 2 2 exp )2/(2 1 )( 2 2 2 2/ 2 x x N xp N N NVarNE2, 22 1.4統計信號處理數學基礎 1、隨機過程 1.4常用隨機變量和過程 高斯過程 隨機過程x(t)的任意N維分布都是高斯分布 N維概率密度 School of Electronics and Information Engineering 26/30 )()( 2 1 exp det2 1 )( 1

22、2 1 2 mxCmx C x T N p ),(),(),( ),(),(),( ),(),(),( , )( )( )( , 110101 111101 101000 1 1 0 1 1 0 NNNN N N NN ttCttCttC ttCttCttC ttCttCttC txE txE txE x x x Cmx 1.4統計信號處理數學基礎 1、隨機過程 1.4常用隨機變量和過程 物理可實現的線性系統輸出的分布 輸出過程是多個隨機變量之和 輸入為高斯隨機過程，輸出也服從高斯分布 輸入為白噪聲，輸出服從高斯分布 輸入為寬帶噪聲，系統為窄帶，輸出近似服從高斯分布 1.4統計信號處理數學基礎 1、隨機過程 1.4常用隨機變量和過程 非高斯隨機過程 Laplace分布 廣義高斯分布 （=0為高斯分布； =1為Laplace分布；-1均勻分布) 混合高斯分布 穩(wěn)定分布 School of Electronics and Information Engineering 28/30 b x b xp exp 2 1 )( 1 2 2 2 2 1 )(exp )( )( x c c xp )()()1 ()( 21 xpxpxp 2 2 2 exp 2 1 )( ii i x xp 1.4統計信號處理數學基礎 2、時間序列模型 2.1 AR模型（p階） 可以看作白噪聲激勵