西安工業(yè)信號檢測與估計(jì)SDE-10bch7最大似然估計(jì)Review課件

1、西安工業(yè)信號檢測與估計(jì)SDE_10bch7最大似然估計(jì)Review西安工業(yè)信號檢測與估計(jì)SDE_10bch7最大似然估計(jì)Rev似然函數(shù)LF 概率密度函數(shù)PDFp(x)=？p(x;A)=？p(x,y)=？p(x|y)=？2022/9/92SDE_09 MLE似然函數(shù)LF 概率密度函數(shù)PDFp(x)=？2MLE基本原理 Rationale for MLE Choose the parameter value that: 選擇待估參數(shù)makes the data you did observe使得所觀測數(shù)據(jù) the most likely data to have been observed! 與

2、那個(gè)參數(shù)所決定的分布間是最相似的。Consider 2 possible parameter values: 1 & 2 考慮Ask the following: If i were really the true value, what is the probability Pi that I would get the data set I really got ?如果i是真實(shí)值，那么我所得到的數(shù)據(jù)集的概率是怎樣的？So if Pi is smallit says you actually got a data set that was unlikely to occur! Not a g

3、ood guess for i !p2= p(x; 2) dxBut p1= p(x; 1)dx 選擇 使得 達(dá)到最大pick so that is largest2022/9/93SDE_09 MLEMLE基本原理 Rationale for MLE ChoGeneral Proceduremaximizes the likelihood functionlikelihood functionNote :Because Ln(z) is a monotonically in creasing function， also maximizes Lnp(x;)1 Find log-likelih

4、ood function ; ln p(x; )2 對求偏導(dǎo)Differentiate w.r.t. :3 Set to zero: =04 sole for value一般程序 General Procedure2022/9/94SDE_09 MLEGeneral Proceduremaximizes the7.5 MLE的性質(zhì) Properties of MLEThe MLE is asymptotically 漸近1 unbiased 無偏的2 efficient 有效的3 Gaussian PDF 服從高斯分布的一般而言，如果真的有一個(gè)有效估計(jì)方法存在，MLE一定能夠找到它！ Also

5、, if a truly efficient estimator exist, then the ML procedure finds it! a 漸近分布于The asymptotic properties are captured in Theorem 7.1:If p(x;) satisfies some “regularity” conditions, then the MLE is asymptotically distributed according towhere I() = Fisher Information Matrix2022/9/95SDE_09 MLE7.5 MLE

6、的性質(zhì) Properties of MLET蒙特卡洛仿真 Monte Carlo SimulationIllustrate for deterministic signal sn; in AWGNData Collection: 1. Select a particular true parameter value, 挑選一個(gè)真值true-you are often interested in doing this for a variety of values of 多個(gè)估計(jì)值 so you would run one MC simulation for each value of inte

7、rest每個(gè)進(jìn)行一次 2. Generate signal having true : sn;t (call it s in matlab)產(chǎn)生信號值 sn;t 3. Generate WGN having unit variance產(chǎn)生噪聲w w =randn( size(s) ); 4. Form measured data構(gòu)造觀測值 : x = s + sigma*w; -choose to get the desired SNR -usually want to run at many SNR values do one MC simulation for each SNR value

8、 5. Compute estimate from data x 從數(shù)據(jù)X中計(jì)算估計(jì)值 6. Repeat steps 3-5 M times 重復(fù)35步 M 次 -(call M “# of MC runs” or just “# of runs” ) 7. Store all M estimates in a vector EST (assumes scalar ) 保存M個(gè)估計(jì)值 A methodology for doing computer simulations to evaluate performance of any estimation method，對于估計(jì)質(zhì)量進(jìn)行計(jì)算機(jī)

9、仿真的通用方法Not just for the MLE!2022/9/96SDE_09 MLE蒙特卡洛仿真 Monte Carlo SimulationI蒙特卡洛仿真 Monte Carlo Simulation con.Statistical Evaluation統(tǒng)計(jì)計(jì)算:1. Compute bias 計(jì)算偏差2. Compute error RMS 計(jì)算標(biāo)準(zhǔn)差3. Compute the error Variance4. Plot Histogram or Scatter Plot (if desired)Now explore (via plots) how: Bias, RMS, a

10、nd VAR vary with: value, SNR value, N value, Etc.Today：Monte Carlo Results for ML Phase Estimation2022/9/97SDE_09 MLE蒙特卡洛仿真 Monte Carlo Simulation 7.7:MLE數(shù)值的確定 Numerical Determination of MLE有時(shí)無法獲得閉合形式的估計(jì)公式；采用以下網(wǎng)格搜索法 迭代法 Newton-Raphson方法、得分法、數(shù)學(xué)期望最大算法If 1 r0， ，求過程的功率譜密度。 解：應(yīng)將積分按 和 分成兩部分進(jìn)行 求過程的功率譜密度202

11、2/9/930SDE_09 MLE例：平穩(wěn)隨機(jī)過程的自相關(guān)函數(shù)為 例：設(shè) 為隨機(jī)相位隨機(jī)過程其中， 為實(shí)常數(shù) 為隨機(jī)相位，在 均勻分布?？梢酝茖?dǎo)出這個(gè)過程為廣義平穩(wěn)隨機(jī)過程，自相關(guān)函數(shù)為 求 的功率譜密度 。求過程的功率譜密度2022/9/931SDE_09 MLE例：設(shè) 為隨機(jī)相位隨機(jī)過程求過程的功率譜密度202解：注意此時(shí) 不是有限值，即不可積，因此 的付氏變換不存在，需要引入 函數(shù)。求過程的功率譜密度2022/9/932SDE_09 MLE解：注意此時(shí) 不是有限值，即例：設(shè)隨機(jī)過程 ，其中 皆為常數(shù)， 為具有功率譜密度 的平穩(wěn)隨機(jī)過程。求過程 的功率譜密度。 解： 求過程的功率譜密度20

12、22/9/933SDE_09 MLE例：設(shè)隨機(jī)過程 1 功率譜密度為非負(fù)的,即 證明：2 功率譜密度是 的實(shí)函數(shù) 平穩(wěn)隨機(jī)過程功率譜密度的性質(zhì)3 對于實(shí)隨機(jī)過程來說，功率譜密度是 的偶函數(shù)，即4 功率譜密度可積，即 2022/9/934SDE_09 MLE1 功率譜密度為非負(fù)的,即 證明：2 功率譜密度是 3 對于實(shí)隨機(jī)過程來說，功率譜密度是 的偶函數(shù)，即證明：是實(shí)函數(shù)又2022/9/935SDE_09 MLE3 對于實(shí)隨機(jī)過程來說，功率譜密度是 的偶函數(shù)，即證4 功率譜密度可積，即 證明：對于平穩(wěn)隨機(jī)過程，有： 平穩(wěn)隨機(jī)過程的均方值有限2022/9/936SDE_09 MLE4 功率譜密度可

13、積，即 證明：對于平穩(wěn)隨機(jī)過程，有： 平穩(wěn)隨二 譜分解定理 1 譜分解 在平穩(wěn)隨機(jī)過程中有一大類過程，它們的功率譜密度為 的有理函數(shù)。在實(shí)際中，許多隨機(jī)過程的功率譜密度都滿足這一條件。即使不滿足，也常?？梢杂糜欣砗瘮?shù)來逼近 。這時(shí) 可以表示為兩個(gè)多項(xiàng)式之比，即 2022/9/937SDE_09 MLE二 譜分解定理 1 譜分解 在平穩(wěn)隨機(jī)過程中有一大 若用復(fù)頻率s來表示功率譜密度，那么，對于一個(gè)有理函數(shù)，總能把它表示成如下的因式分解形式： 2022/9/938SDE_09 MLE 若用復(fù)頻率s來表示功率譜密度，那么，對于一個(gè)有理 據(jù)平穩(wěn)隨機(jī)過程的功率譜密度的性質(zhì)，可以導(dǎo)出關(guān)于 的零、極點(diǎn)的如下

14、性質(zhì)：（1） 為實(shí)數(shù)。 （2） 的所有虛部不為0的零點(diǎn)和極點(diǎn)都成復(fù)共軛出現(xiàn)。 （3） 的所有零、極點(diǎn)皆為偶重的。 （4） MN。 2022/9/939SDE_09 MLE 據(jù)平穩(wěn)隨機(jī)過程的功率譜密度的性質(zhì)，可以導(dǎo)出關(guān)于 2 譜分解定理 根據(jù)上面的性質(zhì)，可將 分解成兩項(xiàng)之積，即： 其中（零極點(diǎn)在s上半平面）（零極點(diǎn)在s下半平面）且譜分解定理 此時(shí)2022/9/940SDE_09 MLE2 譜分解定理 根據(jù)上面的性質(zhì)，可將 3 為有理函數(shù)時(shí)的均方值求法（1）利用 （2）直接利用積分公式 （3）查表法 （4）留數(shù)法 2022/9/941SDE_09 MLE3 為有理函數(shù)時(shí)的均方值求法（1）利用 （預(yù)

15、備知識：留數(shù)定理 設(shè)為 復(fù)變量s的函數(shù)，且其繞原點(diǎn)的簡單閉曲線C反時(shí)針方向上和曲線C內(nèi)部只有幾個(gè)極點(diǎn) 則： 一階留數(shù) 二階留數(shù) 2022/9/942SDE_09 MLE預(yù)備知識：留數(shù)定理 設(shè)為 復(fù)變量s的 上式積分路徑是沿著 軸，應(yīng)用留數(shù)法時(shí)，要求積分沿著一個(gè)閉合圍線進(jìn)行。為此，考慮沿著左半平面上的一個(gè)半徑為無窮大的半園積分。根據(jù)留數(shù)定理，不難得出2022/9/943SDE_09 MLE 上式積分路徑是沿著 軸，應(yīng)用留數(shù)法時(shí)，要求積分例: 考慮一個(gè)廣義平穩(wěn)隨機(jī)過程X(t)，具有功率譜密度 求過程的均方值解: 用復(fù)頻率的方法來求解。用 代入上式得用復(fù)頻率s表示得功率譜密度：2022/9/944S

16、DE_09 MLE例: 考慮一個(gè)廣義平穩(wěn)隨機(jī)過程X(t)，具有功率譜密度 求過因式分解： 在左半平面內(nèi)有兩個(gè)極點(diǎn)：-1和-3。于是可以分別計(jì)算這兩個(gè)極點(diǎn)的留數(shù)為： 故：2022/9/945SDE_09 MLE因式分解： 在左半平面內(nèi)有兩個(gè)極點(diǎn)2.2 聯(lián)合平穩(wěn)隨機(jī)過程的互譜密度一、互譜密度 考慮兩個(gè)平穩(wěn)實(shí)隨機(jī)過程X(t)、Y(t)， 它們的樣本函數(shù)分別為 和 ，定義兩個(gè)截取函數(shù) 、 為：2022/9/946SDE_09 MLE2.2 聯(lián)合平穩(wěn)隨機(jī)過程的互譜密度一、互譜密度 考 因?yàn)?、 都滿足絕對可積的條件，所以它們的傅里葉變換存在。在時(shí)間范圍 (-T，T)內(nèi)，兩個(gè)隨機(jī)過程的互功率 為:（注意

17、、 為確定性函數(shù)，所以求平均功率只需取時(shí)間平均） 由于 、 的傅里葉變換存在，故帕塞瓦定理對它們也適用，即:2022/9/947SDE_09 MLE 因?yàn)?、 都滿足絕 注意到上式中， 和 是任一樣本函數(shù)，因此具有隨機(jī)性，取數(shù)學(xué)期望，并令 得： 2022/9/948SDE_09 MLE 注意到上式中， 和 是任一樣本函 定義互功率譜密度為：則2022/9/949SDE_09 MLE 定義互功率譜密度為：則2022/9/351SDE_09 同理，有：且2022/9/950SDE_09 MLE同理，有：且2022/9/352SDE_09 MLE二、互譜密度和互相關(guān)函數(shù)的關(guān)系自相關(guān)函數(shù) 功率譜密度

18、F互相關(guān)函數(shù) 互譜密度 F 定義：對于兩個(gè)實(shí)隨機(jī)過程X(t)、Y(t)，其互譜密度 與互相關(guān)函數(shù) 之間的關(guān)系為 即2022/9/951SDE_09 MLE二、互譜密度和互相關(guān)函數(shù)的關(guān)系自相關(guān)函數(shù) 功率譜若X(t)、Y(t)各自平穩(wěn)且聯(lián)合平穩(wěn)，則有即結(jié)論：對于兩個(gè)聯(lián)合平穩(wěn)(至少是廣義聯(lián)合平穩(wěn))的實(shí)隨機(jī)過程，它們的互譜密度與其互相關(guān)函數(shù)互為傅里葉變換。2022/9/952SDE_09 MLE若X(t)、Y(t)各自平穩(wěn)且聯(lián)合平穩(wěn)，則有即結(jié)論：對于兩個(gè)三、互譜密度的性質(zhì)性質(zhì)1：證明： （令 ） 2022/9/953SDE_09 MLE三、互譜密度的性質(zhì)性質(zhì)1：證明： （令 性質(zhì)2： 證明： （令 ）

19、 同理可證2022/9/954SDE_09 MLE性質(zhì)2： 證明： （令 ） 性質(zhì)3： 證明：類似性質(zhì)2證明。性質(zhì)4： 若X(t)與Y(t)正交，則有 證明：若X(t)與Y(t)正交，則 所以2022/9/955SDE_09 MLE性質(zhì)3： 證明：類似性質(zhì)2證明。性質(zhì)4： 若X(t)與Y(t性質(zhì)5： 若X(t)與Y(t)不相關(guān)，X(t)、Y(t)分別具有常數(shù)均值 和 ，則 證明： 因?yàn)閄(t)與Y(t)不相關(guān)，所以（ ）2022/9/956SDE_09 MLE性質(zhì)5： 若X(t)與Y(t)不相關(guān)，X(t)、Y(t)分別性質(zhì)6： 例：設(shè)兩個(gè)隨機(jī)過程X(t)和Y(t)聯(lián)合平穩(wěn)，其互相關(guān)函數(shù) 為:

20、求互譜密度 ， 。2022/9/957SDE_09 MLE性質(zhì)6： 例：設(shè)兩個(gè)隨機(jī)過程X(t)和Y(t)聯(lián)合平穩(wěn)，其互解： 2022/9/958SDE_09 MLE解： 2022/9/360SDE_09 MLE2.3 離散時(shí)間隨機(jī)過程的功率譜密度一 離散時(shí)間隨機(jī)過程的功率譜密度1 平穩(wěn)離散時(shí)間隨機(jī)過程的相關(guān)函數(shù) 設(shè)X(n)為廣義平穩(wěn)離散時(shí)間隨機(jī)過程，或簡稱為廣義平穩(wěn)隨機(jī)序列，具有零均值，其自相關(guān)函數(shù)為:簡寫為： 2022/9/959SDE_09 MLE2.3 離散時(shí)間隨機(jī)過程的功率譜密度一 離散時(shí)間隨機(jī)過程的2 平穩(wěn)離散時(shí)間隨機(jī)過程的功率譜密度 當(dāng) 滿足條件式 時(shí)，我們定義 的功率譜密度為 的

21、離散傅里葉變換，并記為 T是隨機(jī)序列相鄰各值的時(shí)間間隔。 是頻率為 的周期性連續(xù)函數(shù)，其周期為 奈奎斯特頻率 2022/9/960SDE_09 MLE2 平穩(wěn)離散時(shí)間隨機(jī)過程的功率譜密度 當(dāng) 因?yàn)?為周期函數(shù)，周期為 ， 在 時(shí)2022/9/961SDE_09 MLE因?yàn)?為周期函數(shù)，周期為 ， 在 3 譜分解 z變換定義 在離散時(shí)間系統(tǒng)的分析中，常把廣義平穩(wěn)離散時(shí)間隨機(jī)過程的功率譜密度定義為 的z變換，并記為 ，即 式中式中，D為在 的收斂域內(nèi)環(huán)繞z平面原點(diǎn)反時(shí)針旋轉(zhuǎn)的一條閉合圍線。2022/9/962SDE_09 MLE3 譜分解 z變換定義 在離散時(shí)間系統(tǒng)的分析中， 性質(zhì) （因?yàn)?） 譜

22、分解定理 設(shè)X(n)是廣義平穩(wěn)實(shí)離散隨機(jī)過程，具有有理功率譜密度函數(shù) 。則 可分解為： 其中包含了單位圓之內(nèi)的全部零點(diǎn)和極點(diǎn)包含了單位圓之外的全部零點(diǎn)和極點(diǎn)2022/9/963SDE_09 MLE 性質(zhì) （因?yàn)?例：設(shè) ，求 和解：將z= 代人上式，即可求得2022/9/964SDE_09 MLE例：設(shè) 連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)FTDFT2022/9/965SDE_09 MLE連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程自相關(guān)函數(shù)功率譜密度連續(xù)時(shí)間確知信號離散時(shí)間確知信號采樣香農(nóng)采樣定理2022/9/966SDE_09 MLE連續(xù)時(shí)間離散時(shí)間

23、采樣香農(nóng)采樣定理2022/9/368SDE_連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣2022/9/967SDE_09 MLE連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣2022/9/其中，T為采樣周期， 為在 時(shí)對 的采樣。1 確知信號的采樣定理(香農(nóng)采樣定理) 設(shè) 為一確知、連續(xù)、限帶、實(shí)信號，其頻帶范圍 ，當(dāng)采樣周期T小于或等于 時(shí)，可將 展開為二 平穩(wěn)隨機(jī)過程的采樣定理2022/9/968SDE_09 MLE其中，T為采樣周期， 為在 時(shí)對 連續(xù)時(shí)間確知信號離散時(shí)間確知信號采樣香農(nóng)采樣定理2022/9/969SDE_09 MLE連續(xù)時(shí)間離散時(shí)間采樣香農(nóng)采樣定理2022/9/371SD

24、E_連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣2022/9/970SDE_09 MLE連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣2022/9/ 若 為平穩(wěn)隨機(jī)過程，具有零均值，其功率譜密度為 ，則當(dāng)滿足條件 時(shí)，可將 按它的振幅采樣展開為二 平穩(wěn)隨機(jī)過程的采樣定理2022/9/971SDE_09 MLE 若 為平穩(wěn)隨機(jī)過程，具有零均值，其功率譜密度證明: 帶寬有限，第一步：(1) 的帶寬也是有限(2)令 ，則(3)是確知函數(shù)，根據(jù)維納-辛欽定理， 對 ， 對 應(yīng)用香農(nóng)采樣定理的，對 應(yīng)用香農(nóng)采樣定理2022/9/972SDE_09 MLE證明: 帶寬有限，第一步：(1) 的帶寬也是有第二步

25、：令，則=0(2)這說明，正交 又 是 的線性組合，因此正交2022/9/973SDE_09 MLE第二步：令，則=0(2)這說明，正交 又 即 (4)又 (5)(3)第三步：=0即2022/9/974SDE_09 MLE即 (4)又 (5)(3)第三步：=0即2022/第一步第二步第三步(1)(2)(3)(4)(5)=02022/9/975SDE_09 MLE第一步第二步第三步(1)(2)(3)(4)(5)=02022連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣=自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)FTDFT2022/9/976SDE_09 MLE連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程

26、采樣=自相關(guān)函數(shù)功率 若平穩(wěn)連續(xù)時(shí)間實(shí)隨機(jī)過程 ，其自相關(guān)函數(shù)和功率譜密度分別記為 和 ，對 采樣后所得離散時(shí)間隨機(jī)過程 ， 的自相關(guān)函數(shù)和功率譜密度分別記為 和 ，則有 三 功率譜密度的采樣定理2022/9/977SDE_09 MLE 若平穩(wěn)連續(xù)時(shí)間實(shí)隨機(jī)過程 ，其自相關(guān)函數(shù)和證明: (1) 根據(jù)定義=由可見，即樣可得=(2)進(jìn)行等間隔的采對2022/9/978SDE_09 MLE證明: (1) 根據(jù)定義=由可見，即樣可得=(2連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣自相關(guān)函數(shù)功率譜密度功率譜密度自相關(guān)函數(shù)F TDFT平穩(wěn)隨機(jī)過程的采樣定理功率譜密度的采樣定理2022/9/979SDE_

27、09 MLE連續(xù)時(shí)間平穩(wěn)隨機(jī)過程離散時(shí)間平穩(wěn)隨機(jī)過程采樣自相關(guān)函數(shù)功率譜2.4 白噪聲一、理想白噪聲定義：若N(t)為一個(gè)具有零均值的平穩(wěn)隨機(jī)過程，其功率譜密度均勻分布在 的整個(gè)頻率區(qū)間，即 其中 為一正實(shí)常數(shù)，則稱N(t)為白噪聲過程或簡稱為白噪聲。2022/9/980SDE_09 MLE2.4 白噪聲一、理想白噪聲定義：若N(t)為一個(gè)具有零均自相關(guān)函數(shù)為 自相關(guān)系數(shù)為 2022/9/981SDE_09 MLE自相關(guān)函數(shù)為 自相關(guān)系數(shù)為 2022/9/383SDE_09總結(jié)：（1）白噪聲只是一種理想化的模型，是不存在的。（2）白噪聲的均方值為無限大而物理上存在的隨機(jī)過程，其均方值總是有限的

28、。（3）白噪聲在數(shù)學(xué)處理上具有簡單、方便等優(yōu)點(diǎn)。2022/9/982SDE_09 MLE總結(jié)：（1）白噪聲只是一種理想化的模型，是不存在的。（2）白二、限帶白噪聲1低通型定義：若過程的功率譜密度滿足 則稱此過程為低通型限帶白噪聲。將白噪聲通過一個(gè)理想低通濾波器，便可產(chǎn)生出低通型限帶白噪聲。2022/9/983SDE_09 MLE二、限帶白噪聲1低通型定義：若過程的功率譜密度滿足 則稱此低通型限帶白噪聲的自相關(guān)函數(shù)為2022/9/984SDE_09 MLE低通型限帶白噪聲的自相關(guān)函數(shù)為2022/9/386SDE_0圖3.11示出了低通型限帶白噪聲的 和 的圖形，注意，時(shí)間間隔 為整數(shù)倍的那些隨機(jī)

29、變量，彼此是不相關(guān)的（均值為0，相關(guān)函數(shù)值為0）。2022/9/985SDE_09 MLE圖3.11示出了低通型限帶白噪聲的 和2. 帶通型帶通型限帶白噪聲的功率譜密度為 由維納辛欽定理，得到相應(yīng)的自相關(guān)函數(shù)為 2022/9/986SDE_09 MLE2. 帶通型帶通型限帶白噪聲的功率譜密度為 由維納 帶通型限帶白噪聲的 和 的圖形 2022/9/987SDE_09 MLE 帶通型限帶白噪聲的 和 三、色噪聲 按功率譜度函數(shù)形式來區(qū)別隨機(jī)過程，我們將把除了白噪聲以外的所有噪聲都稱為有色噪聲或簡稱色噪聲。2022/9/988SDE_09 MLE三、色噪聲 按功率譜度函數(shù)形式來區(qū)別隨機(jī)過程，我們將

30、小 結(jié) 1.隨機(jī)過程的時(shí)間無限性，導(dǎo)致能量無限，因而隨機(jī)過程的付氏變換不存在，但其功率存在。所以，不能對隨機(jī)過程直接求付氏變換，即： 但相關(guān)函數(shù)與功率譜密度構(gòu)成一對付氏變換，即若隨機(jī)過程X(t)平穩(wěn)，則 2022/9/989SDE_09 MLE小 結(jié) 1.隨機(jī)過程的時(shí)間無限性，導(dǎo)致能量無限，因而隨機(jī)2.平均功率的四種求法： 查表；留數(shù)；對功率譜密度求積分（有個(gè) 系數(shù)）；求相關(guān)函數(shù)后令 . 一般過程：3. 隨機(jī)過程的平均功率：即集合平均統(tǒng)計(jì)平均。4.特定函數(shù)的付氏變換需記憶。2022/9/990SDE_09 MLE2.平均功率的四種求法：一般過程：3. 隨機(jī)過程的平均功率：Ex. 7.15 Ra

31、nge Estimation Problem2022/9/991SDE_09 MLEEx. 7.15 Range Estimation ProRange Estimation D-T Signal2022/9/992SDE_09 MLERange Estimation D-T Signal202Range Estimation Likelihood FunctionWhite and Gaussian Independent Product ofPDFs3 differentPDFsone for each subinterval2022/9/993SDE_09 MLERange Estima

32、tion Likelihood Fu2022/9/994SDE_09 MLE2022/9/396SDE_09 MLE時(shí)域 和 復(fù)頻域2022/9/995SDE_09 MLE時(shí)域 和 復(fù)頻域2022/9/397SDE_09 MLERange Estimation MLE2022/9/996SDE_09 MLERange Estimation MLE2022/9/398Ex. 2正弦信號參數(shù)估計(jì)Sinusoid Parameter Estimation ProblemGiven DT signal samples of a sinusoid in noise.Estimate its amplit

33、ude, frequency, and phase1o is DT frequency in cycles/sample: 0 o B complex samples/secCollection Time T secAt each receiver:2022/9/9103SDE_09 MLEEstimating TDOA/FDOASIGNAL MODDOPPLER & DELAY MODELUse linear approximation assumes smallchange in velocity over observation intervalFor Real BP Signals:T

34、ime ScalingTime Delay:d2022/9/9104SDE_09 MLEDOPPLER & DELAY MODELUse lineaDOPPLER & DELAY MODEL (continued)Analytic Signals ModelNow what? Notice that v (1 v/c) 1Say v = 300 m/s (670 mph) then v/c = 300/3x108 = 10-6 = (1 v/c)=1.000001Now assume E(t) & (t) vary slowly enough thatCalled Narrowband App

35、roximationFor the range of vof interest2022/9/9105SDE_09 MLEDOPPLER & DELAY MODEL (continuDOPPLER & DELAY MODEL (continued)Narrowband Analytic Signal ModelConstantPhaseTerm= cdDopplerShiftTermd= c v/cCarrierTermTransmitted SignalsLPE SignalTime-Shifted by dNarrowband Lowpass Equivalent Signal ModelT

36、his is the signal that actually gets processed digitally2022/9/9106SDE_09 MLEDOPPLER & DELAY MODEL (continuCRLB for TDOAWe already showed that the CRLB for the active sensor case is:where Brms is an effective bandwidthof the signal computed from the DFT values Sk.But here we need to estimate the del

37、ay between two noisysignals rather than between a noisy one and a clean one.The only difference in the result is: replace SNR by aneffective SNR given by2022/9/9107SDE_09 MLECRLB for TDOAWe already showedCRLB for TDOA (cont.)S. Stein, “Algorithms for Ambiguity Function Processing,”IEEE Trans. on ASS

38、P, June 1981A more familiar form for this is in terms of the C-T version of the problem:BT = Time-Bandwidth Product ( N, number of samples in DT)B = Noise Bandwidth of Receiver (Hz)T = Collection Time (sec)BT is called “Coherent Processing Gain” 相干處理增益(Same effect as the DFT Processing Gain on a sin

39、usoid)For a signal with rectangular spectrum 矩形頻譜 of RF width of Bs , then the bound becomes:2022/9/9108SDE_09 MLECRLB for TDOA (cont.)S. Stein,CRLB for FDOAHere we take advantage of the time-frequency duality if the FT:where Trms is an effective durationof the signal computed from thesignal samples

40、 sk.Again we use the same effective SNR:2022/9/9109SDE_09 MLECRLB for FDOAHere we take advaCRLB for FDOA (cont.)S. Stein, “Algorithms for Ambiguity Function Processing,”IEEE Trans. on ASSP, June 1981A more familiar form for this is in terms of the C-T version ofthe problem:For a signal with constant

41、 envelope of duration Ts, then the bound becomes:2022/9/9110SDE_09 MLECRLB for FDOA (cont.)S. Stein,Interpreting CRLBs for TDOA/FDOAA more familiar form for this is in terms of the C-T version ofthe problem: BT pulls the signal up out of the noise Large Brms improves TDOA accuracy 提高TDOA精度 Large Trm

42、s improves FDOA accuracy 提高FDOA精度Two Examples of Accuracy Bounds: 精度定界2022/9/9111SDE_09 MLEInterpreting CRLBs for TDOA/FDMLE for TDOA/FDOAS. Stein, “Differential Delay/Doppler MLEstimation with Unknown Signals,” IEEETrans. on SP, August 1993We already showed that the ML Estimate of delay for theacti

43、ve sensor case is the Cross-Correlation of the time signals.By the time-frequency duality the ML estimate for dopplershift should be Cross-Correlation of the FT, which is mathematically equivalent toThe ML estimate of the TDOA/FDOA has been shown to be:2022/9/9112SDE_09 MLEMLE for TDOA/FDOAS. Stein,

44、 “DiML Estimator for TDOA/FDOA (cont.)2022/9/9113SDE_09 MLEML Estimator for TDOA/FDOA (coML Estimator for TDOA/FDOA (cont.)How well do we expect the Cross-Correlation Processing to perform?Well it is the ML estimator so it is not necessarily optimum.But we know that an ML estimate is asymptotically

45、Unbiased & Efficient (that means it achieves the CRLB) GaussianThose are some VERY nice properties that we can make use of in our location accuracy analysis!2022/9/9114SDE_09 MLEML Estimator for TDOA/FDOA (coProperties of the CAF2022/9/9115SDE_09 MLEProperties of the CAF2022/9/31TDOA ACCURACY REVISI

46、TEDTDOA Accuracy depends on: Effective SNR: SNReff RMS Widths: Brms= RMS BandwidthLow Effective SNRCauses Spurious PeaksOn Xcorr FunctionNarrow Xcorr FunctionLess Susceptible toSpurious Peaks2022/9/9116SDE_09 MLETDOA ACCURACY REVISITEDTDOA AcFDOA ACCURACY REVISITEDFDOA Accuracy depends on: Effective

47、 SNR: SNReff RMS Widths: Drms= RMS DurationLow Effective SNRCauses Spurious PeaksOn Xcorr FunctionNarrow Xcorr FunctionLess Susceptible toSpurious Peaks2022/9/9117SDE_09 MLEFDOA ACCURACY REVISITEDFDOA AcCOMPUTING THE AMBIGUITY FUNCTIONDirect computation based on the equation for the ambiguity functi

48、on leads to computationally inefficient methods.In course notes we showed how to use decimation to efficiently compute the ambiguity function2022/9/9118SDE_09 MLECOMPUTING THE AMBIGUITY FUNCTIEstimating Geo-Location2022/9/9119SDE_09 MLEEstimating Geo-Location2022/9/TDOA/FDOA LOCATIONCentralized Netw

49、ork of P “P-Choose-2” Pairs# “P-Choose-2” TDOA Measurements# “P-Choose-2” FDOA Measurements Warning: Watch out for Correlation Effect Due to Signal-Data-In-Common2022/9/9120SDE_09 MLETDOA/FDOA LOCATIONCentralized TDOA/FDOA LOCATIONPair-Wise Network of P P/2 Pairs# P/2 TDOA Measurements# P/2 FDOA Mea

50、surements Many ways to select P/2 pairs Warning: Not all pairings are equally good! The Dashed Pairs are Better2022/9/9121SDE_09 MLETDOA/FDOA LOCATIONPair-Wise NeTDOA/FDOA Measurement ModelGiven N TDOA/FDOA measurements with corresponding 22 Cov. MatricesAssume pair-wise network, soTDOA/FDOA pairs a

51、re uncorrelatedFor notational purposes define the 2N measurements r(n) n = 1, 2, , 2NData VectorNow, those are the TDOA/FDOA estimates so the true values are notated as:“Signal” Vector2022/9/9122SDE_09 MLETDOA/FDOA Measurement ModelGivTDOA/FDOA Measurement Model (cont.)Each of these measurements r(n

52、) has an error (n) associated with it, so r =s+Because these measurements were estimated using an ML estimator (with sufficiently large number of signal samples) we know that error vector is a zero-mean Gaussian vector with cov. matrix C given by:Assumes thatTDOA/FDOApairs are uncorrelated!and trans

53、mit frequencyThe true TDOA/FDOA values depend on:Emitter Parms: 2022/9/9123SDE_09 MLETDOA/FDOA Measurement Model (cTDOA/FDOA Measurement Model (cont.)Here well simplify to the x-y plane extension is straight-forward.The TDOA and FDOA are given by:2022/9/9124SDE_09 MLETDOA/FDOA Measurement Model (cCR

54、LB for Geo-Location via TDOA/FDOARecall: For the General Gaussian Data case the CRLB depends on a FIM that has structure like this:Here we have a deterministic “signal” plus Gaussian noise so we only have the 1st term Using the notation introduced here givesCalled the “Jacobian” for the 3-D location with TDOA/FDOA will be a 2N 4 matrix whose columns are derivatives of s w.r.t. each of the 4 parameters.2022/9/9125SDE_09 MLECRLB for Geo-Location via TDOACRLB for Geo-Loc. via TDOA/FDOA (cont.)TDOA/FDOA Jacobian:Jacobian can be computed for any desired Rx-Emitter ScenarioThen plug it i