張旭東《現(xiàn)代信號(hào)分析和處理》第2章-1 估計(jì)理論

第2章：估計(jì)理論基礎(chǔ)

統(tǒng)計(jì)推斷：估計(jì)和假設(shè)檢驗(yàn)估計(jì)理論：經(jīng)典估計(jì)，貝葉斯估計(jì)估計(jì)方法：點(diǎn)估計(jì)和區(qū)間估計(jì)

a.是一個(gè)隨機(jī)變量

b.估計(jì)器設(shè)計(jì)依賴于樣本數(shù)據(jù)的概率密度函數(shù)(PDF)的假設(shè)

估計(jì)器例

n=0,1,2,…N-1是零均值白噪聲，估計(jì)A

一個(gè)直觀的估計(jì)器為

a.這個(gè)估計(jì)器怎樣接近于真實(shí)值A(chǔ).b.有沒有更好的估計(jì)器，怎樣設(shè)計(jì)好的估計(jì)器？

估計(jì)器性能的其他描述估計(jì)器性能的方差描述幾個(gè)常用估計(jì)量

均值估計(jì)

方差估計(jì)

自相關(guān)估計(jì)

互相關(guān)估計(jì)

Cramer-Rao下界

最小方差無偏估計(jì)器（MVU）,它的最好估計(jì)性能.

注：本講義對經(jīng)典估計(jì)部分如下表示等價(jià)

（定理一繼續(xù)）

最大似然估計(jì)（MLE）

最實(shí)用的估計(jì)器，有良好的漸近特性例得就是MLEMVU就是MLE概率密度函數(shù)估計(jì)問題MLE漸近特性

MLE逼近于一個(gè)無偏的，最小方差可達(dá)的MVU估計(jì)器對于一般的PDF,MLE可以通過迭代計(jì)算2.4Bayesian估計(jì)

最小均方Bayesian估計(jì)

最小均方誤差為

在計(jì)算時(shí)，經(jīng)常利用關(guān)系式矢量情況例因此

隨機(jī)參數(shù)估計(jì)的Cramer－Rao界·高斯情況

Baysian估計(jì)

零均值情況

一般Bayesian估計(jì)

例

解一致性條件：2.5線性貝葉斯估計(jì)器

線性估計(jì)器

·這組關(guān)系式可以直接聯(lián)系到Wiener濾波問題

·線性Bayesian估計(jì)與高斯分布下的Bayesian估計(jì)是一致的，在高斯分布下，線性估計(jì)可達(dá)最優(yōu)

附注高斯分布在隨機(jī)信號(hào)處理中有特殊的地位，高斯分布時(shí)，線性估計(jì)是真正的最優(yōu)估計(jì)，因此，對于高斯分布，線性系統(tǒng)是適用的。這些概念推廣到時(shí)間波形的估計(jì)也是適用的。對于非高斯分布，真正的最優(yōu)系統(tǒng)是非線性系統(tǒng)，當(dāng)線性系統(tǒng)的簡化實(shí)現(xiàn)不能滿足性能要求時(shí)，人們要回到貝葉斯估計(jì)的源頭，尋找對“后驗(yàn)期望”或“最大后驗(yàn)概率”的更加精確的逼近實(shí)現(xiàn)。附注（續(xù)）建立在均方誤差最小和“Hit－Miss”準(zhǔn)則下的“后驗(yàn)期望”和“最大后驗(yàn)概率”方法只是貝葉斯理論的兩個(gè)常用準(zhǔn)則下的結(jié)果，在不同應(yīng)用中，利用對專門問題的研究，提出新的風(fēng)險(xiǎn)函數(shù)和誤差準(zhǔn)則，發(fā)展新的貝葉斯估計(jì)方法，仍是將統(tǒng)計(jì)方法用于各種新問題時(shí)，一個(gè)有價(jià)值的研究方向。2.6最小二乘估計(jì)最小二乘問題（LS）

線性模型估計(jì)問題線性模型：估計(jì)允許模型存在誤差，且誤差平方和最小：解為：誤差和：例

假設(shè)有一個(gè)多變量系統(tǒng)，輸出為用線性模型逼近

正則化最小二乘估計(jì)正則化LS解為2.7EM算法（期望最大算法）設(shè)一個(gè)完備數(shù)據(jù)集存在完備數(shù)據(jù)集到觀測數(shù)據(jù)（不完備集）的映射以完備數(shù)據(jù)集的條件數(shù)學(xué)期望代替對數(shù)似然函數(shù)為使積分進(jìn)行，待估計(jì)參數(shù)使用猜測值，構(gòu)成迭代EM算法步驟1