數(shù)字信號(hào)處理2PPT課件

1、 2.1 簡(jiǎn)介1、統(tǒng)計(jì)決策 統(tǒng)計(jì)決策理論主要解決兩大類(lèi)問(wèn)題：統(tǒng)計(jì)檢測(cè)與估計(jì)理論。2、統(tǒng)計(jì)檢測(cè) 利用假設(shè)檢驗(yàn)的方法設(shè)計(jì)一種最佳檢測(cè)器，用以判斷噪聲中是否有信號(hào)，或區(qū)分噪聲中的不同信號(hào)。 （人臉檢測(cè)）第1頁(yè)/共34頁(yè)3、估計(jì)理論 非參數(shù)化估計(jì)：如均值估計(jì)。 參數(shù)化估計(jì)：假定數(shù)據(jù)服從一已知結(jié)構(gòu)的概率模型，但模型的某些參數(shù)未知。第2頁(yè)/共34頁(yè)4、本書(shū)內(nèi)容側(cè)重參數(shù)化估計(jì)的理論與方法 第2章（參數(shù)估計(jì)理論）：基礎(chǔ)。 第3章（現(xiàn)代譜估計(jì)）：參數(shù)化譜估計(jì)。 第4章（自適應(yīng)濾波）：時(shí)域或空域?yàn)V波器參數(shù) 的自適應(yīng)更新。 第5章（高階統(tǒng)計(jì)量）：基于高階統(tǒng)計(jì)量的系統(tǒng) 參數(shù)估計(jì)與高階譜的參數(shù)化估計(jì)。 第6、7章（時(shí)頻

2、信號(hào)分析）：非平穩(wěn)性信號(hào)的參 數(shù)化表示。第3頁(yè)/共34頁(yè) 2.2 估計(jì)子的性能 把一個(gè)真實(shí)參數(shù)的估計(jì)方法（函數(shù)）稱(chēng)為估計(jì)子。（統(tǒng)計(jì)量） 舉例：均值估計(jì)NxxxN,21個(gè)樣本：NiixNx111 如何評(píng)價(jià)一個(gè)估計(jì)子與真實(shí)參數(shù)之間的“接近度” ？以及如何對(duì)不同估計(jì)子的性能進(jìn)行比較？第4頁(yè)/共34頁(yè)2、無(wú)偏估計(jì)與漸進(jìn)無(wú)偏估計(jì) （1）估計(jì)子的更嚴(yán)格定義。：，記作的函數(shù)維參數(shù)空間映射為維樣本空間一個(gè)將的估計(jì)子是個(gè)樣本獲得真實(shí)參數(shù)由NN21TTN,Npp標(biāo)準(zhǔn)是不方便的。為隨機(jī)變量，作為評(píng)價(jià)但，的測(cè)度是估計(jì)子的誤差逼近真實(shí)參數(shù)估計(jì)子第5頁(yè)/共34頁(yè) （2）估計(jì)子的偏差于真實(shí)值。，即估計(jì)子的期望值等等于零或差

3、估計(jì)子是無(wú)偏的，若偏期望值，即誤差的的偏差定義為該估計(jì)子的估計(jì)子參數(shù))()(EbEEbdef第6頁(yè)/共34頁(yè)./)(:), 2 , 1(1 11EE1211111討論估計(jì)子的性能號(hào)的一個(gè)可能估計(jì)值分別為信號(hào)和噪聲，信和其中給定的觀察樣本，練習(xí)：考慮由估計(jì)。是隨機(jī)信號(hào)均值的無(wú)偏例題：證明NxxxsvsNivsxmmNnxENnxNxnxNxNiiixNnxNnNnNn第7頁(yè)/共34頁(yè) 無(wú)偏估計(jì)子是估計(jì)子期望的一個(gè)重要性能，但并不意味著有偏估計(jì)子就一定不好。如果一個(gè)有偏估計(jì)是漸進(jìn)無(wú)偏的，那么它仍然有可能是一個(gè)“好”的估計(jì)，甚至可能比另一個(gè)無(wú)偏估計(jì)子更好。（3）漸進(jìn)無(wú)偏估計(jì)lim0)(NNEbN，即

4、時(shí)，當(dāng)樣本長(zhǎng)度的漸進(jìn)無(wú)偏估計(jì)子，若是真實(shí)參數(shù)估計(jì)子第8頁(yè)/共34頁(yè))()1 ()()(1)()(1)()()(1)()(111xNnNnNnRNnxnxENnxnxNEREnxnxNRnx證明：是漸進(jìn)無(wú)偏的。估計(jì)子的自相關(guān)函數(shù)的一種例題：證明隨機(jī)信號(hào)的第9頁(yè)/共34頁(yè) 偏差是誤差的期望值，但偏差為零但不能保證估計(jì)子誤差取低值的概率就高，評(píng)價(jià)估計(jì)子的小誤差概率的指標(biāo)稱(chēng)為一致性。（4）一致性NNp，即斂為真實(shí)參數(shù)時(shí)，該估計(jì)子以概率收若一致，稱(chēng)為以概率與真實(shí)參數(shù)的估計(jì)子參數(shù)第10頁(yè)/共34頁(yè)第11頁(yè)/共34頁(yè)3、估計(jì)子的有效性 評(píng)價(jià)小樣本時(shí)估計(jì)子的性能。 （1）兩個(gè)無(wú)偏估計(jì)子的比較%100)var(

5、)var(21RE有效性測(cè)度：第12頁(yè)/共34頁(yè) （2）無(wú)偏與漸進(jìn)無(wú)偏估計(jì)子之間的比較如何選擇估計(jì)子？小的方差，更大的偏差，但卻有較具有比如果21222)(E)()(MM差平方的期望值，即：估計(jì)子與真實(shí)參數(shù)的誤定義為該的均方誤差的估計(jì)子定義：參數(shù)第13頁(yè)/共34頁(yè)222121)(E)(E有不等式恒，若對(duì)所有優(yōu)于計(jì)子定義：我們稱(chēng)估計(jì)子 問(wèn)題：有效性只能比較兩個(gè)估計(jì)子之間的優(yōu)劣，但并不能回答一個(gè)估計(jì)子是否在所有可能的估計(jì)子是最優(yōu)的。第14頁(yè)/共34頁(yè)4、Fisher信息與Cramer-Rao不等式 （1）隨機(jī)變量x的品質(zhì)函數(shù)品質(zhì)定義為：的變量已給定的條件下，隨機(jī)當(dāng)真實(shí)參數(shù)x的評(píng)價(jià)?？捎糜趯?duì)估計(jì)子的

6、信息，這些信息參數(shù)品質(zhì)函數(shù)中隱含著真實(shí)第15頁(yè)/共34頁(yè)第16頁(yè)/共34頁(yè) （2）Fisher信息 （3）Cramer-Rao不等式（證明略）第17頁(yè)/共34頁(yè).)(1)var(:JRaoCramer下界，即達(dá)到差稱(chēng)為是優(yōu)效的，若其方無(wú)偏估計(jì)子定義第18頁(yè)/共34頁(yè) 2.3 Bayes估計(jì) 估計(jì)值的質(zhì)量決定于估計(jì)誤差的大小。 估計(jì)誤差除了可以用偏差、方差、均方誤差等測(cè)量外，還可以用誤差的范圍來(lái)測(cè)量。 第19頁(yè)/共34頁(yè)1、二次型損失函數(shù)（標(biāo)量參數(shù)）（標(biāo)量參數(shù)）22),(),(CC2、二次型風(fēng)險(xiǎn)函數(shù)NNNMMSENNNNNdefMMSEdxdxxxfdxxfRxxfxxfxxfddxdxxxfE

7、R11121111122),(),(),(),(),(),(第20頁(yè)/共34頁(yè)3、最小均方誤差估計(jì)（Bayes估計(jì)） 使二次型風(fēng)險(xiǎn)函數(shù)最小的估計(jì)稱(chēng)為最小均方誤差估計(jì)。dxxfdxxfdxxfRNMMSENNMMSEMMSE),(),(),(0111注意：（1）不一定是最優(yōu)的估計(jì)，但一定是最保險(xiǎn)的（基于最小風(fēng)險(xiǎn)） 。（2）需要知道后驗(yàn)概率的分布。 第21頁(yè)/共34頁(yè) 2.4 最大似然估計(jì)1、基本思想 在對(duì)被估計(jì)的未知量（或參數(shù)）沒(méi)有任何先驗(yàn)的情況下，利用已知的若干觀測(cè)值估計(jì)該參數(shù)。 第22頁(yè)/共34頁(yè)2、最大似然估計(jì) piLLxxfLiN, 10)(0)(),(ln)(1但是最大似然估計(jì)是一種非常實(shí)用的估計(jì)方法。第23頁(yè)/共34頁(yè) 2.5 線性均方估計(jì)Bayes估計(jì)： 不一定是最優(yōu)的估計(jì)，但一定是最保險(xiǎn)的（基于最小風(fēng)險(xiǎn)） 。 缺點(diǎn)：需要已知后驗(yàn)分布函數(shù)f(|x1, xN)。最大似然估計(jì)： 缺點(diǎn)：必須已知似然函數(shù)f(x1, xN| )形式。 不需要先驗(yàn)知識(shí)的參數(shù)估計(jì)方法： 線性均方估計(jì)、最小二乘估計(jì)第24頁(yè)/共34頁(yè)第25頁(yè)/共34頁(yè)R非奇異條件：觀測(cè)數(shù)據(jù)相互獨(dú)立第26頁(yè)/共34頁(yè)注意：需要預(yù)先知道。第27頁(yè)/共34頁(yè) 2.6 最小二乘