現(xiàn)代數(shù)字信號處理課件：信號檢測與估計的基本概念

信號檢測與估計的基本概念3.1引言3.2幾種統(tǒng)計判決準則3.3匹配濾波器3.4廣義匹配濾波器3.5最大似然估計3.6最小二乘估計

3.1引言

信號處理的基本任務(wù)是利用觀測數(shù)據(jù)作出關(guān)于信號與(或)系統(tǒng)的某種統(tǒng)計決策。統(tǒng)計決策理論主要解決兩大類問題:假設(shè)檢驗與估計。信號檢測、雷達目標檢測等是假設(shè)檢驗的典型問題。估計理論涉及的范圍更廣泛，它又被分為非參數(shù)化和參數(shù)化兩類方法。參數(shù)化方法假定數(shù)據(jù)服從一已知結(jié)構(gòu)的概率模型，但模型的某些參數(shù)未知。參數(shù)化估計與系統(tǒng)模型的辨識密切相關(guān)，其主要基礎(chǔ)是優(yōu)化理論，即被估計的參數(shù)應(yīng)該在某種準則下是最優(yōu)的，以及如何獲得最優(yōu)的參數(shù)估計。與參數(shù)化方法不同,非參數(shù)化方法不假定數(shù)據(jù)服從某種特定的概率模型，例如基于離散Fourier變換的功率譜估計和高階譜估計等就是典型的非參數(shù)化方法。

3.2幾種統(tǒng)計判決準則

3.2.1貝葉斯準則

貝葉斯準則是一種常用的判決準則。在二元假設(shè)檢驗應(yīng)用貝葉斯準則時，設(shè)信源的兩個輸出(假設(shè))發(fā)生的概率已知，假設(shè)H0發(fā)生的概率即先驗概率為P(H0)，假設(shè)H1發(fā)生的概率即先驗概率為P(H1)。兩個假設(shè)H0和H1總有一個為真，所以有

P(H0)+P(H1)=1

在做出某種判決時總要付出一定的代價，代價的大小由信源的輸出假設(shè)和判決結(jié)果決定。假如在雷達系統(tǒng)中，當敵方導(dǎo)彈來襲時，如果雷達系統(tǒng)未能發(fā)現(xiàn)該導(dǎo)彈目標，即漏檢，則代價可能是己方被導(dǎo)彈擊中，后果嚴重；當敵方?jīng)]有發(fā)射導(dǎo)彈，而雷達系統(tǒng)卻誤報有導(dǎo)彈來襲時，即虛警，則代價可能是發(fā)射一枚導(dǎo)彈攻擊不存在的目標，與漏檢的后果差別很大。在數(shù)字通信系統(tǒng)中，情況與雷達有較大的不同，一般情況下對接收碼字的錯誤判決的代價都是相同的。在假設(shè)檢驗中，一種判決的代價和另一種判決的代價可能相同，也可能不同，為此賦予每一個可能的判決一個代價，用代價因子Cij表示假設(shè)Hj為真時，判決Hi成立的代價。一般情況下，假定錯誤判決的代價因子大于正確判決的代價因子，即滿足Cij>Cii，i≠j。二元假設(shè)檢驗的代價因子見表3.1。表3.1二元假設(shè)檢驗的代價因子對于Hj為真而判決Hi成立(i，j=0，1)的情況，判決概率為P(Hi|Hj)，代價因子為Cij，于是在Hj為真時判決所付出的平均代價為

(3.2.1)考慮到假設(shè)Hj出現(xiàn)的先驗概率P(Hj)，則判決所付出的總平均代價為(3.2.2)貝葉斯準則就是在假設(shè)Hj的先驗概率P(Hj)已知，

各種判決代價因子Cij給定的情況下，使平均代價最小的準則。

從假設(shè)檢驗?zāi)Ｐ涂芍?，當Hj為真時，事件(Hi|Hj)由概率轉(zhuǎn)移機構(gòu)映射到觀測空間R，落入Hi成立的判決域Ri后而判決Hi成立。因此，平均代價也可以通過轉(zhuǎn)移概率密度函數(shù)及判決域來表示，即(3.2.3)因為觀測空間R劃分為R0域和R1域，且滿足R=R0∪R1，

。又因為對于整個觀測空間R有所以，式(3.2.3)中域R1積分項可表示為(3.2.4)這樣，平均代價可表示為(3.2.5)對式(3.2.5)進行分析，已獲得使平均代價最小的判決域劃分和貝葉斯判決規(guī)則。式(3.2.5)中的第一和第二兩項是固定平均代價分量，與判決域劃分無關(guān)。由于代價因子

Cij>Cjj，i≠j,概率密度函數(shù)p(x|Hj)≥0，所以式(3.2.5)中的被積函數(shù)是兩個正項函數(shù)之差，在某些x值處被積函數(shù)可能取正值，而在另外一些x值處則有可能取負值，因此式中的積分項是平均代價可變部分，它的正負受積分區(qū)域R0控制。根據(jù)貝葉斯準則，應(yīng)使平均代價最小，為此，把凡是使被積函數(shù)取負值的那些x值劃分給R0域，而把其余的x值劃分給R1域，以保證平均代價最小。這樣H0成立的判決域R0可這樣來確定:所有滿足(3.2.6)的x值劃分給R0，判決H0成立；把不滿足式(3.2.6)的x值劃歸R1域，判決H1成立。于是，將式(3.2.6)改寫，得到貝葉斯判決規(guī)則:(3.2.7)式(3.2.7)不等號左邊是兩個似然函數(shù)，即轉(zhuǎn)移概率密度函數(shù)之比，稱為似然比(LikelihoodRatio)，用Λ(x)表示，即(3.2.8)而不等式的右邊是由先驗概率P(Hj)和代價因子Cij決定的常數(shù)，稱為似然比檢測門限(LikelihoodRatioDetectionThreshold)，記為

(3.2.9)所以由貝葉斯準則得到的似然比檢驗(LikelihoodRatioTest)為(3.2.10)

p(x|H1)和p(x|H0)是N維隨機向量x的函數(shù)，而Λ(x)是x的兩個似然函數(shù)之比，所以Λ(x)是非負的一維隨機變量，與x的正負和維數(shù)無關(guān)；由于Λ(x)是觀測量x的函數(shù)，而x是隨機變量，所以Λ(x)也是隨機變量；因為Λ(x)僅是觀測量x的函數(shù)，不含任何未知參量，所以又稱Λ(x)為檢驗統(tǒng)計量。從式(3.2.8)可知，根據(jù)似然比檢驗要對觀測量x進行處理，即要先計算似然比Λ(x)，然后將其與預(yù)設(shè)的似然比檢測門限γ比較再做出判決。似然比Λ(x)的計算不僅與假設(shè)的先驗概率P(Hj)無關(guān)，也與代價因子Cij無關(guān)。因此，不論假設(shè)的先驗概率是多少，也不管代價因子如何給定，它們的似然比計算結(jié)果是一樣的。似然比的這種不變性在實際中非常重要。

似然比的計算雖然與先驗概率和代價因子無關(guān)，但這不意味著它們對檢驗準則沒有影響。假設(shè)的先驗概率P(Hj)和代價因子Cij的取值對檢驗準則的影響是通過似然比檢測門限γ來進行的。由式(3.2.9)可知，γ的取值由P(Hj)和Cij決定，為了在不同先驗概率P(Hj)和不同代價因子Cij時，都能達到貝葉斯準則下的最小平均代價，就應(yīng)按式(3.2.9)計算相應(yīng)的似然比檢測門限γ。

似然比Λ(x)的形式從理論上講有很多種，但是在很多情況下具有指數(shù)函數(shù)的形式。因為對數(shù)是單調(diào)的增函數(shù)，并且似然比Λ(x)和似然比檢測門限γ是非負的，為使判決式簡化，可以對式(3.2.10)的兩端取自然對數(shù)，這樣判決規(guī)則可等價為

(3.2.11)這種形式的判決規(guī)則給計算和分析帶來了方便。

式(3.2.10)和式(3.2.11)為似然比檢驗的兩種處理形式，其框圖分別如圖3.1(a)和(b)所示。圖3.1似然比檢驗為了使檢驗系統(tǒng)更容易實現(xiàn)和便于分析性能，通常對似然比檢驗判決式或?qū)?shù)似然比檢驗判別式再進行運算整理，使判決式左邊是觀測矢量x的最簡單函數(shù)T(x)，判決式右邊是某個常數(shù)γ′，這樣化簡后的判決規(guī)則可表示為式中，T(x)稱為檢驗統(tǒng)計量，γ′為檢測門限。例3.1

在二進制數(shù)字調(diào)制系統(tǒng)中，假設(shè)為H1時，信源輸出為常值電壓A。假設(shè)為H0時，信源輸出為0；信號在通信信道傳輸過程中疊加了高斯噪聲w(t)；在接收端對接收信號x(t)進行了N次獨立采樣，樣本為x[n]，n=0，1，…，N－1；如果噪聲樣本w[n]是均值為0、方差為σ2的高斯噪聲，似然函數(shù)比檢測門限γ已知，試確定似然比檢驗判決準則，畫出信號監(jiān)測系統(tǒng)框圖。

解:

這樣的調(diào)制系統(tǒng)就是數(shù)字通信中的通/斷鍵控。依題意，可有兩種假設(shè):因為噪聲樣本w[n]～N(0，σ2)，所以其概率密度函數(shù)為

這樣，在兩個假設(shè)下，觀測樣本的概率密度函數(shù)，即似然函數(shù)分別為考慮到N次采樣是統(tǒng)計獨立的，可得在兩種假設(shè)下觀測矢量x的概率密度函數(shù)分別為

這樣，似然比為于是似然比檢驗為兩邊取自然對數(shù)得為進一步簡化，將不等式左邊的常數(shù)項NA2/2σ2移到不等式的右邊，并整理為如下的判決準則:圖3.2信號檢測系統(tǒng)模型經(jīng)過上述簡化后,信號檢測的判決式從計算似然比簡化為對觀測數(shù)據(jù)求和取平均再與檢測門限γ′相比較作出判決的形式。根據(jù)前面的分析，信號檢測系統(tǒng)模型如圖3.2所示。3.2.2最小錯誤概率準則

在數(shù)字通信系統(tǒng)中，通常有正確判決不付出代價與錯誤判決代價相同的情況，即C00=C11=0，C10=C01=1。這時平均代價表示為該式恰好是平均錯誤概率。因此，平均代價最小等效為平均錯誤概率最小，使平均錯誤概率最小的準則稱為最小錯誤概率準則。平均錯誤概率記為Pe=P(H0)P(H1|H0)+P(H1)P(H0|H1)

(3.2.13)類似于貝葉斯準則的分析方法，將Pe表示式改寫成

(3.2.14)將所有滿足P(H1)p(x|H1)－P(H0)p(x|H0)<0

(3.2.15)的x值劃歸R0域，判決H0成立；把所有滿足P(H1)p(x|H1)－P(H0)p(x|H0)≥0

(3.2.16)的x值劃歸R1域，判決H1成立。于是最小錯誤概率準則的判決規(guī)則表示式為(3.2.17)即(3.2.18)仍為似然比檢驗?；?3.2.19)如果假設(shè)H0和假設(shè)H1的先驗概率相等，即P(H1)=P(H0)，則似然比檢驗為(3.2.20)或?qū)懗蓛伤迫缓瘮?shù)直接比較，即(3.2.21)的形式。因此，可將先驗概率相等情況下的最小錯誤概率準則稱為最大似然準則。由前可知，當選擇代價因子C00=C11=0，C10=C01=1時，最小錯誤概率準則就是貝葉斯準則，所以最小錯誤概率準則是貝葉斯準則的特殊情況。

例3.2

繼續(xù)例3.1，假定P(H1)=P(H0)=0.5，試確定最小錯誤概率準則下的似然比檢驗的判決規(guī)則，求出最小錯誤概率。解:

依題意，可有兩種假設(shè):

H1:x[n]=A+w[n]，n=0，1，…，N－1

H0:x[n]=w[n]，n=0，1，…，N－1

因為噪聲樣本w[n]～N(0，σ2)，所以其概率密度函數(shù)為

這樣，在兩個假設(shè)下，觀測樣本的概率密度函數(shù)，即似然函數(shù)分別為考慮到N次采樣是統(tǒng)計獨立的，可得在兩種假設(shè)下觀測矢量x的概率密度函數(shù)分別為

這樣，似然比為根據(jù)式(3.2.20)，最小錯誤準則下的似然比檢驗為兩邊取自然對數(shù)得

為進一步簡化，將不等式左邊的常數(shù)項NA2/2σ2移到不等式的右邊，并整理為如下的判決規(guī)則:令，則的概率分布分為兩種情況，即在H0為真時，服從均值為0、方差為σ2/N的高斯分布；在H1為真時，服從均值為A、方差為σ2/N的高斯分布。即

因此，最小錯誤概率為式中為高斯概率函數(shù)，且有Q(－x)=1－Q(x)。3.2.3最大后驗概率準則

在貝葉斯準則中，當代價因子滿足C10－C00=C01－C11時，判決規(guī)則便成為(3.2.22)H1為真或等價地寫為P(H1)p(x|H1)≥P(H0)p(x|H0)，H1為真(3.2.23)將式(3.2.23)兩邊同除以p(x)，得，H1為真由貝葉斯公式可得

P(H1|x)≥P(H0|x)，H1為真(3.2.24)

不等式(3.2.24)的左邊和右邊分別是在觀測量x已經(jīng)獲得的條件下，假設(shè)H1和假設(shè)H0為真的概率，即后驗概率。因此最小平均代價的貝葉斯準則在C10－C00=C01－C11的條件下就成為最大后驗概率(MaximumaPosteriorProbability，MAP)準則，所以最大后驗概率準則也是貝葉斯準則的特例。3.2.4奈曼-皮爾遜(Neyman-Pearson，NP)準則

貝葉斯準則是檢測理論中的常用準則，使用貝葉斯準則要知道各假設(shè)的先驗概率P(Hj),并對每種可能的判決賦予代價因子Cij。最小錯誤概率準則雖然不需要知道代價因子，但需要知道各假設(shè)的先驗概率。在一些實際情況下，如雷達信號檢測中，不但先驗概率未知，連指定代價因子都不現(xiàn)實。對于這一類情況，需要考慮虛警概率PFA(即P(H1|H0))和檢測概率PD(即P(H1|H1))的重要性，即希望虛警概率PFA盡量小，同時檢測概率PD盡量大。若正確的檢測概率PD最大，則漏檢概率PM(即P(H0|H1))最小。但是PM的減小又會使PFA增大。針對這種情況，提出了這樣一種檢驗準則:在虛警概率PFA=α

的約束條件下，使檢測概率PD最大。這就是奈曼-皮爾遜準則。奈曼-皮爾遜準則與前述準則的不同之處在于限定了PFA=α，根據(jù)這個約束條件，設(shè)計使PD最大(或PM=1－PD最小)。這是一個有約束的極值問題，應(yīng)用拉格朗日(Largrange)乘因子λ(λ≥0)，構(gòu)成一個代價函數(shù):

(3.2.25)顯然，若PFA=α，則J達到最小，PM就達到最小。變換積分域，式(3.2.25)變?yōu)?3.2.26)因為λ≥0，所以式(3.2.26)中第一項為正數(shù)，要使J達到最小，只有把式中方括號內(nèi)的項為負的x點劃歸R0域，判H0成立，否則劃歸R1域，判H1成立，即

p(x|H1)≥λp(x|H0)，H1為真

寫成似然比檢驗的形式為(3.2.27)為了滿足PFA=α的約束，選擇λ使(3.2.28)于是對于給定的α,λ可以由式(3.2.28)求出。因為0≤α≤1,，p[Λ(x)]>0,所以由式(3.2.28)解出的λ必須滿足λ≥0?，F(xiàn)討論似然比檢測門限λ的作用。類似式(3.2.28)，有

(3.2.29)顯然，λ增加，PFA減小，PM增加；相反，λ減小，PFA增加，PM減小。這就是說，改變λ就能調(diào)整判決域R0和R1。奈曼-皮爾遜準則可看成是貝葉斯準則在P(H1)(C01－C11)=1，P(H0)(C10－C00)=λ時的特例,λ為似然比檢測門限，為統(tǒng)一起見仍用γ表示，即(3.2.30)奈曼-皮爾遜準則的最佳檢驗是由三個步驟完成的:

(1)對觀測量x進行統(tǒng)計描述得p(x|H1)和p(x|H0)，求出式(3.2.30)的似然比檢驗式，并進行化簡(如取自然對數(shù))，得到檢驗統(tǒng)計量T(x)的判決規(guī)則表示式及檢測門限γ′，γ′是似然比檢測門限γ的函數(shù)，γ′和γ待求:

(2)根據(jù)檢驗統(tǒng)計量T(x)與檢測門限γ′的判決規(guī)則表示式和已知α，由PFA=α的約束求出檢測門限γ′，如需要可進一步求出γ；

(3)按式完成判決。

3.3匹配濾波器

在實際中常常面臨這樣一類問題:加到線性濾波器輸入端的是信號與噪聲的混合信號，而希望這個線性濾波器的輸出達到某種意義上的最佳。例如，在加性白高斯噪聲信道下，二進制調(diào)制的數(shù)字通信系統(tǒng)的性能與信噪比SNR有關(guān)，SNR越大，誤碼率或平均錯誤概率就越小，因此往往直接用線性濾波器輸出信噪比最大作為準則來設(shè)計接收機或線性濾波器。匹配濾波器就是這樣一種最佳線性濾波器，在輸入為疊加噪聲的確知信號時，所得輸出信噪比最大。這是因為在接收機中有時并不需要恢復(fù)出發(fā)射的信號波形，而只需知道信號是否存在。因此，從線性濾波器輸出端能獲得最大信號噪聲功率比的角度出發(fā)，推導(dǎo)濾波器的最佳傳輸函數(shù)，從而建立匹配濾波器理論。匹配濾波器是通信、雷達、聲吶等領(lǐng)域信號檢測的重要理論工具，還是許多最佳檢測系統(tǒng)的基本組成部分，它也在最佳信號參量估計、信號分辨、某些信號波形的產(chǎn)生和壓縮等方面起著重要作用。首先通過一個高斯白噪聲中確定信號的檢測問題引出匹配濾波器的概念?？紤]如下檢測問題:

H0:x[n]=w[n]，n=0，1，…，N－1

H1:x[n]=s[n]+w[n]，n=0，1，…，N－1

式中，信號s[n]已知，w[n]～N(0，σ2)?？紤]到N次采樣是獨立的，可得在兩種假設(shè)下觀測矢量x=[x[0]x[1]…

x[N－1]]T的概率密度函數(shù)分別為

這樣似然比為

于是似然比檢驗為兩邊取自然對數(shù)得進一步簡化整理為如下判決規(guī)則:令不等式右邊為新的門限γ′，則(3.3.1)如果采用NP檢測器，門限γ′應(yīng)滿足PFA=α。該檢測器是由一個檢驗統(tǒng)計量T(x)和門限γ′組成的。式(3.3.1)中的檢驗統(tǒng)計量T(x)可理解為根據(jù)信號值對觀測數(shù)據(jù)進行加權(quán)，大的信號樣本采用大的加權(quán)。由于檢驗統(tǒng)計量T(x)把觀測數(shù)據(jù)和信號進行相關(guān)運算，所以稱式(3.3.1)的檢測器為相關(guān)器，如圖3.3(a)所示。檢驗統(tǒng)計量T(x)的另一種解釋是把它和有限沖激響應(yīng)(FIR)濾波器聯(lián)系起來，它可以看做是數(shù)據(jù)x[n]通過單位沖激響應(yīng)為h[n]的FIR濾波器的輸出，其中h[n]=s[N－1－n]，n=0，1,…，N－1。這是因為數(shù)據(jù)通過單位沖激響應(yīng)為h[n]的FIR濾波器的輸出為

假設(shè)n<0，n>N－1，x[n]=0。當h[n]=s[N－1－n]，n=0，1，…，N－1時，輸出為則濾波器在n=N－1時刻的輸出為

即相關(guān)器與h[n]=s[N－1－n]的FIR濾波器在n=N－1時刻等效。由于該濾波器的單位沖激響應(yīng)h[n]與信號相匹配，所以稱該濾波器為匹配濾波器，如圖3.3(b)所示。圖3.3檢測器與匹配濾波器匹配濾波器也可以通過線性時不變系統(tǒng)輸出最大信噪比導(dǎo)出?？紤]含有信號和加性噪聲的接收波形x[n]=s[n]+w[n],n=0，1，…，N－1，其中信號s[n]是確知的，信號的頻譜為(3.3.3)輸入噪聲w[n]是均值為0、方差為σ2的高斯白噪聲，噪聲的相關(guān)函數(shù)為

rw(m)=E(w[n]w[n+m])=σ2δ[m]

(3.3.4)輸入混合波形x[n]=s[n]+w[n]通過線性時不變?yōu)V波器后，輸出的混合波形為y[n]=s0[n]+w0[n]。因為濾波器是線性時不變系統(tǒng)，可分別用線性變換求解輸出信號s0[n]和輸出噪聲w0[n]。假設(shè)線性濾波器的單位沖激響應(yīng)h[n]在區(qū)間[0，N－1]之外為0，在區(qū)間內(nèi)為任意值，則當n=N－1時，輸出為濾波器輸出端的信噪比SNR定義為(3.3.5)匹配濾波器就是使式(3.3.5)的信噪比達到最大值的線性濾波器。它能保證最佳地從噪聲背景中提取信號。為尋求η=ηmax時的線性濾波器，可以利用柯西-許瓦爾茲(Cauchy-Schwartz)不等式求解?？挛?許瓦爾茲不等式簡述如下。設(shè)對列矢量x和y，有下列不等式成立:

(yTx)2≤(yTy)(xTx)

(3.3.6)

當且僅當

y=αx

(3.3.7)

時不等式才可取等號，這里α為任意常數(shù)。

令s=[s[0]s[1]…s[N－1]]T，h=[h[N－1]h[N－2]…h(huán)[0]]T,w=[w[0]w[1]…w[N－1]]T。利用式(3.3.6)，可將式(3.3.5)改寫為

(3.3.8)式中，令ε=sTs為輸入信號的能量，故得(3.3.9)式中，ε/σ2=ηmax為線性濾波器所能給出的最大信噪比。根據(jù)不等式取等號的條件式(3.3.7)，可得當h=αs時，即

h[N－1－n]=αs[n]，n=0，1，…，N－1或等價于當

h[n]=αs[N－1－n]，n=0，1，…，N－1

(3.3.10)時，輸出信噪比最大。式(3.3.10)表明，匹配濾波器的單位沖激響應(yīng)是輸入信號在時間軸上的反轉(zhuǎn)并延時N－1。對于匹配濾波器來說，重要的是匹配濾波器傳輸函數(shù)形狀，而不是相對大小，故可令α=1，即得匹配濾波器的單位脈沖響應(yīng):h[n]=s[N－1－n]。

3.4廣義匹配濾波器

3.3節(jié)中假定觀測噪聲是均值為0的高斯白噪聲WGN，現(xiàn)在討論非白噪聲(即色噪聲)的情況。色噪聲背景下確知信號的匹配濾波器一般稱為廣義匹配濾波器。

對于WGN中的已知信號，匹配濾波器是最優(yōu)檢測器。然而，在多數(shù)情況下噪聲是相關(guān)噪聲，假設(shè)w～N(0，C)，其中C是協(xié)方差矩陣。如果噪聲是寬平穩(wěn)(WideSenseStationary,WSS)的隨機過程，那么C是對稱的Toeplitz矩陣，這是因為對于WSS隨機過程有

[C]mn=cov(w[m]，w[n])=E(w[m]w[n])=rww[m－n]

所以，C的主對角線及與主對角線平行的對角線上的元素都相等。對于非平穩(wěn)噪聲，C是一個任意協(xié)方差矩陣。對于噪聲是WGN的情況，假設(shè)接收到的數(shù)據(jù)是在信號間隔[0，N－1]內(nèi)觀測到的(假設(shè)在間隔以外信號為零)，由于間隔外的噪聲與間隔內(nèi)的噪聲無關(guān)，所以間隔外的數(shù)據(jù)是與檢測無關(guān)的數(shù)據(jù)，故可以忽略。因此假設(shè)觀測間隔為[0，N－1]，檢測性能沒有損失。如果噪聲是相關(guān)噪聲，將信號間隔外的采樣數(shù)據(jù)包括在檢測器中，可提高檢測性能。在下面的討論中，假設(shè)觀測數(shù)據(jù)為x=[x[0]x[1]x[2]…x[N－1]]T。

下面來確定高斯色噪聲下的NP檢測器。假設(shè)在下面兩個假設(shè)中做出選擇:

H0:x[n]=w[n]，n=0，1，…，N－1

H1:x[n]=w[n]+s[n]，n=0，1，…,N－1(3.4.1)在H0假設(shè)下，x～N(0，C)；在H1假設(shè)下，x～N(s，C)。根據(jù)前面的假設(shè)則有似然函數(shù)根據(jù)NP定理中的判決準則，有式中

由于式(3.4.2)中第二項是常數(shù)項，故可以歸在門限中，所以有如果噪聲是WGN，C=σ2I，式(3.4.3)可簡化為或式(3.4.3)判決規(guī)則的檢測器稱做廣義相關(guān)器或廣義匹配濾波器。令修改信號s′=C－1s，因此可得T(x)=xTC－1s=xTs′

(3.4.4)所以，這里是用修改的信號與數(shù)據(jù)進行相關(guān)的。

例3.3

已知如下兩個假設(shè)H0:x[n]=w[n]，n=0，1，…N－1H1:x[n]=w[n]+s[n]，n=0，1，…N－1其中，w[n]為高斯色噪聲，各w[n]互不相關(guān)，且服從w[n]～N(0，σ2n)，試求具有不同方差的不相關(guān)噪聲的檢測統(tǒng)計量。

解:

如果w[n]～N(0，σ2n)，各w[n]互不相關(guān)，那么C=diag(σ20，σ21，…，σ2N－1)，C－1=diag

,于是式(3.4.3)為上式表明，如果某數(shù)據(jù)采樣的方差小，那么就對它進行較大的加權(quán)。對上式進一步整理，則在H1的假設(shè)下有式中，w′[n]=w[n]/σn。由于，Cw′=I，所以色噪聲樣本被預(yù)白化，即使色噪聲w[n]變?yōu)榘自肼晈′[n]。這樣，廣義匹配濾波器首先是預(yù)白化噪聲樣本，在預(yù)白化的過程中，同時也使信號發(fā)生變化，這時信號變?yōu)閟′[n]=s[n]/σn。簡單地說，就是將含有色噪聲的輸入信號x[n]通過一個白化濾波器，使色噪聲變?yōu)榘自肼?。因此，在預(yù)白化后，檢測器相關(guān)的信號應(yīng)是變化的信號s′[n]。于是，廣義匹配濾波器的檢測統(tǒng)計量可表示為式中，x′[n]=x[n]/σn，可把它看做是一個白化濾波器，在它之后是相關(guān)器或匹配濾波器，相關(guān)器的另一個相關(guān)信號是s′[n]，或匹配濾波器與s′[n]相匹配。

下面討論更一般的情況。對于任意正定矩陣C，存在正定C－1，因此，C－1可表示為C－1=DTD,其中D是非奇異N×N矩陣。如在前面的舉例中，D=diag(1/σ20，1/σ21，

…，1/σ2N－1)。于是,檢驗統(tǒng)計量為

T(x)=xTC－1s

=xTDTDs

=x′Ts′式中，x′=Dx，s′=Ds。根據(jù)上式可得廣義匹配濾波器的預(yù)白化形式如圖3.4所示。其中線性變換D稱為預(yù)白化矩陣，它使高斯色噪聲變?yōu)閃GN。這可由下式得到證明。令w′=Dw，那么

Cw′=E(w′w′T)=E(DwwTDT)

=DE(wwT)DT=DCDT

=D(DTD)－1DT=I圖3.4廣義匹配濾波器看做是預(yù)白化器加上相關(guān)器(或匹配濾波器)

3.5最大似然估計

最大似然估計是最常用和最有效的估計方法之一。最大似然估計的基本思想是:在對被估計的未知量(或參數(shù))沒有任何先驗知識的情況下，利用已知的若干觀測值估計該參數(shù)。因此，在使用最大似然估計方法時，被估計的參數(shù)假定是常數(shù)，但未知；而已知的觀測數(shù)據(jù)則是隨機變量。令x1，x2，…，xN是隨機變量x的N個觀測值，{f(x1，x2，…，xN|θ)，θ∈Θ}是給定參數(shù)θ情況下觀測樣本(x1，x2，…，xN)的聯(lián)合條件概率密度函數(shù)。假定聯(lián)合條件概率密度函數(shù)存在且有界，我們來考慮未知(固定)參數(shù)θ的估計問題。當把聯(lián)合條件分布密度函數(shù)f(x1，x2，…，xN|θ)視為真實參數(shù)θ的函數(shù)時，常稱之為似然函數(shù)。所謂似然函數(shù)，就是包含未知參數(shù)θ信息的可能性函數(shù)。最大似然估計就是使似然函數(shù)f(x1，x2，…，xN|θ)最大化的估計值θ。利用數(shù)學(xué)符號，我們將未知參數(shù)θ的最大似然估計記作

^(3.5.1)因此，最大似然估計也可以看做是聯(lián)合條件概率密度函數(shù)f(x1，x2，…，xN|θ)的全局極大點。嚴格來說，f(x1，x2，…，xN|θ)與觀測樣本(x1，x2，…，xN)的任意函數(shù)相乘的結(jié)果都是似然函數(shù)，但在這里，我們只稱聯(lián)合條件概率密度函數(shù)f(x1,x2,…,xN|θ)本身為似然函數(shù)。顯而易見，隨機變量x的不同實現(xiàn)x1,x2,…,xN給出了不同的聯(lián)合條件概率密度函數(shù)f(x1，x2，…，xN|θ)，所以似然函數(shù)的全局極大點與觀測樣本(x1，x2，…，xN)有關(guān)，即最大似然估計與觀測樣本有關(guān)。從這個意義上講，最大似然估計θML是一合理的估計子。

由于對數(shù)函數(shù)是嚴格單調(diào)的，故f(x1,x2,…,xN|θ)的極大點與lnf(x1,x2,…,xN|θ)極大點一致。對數(shù)函數(shù)lnf(x1,x2,…,xN|θ)稱為對數(shù)似然函數(shù),常用來代替似然函數(shù)f(x1,x2,…,xN|θ)。有時也習(xí)慣將lnf(x1,x2,…,xN|θ)簡稱為似然函數(shù)。^為了后面書寫方便，我們令

L(θ)=lnf(x1，x2，…，xN|θ)

(3.5.2)

于是，θ的最大似然估計可以通過令

(3.5.3)求得。在一般情況下，θ是一向量參數(shù)，譬如說θ=[θ1，θ2，…，θp]T，則p個未知參數(shù)的最大似然估計θi，ML由^(3.5.4)，i=1，2，…，p確定。若x1，x2，…，xN是獨立的觀測樣本，則似然函數(shù)可寫作

(3.5.5)在這種情況下，可以通過求解(3.5.6)分別求出，i=1，2，…，p。最大似然估計具有以下性質(zhì):

(1)最大似然估計一般不是無偏估計，但其偏差可以通過對估計值乘某個合適的常數(shù)加以消除；

(2)最大似然估計是一致估計；

(3)最大似然估計給出有效估計，如果它存在的話；

(4)對于大的N，最大似然估計為一高斯分布，并且其均值為θ，方差為

例3.4

令x1，x2，…，xN是服從一個具有概率密度函數(shù)的正態(tài)分布的隨機觀測樣本，試確定均值μ和方差σ2的最大似然估計。

解:

似然函數(shù)是均值μ和方差σ2二者的函數(shù)，故有

從而有分別求L關(guān)于μ和σ2的偏導(dǎo)，然后令偏導(dǎo)為0，得到均值的最大似然估計從可解出

(3.5.7)將其代入，可以解得注意，樣本均值和樣本方差(3.5.8)均值的最大似然估計μML為無偏估計，而方差的最大似然估計σ2ML則是有偏的。但是，若用一常數(shù)N/N－1與σ2ML相乘作為新的估計，則新的估計是無偏的，即原估計σ2ML的偏差可以被消除。^^^^

3.6最小二乘估計

3.6.1最小二乘估計及其性能

在許多應(yīng)用中，未知的參數(shù)向量θ=[θ1,θ2,…,θp]T?？山３上旅娴木仃嚪匠?

Aθ=b

(3.6.1)

式中，A和b分別是與觀測數(shù)據(jù)有關(guān)的系數(shù)矩陣和向量，它們是已知的。這一數(shù)學(xué)模型包括以下三種情況:

(1)未知參數(shù)的個數(shù)與方程個數(shù)相等，且矩陣A非奇異，此時，矩陣方程(3.6.1)稱為適定方程，其解為θ=

A－1b；

(2)矩陣A是一“高矩陣”(行數(shù)多于列數(shù))，即方程個數(shù)多于未知參數(shù)個數(shù)。此時，矩陣方程(3.6.1)稱為超定方程；

(3)矩陣A是一“扁矩陣”(行數(shù)少于列數(shù))，即方程個數(shù)少于未知參數(shù)個數(shù)。此時，矩陣方程(3.6.1)稱為欠定方程。

在譜估計、系統(tǒng)辨識等中的矩陣方程多為超定方程，這正是本節(jié)的討論對象。

為確定參數(shù)估計向量θ[DD(-1][HT5]^[DD)]，我們選擇這樣一種準則:使誤差的平方和(3.6.2)^為最小，所求得的估計稱為最小二乘估計，記作θLS，損失或代價函數(shù)J=eTe，可展開為^

J=θTATAθ+bTb－θTATb－bTAθ^^^^求J=eTe關(guān)于θ的導(dǎo)數(shù)，并令結(jié)果等于0，則有^這表明，最小二乘估計由下式?jīng)Q定:ATAθ=ATb

(3.6.3)這一方程有兩類不同的解:(1)矩陣A秩滿列時，由于ATA非奇異，最小二乘估計由

θLS=(ATA)－1ATb

(3.6.4)唯一確定，此時稱參數(shù)向量θ是唯一可辨識的。^^

(2)矩陣A秩虧缺時，由不同的θ值均能得到相同的Aθ值。因此，雖然向量b可以提供有關(guān)Aθ的某些信息，但我們卻無法區(qū)別對應(yīng)于同一Aθ值的各個不同的θ值。在這個意義上，我們稱參數(shù)向量θ是不可辨識的。更一般地講，如果某參數(shù)的不同值給出在抽樣空間上的相同分布，則稱這一參數(shù)是不可辨識的。

下面的定理表明，當誤差向量的各個分量具有相同的方差，而且各分量不相關(guān)時，最小二乘估計在方差最小的意義上是最優(yōu)的。

定理1

令b是一可表示為b=Aθ+e的隨機向量，其中，

A為N×p矩陣(N>p)，其秩等于p；θ是一未知向量，而e為一誤差向量。若其均值向量E[e]=0,方差矩陣var(e)=σ2I,其中σ2未知，則對線性參數(shù)函數(shù)β=cTθ的任何一個其他的無偏估計子β，恒有E[θLS]=θ,且var(cTθLS)≤var(β)。

證明因為E[e]=0及var(e)=σ2I，故可以得到

E[b]=E[Aθ]+E[e]=Aθ

及

var(b)=var(Aθ+e)=var(Aθ)+var(e)=var(e)=σ2I

因此有

~^^~利用這一結(jié)果，易得

E[cTθLS]=cTE[θLS]=cTθ=β

故cTθLS為無偏估計。由于β是一線性估計子，所以它可以表征為β=wTb，其中w為一常數(shù)向量，又由于β是β的無偏估計子，故對任意θ，可得

wTAθ=wTE[b]=E[wTb]=E[β]=β=cTθ

由此得到wTA=cT。

計算β的方差，則^^^~~~~~類似地