多傳感器信息融合Ch21(參數(shù)估計(jì))(第3講)剖析課件

1、第二章 參數(shù)估計(jì)2.1 參數(shù)估計(jì)的基本概念與方法1第1頁(yè)，共49頁(yè)。目錄1 參數(shù)估計(jì)的基本概念2 參數(shù)估計(jì)的常見方法 2.1 矩估計(jì)法 2.2 極大似然估計(jì) 2.3 極大后驗(yàn)概率估計(jì) 2.4 最小二乘估計(jì) 2.5 最小均方誤差估計(jì)2第2頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本概念 參數(shù)(parameter)：針對(duì)靜態(tài)系統(tǒng)，指的是不隨時(shí)間變化的量（或者變化很小的量） 狀態(tài)(state): 針對(duì)動(dòng)態(tài)系統(tǒng)，隨時(shí)間變化的量3第3頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本概念參數(shù)估計(jì)是指用樣本指標(biāo)(稱為統(tǒng)計(jì)量)估計(jì)總體指標(biāo)(稱為參數(shù))。用樣本均數(shù)估計(jì)總體均數(shù)以及用樣本率估計(jì)總體率。 4第4頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本概念假設(shè)x為

2、被估計(jì)的參數(shù)，給定測(cè)量值：找到一個(gè)測(cè)量值的函數(shù)：其中：此函數(shù)即為對(duì)參數(shù)x的估計(jì)估計(jì)誤差為：5第5頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本概念點(diǎn)估計(jì)：用一個(gè)數(shù)來估計(jì)參數(shù)點(diǎn)估計(jì)是依據(jù)樣本估計(jì)總體分布中所含的未知參數(shù)或未知參數(shù)的函數(shù)。通常它們是總體的某個(gè)特征值，如數(shù)學(xué)期望、方差和相關(guān)系數(shù)等。點(diǎn)估計(jì)問題就是要構(gòu)造一個(gè)只依賴于樣本的量，作為未知參數(shù)或未知參數(shù)的函數(shù)的估計(jì)值。例1：6第6頁(yè)，共49頁(yè)。例如，設(shè)一批產(chǎn)品的廢品率為。為估計(jì)，從這批產(chǎn)品中隨機(jī)地抽出n個(gè)作檢查，以X記其中的廢品個(gè)數(shù)，用X/n估計(jì)，這就是一個(gè)點(diǎn)估計(jì)。 7第7頁(yè)，共49頁(yè)。要估計(jì)某班學(xué)生的平均身高，假設(shè)平均身高為x。對(duì)學(xué)生身高進(jìn)行5次抽樣，設(shè)這5

3、個(gè)數(shù)是: 1.65 1.67 1.68 1.78 1.69。如果估計(jì)x為1.69，這是對(duì)身高的點(diǎn)估計(jì)如果估計(jì)x以90%的概率在1.67,1.72，這是對(duì)身高的區(qū)間估計(jì)8第8頁(yè)，共49頁(yè)。構(gòu)造點(diǎn)估計(jì)常用的方法是： 矩估計(jì)法。用樣本矩估計(jì)總體矩，如用樣本均值估計(jì)總體均值。 最大似然估計(jì)法。于1912年由英國(guó)統(tǒng)計(jì)學(xué)家R.A.費(fèi)希爾提出，利用樣本分布密度構(gòu)造似然函數(shù)來求出參數(shù)的最大似然估計(jì)。 最小二乘法。主要用于線性統(tǒng)計(jì)模型中的參數(shù)估計(jì)問題。 9第9頁(yè)，共49頁(yè)。貝葉斯估計(jì)法?；谪惾~斯學(xué)派(見貝葉斯統(tǒng)計(jì))的觀點(diǎn)而提出的估計(jì)法。可以用來估計(jì)未知參數(shù)的估計(jì)量很多，于是產(chǎn)生了怎樣選擇一個(gè)優(yōu)良估計(jì)量的問題。

4、首先必須對(duì)優(yōu)良性定出準(zhǔn)則，這種準(zhǔn)則是不唯一的，可以根據(jù)實(shí)際問題和理論研究的方便進(jìn)行選擇。優(yōu)良性準(zhǔn)則有兩大類：一類是小樣本準(zhǔn)則，即在樣本大小固定時(shí)的優(yōu)良性準(zhǔn)則；另一類是大樣本準(zhǔn)則，即在樣本大小趨于無窮時(shí)的優(yōu)良性準(zhǔn)則。10第10頁(yè)，共49頁(yè)。區(qū)間估計(jì)：用一個(gè)區(qū)間來估計(jì)參數(shù)區(qū)間估計(jì)是依據(jù)抽取的樣本，根據(jù)一定的正確度與精確度的要求，構(gòu)造出適當(dāng)?shù)膮^(qū)間，作為總體分布的未知參數(shù)或參數(shù)的函數(shù)的真值所在范圍的估計(jì)。例如人們常說的有百分之多少的把握保證某值在某個(gè)范圍內(nèi)，即是區(qū)間估計(jì)的最簡(jiǎn)單的應(yīng)用。1934年統(tǒng)計(jì)學(xué)家 J.奈曼創(chuàng)立了一種嚴(yán)格的區(qū)間估計(jì)理論。求置信區(qū)間常用的三種方法：利用已知的抽樣分布。利用區(qū)間估計(jì)與

5、假設(shè)檢驗(yàn)的聯(lián)系。利用大樣本理論。 11第11頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本方法（1）矩估計(jì)法基本思想：用樣本的k階原點(diǎn)矩估計(jì)整體的k階原點(diǎn)矩，用樣本的k階中心距估計(jì)整體的k階中心距12第12頁(yè)，共49頁(yè)。一、矩的概念 矩( moment )分為原點(diǎn)矩和中心矩兩種。 對(duì)于樣本y1,y2,yn，各觀測(cè)值的k次方的平均值，稱為樣本的k階原點(diǎn)矩，記為 ，有 , 用觀測(cè)值減去平均數(shù)得到的離均差的k次方的平均數(shù)稱為樣本的k階中心矩, 記為 或 ，有 。 對(duì)于總體y1,y2,yN，各觀測(cè)值的k次方的平均值，稱為總體的k階原點(diǎn)矩，記為 ，有 ；用觀測(cè)值減去平均數(shù)得到的離均差的k次方的平均數(shù)稱為總體的k階中心矩，

6、記為 或 ，有 13第13頁(yè)，共49頁(yè)。二、矩法及矩估計(jì)量 所謂矩法就是利用樣本各階原點(diǎn)矩來估計(jì)總體相應(yīng)各階原點(diǎn)矩的方法，即 (86) 也可以用樣本各階原點(diǎn)矩的函數(shù)來估計(jì)總體各階原點(diǎn)矩同一函數(shù)，即若Q=f ( E(y),E(y2),E(yk) ) , 則由此得到的估計(jì)量稱為矩估計(jì)量。14第14頁(yè)，共49頁(yè)。設(shè)連續(xù)型隨機(jī)變量X的分布函數(shù)為 F(x)=(x-a)/(b-a)，axb則稱隨機(jī)變量X服從a,b上的均勻分布， 記為XUa,b。若x1,x2是a,b的任一子區(qū)間，則 Px1xx2=(x2-x1)/(b-a)均勻分布的期望為（a+b）/2，方差為（b-a）2/1215第15頁(yè)，共49頁(yè)。某類型

7、電子元器件壽命服從均勻分布 Z U (0, ) ， 是未知參數(shù)， Z1，Zn是一組樣本，求 的矩估計(jì)。例2：解：16第16頁(yè)，共49頁(yè)。例3：某類型電子元器件壽命服從均勻分布 Z U (1,2 ) ， 1， 2是未知參數(shù)， Z1，Zn是一組樣本，均值為 ,方差為 求1， 2 的矩估計(jì)。17第17頁(yè)，共49頁(yè)。解：18第18頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本方法（2）極大似然估計(jì)基本思想： 在取得若干個(gè)觀測(cè)數(shù)據(jù)之后,應(yīng)選擇這樣的數(shù)值作為參數(shù)的估計(jì)：當(dāng)未知參數(shù)取這一個(gè)數(shù)值時(shí),得到上述觀測(cè)數(shù)據(jù)的可能性最大.19第19頁(yè)，共49頁(yè)。 極大似然法 所謂極大似然法( maximum likelihood met

8、hod )是值選擇使事件發(fā)生概率最大的可能情況的參數(shù)估計(jì)方法。 極大似然法包括二個(gè)步驟： (1)建立包括有該參數(shù)估計(jì)量的似然函數(shù)( likelihood function ) (2)根據(jù)實(shí)驗(yàn)數(shù)據(jù)求出似然函數(shù)達(dá)極值時(shí)的參數(shù)估計(jì)量或估計(jì)值。 20第20頁(yè)，共49頁(yè)。l 思想方法極大似然法的想法是，一隨機(jī)試驗(yàn)已知有若干個(gè)結(jié)果，如果在一次試驗(yàn)中發(fā)生了，則可認(rèn)為當(dāng)時(shí)的條件最有利于發(fā)生，故應(yīng)如此選擇分布的參數(shù)，使發(fā)生的概率最大.引例21第21頁(yè)，共49頁(yè)。似然函數(shù)設(shè) 為含參數(shù)的總體的樣本. 當(dāng)是離散型時(shí),設(shè)其概率分布為 ,令 ,稱為似然函數(shù),其實(shí)質(zhì)就是樣本出現(xiàn)的概率 .22第22頁(yè)，共49頁(yè)。23第23頁(yè)

9、，共49頁(yè)。定義似然函數(shù)(Likelihood Function)為：極大似然（Maximum Likelihood)估計(jì)的定義為：24第24頁(yè)，共49頁(yè)。似然函數(shù)的意義：(1). 如果總體是離散的，則它是樣本聯(lián)合分布律；(2). 如果總體是連續(xù)的，則它是樣本聯(lián)合密度函數(shù)。求解時(shí)，一般有兩種方法：（1）定義法（2）對(duì)似然函數(shù)的對(duì)數(shù)求導(dǎo)，得出似然方程，讓似然方程等于0，從而求出參數(shù)25第25頁(yè)，共49頁(yè)。例4：x是含有額外測(cè)量噪聲的未知參數(shù)，噪聲服從高斯分布，z為對(duì)參數(shù)的單次觀測(cè)求參數(shù)x的極大似然估計(jì)。解：26第26頁(yè)，共49頁(yè)。例5：x是含有額外測(cè)量噪聲的未知參數(shù)，噪聲服從高斯分布，z(j)為

10、對(duì)參數(shù)x的第j次觀測(cè)求參數(shù)x的極大似然估計(jì)。27第27頁(yè)，共49頁(yè)。答案：28第28頁(yè)，共49頁(yè)。設(shè)總體 ，求參數(shù) 的最大似然估計(jì)量 . 設(shè) 是總體 的樣本， 例6：29第29頁(yè)，共49頁(yè)。解：每一個(gè)樣本的密度函數(shù)為：似然函數(shù)為：30第30頁(yè)，共49頁(yè)。31第31頁(yè)，共49頁(yè)。解方程得：32第32頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本方法（3）極大后驗(yàn)概率估計(jì)基本思想： 針對(duì)隨機(jī)參數(shù)估計(jì)問題，通過最大化后驗(yàn)概率分布函數(shù)得出33第33頁(yè)，共49頁(yè)。應(yīng)用條件：參數(shù)是一個(gè)具有先驗(yàn)概率分布函數(shù)為p(x)的隨機(jī)變量。假設(shè)通過已知的p(x)得到x的一個(gè)實(shí)現(xiàn)已經(jīng)發(fā)生；這個(gè)先驗(yàn)概率在測(cè)量的過程中保持不變。 基本工具：貝

11、葉斯公式34第34頁(yè)，共49頁(yè)。全概率公式：P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + . + P(A|Bn)*P(Bn). 例6：高射炮向某敵機(jī)發(fā)射三發(fā)炮彈，每彈擊中與否相互獨(dú)立且每發(fā)炮彈擊中的概率均為0.3，又知敵機(jī)若中一彈，墜毀的概率為0.2，若中兩彈，墜毀的概率為0.6，若中三彈，敵機(jī)必墜毀。求敵機(jī)墜毀的概率。 35第35頁(yè)，共49頁(yè)。解：A=敵機(jī)墜毀，Bi=敵機(jī)中i彈P(B0)=0.343, P(B1)=0.441, P(B2)=0.189, P(B3)=0.027P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + P(A|B3)*

12、P(B3) =0. 2*0.441+0.6*0.189+1*0.027 =0.228636第36頁(yè)，共49頁(yè)。例7：P(Bi|A)=P(A|Bi)*P(Bi)/P(A) 接例5，已知敵機(jī)墜毀，請(qǐng)問敵機(jī)是中2彈墜毀的概率是多少？貝葉斯公式：37第37頁(yè)，共49頁(yè)。P(B2|A)= P(A|B2)*P(B2)/P(A) =0.6*0.189/0.2286 =0.496解：38第38頁(yè)，共49頁(yè)。針對(duì)分布函數(shù)的貝葉斯公式為：極大后驗(yàn)（Maximum A Posteriori）估計(jì)為：39第39頁(yè)，共49頁(yè)。接例4，已知x的先驗(yàn)分布為求x的極大后驗(yàn)估計(jì)例8：解：此式可以等效為：40第40頁(yè)，共49頁(yè)。其中：因此：41第41頁(yè)，共49頁(yè)。另一種變形：42第42頁(yè)，共49頁(yè)。參數(shù)估計(jì)的基本方法（4）最小二乘估計(jì)基本思想：使估計(jì)誤差的平方和最小43第43頁(yè)，共49頁(yè)。針對(duì)如下問題：最小二乘（Least Squares）估計(jì)公式為：44第44頁(yè)，共49頁(yè)。例9：針對(duì)以下參數(shù)估計(jì)問題：如果噪聲為0均值的高斯白噪聲，證明：在此情況下最小二乘估計(jì)與極大似然估計(jì)是等價(jià)的45第45頁(yè)，共49頁(yè)。證明：根據(jù)極大似然估計(jì)和最小二乘估計(jì)的定義，它們是等價(jià)的46第46頁(yè)