第10章：參數(shù)模型的檢驗和選擇

第10章參數(shù)模型的檢驗和選擇

【考試內(nèi)容】

10.1引言

10.2模型的直觀選擇

數(shù)據(jù)與模型的表示密度函數(shù)與分布函數(shù)的圖像比較

p-p圖和Q-Q圖比較平均剩余壽命函數(shù)圖

10.3分布的擬合優(yōu)度檢驗

擬合優(yōu)度檢驗

K-S檢驗

Anderson-Darling檢驗似然比檢驗

10.4最優(yōu)模型的選擇

主觀判斷法評分法

【要點詳解】

§10.1引言

一般來說，對模型的篩選將經(jīng)歷如下的過程：第一：被選模型與實際數(shù)據(jù)圖形上的直觀比較和篩選；第二：用統(tǒng)計學方法對模型分布函數(shù)與經(jīng)驗分布函數(shù)進行檢驗(如擬合優(yōu)度檢驗、K-S檢驗、Anderson-Darling檢驗等)；最后：由一定的標準進行模型選擇(常用主觀判斷法和評分法)。

§10.2模型的直觀選擇

1．數(shù)據(jù)與模型的表示

本章中只討論在同一點截斷或刪失數(shù)據(jù)。假設(shè)數(shù)據(jù)集的截斷點是t，則經(jīng)驗分布的起始點也是t。為了和經(jīng)驗值進行比較，使用的模型必須是截斷的。因此，截斷后的模型表示為：其中F(x)、f(x)表示沒有截斷的模型。

2．密度函數(shù)與分布函數(shù)的圖像比較

（1）對模型擬合程度最直接的檢驗方法是做圖。一般選用經(jīng)驗分布圖(卵形圖)、直方圖、核密度圖等與備選模型的分布函數(shù)或密度函數(shù)圖進行比較。當模型與樣本的分布圖像比較接近時，可以使用該函數(shù)擬合樣本數(shù)據(jù)。如果差異較大，超出了可以接受的范圍，則認為不能使用該函數(shù)進行擬合。（2）當模型的分布函數(shù)和經(jīng)驗分布函數(shù)很接近時，很難從圖像上分辨出細徽的差別?？梢灾苯赢嫵鰞蓚€函數(shù)差值的圖像。也就是說，如果Fn(x)和F*(x)分別表示經(jīng)驗分布函數(shù)和由模型得到的分布函數(shù)，畫出D(x)=Fn(x)－F*(x)的圖像即可。

3．p-p圖和Q-Q圖比較

（1）p-p圖

①p-p圖（概率圖）：是根據(jù)變量的經(jīng)驗分布與指定分布的累積分布函數(shù)之間的關(guān)系所繪制的圖形。可以檢驗數(shù)據(jù)是否符合指定的分布。

②p-p圖檢驗數(shù)據(jù)的步驟首先將觀測值排序xl≤…≤xn；再對每個值構(gòu)造坐標(Fn(xj)，F(xiàn)*(xj))；最后將每個坐標對應(yīng)的點畫在(Fn(x)，F(xiàn)n*(x))的平面上。

③p-p圖檢驗的結(jié)果分析當數(shù)據(jù)符合指定分布時，p-p圖中各點近似呈一條45°直線。但是，在這種情況下，必須對經(jīng)驗分布函數(shù)的定義有所修改。如果p-p圖中各點不呈直線，但有一定規(guī)律，則可以對變量數(shù)據(jù)進行轉(zhuǎn)換，便轉(zhuǎn)換后的數(shù)據(jù)更接近指定分布。（2）Q-Q圖

Q-Q圖是用樣本數(shù)據(jù)的經(jīng)驗分位數(shù)與所指定分布的分位數(shù)之間的關(guān)系曲線來進行檢驗的。（3）p-p圖和Q-Q圖分析注意事項當分析p-p圖和Q-Q圖時，最好不要用嚴格的標準去衡量這些數(shù)據(jù)是否在一條直線上，通常只要看這些點是否近似在一條直線上即可。另外，當判斷概率圖上的點是否近似在一條直線上時，對樣本點中兩端的點可以不用關(guān)注，除非這些點偏離直線特別遠，但是當有一個樣本點偏離直線特別遠，而其他樣本點又基本近似在直線上時，偏離直線的那個樣本點則視為離群點，不用考慮。

4．平均剩余壽命函數(shù)圖

（1）平均剩余壽命函數(shù)平均剩余壽命函數(shù)考慮的是數(shù)據(jù)在尾部的情況，其定義為：

e(d)=E[X-d|X>d]如果平均剩余壽命函數(shù)隨d遞增，那么在變量取值較大處的期望結(jié)果會很大，因此概率向右移，說明其尾部相比那些平均剩余壽命函數(shù)遞減或增速較慢的模型更厚。反之，如果平均剩余壽命函數(shù)隨d遞減，說明X的分布是輕尾分布。（2）平均剩余壽命函數(shù)圖

通過樣本平均剩余壽命函數(shù)圖觀察樣本數(shù)據(jù)的尾部特征。使用經(jīng)驗估計二來代替e(d)，有：如果平均剩余壽命函數(shù)圖呈現(xiàn)上升的趨勢，說明樣本的損失分布是一個明顯的厚尾分布；而如果呈現(xiàn)下降的趨勢則是輕尾分布；指數(shù)分布的平均超額函數(shù)圖近似為一條水平的直線。

§10.3分布的擬合優(yōu)度檢驗

在假設(shè)檢驗中，先要設(shè)定原假設(shè)和備選假設(shè)：

H0：數(shù)據(jù)來源于某個給定的總體；

H1：數(shù)據(jù)并非來源于給定的總體。針對原假設(shè)的不同，有兩種處理的方式。如果原假設(shè)中給出了完整的模型，檢驗臨界值可以較為容易地得出；如果原假設(shè)僅僅指明了模型的類型，而模型中仍含有待定的參數(shù)，如果模型的參數(shù)是通過樣本數(shù)據(jù)估計得出，這時的檢驗統(tǒng)計量要比事先給定模型時的統(tǒng)計量要小。通常統(tǒng)計量較大時容易拒絕原假設(shè)，因此這種近似增加了犯第二類錯誤的概率，同時減小了犯第一類錯誤的概率。針對第二種情況，通過將樣本隨機分組的方式避免近似。將樣本隨機分為兩部分，一部分進行參數(shù)估計，另一部分進行假設(shè)檢驗。當模型選定之后，又重新將所有數(shù)據(jù)用于參數(shù)估計。

1．擬合優(yōu)度檢驗

擬合優(yōu)度檢驗常用于離散分布的情況，如果是連續(xù)分布則需要把數(shù)據(jù)分成多個區(qū)間來考慮。（1）擬合優(yōu)度檢驗驗的步驟

①選定任意k-l個值使得t=c0<c1<c2<c3<c4<…<ck=∞，其中t為左截斷點(如果沒有截斷則t=0)。記為觀測值落在(cj-1，cj]區(qū)間中的概率。

注意：每組包括組上限，即左端是開區(qū)間、右端是閉區(qū)間。類似地，記pnj=Fn(cj)－Fn(cj-1)為由經(jīng)驗分布得到的(cj-1，cj]區(qū)間中的概率。

②構(gòu)造

檢驗統(tǒng)計量為：其中n為樣本量。若令為區(qū)間中觀測值個數(shù)的期望值，并令Oj=npnj

為區(qū)間中的實際觀測個數(shù)。此時有：當觀測值n的值充分大時，統(tǒng)計量Q的分布會收斂于自由度為k-1-m的

分布，m為模型中待估參數(shù)的個數(shù)。如果計算得到的Q大于臨界值，則拒絕原假設(shè)，表明原假設(shè)中的分布不能擬合樣本數(shù)據(jù)。否則，無法拒絕原假設(shè)。這里通常取0.05。（2）擬合優(yōu)度檢驗中，一定要滿足：樣本容量n要足夠大、Ej不太小這兩個條件。為提高模型估計的精度，通常認為Ej的值不小于5，總體的樣本數(shù)據(jù)不小于50，否則需要將個數(shù)較少的組合并，以滿足這個要求。

【例題10.1】對150名投保人，從簽訂保單受益憑證開始觀察，直到其身故，且沒有刪失觀測值，有21人在第1年身故，有27人在第2年身故，有39人在第3年，另有63人在第4年。考慮原假設(shè)為生存模型

在5%的顯著性水平下，進行擬合優(yōu)度檢驗，則統(tǒng)計量的值為（）。

A．2.85

B．3.15

C．3.35

D．3.65

E．3.95

【答案】D

【解析】根據(jù)生存模型，可知，計算結(jié)果如下表所示。即統(tǒng)計量的值為3.65。

【例題10.2】一年內(nèi)每天發(fā)生的事故數(shù)分布如下表所示，考慮如下的假設(shè)檢驗：數(shù)據(jù)來自均值為0.6的Poisson分布，將數(shù)據(jù)分為盡可能多的組，并保證每個組期望的觀測數(shù)至少為5。采用擬合優(yōu)度檢驗，則統(tǒng)計量的值為（）。

A．1.3698

B．2.8778

C．3.3659

D．3.9847

E．4.8778

【答案】B

【解析】根據(jù)題目要求，將數(shù)據(jù)分成4組，即將事故數(shù)目為3，4，5的合并成一組。計算相應(yīng)的值，得到下表。所以由上表可知統(tǒng)計量的值為2.8778。

2．K-S檢驗（1）K-S檢驗用來檢驗單一樣本是否來自某一特定分布，這個檢驗的思想是：雖然Y1，Y2，…，Yn的分布未知，但根據(jù)大樣本理論，Y1，Y2，…，Yn的經(jīng)驗分布函數(shù)Fn(x)在某種意義下收斂于其真實的分布，所以可以把Fn(x)與所假設(shè)的分布函數(shù)F*(x)作比較，看它們是否吻合。如果它們不能很好地吻合，就拒絕H0，即未知的真實分布函數(shù)不是由F*(x)給定的。（2）K-S檢驗統(tǒng)計量令t為左截斷點(如果沒有截斷則t=0)，u為右刪失點(如果沒有刪失則u=∞)。這時檢驗統(tǒng)計量為：注意：為確保Fn(x)有定義，這個統(tǒng)計量只適用于個體數(shù)據(jù)，且要求F*(x)在對應(yīng)區(qū)間上是連續(xù)的。（3）如果已知一個樣本觀測值xl，…，xn，則Dn為F*(x)與Fn(x)差距的最大值為：①用來表示被檢驗的實際偏差度量，其中n為樣本數(shù)。②當n→∞時，若F*(x)的函數(shù)形式完全給定，Y的近似分布為：③若F*(x)的形式已知，參數(shù)由數(shù)據(jù)估計，偏差度量將取得與前面結(jié)果不同的概率值，在這種情況下則需要對Y進行修正。

【例題10.3】某隨機變量的5個觀測分別為1，2，3，5，13，原假設(shè)：f（x）=2x-2e-2/x，x>0，則K-S檢驗統(tǒng)計量Dn的值為（）。A．0.039B．0.209C．0.168D．0.397E．0.351【答案】C【解析】根據(jù)原假設(shè)下隨機變量的密度函數(shù)可得分布函數(shù)為：則K-S統(tǒng)計量計算結(jié)果如下表所示。所以K-S統(tǒng)計量Dn的值為0.168。

【例題10.4】一個來自總體X的樣本包含12個數(shù)據(jù)：7、12、15、19、26、27、29、29、30、33、38、53。假設(shè)數(shù)據(jù)在32處刪失，并使用參數(shù)為的指數(shù)分布擬合這組數(shù)據(jù)，則對應(yīng)的K-S檢驗統(tǒng)計量的值為（

）。A．0.1865B．0.2146C．0.2298D．0.3132E．0.3369【答案】D【解析】對于此數(shù)據(jù)，刪失后分布為：將經(jīng)驗分布函數(shù)和估計分布列表，如下表所示。由上表可以看出K-S統(tǒng)計量的值為0.3132。

3．Anderson-Darling檢驗（1）Anderson-Darling檢驗統(tǒng)計量是Fn(x)和分布F*(x)之間偏差的平方的加權(quán)期望值，權(quán)重是Fn(x)方差的倒數(shù)，即：其中：t為左截斷點(如果沒有截斷則t=0)，u為右刪失點(如果沒有刪失則u=∞)。注意：當x接近于t或u時，分母很小，從而權(quán)重較大，因此這個統(tǒng)計量更加看重尾部的估計。（2）Anderson-Darling檢驗統(tǒng)計量對于個體數(shù)據(jù)來說，積分形式如下：當t=0，u=∞時，上式與下面公式等價：

【例題10.5】一個來自服從參數(shù)=15的指數(shù)分布的總體的樣本包含8個數(shù)據(jù)：3、4、8、10、12、18、22、35，則求Anderson-Darling統(tǒng)計量的值為（

）。A．0.304B．0.310C．0.321D．0.340E．0.354【答案】A【解析】由=15可得，原假設(shè)的分布函數(shù)為：，則Anderson-Darling統(tǒng)計量與計算結(jié)果如下表所示。從而根據(jù)統(tǒng)計量的公式：可以算得A2=0.304。

4．似然比檢驗（1）似然比檢驗考慮的是兩個分布的比較。該檢驗的原假設(shè)和備選假設(shè)分別為：H0：數(shù)據(jù)來自服從A分布的總體；H1：數(shù)據(jù)來自服從B分布的總體。注意：為了能夠進行正規(guī)的假設(shè)檢驗，A分布必須是B分布的一種特殊情形。（2）似然函數(shù)及統(tǒng)計量對于給定的樣本xl，x2，…，xn，似然函數(shù)定義為：統(tǒng)計量定義為：稱LR為似然比。LR的分子是參數(shù)沒有被約束的似然函數(shù)最大值，分母是參數(shù)被約束時的最大值。顯然有：LR≥1。在一定正則的條件下，Yn=2lnLR在原假設(shè)下以χ2分布為極限分布，參數(shù)為k-r，k為沒有被約束的參數(shù)個數(shù)，r為被約束的參數(shù)個數(shù)。若，為已知參數(shù)，則r=0。若Yn大于置信水平為α臨界值c，則拒絕原假設(shè)，即認為。

【例題10.6】用200份賠付數(shù)據(jù)擬合一個帕累托分布，給定：（1）對應(yīng)的極大似然估計是（2）以極大似然估計值算得的對數(shù)似然函數(shù)值是-817.92；。若使用似然比檢驗對原假設(shè)進行檢驗，則檢驗統(tǒng)計量的值為（

）。A．3B．4.6C．7D．7.7E．8.1【答案】D【解析】帕累托分布的密度函數(shù)和似然函數(shù)分別為：對數(shù)似然函數(shù)值為：在原假設(shè)下，所以似然比統(tǒng)計量為：

【例題10.7】韋伯分布的密度函數(shù)為來自服從韋伯分布的總體的樣本如下：595、700、789、799、1109。已知在θ和τ的極大似然估計點，∑ln（f（xi））=-33.05。當τ=2時，θ的極大似然估計是816.7。用似然比檢驗做一下檢驗H0：τ=2，H1：τ≠2，則在5%的顯著水平下和在2.5%的顯著水平下分別是（

）。A．無法拒絕原假設(shè)，拒絕原假設(shè)

B．拒絕原假設(shè)，無法拒絕原假設(shè)

C．無法拒絕原假