非參數(shù)統(tǒng)計(jì)分析

非參數(shù)統(tǒng)計(jì)分析參考書《非參數(shù)統(tǒng)計(jì)》中國統(tǒng)計(jì)出版社吳喜之《非參數(shù)統(tǒng)計(jì)》人民大學(xué)出版社王星《非參數(shù)統(tǒng)計(jì)講義》北京大學(xué)出版社孫山澤第2頁,共61頁，2024年2月25日，星期天非參數(shù)統(tǒng)計(jì)狹義非參數(shù)統(tǒng)計(jì)非參數(shù)計(jì)量經(jīng)濟(jì)學(xué)非參數(shù)模型半?yún)?shù)模型估計(jì)總體的分布函數(shù)是否等于已知的分布檢驗(yàn)兩或以上個(gè)總體的分布是否相同，通常是檢驗(yàn)其中位數(shù)是否相等估計(jì)總體的密度函數(shù)的曲線，但是不能寫出解釋式第3頁,共61頁，2024年2月25日，星期天第一章非參數(shù)統(tǒng)計(jì)及一些概念第4頁,共61頁，2024年2月25日，星期天教學(xué)中使用的軟件SPSS和R。SPSS的非參數(shù)統(tǒng)計(jì)菜單已經(jīng)比較全面了。第5頁,共61頁，2024年2月25日，星期天SPSS非參數(shù)檢驗(yàn)的過程Chi-Squaretest卡方檢驗(yàn)（檢驗(yàn)總體是否服從某個(gè)給定的離散分布）2.Binomialtest二項(xiàng)分布檢驗(yàn)（檢驗(yàn)總體是否服從二項(xiàng)分布）3.

Runstest游程檢驗(yàn)（檢驗(yàn)樣本序列是否隨機(jī)）4.

1-SampleKolmogorov-Smirnovtest一個(gè)樣本柯爾莫哥洛夫-斯米諾夫檢驗(yàn)（檢驗(yàn)總體是否服從某個(gè)連續(xù)分布）第6頁,共61頁，2024年2月25日，星期天5.

2independentSamplesTest兩個(gè)獨(dú)立樣本檢驗(yàn)（檢驗(yàn)兩個(gè)獨(dú)立總體差異性）6.

KindependentSamplesTestK個(gè)獨(dú)立樣本檢驗(yàn)（檢驗(yàn)k個(gè)獨(dú)立總體的差異性）7.

2relatedSamplesTest兩個(gè)相關(guān)樣本檢驗(yàn)（檢驗(yàn)兩個(gè)相關(guān)總體差異性）8.

KrelatedSamplesTestK個(gè)相關(guān)樣本檢驗(yàn)（檢驗(yàn)k個(gè)相關(guān)總體差異性）第7頁,共61頁，2024年2月25日，星期天思考的要點(diǎn)什么是計(jì)數(shù)統(tǒng)計(jì)量；什么是秩統(tǒng)計(jì)量，為什么要討論秩；為什么要討論秩的分布、秩的期望和方差；什么是符號(hào)秩和線性符號(hào)秩；線性符號(hào)秩的期望和方差。第8頁,共61頁，2024年2月25日，星期天第一節(jié)關(guān)于非參數(shù)統(tǒng)計(jì)在參數(shù)統(tǒng)計(jì)學(xué)中，最基本的概念是總體、樣本、隨機(jī)變量、概率分布、估計(jì)和假設(shè)檢驗(yàn)等。其很大一部分內(nèi)容是建立在正態(tài)分布相關(guān)的理論基礎(chǔ)之上的。總體的分布形式或分布族往往是給定的或者是假定了的，所不知道的僅僅是一些參數(shù)的值。于是，人們的任務(wù)就是對(duì)一些參數(shù)，比如均值和方差(或標(biāo)準(zhǔn)差)，進(jìn)行點(diǎn)估計(jì)或區(qū)間估計(jì)，或者是對(duì)某些參數(shù)值進(jìn)行各種檢驗(yàn)，比如檢驗(yàn)正態(tài)分布的均值是否相等或等于零等等．最常見的檢驗(yàn)為對(duì)正態(tài)總體的t—檢驗(yàn)、F—檢驗(yàn)和最大似然比檢驗(yàn)等。又比如，線性回歸分析中，需要估計(jì)回歸系數(shù)

j，j稱為參數(shù)，所以線性回歸分析應(yīng)該屬于參數(shù)統(tǒng)計(jì)的范疇。第9頁,共61頁，2024年2月25日，星期天

然而，在實(shí)際生活中，那種對(duì)總體分布的假定并不是能隨便做出的。有時(shí)，數(shù)據(jù)并不是來自所假定分布的總體。或者數(shù)據(jù)根本不是來自一個(gè)總體，數(shù)據(jù)因?yàn)榉N種原因被嚴(yán)重污染。這樣，在假定總體分布的情況下進(jìn)行推斷的做法就可能產(chǎn)生錯(cuò)誤的結(jié)論。于是，人們希望在不假定總體分布的情況下，盡量從數(shù)據(jù)本身來獲得所需要的信息。這就是非參數(shù)統(tǒng)計(jì)的宗旨。因?yàn)榉菂?shù)統(tǒng)計(jì)方法不利用關(guān)于總體分布的相關(guān)信息，所以，就是在對(duì)于總體分布的任何信息都沒有的情況下，它也能很容易而又較為可靠地獲得結(jié)論。這時(shí)非參數(shù)方法往往優(yōu)于參數(shù)方法。在臺(tái)灣這種方法稱為“無母數(shù)統(tǒng)計(jì)”，即不知到總體信息的統(tǒng)計(jì)方法。第10頁,共61頁，2024年2月25日，星期天

在不知總體分布的情況下如何利用數(shù)據(jù)所包含的信息呢?一組數(shù)據(jù)最基本的信息就是次序。如果可以把數(shù)據(jù)按大小次序排隊(duì)，每一個(gè)具體數(shù)目都有它在整個(gè)數(shù)據(jù)中(從最小的數(shù)起)的位置或次序，稱為該數(shù)據(jù)的秩(rank)。數(shù)據(jù)有多少個(gè)觀察值，就有多少個(gè)秩。在一定的假定下，這些秩和秩的統(tǒng)計(jì)量的分布是求得出來的，而且和原來的總體分布無關(guān)。這樣就可以進(jìn)行所需要的統(tǒng)計(jì)推斷。注意：非參數(shù)統(tǒng)計(jì)的名字中的“非參數(shù)(nonparametric)”意味著其方法不涉及描述總體分布的有關(guān)數(shù)值參數(shù)（均值和方差等）；它被稱為和分布無關(guān)(distribution—free)，是因?yàn)槠渫茢喾椒ê涂傮w分布無關(guān)；不應(yīng)理解為與所有分布(例如有關(guān)秩的分布)無關(guān)。

第11頁,共61頁，2024年2月25日，星期天【例1】在我國的工業(yè)和商業(yè)企業(yè)中隨機(jī)抽取22家企業(yè)進(jìn)行資產(chǎn)負(fù)債率行業(yè)差異分析，其某年底的資產(chǎn)負(fù)債率（％）如下：工業(yè)647655825982707561647383商業(yè)77808065939184918486

兩個(gè)行業(yè)的負(fù)債水平是否有顯著性差異a=0.05。這樣的數(shù)據(jù)中有兩個(gè)問題：

其一是樣本容量不大；

其二是總體服從何種分布未知。下面我們來構(gòu)造一種檢驗(yàn)的方法，看他們的資產(chǎn)負(fù)債有無顯著性差異。第12頁,共61頁，2024年2月25日，星期天將兩類企業(yè)的資產(chǎn)負(fù)債混合排序，并給出其序次，這在統(tǒng)計(jì)中稱為“秩”。在這張表中我們有兩個(gè)可用的信息。負(fù)債率5559616464657073757677秩1234567891011組別11111211112負(fù)債率8080828283848486919193秩1213141516171819202122組別22111222222第13頁,共61頁，2024年2月25日，星期天

如果我們將12家工業(yè)企業(yè)的秩相加是94，其平均秩是7.88，將10家商業(yè)企業(yè)的秩相加得159，其平均秩為15.9，這就給我們一個(gè)可以考慮的信息，兩種企業(yè)的資產(chǎn)負(fù)債是有差異的。他們的平均秩不同。另一個(gè)想法是好像工業(yè)排的順序相對(duì)靠前，有11111，2，1111，222，111，222222共有6段（相同特點(diǎn)的個(gè)案的一段稱為游程）。如果原假設(shè)成立，則兩個(gè)行業(yè)的負(fù)債水平的分布使相同的，將其混合后，應(yīng)能較為充分、均勻地混合，游程數(shù)R應(yīng)該比較大，反之當(dāng)游程數(shù)R較小，則說明兩個(gè)總體的分布可能不同。那么6這個(gè)游程數(shù)是大還是小呢？第14頁,共61頁，2024年2月25日，星期天

【例2】模擬一個(gè)污染的正態(tài)分布，計(jì)算其樣本均值，但是樣本均值非正態(tài)分布了。這個(gè)分布是以0.8的概率是標(biāo)準(zhǔn)正態(tài)分布，0.2的概率混進(jìn)方差為9的正態(tài)分布。workfileau11000seriesjunzhi

for!i=1to1000smpl120seriesy1=rndseriesy2=nrndseriesasmplify1<0.8a=y2smplify1>=0.8a=9*y2smpl120scalarmean=@mean(a)junzhi(!i)=meannextsmpl11000junzhi.hist第15頁,共61頁，2024年2月25日，星期天此數(shù)據(jù)的正態(tài)性檢驗(yàn)是非正態(tài)。第16頁,共61頁，2024年2月25日，星期天非參數(shù)統(tǒng)計(jì)歸納起來有如下的三點(diǎn)優(yōu)點(diǎn)：

1.對(duì)總體的假定少；

2.可以處理許多有問題數(shù)據(jù)，比如污染的正態(tài)分布，有奇異值的情形；

3.容易計(jì)算，當(dāng)然如果不去證明統(tǒng)計(jì)量漸近分布。第17頁,共61頁，2024年2月25日，星期天第二節(jié)計(jì)數(shù)統(tǒng)計(jì)量

設(shè)是一個(gè)隨機(jī)變量，對(duì)于一個(gè)給定的常數(shù)

0，定義隨機(jī)變量稱隨機(jī)變量

為X按0分段的計(jì)數(shù)統(tǒng)計(jì)量。即滿足括號(hào)里的條件得1，否則得0。一、計(jì)數(shù)統(tǒng)計(jì)量

第18頁,共61頁，2024年2月25日，星期天最常用的計(jì)數(shù)統(tǒng)計(jì)量為符號(hào)檢驗(yàn)。設(shè)隨機(jī)變量X1，…，Xn是從某個(gè)總體X中抽出的簡單隨機(jī)樣本。且分布函數(shù)F(X)在X=0是連續(xù)的。假設(shè)檢驗(yàn)問題，即檢驗(yàn)0是其中位數(shù)。檢驗(yàn)的統(tǒng)計(jì)量可以取二、計(jì)數(shù)統(tǒng)計(jì)量的應(yīng)用在原假設(shè)為真的條件下，有服從參數(shù)為n和的二項(xiàng)分布b(n,0.5)。由于原假設(shè)為時(shí)，B應(yīng)該不太大，也不太小，如果B太大或太小，應(yīng)該拒絕原假設(shè)。第19頁,共61頁，2024年2月25日，星期天例生產(chǎn)過程是否需要調(diào)整。某企業(yè)生產(chǎn)一種鋼管，規(guī)定長度的中位數(shù)是l0米?，F(xiàn)隨機(jī)地：從正在生產(chǎn)的生產(chǎn)線上選取10根進(jìn)行測量，結(jié)果：9.8,10.1,9.7,9.9,9.8,10.0,9.7,10.0,9.9,9.8分析：中位數(shù)是這個(gè)問題中所關(guān)心的一個(gè)位置參數(shù)。若產(chǎn)品長度真正的中位數(shù)大于或小于10米，則生產(chǎn)過程需要調(diào)整。這是一個(gè)雙側(cè)檢驗(yàn)，應(yīng)建立假設(shè)為了對(duì)假設(shè)作出判定，先要得到檢驗(yàn)統(tǒng)計(jì)量或。將調(diào)查得到數(shù)據(jù)分別與10比較，算出各個(gè)符號(hào)的數(shù)目：=1，=7，n=8。P值=0.0214小于顯著性水平0.05。表明調(diào)查數(shù)據(jù)支持備擇假設(shè)。即生產(chǎn)過程需要調(diào)整。第20頁,共61頁，2024年2月25日，星期天有人說我國國有經(jīng)濟(jì)單位15個(gè)行業(yè)的1996年職工平均工資的中位數(shù)為7000元?，F(xiàn)從15個(gè)行業(yè)中抽出樣本，如下表所示。

40384940579861616344661066956709--------6769699278977987854686798701--+++++在顯著性水平a=0.05下，我國國有經(jīng)濟(jì)單位15個(gè)行業(yè)的1996年職工平均工資的中位數(shù)為7000元嗎？因?yàn)?，，故接受原假設(shè)。第21頁,共61頁，2024年2月25日，星期天

某自選商場的失竊金額在12個(gè)月的逐月記錄（單位：萬元）。經(jīng)理向董事會(huì)說月中位數(shù)為10萬元以上。在顯著性水平0.05下，檢驗(yàn)是否失竊值在10萬元以下。3.6710.56102320.8611.3314.37-+++++12.6911.968.1616.5211.5813.50++-+++接受原假設(shè)，即平均為10萬元以上.第22頁,共61頁，2024年2月25日，星期天第二節(jié)秩統(tǒng)計(jì)量

設(shè)來自總體X的樣本，記為樣本點(diǎn)的秩，即Ri為大于等于的的個(gè)數(shù)。一、秩統(tǒng)計(jì)量

第23頁,共61頁，2024年2月25日，星期天Xi5.61.42.75.22.64.82.3X(i)1.42.32.62.74.85.25.6Ri1234567第24頁,共61頁，2024年2月25日，星期天二、秩統(tǒng)計(jì)量的分布和數(shù)字特征

的聯(lián)合分布為:的概率分布為第25頁,共61頁，2024年2月25日，星期天

Ri的數(shù)學(xué)期望：第26頁,共61頁，2024年2月25日，星期天

Ri的方差：第27頁,共61頁，2024年2月25日，星期天Ri和Rj的協(xié)方差由于所以第28頁,共61頁，2024年2月25日，星期天第29頁,共61頁，2024年2月25日，星期天一、絕對(duì)秩和符號(hào)秩設(shè)隨機(jī)變量X1，X2，…，Xn

相互獨(dú)立同分布，分布函數(shù)F(x)連續(xù)，關(guān)于y軸為對(duì)稱。隨機(jī)變量|X1|，|X2|，…，|Xn|對(duì)應(yīng)的秩向量記為稱為Xi的絕對(duì)秩稱為Xi的符號(hào)絕對(duì)秩第四節(jié)線性符號(hào)秩統(tǒng)計(jì)量第30頁,共61頁，2024年2月25日，星期天若X是連續(xù)的隨機(jī)變量，分布關(guān)于Y軸為對(duì)稱，則隨機(jī)變量|X|與計(jì)數(shù)統(tǒng)計(jì)量

(x)相互獨(dú)立。第31頁,共61頁，2024年2月25日，星期天事實(shí)上，對(duì)于t0，i=1或i=0，顯然有對(duì)于t>0，有因?yàn)椋瑇關(guān)于0為對(duì)稱，則第32頁,共61頁，2024年2月25日，星期天根據(jù)隨機(jī)變量獨(dú)立的充分必要條件，可知二者是獨(dú)立的，同理可證在結(jié)論下，我們有如下結(jié)論。第33頁,共61頁，2024年2月25日，星期天設(shè)隨機(jī)變量X1，X2，…，Xn

相互獨(dú)立同分布，分布函數(shù)F(x)連續(xù)，關(guān)于y軸為對(duì)稱。其絕對(duì)秩向量計(jì)數(shù)統(tǒng)計(jì)量二者相互獨(dú)立。第34頁,共61頁，2024年2月25日，星期天二、符號(hào)秩統(tǒng)計(jì)量擴(kuò)展若隨機(jī)變量X1,X2,…,Xn相互獨(dú)立且同連續(xù)的分布，分布關(guān)于軸為對(duì)稱。其對(duì)應(yīng)的符號(hào)秩Wilcoxon符號(hào)秩統(tǒng)計(jì)量第35頁,共61頁，2024年2月25日，星期天第36頁,共61頁，2024年2月25日，星期天第37頁,共61頁，2024年2月25日，星期天第38頁,共61頁，2024年2月25日，星期天

第39頁,共61頁，2024年2月25日，星期天三、線性秩統(tǒng)計(jì)量（一）線性秩序統(tǒng)計(jì)量的定義設(shè)X1，X2，

，XN為N個(gè)隨機(jī)變量，其對(duì)應(yīng)的秩向量記為：又設(shè)α(1),α(2),

,α(N)和c(1),c(2),

,c(N)是兩組數(shù)，組內(nèi)的N個(gè)數(shù)不全相等。定義統(tǒng)計(jì)量為

第40頁,共61頁，2024年2月25日，星期天

S稱為線性秩統(tǒng)計(jì)量，α(1),α(2),

,α(N)被稱為分值，c(1),c(2),

,c(N)被稱為回歸常數(shù)。

例二樣本問題。隨機(jī)變量X1，X2，

，Xm相互獨(dú)立同分布，分布函數(shù)為F(x)；隨機(jī)變量y1，y2，

，yn相互獨(dú)立同分布，分布函數(shù)為G(y)?；旌蠘颖綳1，X2，

，Xm和y1，y2，

，yn對(duì)應(yīng)的秩向量，記為第41頁,共61頁，2024年2月25日，星期天取兩組常數(shù)第42頁,共61頁，2024年2月25日，星期天若取兩組數(shù)為：第43頁,共61頁，2024年2月25日，星期天則S為Y總體樣本中，觀測值大于混合中位數(shù)me的個(gè)數(shù)。第44頁,共61頁，2024年2月25日，星期天設(shè)a(1),a(2),

,a(N)

是一組，若秩向量在集合

上均勻分布（二）線性秩統(tǒng)計(jì)量的數(shù)字特征有定理1（線性秩統(tǒng)計(jì)量的數(shù)字特征）第45頁,共61頁，2024年2月25日，星期天第46頁,共61頁，2024年2月25日，星期天第47頁,共61頁，2024年2月25日，星期天第48頁,共61頁，2024年2月25日，星期天設(shè)a(1),a(2),

,a(N)是一組，若秩向量在集合

上均勻分布，則線性秩統(tǒng)計(jì)量有數(shù)學(xué)期望定理2（線性秩統(tǒng)計(jì)量的數(shù)字特征）第49頁,共61頁，2024年2月25日，星期天有方差其中第50頁,共61頁，20