第一章非參數(shù)統(tǒng)計(jì)分析

非參數(shù)統(tǒng)計(jì) 參考書 非參數(shù)統(tǒng)計(jì) 中國(guó)統(tǒng)計(jì)出版社吳喜之 非參數(shù)統(tǒng)計(jì) 人民大學(xué)出版社王星 非參數(shù)統(tǒng)計(jì)講義 北京大學(xué)出版社孫山澤 非參數(shù)統(tǒng)計(jì) 狹義非參數(shù)統(tǒng)計(jì) 非參數(shù)計(jì)量經(jīng)濟(jì)學(xué) 非參數(shù)模型 半?yún)?shù)模型 估計(jì)總體的分布函數(shù)是否等于已知的分布 檢驗(yàn)兩或以上個(gè)總體的分布是否相同 通常是檢驗(yàn)其中位數(shù)是否相等 估計(jì)總體的密度函數(shù)的曲線 但是不能寫出解釋式 第一章非參數(shù)統(tǒng)計(jì)及一些概念 教學(xué)中使用的軟件SPSS和R SPSS的非參數(shù)統(tǒng)計(jì)菜單已經(jīng)比較全面了 SPSS非參數(shù)檢驗(yàn)的過程 Chi Squaretest卡方檢驗(yàn) 檢驗(yàn)總體是否服從某個(gè)給定的離散分布 2 Binomialtest二項(xiàng)分布檢驗(yàn) 檢驗(yàn)總體是否服從二項(xiàng)分布 3 Runstest游程檢驗(yàn) 檢驗(yàn)樣本序列是否隨機(jī) 4 1 SampleKolmogorov Smirnovtest一個(gè)樣本柯爾莫哥洛夫 斯米諾夫檢驗(yàn) 檢驗(yàn)總體是否服從某個(gè)連續(xù)分布 5 2independentSamplesTest兩個(gè)獨(dú)立樣本檢驗(yàn) 檢驗(yàn)兩個(gè)獨(dú)立總體差異性 6 KindependentSamplesTestK個(gè)獨(dú)立樣本檢驗(yàn) 檢驗(yàn)k個(gè)獨(dú)立總體的差異性 7 2relatedSamplesTest兩個(gè)相關(guān)樣本檢驗(yàn) 檢驗(yàn)兩個(gè)相關(guān)總體差異性 8 KrelatedSamplesTestK個(gè)相關(guān)樣本檢驗(yàn) 檢驗(yàn)k個(gè)相關(guān)總體差異性 思考的要點(diǎn)什么是計(jì)數(shù)統(tǒng)計(jì)量 什么是秩統(tǒng)計(jì)量 為什么要討論秩 為什么要討論秩的分布 秩的期望和方差 什么是符號(hào)秩和線性符號(hào)秩 線性符號(hào)秩的期望和方差 第一節(jié)關(guān)于非參數(shù)統(tǒng)計(jì) 在參數(shù)統(tǒng)計(jì)學(xué)中 最基本的概念是總體 樣本 隨機(jī)變量 概率分布 估計(jì)和假設(shè)檢驗(yàn)等 其很大一部分內(nèi)容是建立在正態(tài)分布相關(guān)的理論基礎(chǔ)之上的 總體的分布形式或分布族往往是給定的或者是假定了的 所不知道的僅僅是一些參數(shù)的值 于是 人們的任務(wù)就是對(duì)一些參數(shù) 比如均值和方差 或標(biāo)準(zhǔn)差 進(jìn)行點(diǎn)估計(jì)或區(qū)間估計(jì) 或者是對(duì)某些參數(shù)值進(jìn)行各種檢驗(yàn) 比如檢驗(yàn)正態(tài)分布的均值是否相等或等于零等等 最常見的檢驗(yàn)為對(duì)正態(tài)總體的t 檢驗(yàn) F 檢驗(yàn)和最大似然比檢驗(yàn)等 又比如 線性回歸分析中 需要估計(jì)回歸系數(shù) j j稱為參數(shù) 所以線性回歸分析應(yīng)該屬于參數(shù)統(tǒng)計(jì)的范疇 然而 在實(shí)際生活中 那種對(duì)總體分布的假定并不是能隨便做出的 有時(shí) 數(shù)據(jù)并不是來自所假定分布的總體 或者數(shù)據(jù)根本不是來自一個(gè)總體 數(shù)據(jù)因?yàn)榉N種原因被嚴(yán)重污染 這樣 在假定總體分布的情況下進(jìn)行推斷的做法就可能產(chǎn)生錯(cuò)誤的結(jié)論 于是 人們希望在不假定總體分布的情況下 盡量從數(shù)據(jù)本身來獲得所需要的信息 這就是非參數(shù)統(tǒng)計(jì)的宗旨 因?yàn)榉菂?shù)統(tǒng)計(jì)方法不利用關(guān)于總體分布的相關(guān)信息 所以 就是在對(duì)于總體分布的任何信息都沒有的情況下 它也能很容易而又較為可靠地獲得結(jié)論 這時(shí)非參數(shù)方法往往優(yōu)于參數(shù)方法 在臺(tái)灣這種方法稱為 無母數(shù)統(tǒng)計(jì) 即不知到總體信息的統(tǒng)計(jì)方法 在不知總體分布的情況下如何利用數(shù)據(jù)所包含的信息呢 一組數(shù)據(jù)最基本的信息就是次序 如果可以把數(shù)據(jù)按大小次序排隊(duì) 每一個(gè)具體數(shù)目都有它在整個(gè)數(shù)據(jù)中 從最小的數(shù)起 的位置或次序 稱為該數(shù)據(jù)的秩 rank 數(shù)據(jù)有多少個(gè)觀察值 就有多少個(gè)秩 在一定的假定下 這些秩和秩的統(tǒng)計(jì)量的分布是求得出來的 而且和原來的總體分布無關(guān) 這樣就可以進(jìn)行所需要的統(tǒng)計(jì)推斷 注意 非參數(shù)統(tǒng)計(jì)的名字中的 非參數(shù) nonparametric 意味著其方法不涉及描述總體分布的有關(guān)數(shù)值參數(shù) 均值和方差等 它被稱為和分布無關(guān) distribution free 是因?yàn)槠渫茢喾椒ê涂傮w分布無關(guān) 不應(yīng)理解為與所有分布 例如有關(guān)秩的分布 無關(guān) 例1 在我國(guó)的工業(yè)和商業(yè)企業(yè)中隨機(jī)抽取22家企業(yè)進(jìn)行資產(chǎn)負(fù)債率行業(yè)差異分析 其某年底的資產(chǎn)負(fù)債率 如下 兩個(gè)行業(yè)的負(fù)債水平是否有顯著性差異a 0 05 這樣的數(shù)據(jù)中有兩個(gè)問題 其一是樣本容量不大 其二是總體服從何種分布未知 下面我們來構(gòu)造一種檢驗(yàn)的方法 看他們的資產(chǎn)負(fù)債有無顯著性差異 將兩類企業(yè)的資產(chǎn)負(fù)債混合排序 并給出其序次 這在統(tǒng)計(jì)中稱為 秩 在這張表中我們有兩個(gè)可用的信息 如果我們將12家工業(yè)企業(yè)的秩相加是94 其平均秩是7 88 將10家商業(yè)企業(yè)的秩相加得159 其平均秩為15 9 這就給我們一個(gè)可以考慮的信息 兩種企業(yè)的資產(chǎn)負(fù)債是有差異的 他們的平均秩不同 另一個(gè)想法是好像工業(yè)排的順序相對(duì)靠前 有11111 2 1111 222 111 222222共有6段 相同特點(diǎn)的個(gè)案的一段稱為游程 如果原假設(shè)成立 則兩個(gè)行業(yè)的負(fù)債水平的分布使相同的 將其混合后 應(yīng)能較為充分 均勻地混合 游程數(shù)R應(yīng)該比較大 反之當(dāng)游程數(shù)R較小 則說明兩個(gè)總體的分布可能不同 那么6這個(gè)游程數(shù)是大還是小呢 例2 模擬一個(gè)污染的正態(tài)分布 計(jì)算其樣本均值 但是樣本均值非正態(tài)分布了 這個(gè)分布是以0 8的概率是標(biāo)準(zhǔn)正態(tài)分布 0 2的概率混進(jìn)方差為9的正態(tài)分布 workfileau11000seriesjunzhifor i 1to1000smpl120seriesy1 rndseriesy2 nrndseriesasmplify1 0 8a 9 y2smpl120scalarmean mean a junzhi i meannextsmpl11000junzhi hist 此數(shù)據(jù)的正態(tài)性檢驗(yàn)是非正態(tài) 非參數(shù)統(tǒng)計(jì)歸納起來有如下的三點(diǎn)優(yōu)點(diǎn) 1 對(duì)總體的假定少 2 可以處理許多有問題數(shù)據(jù) 比如污染的正態(tài)分布 有奇異值的情形 3 容易計(jì)算 當(dāng)然如果不去證明統(tǒng)計(jì)量漸近分布 第二節(jié)計(jì)數(shù)統(tǒng)計(jì)量 設(shè)是一個(gè)隨機(jī)變量 對(duì)于一個(gè)給定的常數(shù) 0 定義隨機(jī)變量 稱隨機(jī)變量 為X按 0分段的計(jì)數(shù)統(tǒng)計(jì)量 即滿足括號(hào)里的條件得1 否則得0 一 計(jì)數(shù)統(tǒng)計(jì)量 最常用的計(jì)數(shù)統(tǒng)計(jì)量為 符號(hào)檢驗(yàn) 設(shè)隨機(jī)變量X1 Xn是從某個(gè)總體X中抽出的簡(jiǎn)單隨機(jī)樣本 且分布函數(shù)F X 在X 0是連續(xù)的 假設(shè)檢驗(yàn)問題 即檢驗(yàn)0是其中位數(shù) 檢驗(yàn)的統(tǒng)計(jì)量可以取 二 計(jì)數(shù)統(tǒng)計(jì)量的應(yīng)用 在原假設(shè)為真的條件下 有服從參數(shù)為n和的二項(xiàng)分布b n 0 5 由于原假設(shè)為時(shí) B應(yīng)該不太大 也不太小 如果B太大或太小 應(yīng)該拒絕原假設(shè) 例生產(chǎn)過程是否需要調(diào)整 某企業(yè)生產(chǎn)一種鋼管 規(guī)定長(zhǎng)度的中位數(shù)是l0米 現(xiàn)隨機(jī)地 從正在生產(chǎn)的生產(chǎn)線上選取10根進(jìn)行測(cè)量 結(jié)果 9 8 10 1 9 7 9 9 9 8 10 0 9 7 10 0 9 9 9 8分析 中位數(shù)是這個(gè)問題中所關(guān)心的一個(gè)位置參數(shù) 若產(chǎn)品長(zhǎng)度真正的中位數(shù)大于或小于10米 則生產(chǎn)過程需要調(diào)整 這是一個(gè)雙側(cè)檢驗(yàn) 應(yīng)建立假設(shè)為了對(duì)假設(shè)作出判定 先要得到檢驗(yàn)統(tǒng)計(jì)量或 將調(diào)查得到數(shù)據(jù)分別與10比較 算出各個(gè)符號(hào)的數(shù)目 1 7 n 8 P值 0 0214小于顯著性水平0 05 表明調(diào)查數(shù)據(jù)支持備擇假設(shè) 即生產(chǎn)過程需要調(diào)整 有人說我國(guó)國(guó)有經(jīng)濟(jì)單位15個(gè)行業(yè)的1996年職工平均工資的中位數(shù)為7000元 現(xiàn)從15個(gè)行業(yè)中抽出樣本 如下表所示 在顯著性水平a 0 05下 我國(guó)國(guó)有經(jīng)濟(jì)單位15個(gè)行業(yè)的1996年職工平均工資的中位數(shù)為7000元嗎 因?yàn)?故接受原假設(shè) 某自選商場(chǎng)的失竊金額在12個(gè)月的逐月記錄 單位 萬元 經(jīng)理向董事會(huì)說月中位數(shù)為10萬元以上 在顯著性水平0 05下 檢驗(yàn)是否失竊值在10萬元以下 接受原假設(shè) 即平均為10萬元以上 第二節(jié)秩統(tǒng)計(jì)量 設(shè)來自總體X的樣本 記為樣本點(diǎn)的秩 即 Ri為大于等于的的個(gè)數(shù) 一 秩統(tǒng)計(jì)量 二 秩統(tǒng)計(jì)量的分布和數(shù)字特征 的聯(lián)合分布為 的概率分布為 Ri的數(shù)學(xué)期望 Ri的方差 Ri和Rj的協(xié)方差 由于 所以 一 絕對(duì)秩和符號(hào)秩 設(shè)隨機(jī)變量X1 X2 Xn相互獨(dú)立同分布 分布函數(shù)F x 連續(xù) 關(guān)于y軸為對(duì)稱 隨機(jī)變量 X1 X2 Xn 對(duì)應(yīng)的秩向量記為 稱為Xi的絕對(duì)秩 稱為Xi的符號(hào)絕對(duì)秩 第四節(jié)線性符號(hào)秩統(tǒng)計(jì)量 若X是連續(xù)的隨機(jī)變量 分布關(guān)于Y軸為對(duì)稱 則隨機(jī)變量 X 與計(jì)數(shù)統(tǒng)計(jì)量 x 相互獨(dú)立 事實(shí)上 對(duì)于t 0 i 1或i 0 顯然有 對(duì)于t 0 有 因?yàn)?x關(guān)于0為對(duì)稱 則 根據(jù)隨機(jī)變量獨(dú)立的充分必要條件 可知二者是獨(dú)立的 同理可證 在結(jié)論下 我們有如下結(jié)論 設(shè)隨機(jī)變量X1 X2 Xn相互獨(dú)立同分布 分布函數(shù)F x 連續(xù) 關(guān)于y軸為對(duì)稱 其絕對(duì)秩向量 計(jì)數(shù)統(tǒng)計(jì)量 二者相互獨(dú)立 二 符號(hào)秩統(tǒng)計(jì)量擴(kuò)展 若隨機(jī)變量X1 X2 Xn相互獨(dú)立且同連續(xù)的分布 分布關(guān)于軸為對(duì)稱 其對(duì)應(yīng)的符號(hào)秩 Wilcoxon符號(hào)秩統(tǒng)計(jì)量 三 線性秩統(tǒng)計(jì)量 一 線性秩序統(tǒng)計(jì)量的定義 設(shè)X1 X2 XN為N個(gè)隨機(jī)變量 其對(duì)應(yīng)的秩向量記為 又設(shè) 1 2 N 和c 1 c 2 c N 是兩組數(shù) 組內(nèi)的N個(gè)數(shù)不全相等 定義統(tǒng)計(jì)量為 S稱為線性秩統(tǒng)計(jì)量 1 2 N 被稱為分值 c 1 c 2 c N 被稱為回歸常數(shù) 例二樣本問題 隨機(jī)變量X1 X2 Xm相互獨(dú)立同分布 分布函數(shù)為F x 隨機(jī)變量y1 y2 yn相互獨(dú)立同分布 分布函數(shù)為G y 混合樣本X1 X2 Xm和y1 y2 yn對(duì)應(yīng)的秩向量 記為 取兩組常數(shù) 若取兩組數(shù)為 則 S為Y總體樣本中 觀測(cè)值大于混合中位數(shù)me的個(gè)數(shù) 設(shè)a 1 a 2 a N 是一組 若秩向量 在集合 上均勻分布 二 線性秩統(tǒng)計(jì)量的數(shù)字特征 有 定理1 線性秩統(tǒng)計(jì)量的數(shù)字特征 設(shè)a 1 a 2 a N 是一組 若秩向量 在集合 上均勻分布 則線性秩統(tǒng)計(jì)量 有數(shù)學(xué)期望 定理2 線性秩統(tǒng)計(jì)量的數(shù)字特征 有方差 其中 證明 例設(shè)X1 X2 X3 Xm Y1 Yn為樣本 對(duì)秩和統(tǒng)計(jì)量 如 等于0或1 視或否 有 三 線性秩統(tǒng)計(jì)量的應(yīng)