調(diào)查中的復(fù)雜樣本

關(guān)于調(diào)查中的復(fù)雜樣本第一頁(yè)，共103頁(yè)幻燈片第一節(jié)概述重抽樣（復(fù)制樣本），泰勒級(jí)數(shù)，廣義方差函數(shù)典型抽樣方法？復(fù)雜設(shè)計(jì)：多種抽樣方法結(jié)合，多種抽樣框復(fù)雜估計(jì)：非線性，無(wú)回答調(diào)整，加權(quán)估計(jì)，事后分層第二頁(yè)，共103頁(yè)幻燈片第二節(jié)隨機(jī)組法一.什么是隨機(jī)組法（RandomGroupMethod)

不同的名稱：

replicatesamples重復(fù)樣本

ultimatecluster末級(jí)群交叉樣本等

不同的術(shù)語(yǔ)來(lái)自于不同的應(yīng)用。第三頁(yè)，共103頁(yè)幻燈片第四頁(yè)，共103頁(yè)幻燈片第五頁(yè)，共103頁(yè)幻燈片第六頁(yè)，共103頁(yè)幻燈片無(wú)偏估計(jì)第七頁(yè)，共103頁(yè)幻燈片第八頁(yè)，共103頁(yè)幻燈片全樣本估計(jì)第九頁(yè)，共103頁(yè)幻燈片保守估計(jì)第十頁(yè)，共103頁(yè)幻燈片第十一頁(yè)，共103頁(yè)幻燈片第十二頁(yè)，共103頁(yè)幻燈片利用隨機(jī)組方法估計(jì)拒答率及其方差樣本樣本拒答戶數(shù)合格調(diào)查戶數(shù)拒答戶數(shù)合格調(diào)查戶數(shù)城區(qū)S1S2拒答戶數(shù)合格調(diào)查戶數(shù)拒答戶數(shù)合格調(diào)查戶數(shù)141150371492401493014833814538150總計(jì)119444105447第十三頁(yè)，共103頁(yè)幻燈片第十四頁(yè)，共103頁(yè)幻燈片172個(gè)抽屜64張卡片，卡片可能是可能是合同汽車旅館、飯店、空白卡片等1．總體中約有5000個(gè)合同汽車旅館，并準(zhǔn)備抽取約700個(gè)單元作總樣本，這樣，總抽樣比約為700/5000，即約7個(gè)里面抽1個(gè)。所以，每一個(gè)抽屜都各增加6張空白卡片，這樣每個(gè)抽屜都有70張卡片。2．從每一個(gè)抽屜中隨機(jī)抽取一張卡片，組成一個(gè)172張卡片的樣本。抽樣在不同的抽屜中是互相獨(dú)立的。

3．按照第2步的方法有放回地再抽取9個(gè)樣本，10個(gè)樣本(或隨機(jī)組)互相獨(dú)立。

4．結(jié)果有854個(gè)汽車旅館被抽入總樣本，向每一個(gè)單元寄一張調(diào)查表。其他單元不是合同汽車放館，不屬于被調(diào)查總體。沒(méi)有單元被重復(fù)觀測(cè)。

5．10天后，對(duì)無(wú)回答的單元第二次寄調(diào)查表，再過(guò)一星期第三次寄調(diào)查表。如果一個(gè)單元24天后仍無(wú)返回調(diào)查表，就被認(rèn)為是無(wú)回答者。

6．將無(wú)回答者按隨機(jī)組的數(shù)字順序排列，并從每3個(gè)相鄰組中隨機(jī)抽選一個(gè)。忽略對(duì)隨機(jī)組估計(jì)量獨(dú)立性的破壞。第十五頁(yè)，共103頁(yè)幻燈片第十六頁(yè)，共103頁(yè)幻燈片第十七頁(yè)，共103頁(yè)幻燈片總數(shù)第十八頁(yè)，共103頁(yè)幻燈片=70×(16+3×1)=1330權(quán)數(shù)：入樣概率倒數(shù)

=70×94=6580

第一隨機(jī)組中回答者和無(wú)回答者子樣本的求和第十九頁(yè)，共103頁(yè)幻燈片第二十頁(yè)，共103頁(yè)幻燈片第二十一頁(yè)，共103頁(yè)幻燈片實(shí)際應(yīng)用中很難實(shí)現(xiàn)多次有放回抽樣，而是把一次樣本隨機(jī)分為k個(gè)隨機(jī)組，所以隨機(jī)組相互不獨(dú)立第二十二頁(yè)，共103頁(yè)幻燈片第二十三頁(yè)，共103頁(yè)幻燈片4多階段抽樣：來(lái)自同一初級(jí)抽樣單元（PSU）的所有基本樣本單元的集合：末級(jí)群。隨機(jī)組是通過(guò)將所有末級(jí)群分成組而得到的，具體的劃分方法根據(jù)第一階抽樣方法而定。5如果采用的是二重抽樣，則應(yīng)將第一重樣本劃分成個(gè)隨機(jī)組；而第二重樣本則被相應(yīng)地分成隨機(jī)組，即第二重樣本單元所在的隨機(jī)組完全由第一次劃分時(shí)決定。第二十四頁(yè)，共103頁(yè)幻燈片第二十五頁(yè)，共103頁(yè)幻燈片第二十六頁(yè)，共103頁(yè)幻燈片第二十七頁(yè)，共103頁(yè)幻燈片在許多大規(guī)模調(diào)查中偏差通常都不會(huì)很大第二十八頁(yè)，共103頁(yè)幻燈片隨機(jī)組問(wèn)題的討論涉及兩個(gè)主要問(wèn)題：

1.估計(jì)量的方差

2.估計(jì)量方差的精度，即對(duì)隨機(jī)組方差估計(jì)的質(zhì)量評(píng)估。

第二十九頁(yè)，共103頁(yè)幻燈片第三十頁(yè)，共103頁(yè)幻燈片當(dāng)N，n很大，抽樣比很小時(shí)，也可用于不獨(dú)立隨機(jī)組第三十一頁(yè)，共103頁(yè)幻燈片（1）峰度第三十二頁(yè)，共103頁(yè)幻燈片由（1）式看出，近似地反比于隨機(jī)組個(gè)數(shù)K定理說(shuō)明CV依賴于兩個(gè)因素，和K1.K小，CV則大2.大，CV也大第三十三頁(yè)，共103頁(yè)幻燈片說(shuō)明，方差的隨機(jī)組估計(jì)的精度，不但依賴k，而且與的分布（從而與）有關(guān)。令m=n/k，如取采用有放回簡(jiǎn)單隨機(jī)抽樣，取為a組的樣本均值，則

第三十四頁(yè)，共103頁(yè)幻燈片這時(shí)若抽樣方式為放回PPS抽樣，取為第a組的總體總和的估計(jì)量，則第三十五頁(yè)，共103頁(yè)幻燈片第三十六頁(yè)，共103頁(yè)幻燈片上述兩種形式蘊(yùn)含了這樣一個(gè)事實(shí)，從本質(zhì)上講，的形式。m從1開始增長(zhǎng)時(shí)，峰度明顯減少，但隨m越來(lái)越大，峰度的遞減作用減少，因此對(duì)越來(lái)越大的m，峰度的邊際遞減不足以彌補(bǔ)必要的k的遞減，K對(duì)減少CV和提高方差估計(jì)精度比組容量m更重要。第三十七頁(yè)，共103頁(yè)幻燈片第三十八頁(yè)，共103頁(yè)幻燈片要滿足需要的精度水平

需要什么樣的m和k?估計(jì)聽取專家意見根據(jù)經(jīng)驗(yàn)判斷K增長(zhǎng)時(shí)費(fèi)用會(huì)增加，因此最優(yōu)k的選擇應(yīng)該在費(fèi)用約束下尋找第三十九頁(yè)，共103頁(yè)幻燈片總結(jié)：randomgroupmethods優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單，適用面廣適于多參數(shù)、非參數(shù)問(wèn)題，適于分中位數(shù)等非平滑函數(shù)，也可用于非抽樣誤差加權(quán)調(diào)整后的方差估計(jì)。缺點(diǎn)：隨機(jī)組數(shù)目一般較少，方差估計(jì)不穩(wěn)定，一般至少10個(gè)隨機(jī)組。隨機(jī)組的產(chǎn)生較困難：要求機(jī)制與復(fù)雜抽樣相同，而且限制隨機(jī)組數(shù)目，如每層2個(gè)PSU第四十頁(yè)，共103頁(yè)幻燈片ResamplingandreplicationmethodsSampling：“population”Subsamples（WR）：估計(jì)方差BanlancedRepeatedReplicationJacknifebootstrap第四十一頁(yè)，共103頁(yè)幻燈片半樣本法:50年代末美國(guó)普查局的W.N.赫維茨和M.格尼平衡半樣本法:麥卡錫BanlancedRepeatedReplication第四十二頁(yè)，共103頁(yè)幻燈片第三節(jié)平衡半樣本方法半樣本基本原理每層只抽兩個(gè)單元的分層抽樣隨機(jī)組方法第四十三頁(yè)，共103頁(yè)幻燈片隨機(jī)組缺點(diǎn)？由于僅僅一個(gè)自由度，其穩(wěn)定性比標(biāo)準(zhǔn)估計(jì)量差半樣本：從每層抽取一個(gè)單元形成半樣本，總共可能出現(xiàn)？個(gè)半樣本半樣本之間是彼此相關(guān)的第四十四頁(yè)，共103頁(yè)幻燈片半樣本估計(jì)量=1，如果第h層中第一個(gè)單元被選入第個(gè)半樣本；

=0，否則。第四十五頁(yè)，共103頁(yè)幻燈片半樣本估計(jì)量的性質(zhì)第四十六頁(yè)，共103頁(yè)幻燈片平衡半樣本

一個(gè)小的半樣本子集（k）盡量保留所有的信息滿足該條件的k個(gè)半樣本為平衡半樣本完全正交平衡（fullorthogonalbalance）半樣本滿足該條件的平衡半樣本稱為完全正交平衡半樣本第四十七頁(yè)，共103頁(yè)幻燈片第四十八頁(yè)，共103頁(yè)幻燈片完全正交平衡半樣本：k的選擇應(yīng)該是大于L的4的最小整數(shù)倍半樣本層12341+1+1+1-12-1+1-1-13-1-1+1-14+1-1-1-1第四十九頁(yè)，共103頁(yè)幻燈片部分平衡半樣本

假設(shè)有L層，采用K組半樣本

L層可分為G群各群用同樣方法構(gòu)造正交列半樣本層12341+1+1+1+12+1-1+1-1部分平衡半樣本的方差估計(jì)量雖然不如完全平衡半樣本精確，但也是無(wú)偏的。第五十頁(yè)，共103頁(yè)幻燈片用于多階段抽樣在L層中的每一層初級(jí)抽樣單元（PSU）都是按放回的抽樣抽取的第五十一頁(yè)，共103頁(yè)幻燈片用于非線性估計(jì)對(duì)于非線性估計(jì)量，一般和是不等的，但多數(shù)調(diào)查實(shí)踐中兩者非常接近第五十二頁(yè)，共103頁(yè)幻燈片推廣nh=1nh〉2第五十三頁(yè)，共103頁(yè)幻燈片第四節(jié)Jackknife方法Pseudovalue第五十四頁(yè)，共103頁(yè)幻燈片第五十五頁(yè)，共103頁(yè)幻燈片第五十六頁(yè)，共103頁(yè)幻燈片第五十七頁(yè)，共103頁(yè)幻燈片第五十八頁(yè)，共103頁(yè)幻燈片第五十九頁(yè)，共103頁(yè)幻燈片第六十頁(yè)，共103頁(yè)幻燈片第六十一頁(yè)，共103頁(yè)幻燈片第六十二頁(yè)，共103頁(yè)幻燈片第六十三頁(yè)，共103頁(yè)幻燈片PPS例前面srs+wr例當(dāng)k=n時(shí)，由于第j個(gè)虛擬值為平均值中的第j個(gè)變量，因此有第六十四頁(yè)，共103頁(yè)幻燈片第六十五頁(yè)，共103頁(yè)幻燈片第六十六頁(yè)，共103頁(yè)幻燈片第六十七頁(yè)，共103頁(yè)幻燈片第六十八頁(yè)，共103頁(yè)幻燈片第六十九頁(yè)，共103頁(yè)幻燈片第七十頁(yè)，共103頁(yè)幻燈片

Jackknife的虛擬值為

Jackknife的估計(jì)量為在非線性估計(jì)條件下，第七十一頁(yè)，共103頁(yè)幻燈片第七十二頁(yè)，共103頁(yè)幻燈片第七十三頁(yè)，共103頁(yè)幻燈片第七十四頁(yè)，共103頁(yè)幻燈片第七十五頁(yè)，共103頁(yè)幻燈片第七十六頁(yè)，共103頁(yè)幻燈片拒答率案例第七十七頁(yè)，共103頁(yè)幻燈片第五節(jié)其他方法簡(jiǎn)介第七十八頁(yè)，共103頁(yè)幻燈片一、bootstrap(Efron,1979)SRS,n,”population”,resamples，假設(shè)S是一個(gè)容量為n的簡(jiǎn)單隨機(jī)樣本；將S視為總體，從中再抽取重復(fù)樣本。如果樣本與總體確實(shí)相似——如果樣本的經(jīng)驗(yàn)概率密度函數(shù)（epmf）與總體的概率密度函數(shù)相似——那么從經(jīng)驗(yàn)概率密度函數(shù)中產(chǎn)生的樣本應(yīng)該與從總體中抽取的樣本表現(xiàn)出相同的特性。WR，WOR優(yōu)勢(shì)：非平滑函數(shù)，方便的構(gòu)造置信區(qū)間第七十九頁(yè)，共103頁(yè)幻燈片第八十頁(yè)，共103頁(yè)幻燈片例利用文件ht.srs中的樣本，用bootstrap方法估計(jì)身高中位數(shù)的方差?？傮w中身高的中位數(shù)是168；而ht.srs中樣本中位數(shù)是169?？傮w概率密度函數(shù)與樣本柱狀圖有相同的形狀，因此預(yù)期從S中放回地抽取容量為n的簡(jiǎn)單隨機(jī)樣本，與從總體中放回地抽取的簡(jiǎn)單隨機(jī)樣本是類似的。從S中抽取的重復(fù)樣本可能與S并不完全一致，因?yàn)橹貜?fù)樣本是放回的——S中的有些觀測(cè)值可能在重復(fù)樣本中多次出現(xiàn)，有些觀測(cè)值卻從未被抽到過(guò)。第八十一頁(yè)，共103頁(yè)幻燈片一共從S中抽取R=2000個(gè)重復(fù)樣本（n=200），分別計(jì)算每個(gè)樣本的中位數(shù)，得到2000個(gè)樣本中位數(shù)的頻數(shù)表：這2000個(gè)值的樣本均值為169.3，樣本方差為0.9148(方差的bootstrap估計(jì)量)。中位數(shù)的95％置信區(qū)間為[167.5,171]。直接利用bootstrap估計(jì)出的抽樣分布，確定bootstrap分布的2.5百分位數(shù)和97.5百分位數(shù)，就可以得到95%的置信區(qū)間。中位數(shù)165166166.5167167.5168168.5169169.5170170.5171171.5172頻數(shù)1524015268877391114914418854第八十二頁(yè)，共103頁(yè)幻燈片初始簡(jiǎn)單隨機(jī)樣本是無(wú)放回Gross（1980）建議生成個(gè)樣本的復(fù)制，以此作為“虛擬的總體”，再?gòu)奶摂M總體中無(wú)放回地抽取R個(gè)簡(jiǎn)單隨機(jī)樣本。如果很小，那么放回與無(wú)放回的bootstrap分布應(yīng)該相差不大。第八十三頁(yè)，共103頁(yè)幻燈片復(fù)雜抽樣中bootstrap方法，Rao和Wu（1988）從第h層的樣本中放回地抽取一個(gè)容量為的簡(jiǎn)單隨機(jī)樣本。各層的抽樣獨(dú)立進(jìn)行。對(duì)于每個(gè)重復(fù)樣本r，生成一個(gè)新的權(quán)數(shù)變量其中是觀測(cè)單元i被選入重復(fù)樣本的次數(shù)。利用新的權(quán)數(shù)來(lái)計(jì)算。將第1、2步重復(fù)R次，R應(yīng)該是一個(gè)很大的數(shù)。計(jì)算第八十四頁(yè)，共103頁(yè)幻燈片二、Generalizedvariancefunction(GVFs)1990，NCVS，估計(jì)某種犯罪受害者人數(shù)t20-24歲第八十五頁(yè)，共103頁(yè)幻燈片1990年搶劫總次數(shù)的估計(jì)值為800510次；該估計(jì)的標(biāo)準(zhǔn)差是如果對(duì)于不同的估計(jì)量有近似的設(shè)計(jì)效應(yīng)（deff），第八十六頁(yè)，共103頁(yè)幻燈片構(gòu)建廣義方差函數(shù)的一般步驟：

使用復(fù)制或其他方法，估計(jì)感興趣的k個(gè)總體總量（）的方差。令相對(duì)方差=構(gòu)建一個(gè)模型。＝利用回歸技術(shù)估計(jì)和。Valliant（1987）建議采用加權(quán)最小二乘方法估計(jì)這兩個(gè)參數(shù)，并為較小的項(xiàng)目賦予較大的權(quán)數(shù)。第八十七頁(yè)，共103頁(yè)幻燈片優(yōu)點(diǎn)

在公布信息不充分的情況下可以用GVF來(lái)直接計(jì)算標(biāo)準(zhǔn)差。廣義方差函數(shù)節(jié)省了大量時(shí)間，加速了年度報(bào)告的產(chǎn)生。GVF對(duì)于將來(lái)類似調(diào)查的設(shè)計(jì)也很有借鑒意義。缺點(diǎn)

模型可能并不適用，因此得出的方差估計(jì)是不可靠的。對(duì)計(jì)算回歸參數(shù)時(shí)未采用的那些量的方差進(jìn)行估計(jì)時(shí)，應(yīng)用GVF必須謹(jǐn)慎。如果子總體中的群deff非常高時(shí)，GVF會(huì)嚴(yán)重低估方差。第八十八頁(yè)，共103頁(yè)幻燈片三、泰勒級(jí)數(shù)法（線性化方法）

例如犯罪損失調(diào)查是搶劫受害者報(bào)告的被搶金額，是受害者因此耽誤的工作日，是搶劫受害者支付的醫(yī)療費(fèi)用，假設(shè)每工作日損失150美元，對(duì)搶劫經(jīng)濟(jì)損失的可能是。

更簡(jiǎn)便的辦法：在觀測(cè)單元水平上定義新的變量，第八十九頁(yè)，共103頁(yè)幻燈片總體總量的平滑非線性函數(shù)第九十頁(yè)，共103頁(yè)幻燈片例第九十一頁(yè)，共103頁(yè)幻燈片將均值和總量的非線性函數(shù)的方差估計(jì)量線性化的一般步驟：將目標(biāo)量表示成樣本中測(cè)量或計(jì)算變量的均值或總量的函數(shù)。通常的形式為計(jì)算關(guān)于各個(gè)自變量的偏導(dǎo)數(shù)。以形成線性化步驟中的常數(shù)。應(yīng)用Taylor定理將估計(jì)量線性化：定義新的變量q計(jì)算的方差，將其作為方差的近似。第九十二頁(yè)，共103頁(yè)幻燈片例如比估計(jì)應(yīng)用Taylor定理：第九十三頁(yè)，共103頁(yè)幻燈片第九十四頁(yè)，共103頁(yè)幻燈片優(yōu)點(diǎn)：如果偏導(dǎo)數(shù)已知，應(yīng)用線性化方法可以給出統(tǒng)計(jì)量的方差估計(jì)、并可以應(yīng)用于一般的抽樣設(shè)計(jì)中。線性化方法在統(tǒng)計(jì)學(xué)中有長(zhǎng)期的應(yīng)用，相關(guān)理論得到了很好的發(fā)展?，F(xiàn)在有很多計(jì)算比率、回歸系數(shù)等非線性函數(shù)的線性化方差估計(jì)的軟件。缺點(diǎn)計(jì)算過(guò)于繁瑣，在包含權(quán)數(shù)的復(fù)雜函數(shù)中這一方法難于應(yīng)用。需要確定h的偏導(dǎo)數(shù)的分析表達(dá)式，或?qū)ζ珜?dǎo)數(shù)進(jìn)行具體的數(shù)值計(jì)算。對(duì)估計(jì)的每個(gè)非線性統(tǒng)計(jì)量都需要一個(gè)單獨(dú)的方差公式，并需要進(jìn)行專門的設(shè)計(jì)；而每個(gè)統(tǒng)計(jì)量所需的方法都有不同。并不是所有的統(tǒng)計(jì)量都可以表示成總體總量的平滑函數(shù)——如中位數(shù)和其他百分位數(shù)就不適用。線性化近似的準(zhǔn)確度取決于樣本量——如果樣本量不夠大，方差的估計(jì)通常是偏低的。第九十五頁(yè)，共103頁(yè)幻燈片總體總量的平滑函數(shù)的置信區(qū)間

大部分方差估計(jì)方法都假定漸近服從標(biāo)準(zhǔn)正態(tài)分布如果假定成立，近似95%置信區(qū)間為線性化方法、jackknife、BRR和bootstrap方法有如下假定：目標(biāo)量可以表示為總體總量的平滑函數(shù)；更確切地說(shuō)有連續(xù)的二階偏導(dǎo)函數(shù)。樣本量較大：或者是各層抽取的psu數(shù)量較大，或者是調(diào)查包含的層數(shù)較多。第九十六頁(yè)，共103頁(yè)幻燈片總體分位數(shù)的置信區(qū)間定義分位數(shù)為滿足的y的最小值如果隨機(jī)組的數(shù)量R適中，BRR或bootstrap方法：

不是平滑函數(shù)，但假定總體和樣本足夠大時(shí)，近似為連續(xù)函數(shù)自由度為R-1第九十七頁(yè)，共103頁(yè)幻燈片Woodruff方法(1952)總體總量的函數(shù)近似95％的置信區(qū)間為0.95第九十八頁(yè)，共103頁(yè)幻燈片例：對(duì)于身高數(shù)據(jù)ht.srs，應(yīng)用Woodruff方法構(gòu)造身高中位數(shù)的95％置信區(qū)間。

是簡(jiǎn)單隨機(jī)樣本中取值小于等于值的觀測(cè)單元的樣本比例，忽略有限總體校正系數(shù)，有中位數(shù)的置信下限是置信上限是

第九十九頁(yè)，共103頁(yè)幻燈片y

1670.4051680.4401700.5151710.5501720.605第一百頁(yè)，共103頁(yè)幻燈片總結(jié)線性化方法：理論特性被研究得最為透徹的、也是最常采用的方法。但方差估計(jì)過(guò)程過(guò)于復(fù)雜。隨機(jī)組方法：易于解釋和計(jì)算，它可以應(yīng)用于幾乎所有的統(tǒng)計(jì)量。缺點(diǎn)是，如果要得到一個(gè)穩(wěn)健的方差估計(jì)量，需要有足夠多的隨機(jī)組。在分層多階段抽樣中采用再抽樣方法，必須謹(jǐn)慎地構(gòu)造子樣本，以確保同一群中觀測(cè)值之間的相關(guān)性不