抽樣調(diào)查-第11章調(diào)查中的非抽樣誤差ppt課件

1、第十一章 調(diào)查中的非抽樣誤差11.1 引言 非抽樣誤差是指除抽樣誤差以外的,由于各種緣由引起的誤差。 在概率抽樣、非概率抽樣、其他全面調(diào)查和非全面調(diào)查已及普查中，非抽樣誤差都有能夠存在。. 同抽樣誤差相比，非抽樣誤差有如下特點(diǎn)：1、非抽樣誤差不是由于抽樣的隨機(jī)性帶來的，所以在抽樣調(diào)查中，它不能夠隨著樣本量的增大而減??；2、在抽樣調(diào)查中，由于非抽樣誤差的影響，往往呵斥估計(jì)量的有偏；3、有些非抽樣誤差難以識(shí)別和測定。如抽樣框是不完善的，而調(diào)查設(shè)計(jì)人員并沒有認(rèn)識(shí)到；4、有些非抽樣誤差成因復(fù)雜，對(duì)其研討不夠，因此，在很多時(shí)候非抽樣誤差比抽樣誤差呵斥的影響更嚴(yán)重，對(duì)此必需引起高度注重。.根據(jù)非抽樣誤差的

2、來源、性質(zhì)可分為以下三類： 1抽樣框誤差，即由不完善的抽樣框引起的 誤差； 2無回答誤差，即由于種種緣由沒有從被調(diào) 查單元獲得調(diào)查結(jié)果，呵斥調(diào)查數(shù)據(jù)的缺失； 3計(jì)量誤差，即所獲得的調(diào)查數(shù)據(jù)與其真值之間不一致呵斥的誤差。.一、概念抽樣調(diào)查中的總體有兩個(gè)： 目的總體調(diào)查研討對(duì)象的全體。 抽樣總體從中抽取樣本的總體。 即抽樣框 理想抽樣框的標(biāo)志是目的總體和抽樣總體完全重合。否那么抽樣框就是不完善的。11.2 抽樣框誤差.二、抽樣框誤差的類型及影響1 抽樣框誤差的類型 喪失目的總體單元。 包含非目的總體單元。 抽樣框中的單元與目的總體單元不一一對(duì) 應(yīng)。存在一對(duì)多或多對(duì)一的情況 不正確的輔助信息。如分層

3、抽樣、不等 概抽樣、比率估計(jì)和回歸估計(jì)等所需的輔助 信息.2對(duì)抽樣框誤差的根本認(rèn)識(shí) 有些誤差來自構(gòu)成抽樣框資料本身，而不 是由于抽樣設(shè)計(jì)的問題。 抽樣框存在的問題，有些是不容易處理的。因此抽樣框的維護(hù)、抽樣框運(yùn)用情況的不斷總結(jié)與研討，對(duì)于經(jīng)常性的調(diào)查工程來說是非常必要的。 抽樣框的不完善并不是不能運(yùn)用?？梢赃M(jìn)展修補(bǔ)、調(diào)整。. 3抽樣框誤差的影響 設(shè)目的總體單元：N 抽樣框中單元：N1 抽樣框中喪失的單元：N0 N=N1+N0 總體總量的估計(jì) 總體總量的真值是： 現(xiàn)從抽樣框中的N1個(gè)單元中采用簡單隨機(jī)抽樣抽出容量為n的一個(gè)樣本，由于n取自于N1對(duì)總體總量的估計(jì)為：.顯然此時(shí)的估計(jì)是有偏的，偏倚為

4、：這闡明估計(jì)量低估了總體總量，令Y的相對(duì)偏倚可以寫為. 由上式可知，總體總和的相對(duì)偏倚取決于 和 總體均值的估計(jì)在抽樣框存在喪失單元情況下，均值估計(jì)量為：此時(shí)估計(jì)量的偏倚為：的相對(duì)偏倚可以寫為：. 由上式可以看出，假設(shè)喪失單元的均值與抽樣單元的均值一樣，即 ，那么估計(jì)量 是目的變量 的無偏估計(jì)。 反之，假設(shè) ，偏倚情況那么隨著 的變化而變化。.三、不完善抽樣框的運(yùn)用 抽樣框不完善并不是不能運(yùn)用，由于構(gòu)造一個(gè)完善的抽樣框有時(shí)是非常困難的。運(yùn)用不完善抽樣框時(shí)假設(shè)能采用一些補(bǔ)救措施，有助于減小抽樣框誤差。主要采用以下三項(xiàng)補(bǔ)救措施： 利用核對(duì)，掌握誤差情況，對(duì)不完善抽樣框 進(jìn)展調(diào)整； 事先制定一些規(guī)那

5、么，對(duì)發(fā)現(xiàn)的抽樣框問題進(jìn) 行現(xiàn)場處置； 運(yùn)用多個(gè)抽樣框進(jìn)展抽樣。.11.3 無回答誤差一、概念 無回答誤差是指在調(diào)查中由于各種緣由，調(diào)查人員沒可以從入選樣本的單元處獲得所需求的信息，由于數(shù)據(jù)缺失呵斥估計(jì)量的偏向。 無回答誤差是一種重要的非抽樣誤差，這種景象非常普遍，對(duì)估計(jì)量的危害也比較大，所以國際上對(duì)這方面的討論不斷比較熱烈，目前這種討論還在繼續(xù)。.從無回答的內(nèi)容來看可分為： 單元無回答 被調(diào)查單元沒有參入或回絕受調(diào)查，他們交的是一份白卷 工程無回答 被調(diào)查單元雖然接受了調(diào)查，但對(duì)其中的一些工程沒有回答.從無回答的性質(zhì)來看可分為： 有意無回答 有意無回答經(jīng)常與調(diào)查內(nèi)容有關(guān)，如對(duì)調(diào)查內(nèi)容反感，或

6、涉及個(gè)人隱私不情愿回答 無意無回答 無意無回答經(jīng)常與調(diào)查內(nèi)容無關(guān)，之所以無回答是由于被調(diào)查者生病或很忙，無法接受調(diào)查. 有意無回答對(duì)數(shù)據(jù)質(zhì)量的影響很大，回答者和不回答者之間往往存在系統(tǒng)性差別。這種不回答不僅減少了有效樣本量，呵斥估計(jì)量方差增大，而且會(huì)帶來估計(jì)偏倚。 無意無回答可以看成是隨機(jī)的，這種不回答雖然會(huì)呵斥估計(jì)量方差增大，但通常以為不會(huì)帶來估計(jì)偏倚。 . 二、無回答產(chǎn)生的緣由及影響 假設(shè)把采集數(shù)據(jù)的過程劃分為查找、接觸和采訪三個(gè)階段，三個(gè)階段都有能夠出現(xiàn)無回答。1、查找階段 調(diào)查人員無法找到被調(diào)查者，主要緣由有地址不詳、被調(diào)查者搬遷、調(diào)查人員不熟習(xí)地址；2、接觸階段 被調(diào)查生病、對(duì)調(diào)查不

7、感興趣或別的緣由拒訪；3、采訪階段 調(diào)查開場后被調(diào)查者對(duì)某些問題不愿提供答案、調(diào)查員由于大意脫漏某些工程等.無回答的影響： 回答層N1 總體N 無回答層N0那么總體均值為： 回答層樣本(n1 ) 總體樣本n 無回答層樣本(n0 ).根據(jù)回答層單元計(jì)算出的樣本均值為用 作為總體真值 得估計(jì)量，其偏倚為：偏倚相對(duì)偏倚 由上式可以看出：無回答偏倚主要來自兩個(gè)方面：一個(gè)是回答層與無回答層之間的數(shù)量差別 ；一個(gè)是無回答率 。.三、降低無回答的措施主要措施是預(yù)防，預(yù)防措施有：問卷設(shè)計(jì)得具有吸引力；留意適當(dāng)?shù)拈L度；充分利用調(diào)查組織單位的權(quán)威性和影響力；留意調(diào)查員的挑選；做好調(diào)查員的培訓(xùn)；留意調(diào)查過程的監(jiān)控；

8、獎(jiǎng)勵(lì)措施；再次調(diào)查。.四、對(duì)存在無回答數(shù)據(jù)的調(diào)整 調(diào)查中無回答的情況總是難以防止，由于無回答呵斥數(shù)據(jù)不全，假設(shè)不加處置，就有能夠呵斥估計(jì)量偏倚。下面引見幾種數(shù)據(jù)調(diào)整的方法： 1、再抽樣調(diào)整 在第一次無回答的單元中隨機(jī)抽取一個(gè)子樣本，經(jīng)過更細(xì)致、更充分的任務(wù)，獲得該子樣本的數(shù)據(jù)，作為整個(gè)無回答層的代表值。 . 2、加權(quán)調(diào)整 對(duì)存在無回答數(shù)據(jù)進(jìn)展補(bǔ)救的另一種方法是采用加權(quán)調(diào)整。加權(quán)調(diào)整法是經(jīng)過對(duì)調(diào)查中所獲得的回答數(shù)據(jù)運(yùn)用加權(quán)因子，到達(dá)對(duì)數(shù)據(jù)的調(diào)整，減小由于無回答呵斥的估計(jì)偏倚。 3、相關(guān)推估法 相關(guān)推估法主要用于調(diào)查中的工程無回答，即調(diào)查單元不是完全回絕調(diào)查，而是回絕其中某些工程的調(diào)查。這時(shí)可以利

9、用回答工程的信息對(duì)無回答數(shù)據(jù)進(jìn)展推估。.4、插補(bǔ)調(diào)整 在數(shù)據(jù)整理階段，利用調(diào)查結(jié)果，采用一定的方式，為無回答的缺失值確定一個(gè)合理的估計(jì)值，插補(bǔ)到原缺失數(shù)據(jù)的位置上。 實(shí)踐運(yùn)用時(shí)，用得較多的是均值插補(bǔ)，其方法是：首先根據(jù)輔助信息將樣本分為假設(shè)干組，是組內(nèi)各單元的主要特征類似。然后分別計(jì)算各組目的變量Y的均值，將各組均值作為組內(nèi)一切缺失項(xiàng)的替補(bǔ)值.11.4 計(jì)量誤差 計(jì)量誤差是指由于種種緣由，調(diào)查中所獲得的數(shù)據(jù)與真值不一致。計(jì)量誤差主要成因來自于以下幾個(gè)方面： 設(shè)計(jì)誤差設(shè)計(jì)方面緣由呵斥計(jì)量誤差 被調(diào)查者誤差被調(diào)查者提供的數(shù)據(jù)失真 調(diào)查者誤差現(xiàn)場調(diào)查人員呵斥的誤差 其他誤差由于丈量工具、編碼、錄入.

10、減少計(jì)量誤差的措施 減少計(jì)量誤差需求對(duì)調(diào)查全過程進(jìn)展質(zhì)量監(jiān)控： 1調(diào)查設(shè)計(jì)方面 調(diào)查詢卷設(shè)計(jì)出來后，應(yīng)組織有關(guān)人員對(duì)問卷進(jìn)展討論。假設(shè)是大型調(diào)查活動(dòng)，還要在正式調(diào)查之前進(jìn)展預(yù)調(diào)查，在實(shí)際中對(duì)問卷進(jìn)展檢驗(yàn)。 2現(xiàn)場預(yù)備方面 在搜集數(shù)據(jù)之前，需求做好預(yù)備任務(wù)：招聘調(diào)查員；培訓(xùn)訪問員；編寫調(diào)查手冊。. 3調(diào)查結(jié)果審核方面 審核是對(duì)調(diào)查質(zhì)量進(jìn)展控制的一道重要的工序，也是減少計(jì)量誤差的有效方法。審核的目的是要保證調(diào)查所得數(shù)據(jù)的完好性、一致性和有效性。 審核可以在調(diào)查過程中的任何階段進(jìn)展： 收據(jù)數(shù)據(jù)時(shí)進(jìn)展審核 調(diào)查員在調(diào)查進(jìn)展過程中根據(jù)常識(shí)和閱歷，可以判別出一些問題的答案能否屬于“可接受范圍 數(shù)據(jù)搜集終了

11、后的審核 審核的重點(diǎn)是數(shù)據(jù)的一致性審核和離群值的檢測.11.5 離群值的檢測和處置一、離群值的概念 離群值是指調(diào)查數(shù)據(jù)集中的極端值，是指與其他數(shù)據(jù)明顯不一致的觀測值。離群值 的出現(xiàn)能夠有以下兩個(gè)緣由： 由于數(shù)據(jù)本身具有的差別性?？雌饋碇档靡尚牡臇|西也許是真實(shí)的； 由于被調(diào)查者回答數(shù)據(jù)有錯(cuò)誤或調(diào)查人員記錄數(shù)據(jù)有錯(cuò)誤。.二、離群值確實(shí)認(rèn) 通常離群值的檢測是經(jīng)過丈量它們與數(shù)據(jù)中心的相對(duì)間隔來識(shí)別的。 例如，假設(shè) 是要觀測的樣本數(shù)據(jù)，m 和 s 分別是側(cè)度數(shù)據(jù)集中趨勢和離散趨勢的目的，那么， 離數(shù)據(jù)中心的相對(duì)間隔可以定義為 . 假設(shè) 越過了預(yù)先確定的偏離值，那么該觀測值就被以為是離群的。 另外，離群值

12、也可以經(jīng)過下面的置信區(qū)間進(jìn)展確認(rèn)：式中 和 分別為根據(jù)預(yù)先確定的置信度得到的規(guī)范正態(tài)分布的上限和下限值。落在這個(gè)區(qū)間之外的觀測值被以為是離群值。 .三、離群值的處置 假設(shè)在調(diào)查進(jìn)展中發(fā)現(xiàn)離群值，就要及時(shí)處置，例如進(jìn)展回訪核實(shí)，對(duì)錯(cuò)誤進(jìn)展更正。 假設(shè)在調(diào)查終了后的審核中發(fā)現(xiàn)離群值，通常對(duì)離群值采用插補(bǔ)處置，即將離群值剔除，然后運(yùn)用插補(bǔ)法調(diào)整。 假設(shè)在審核時(shí)沒有進(jìn)展處置的離群值可以在估計(jì)的時(shí)候處置。估計(jì)時(shí)有以下三種方法處置離群值：. 改動(dòng)數(shù)值 這種方法首先要將樣本數(shù)據(jù)按從大到小依次排序，然后再按下面的步驟計(jì)算： 在簡單隨機(jī)抽樣中，總體總量 Y 的無偏估計(jì)公式為： 式中，i表示樣本中第i個(gè)單元，s為一切樣本的集合. 假設(shè)樣本數(shù)據(jù)中第k個(gè)最大值kth被以為是離群值，單側(cè)k次縮尾估計(jì)量就可以經(jīng)過第n-k個(gè)最大值yn-k替代這些離群值，即調(diào)整權(quán)重 處置離群值的另