缺失值清洗數(shù)據(jù)缺失及填補(bǔ)（整節(jié)）

數(shù)據(jù)采集與處理課程教學(xué)團(tuán)隊(duì)數(shù)據(jù)采集與處理缺失值清洗

引言數(shù)據(jù)缺失簡(jiǎn)介數(shù)據(jù)缺失的處理方法處理方法的比較1234引言在社會(huì)調(diào)查資料中，最為常見(jiàn)的問(wèn)題就是“數(shù)據(jù)缺失”。造成數(shù)據(jù)缺失的原因有：失訪、無(wú)響應(yīng)或是回答問(wèn)題不合格等等。在許多實(shí)際問(wèn)題的研究中，有一些數(shù)據(jù)無(wú)法獲得或缺失。當(dāng)缺失比例很小時(shí)，可直接對(duì)完全記錄進(jìn)行數(shù)據(jù)處理，舍棄缺失記錄。但在實(shí)際數(shù)據(jù)中，往往缺失數(shù)據(jù)占有相當(dāng)?shù)谋戎兀绕涫嵌嘣獢?shù)據(jù)。這時(shí)前述的處理將是低效率的，因?yàn)檫@樣做丟失了大量信息，并且會(huì)產(chǎn)生偏倚，使不完全觀測(cè)數(shù)據(jù)與完全觀測(cè)數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。數(shù)據(jù)缺失簡(jiǎn)介數(shù)據(jù)缺失是指在數(shù)據(jù)采集時(shí)由于某種原因應(yīng)該得到而沒(méi)有得到的數(shù)據(jù)。它指的是現(xiàn)有數(shù)據(jù)集屮某個(gè)或某些屬性的值是不完全的。統(tǒng)計(jì)調(diào)查中能否按設(shè)計(jì)要求獲得被調(diào)查單位的詳全資料是衡量數(shù)據(jù)質(zhì)量的—個(gè)重要標(biāo)準(zhǔn),但實(shí)際調(diào)查中經(jīng)常遇到數(shù)據(jù)缺失的情況。無(wú)回答有2種表現(xiàn)形式:單位無(wú)回答(unitnon-response)和項(xiàng)目無(wú)回答(itemnonresponse)〇“單位無(wú)回答”——被調(diào)查者不愿意或者不能夠回答整張的問(wèn)卷；“項(xiàng)H無(wú)回答”——被調(diào)查者拒絕回答個(gè)別的調(diào)查項(xiàng)目。概念數(shù)據(jù)缺失簡(jiǎn)介在統(tǒng)計(jì)調(diào)查過(guò)程中，數(shù)據(jù)缺失是不可避免的，造成這種現(xiàn)象的原因是多方面的，主要有以下幾種：〇在存儲(chǔ)數(shù)據(jù)的過(guò)程中，由于機(jī)器的損壞造成數(shù)據(jù)存儲(chǔ)失??；〇調(diào)查員在采集數(shù)據(jù)過(guò)程中，由于主觀因素人為地認(rèn)為數(shù)據(jù)不重要〇或無(wú)用，而私自丟棄數(shù)據(jù)；〇調(diào)查員信息錄入失誤：〇受訪者拒絕透露被調(diào)查信息，或回答錯(cuò)誤信息：〇受訪者選取失誤。例如調(diào)查工資情況，選取的受訪者是嬰幼兒。缺失原因數(shù)據(jù)缺失簡(jiǎn)介

Little和Rubin針對(duì)缺失數(shù)據(jù)，探討缺失數(shù)據(jù)與目標(biāo)變量是否有關(guān)，定義了3種不同的缺失機(jī)制產(chǎn)生機(jī)制MCAR：完全隨機(jī)缺失，數(shù)據(jù)的缺失與不完全變量以及完全變量都是無(wú)關(guān)的MAR：隨機(jī)缺失，數(shù)據(jù)的缺失僅僅依賴于完全變量MNAR：非隨機(jī)缺失，不完全變量中數(shù)據(jù)的缺失，依賴于不完全變量本身，這種缺失是不可忽略的。數(shù)據(jù)缺失簡(jiǎn)介

產(chǎn)生機(jī)制數(shù)據(jù)缺失簡(jiǎn)介

缺失模式數(shù)據(jù)缺失校式主要研究哪些變量缺失，更確切的說(shuō)，關(guān)注的是缺失數(shù)據(jù)矩陣R的分布。當(dāng)一維目標(biāo)變量出現(xiàn)缺失數(shù)據(jù)時(shí)，我們?cè)跀?shù)據(jù)處理過(guò)程中符先要考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制，而對(duì)于多維目標(biāo)變量而言，除了考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制外，還要判斷數(shù)據(jù)的缺失模式。數(shù)據(jù)缺失簡(jiǎn)介

缺失模式假設(shè)完全數(shù)據(jù)資料陣y是由m個(gè)觀測(cè)、n個(gè)變量組成的mxn矩陣，通過(guò)分析這個(gè)矩陣的特點(diǎn)，可以推斷出數(shù)據(jù)缺失模式。數(shù)據(jù)缺失的處理方法

插補(bǔ)給每一個(gè)缺失數(shù)據(jù)一些替代值，如此得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計(jì)分析方法分析數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)推斷。80年代以后，人們開(kāi)始重視數(shù)據(jù)缺失問(wèn)題，著力研究插補(bǔ)方法。迄今為止，提出并發(fā)展了30多種的插補(bǔ)方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補(bǔ)和多重插補(bǔ)。插補(bǔ)概念插補(bǔ)（1）允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法（2）能融合數(shù)據(jù)收集者的知識(shí)（3）數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化，需要使用更復(fù)雜的統(tǒng)計(jì)工具進(jìn)行分析，而插補(bǔ)可以緩解這一困難（4）能夠防止刪除不完全記錄造成的信息丟失（5）在一些情形下，插補(bǔ)能夠減少無(wú)回答偏倚特別注意：插補(bǔ)的目的并不是預(yù)測(cè)單個(gè)缺失值，而是預(yù)測(cè)缺失數(shù)據(jù)所服從的分布插補(bǔ)作用單一插補(bǔ)法與多重插補(bǔ)多重插補(bǔ)法:1977年由Rubin首先提出，經(jīng)過(guò)Meng和ScInfer等人不斷的完善和綜合已形成一個(gè)比較系統(tǒng)的理論，該法有以下優(yōu)點(diǎn)：①多重插補(bǔ)過(guò)程產(chǎn)生多個(gè)中間插補(bǔ)值，可以利用插補(bǔ)值之間的變異反映無(wú)回答的不確定性，包括無(wú)回答原因已知情況下抽樣的變異性和無(wú)回答原因不確定造成的變異性。②多重插補(bǔ)通過(guò)模擬缺失數(shù)據(jù)的分布，較好地保持變量之間的關(guān)系。③多重插補(bǔ)能給出衡量估計(jì)結(jié)果不確定性的大量信息，單一插補(bǔ)給出的估計(jì)結(jié)果則較為簡(jiǎn)單。單一插補(bǔ)法:單一插補(bǔ)指對(duì)每個(gè)缺失值，從其預(yù)測(cè)分布中取一個(gè)值填充缺失值后，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進(jìn)行處理。單一插補(bǔ)的方法很多，總的說(shuō)來(lái)可以歸為兩類：隨機(jī)插補(bǔ)和確定性插補(bǔ)。單一插補(bǔ)法與多重插補(bǔ)對(duì)比單一插補(bǔ)的優(yōu)點(diǎn)：1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對(duì)公眾應(yīng)用數(shù)據(jù)庫(kù)，程序運(yùn)行一次缺點(diǎn)一低估估計(jì)量的方差改進(jìn)一校正估計(jì)量的方差，主要利用Jackknife、Bootstrap等工具，給出方差的相合估計(jì)。多重插補(bǔ)的優(yōu)點(diǎn)：1、為表現(xiàn)數(shù)據(jù)分布，隨機(jī)抽取進(jìn)行插補(bǔ)，增加了估計(jì)的有效性。2、當(dāng)多重插補(bǔ)是在某個(gè)模型下的隨機(jī)抽樣時(shí)，按一種直接方式簡(jiǎn)單融合完全數(shù)據(jù)推斷得出有效推斷，即它反映了在該模型下由缺失值導(dǎo)致的附加變異。3、在多個(gè)模型下通過(guò)隨機(jī)抽取進(jìn)行插補(bǔ)，簡(jiǎn)單地應(yīng)用完全數(shù)據(jù)方法，可以對(duì)無(wú)回答的不同模型下推斷的敏感性進(jìn)行直接研究單一插補(bǔ)法與多重插補(bǔ)對(duì)比多重插補(bǔ)缺點(diǎn)：一、生成多重插補(bǔ)比單一插補(bǔ)需要更多工作二、貯存多重插補(bǔ)數(shù)據(jù)集需要更多存儲(chǔ)空間三、分析多重插補(bǔ)數(shù)據(jù)集比單一插補(bǔ)需要花費(fèi)更多精力。不處理不處理:不處理就是直接在包含空值的數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘。貝葉斯網(wǎng)絡(luò)僅適合于對(duì)領(lǐng)域知識(shí)具有一定了解的情況，至少對(duì)變量間的依賴關(guān)系較清楚的情況。否則直接從數(shù)據(jù)中學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)不但復(fù)雜性較高（隨著變量的增加，指數(shù)級(jí)增加），網(wǎng)絡(luò)維護(hù)代價(jià)昂貴，而且它的估計(jì)參數(shù)較多，為系統(tǒng)帶來(lái)了高方差，影響了它的預(yù)測(cè)精度。當(dāng)在任何一個(gè)對(duì)象中的缺失值數(shù)置很大時(shí)，存在指數(shù)爆炸的危險(xiǎn)。人工神經(jīng)網(wǎng)絡(luò)可以有效的對(duì)付空值，但人工神經(jīng)網(wǎng)絡(luò)在這方面的研究還有待進(jìn)一步深入展開(kāi)。數(shù)據(jù)缺失的處理方法數(shù)據(jù)插