數(shù)據(jù)挖掘缺失值處理課件

報(bào)告提綱缺失數(shù)據(jù)為什么進(jìn)行插補(bǔ)單一插補(bǔ)多重插補(bǔ)幾何插補(bǔ)問題與挑戰(zhàn)報(bào)告提綱缺失數(shù)據(jù)1缺失數(shù)據(jù)在許多實(shí)際問題的研究中，有一些數(shù)據(jù)無法獲得或缺失。當(dāng)缺失比例很小時(shí)，可直接對(duì)完全記錄進(jìn)行數(shù)據(jù)處理，舍棄缺失記錄。但在實(shí)際數(shù)據(jù)中，往往缺失數(shù)據(jù)占有相當(dāng)?shù)谋戎?，尤其是多元?shù)據(jù)。這時(shí)前述的處理將是低效率的，因?yàn)檫@樣做丟失了大量信息，并且會(huì)產(chǎn)生偏倚，使不完全觀測(cè)數(shù)據(jù)與完全觀測(cè)數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。

缺失數(shù)據(jù)在許多實(shí)際問題的研究中，有一些數(shù)據(jù)無法獲得或缺2什么是插補(bǔ)給每一個(gè)缺失數(shù)據(jù)一些替代值，如此得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計(jì)分析方法分析數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)推斷。80年代以后，人們開始重視數(shù)據(jù)缺失問題，著力研究插補(bǔ)方法。迄今為止，提出并發(fā)展了30多種的插補(bǔ)方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補(bǔ)和多重插補(bǔ)。什么是插補(bǔ)給每一個(gè)缺失數(shù)據(jù)一些替代值，如此得到“完全數(shù)據(jù)集3為什么進(jìn)行插補(bǔ)允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法能融合數(shù)據(jù)收集者的知識(shí)數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化，需要使用更復(fù)雜的統(tǒng)計(jì)工具進(jìn)行分析，而插補(bǔ)可以緩解這一困難能夠防止刪除不完全記錄造成的信息丟失在一些情形下，插補(bǔ)能夠減少無回答偏倚特別注意：插補(bǔ)的目的并不是預(yù)測(cè)單個(gè)缺失值，而是預(yù)測(cè)缺失數(shù)據(jù)所服從的分布為什么進(jìn)行插補(bǔ)允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法4單一插補(bǔ)單一插補(bǔ)指對(duì)每個(gè)缺失值，從其預(yù)測(cè)分布中取一個(gè)值填充缺失值后，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進(jìn)行處理。單一插補(bǔ)的方法很多，總的說來可以歸為兩類：隨機(jī)插補(bǔ)和確定性插補(bǔ)。常用的確定性插補(bǔ)方法有以下幾種：推理插補(bǔ)單一插補(bǔ)單一插補(bǔ)指對(duì)每個(gè)缺失值，從其預(yù)測(cè)分布中取一個(gè)值填充缺5均值插補(bǔ)熱平臺(tái)插補(bǔ)

冷平臺(tái)插補(bǔ)均值插補(bǔ)6最近鄰插補(bǔ)—在插補(bǔ)類中按匹配變量找到和受者記錄最接近的供者記錄替代缺失記錄比率/回歸插補(bǔ)—根據(jù)輔助信息與樣本中的有效回答記錄建立一個(gè)比率或回歸模型EM算法—

每一種確定性的插補(bǔ)方法都對(duì)應(yīng)著一種隨機(jī)插補(bǔ)方法。插補(bǔ)定量數(shù)據(jù)時(shí)，用確定性的方法得到一個(gè)插補(bǔ)值，加上從某個(gè)適宜的分布中產(chǎn)生的一個(gè)殘差作為最后的插補(bǔ)值，就成為隨機(jī)插補(bǔ)。隨機(jī)插補(bǔ)能更好地保持?jǐn)?shù)據(jù)的頻數(shù)結(jié)構(gòu)，保持比確定性插補(bǔ)更真實(shí)的變異性。最近鄰插補(bǔ)7下面紹兩種貝葉斯觀點(diǎn)的隨機(jī)插補(bǔ)：貝葉斯Bootstap(ABB)近似貝葉斯Bootstap(ABB)單一插補(bǔ)的優(yōu)點(diǎn)1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對(duì)公眾應(yīng)用數(shù)據(jù)庫，程序運(yùn)行一次缺點(diǎn)—低估估計(jì)量的方差改進(jìn)—校正估計(jì)量的方差，主要利用Jackknife、Bootstrap等工具，給出方差的相合估計(jì)。下面紹兩種貝葉斯觀點(diǎn)的隨機(jī)插補(bǔ)：8數(shù)據(jù)挖掘缺失值處理課件9數(shù)據(jù)挖掘缺失值處理課件10多重插補(bǔ)單一插補(bǔ)往往會(huì)低估估計(jì)量的方差，為改善這一弊病，80年代前后，Rubin提出了多重插補(bǔ)。后經(jīng)Rubin、MengX.L.和J.L.Schafer等人完善和發(fā)展，已經(jīng)在著名的統(tǒng)計(jì)軟件SAS中采用。多重插補(bǔ)是一種以模擬為基礎(chǔ)的方法，對(duì)每個(gè)缺失值產(chǎn)生m個(gè)合理的插補(bǔ)值，這樣插補(bǔ)后，得到m組完全數(shù)據(jù)，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)方法分析每組數(shù)據(jù)并融合分析結(jié)果。多重插補(bǔ)單一插補(bǔ)往往會(huì)低估估計(jì)量的方差，為改善這一弊病，8011

多重插補(bǔ)保持了單一插補(bǔ)的兩個(gè)基本優(yōu)點(diǎn)，即應(yīng)用完全數(shù)據(jù)分析方法和融合數(shù)據(jù)收集者知識(shí)的能力。相對(duì)于單一插補(bǔ)，多重插補(bǔ)有三個(gè)極其重要的優(yōu)點(diǎn)：第一，為表現(xiàn)數(shù)據(jù)分布，隨機(jī)抽取進(jìn)行插補(bǔ)，增加了估計(jì)的有效性。第二，當(dāng)多重插補(bǔ)是在某個(gè)模型下的隨機(jī)抽樣時(shí)，按一種直接方式簡單融合完全數(shù)據(jù)推斷得出有效推斷，即它反映了在該模型下由缺失值導(dǎo)致的附加變異。第三，在多個(gè)模型下通過隨機(jī)抽取進(jìn)行插補(bǔ)，簡單地應(yīng)用完全數(shù)據(jù)方法，可以對(duì)無回答的不同模型下推斷的敏感性進(jìn)行直接研究。多重插補(bǔ)保持了單一插補(bǔ)的兩個(gè)基本優(yōu)點(diǎn)，即應(yīng)用完全數(shù)據(jù)分析方12多重插補(bǔ)缺點(diǎn)：一、生成多重插補(bǔ)比單一插補(bǔ)需要更多工作二、貯存多重插補(bǔ)數(shù)據(jù)集需要更多存儲(chǔ)空間三、分析多重插補(bǔ)數(shù)據(jù)集比單一插補(bǔ)需要花費(fèi)更多精力。多重插補(bǔ)所面臨的主要問題是如何得到缺失數(shù)據(jù)的多個(gè)插補(bǔ)版本。為正確地進(jìn)行插補(bǔ)，需要首先要明確缺失機(jī)制，然后討論插補(bǔ)機(jī)制。多重插補(bǔ)缺點(diǎn)：13數(shù)據(jù)挖掘缺失值處理課件14數(shù)據(jù)挖掘缺失值處理課件15數(shù)據(jù)挖掘缺失值處理課件16數(shù)據(jù)挖掘缺失值處理課件17數(shù)據(jù)挖掘缺失值處理課件18問題與挑戰(zhàn)

問題與