數(shù)據(jù)挖掘缺失值處理

數(shù)據(jù)挖掘缺失值處理第1頁，共21頁，2023年，2月20日，星期六報告提綱缺失數(shù)據(jù)為什么進行插補單一插補多重插補幾何插補問題與挑戰(zhàn)第2頁，共21頁，2023年，2月20日，星期六缺失數(shù)據(jù)

在許多實際問題的研究中，有一些數(shù)據(jù)無法獲得或缺失。當缺失比例很小時，可直接對完全記錄進行數(shù)據(jù)處理，舍棄缺失記錄。但在實際數(shù)據(jù)中，往往缺失數(shù)據(jù)占有相當?shù)谋戎?，尤其是多元?shù)據(jù)。這時前述的處理將是低效率的，因為這樣做丟失了大量信息，并且會產(chǎn)生偏倚，使不完全觀測數(shù)據(jù)與完全觀測數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。

第3頁，共21頁，2023年，2月20日，星期六什么是插補給每一個缺失數(shù)據(jù)一些替代值，如此得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計分析方法分析數(shù)據(jù)并進行統(tǒng)計推斷。80年代以后，人們開始重視數(shù)據(jù)缺失問題，著力研究插補方法。迄今為止，提出并發(fā)展了30多種的插補方法。在抽樣調查中應用的主要是單一插補和多重插補。第4頁，共21頁，2023年，2月20日，星期六為什么進行插補允許應用標準的完全數(shù)據(jù)分析方法能融合數(shù)據(jù)收集者的知識數(shù)據(jù)缺失使數(shù)據(jù)結構復雜化，需要使用更復雜的統(tǒng)計工具進行分析，而插補可以緩解這一困難能夠防止刪除不完全記錄造成的信息丟失在一些情形下，插補能夠減少無回答偏倚特別注意：插補的目的并不是預測單個缺失值，而是預測缺失數(shù)據(jù)所服從的分布第5頁，共21頁，2023年，2月20日，星期六單一插補單一插補指對每個缺失值，從其預測分布中取一個值填充缺失值后，使用標準的完全數(shù)據(jù)分析進行處理。單一插補的方法很多，總的說來可以歸為兩類：隨機插補和確定性插補。常用的確定性插補方法有以下幾種：推理插補第6頁，共21頁，2023年，2月20日，星期六均值插補熱平臺插補

冷平臺插補第7頁，共21頁，2023年，2月20日，星期六最近鄰插補—在插補類中按匹配變量找到和受者記錄最接近的供者記錄替代缺失記錄比率/回歸插補—根據(jù)輔助信息與樣本中的有效回答記錄建立一個比率或回歸模型EM算法—

每一種確定性的插補方法都對應著一種隨機插補方法。插補定量數(shù)據(jù)時，用確定性的方法得到一個插補值，加上從某個適宜的分布中產(chǎn)生的一個殘差作為最后的插補值，就成為隨機插補。隨機插補能更好地保持數(shù)據(jù)的頻數(shù)結構，保持比確定性插補更真實的變異性。第8頁，共21頁，2023年，2月20日，星期六下面紹兩種貝葉斯觀點的隨機插補：貝葉斯Bootstap(ABB)近似貝葉斯Bootstap(ABB)單一插補的優(yōu)點1、標準的完全數(shù)據(jù)分析方法2、對公眾應用數(shù)據(jù)庫，程序運行一次缺點—低估估計量的方差改進—校正估計量的方差，主要利用Jackknife、Bootstrap等工具，給出方差的相合估計。第9頁，共21頁，2023年，2月20日，星期六第10頁，共21頁，2023年，2月20日，星期六第11頁，共21頁，2023年，2月20日，星期六多重插補單一插補往往會低估估計量的方差，為改善這一弊病，80年代前后，Rubin提出了多重插補。后經(jīng)Rubin、MengX.L.和J.L.Schafer等人完善和發(fā)展，已經(jīng)在著名的統(tǒng)計軟件SAS中采用。多重插補是一種以模擬為基礎的方法，對每個缺失值產(chǎn)生m個合理的插補值，這樣插補后，得到m組完全數(shù)據(jù)，使用標準的完全數(shù)據(jù)方法分析每組數(shù)據(jù)并融合分析結果。第12頁，共21頁，2023年，2月20日，星期六

多重插補保持了單一插補的兩個基本優(yōu)點，即應用完全數(shù)據(jù)分析方法和融合數(shù)據(jù)收集者知識的能力。相對于單一插補，多重插補有三個極其重要的優(yōu)點：第一，為表現(xiàn)數(shù)據(jù)分布，隨機抽取進行插補，增加了估計的有效性。第二，當多重插補是在某個模型下的隨機抽樣時，按一種直接方式簡單融合完全數(shù)據(jù)推斷得出有效推斷，即它反映了在該模型下由缺失值導致的附加變異。第三，在多個模型下通過隨機抽取進行插補，簡單地應用完全數(shù)據(jù)方法，可以對無回答的不同模型下推斷的敏感性進行直接研究。第13頁，共21頁，2023年，2月20日，星期六多重插補缺點：一、生成多重插補比單一插補需要更多工作二、貯存多重插補數(shù)據(jù)集需要更多存儲空間三、分析多重插補數(shù)據(jù)集比單一插補需要花費更多精力。多重插補所面臨的主要問題是如何得到缺失數(shù)據(jù)的多個插補版本。為正確地進行插補，需要首先要明確缺失機制，然后討論插補機制。第14頁，共21頁，2023年，2月20日，星期六第15頁，共21頁，2023年，2月20日，星期六第16頁，共21頁，2023年，2月20日，星期六第17頁，共21頁，2023年，2月20日，星期六第18頁，共21頁，2023年，2月20日，星期六第19頁，共21頁，2023年，2月20日，星期六問題與挑戰(zhàn)

第2