不得不讀：缺失數據處理.ppt

缺失數據的插補方法 中國科學院系統(tǒng)科學研究所 楊 軍 聯系方式：,報告提綱,缺失數據 為什么進行插補 單一插補 多重插補 幾何插補 問題與挑戰(zhàn),缺失數據,在許多實際問題的研究中，有一些數據無法獲得或缺失。當缺失比例很小時，可直接對完全記錄進行數據處理，舍棄缺失記錄。 但在實際數據中，往往缺失數據占有相當的比重，尤其是多元數據。這時前述的處理將是低效率的，因為這樣做丟失了大量信息，并且會產生偏倚，使不完全觀測數據與完全觀測數據間產生系統(tǒng)差異。,什么是插補,給每一個缺失數據一 些替代值，如此得到“完全數據集”后，再使用完全數據統(tǒng)計分析方法分析數據并進行統(tǒng)計推斷。 80年代以后，人們開始重視數據缺失問題，著力研究插補方法。迄今為 止，提出并發(fā)展了30多種的插補方法。在抽樣調查中應用的主要是單一插補和多重插補。,為什么進行插補,允許應用標準的完全數據分析方法 能融合數據收集者的知識 數據缺失使數據結構復雜化，需要使用更復雜的統(tǒng)計工具進行分析，而插補可以緩解這一困難 能夠防止刪除不完全記錄造成的信息丟失 在一些情形下，插補能夠減少無回答偏倚 特別注意：插補的目的并不是預測單個缺失值，而是預測缺失數據所服從的分布,單一插補,單一插補指對每個缺失值，從其預測分布中取一個值填充缺失值后，使用標準的完全數據分析進行處理。單一插補的方法很多，總的說來可以歸為兩類：隨機插補和確定性插補。常用的確定性插補方法有以下幾種： 推理插補,均值插補 熱平臺插補 冷平臺插補,最近鄰插補 在插補類中按匹配變量找到和受者記錄最接近的供者記錄替代缺失記錄 比率/回歸插補 根據輔助信息與樣本中的有效回答記錄建立一個比率或回歸模型 EM算法 每一種確定性的插補方法都對應著一種隨機插補方法。插補定量數據時，用確定性的方法得到一個插補值，加上從某個適宜的分布中產生的一個殘差作為最后的插補值，就成為隨機插補。隨機插補能更好地保持數據的頻數結構，保持比確定性插補更真實的變異性。,下面紹兩種貝葉斯觀點的隨機插補： 貝葉斯Bootstap(ABB) 近似貝葉斯Bootstap(ABB) 單一插補的優(yōu)點 1、標準的完全數據分析方法 2、對公眾應用數據庫，程序運行一次 缺點低估估計量的方差 改進校正估計量的方差，主要利用Jackknife、Bootstrap 等工具，給出方差的相合估計。,多重插補,單一插補往往會低估估計量的方差，為改善這一弊病，80年代前后，Rubin提出了多重插補。后經Rubin、Meng X.L. 和 J.L. Schafer等人完善和發(fā)展，已經在著名的統(tǒng)計軟件SAS中采用。多重插補是一種以模擬為基礎的方法，對每個缺失值產生m個合理的插補值，這樣插補后，得到m組完全數據，使用標準的完全數據方法分析每組數據并融合分析結果。,多重插補保持了單一插補的兩個基本優(yōu)點，即應用完全數據分析方法和融合數據收集者知識的能力。相對于單一插補，多重插補有三個極其重要的優(yōu)點：第一，為表現數據分布，隨機抽取進行插補，增加了估計的有效性。第二，當多重插補是在某個模型下的隨機抽樣時，按一種直接方式簡單融合完全數據推斷得出有效推斷，即它反映了在該模型下由缺失值導致的附加變異。第三，在多個模型下通過隨機抽取進行插補，簡單地應用完全數據方法，可以對無回答的不同模型下推斷的敏感性進行直接研究。,多重插補缺點： 一、生成多重插補比單一插補需要更多工作 二、貯存多重插補數據集需要更多存儲空間 三、分析多重插補數據集比單一插補需要花費更多精力。 多重插補所面臨的主要問題是如何得到缺失數據