缺失值清洗處理方法

數(shù)據(jù)采集與處理課程教學(xué)團隊數(shù)據(jù)采集與處理缺失值清洗數(shù)據(jù)缺失的處理方法

插補賦給每一個缺失數(shù)據(jù)一些替代值，可以得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計分析方法，來進行分析數(shù)據(jù)和統(tǒng)計推斷。80年代以后，人們開始重視數(shù)據(jù)缺失問題，著力研究插補方法。迄今為止，提出并發(fā)展了30多種的插補方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補和多重插補。插補概念插補（1）允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法（2）能融合數(shù)據(jù)收集者的知識（3）數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化，需要使用更復(fù)雜的統(tǒng)計工具進行分析，而插補可以緩解這一困難（4）能夠防止刪除不完全記錄造成的信息丟失（5）在一些情形下，插補能夠減少無回答偏倚特別注意：插補的目的并不是預(yù)測單個缺失值，而是預(yù)測缺失數(shù)據(jù)所服從的分布插補作用單一插補法與多重插補多重插補法:1977年由Rubin首先提出，經(jīng)過后人不斷的完善和綜合已形成一個比較系統(tǒng)的理論，該法有以下優(yōu)點：①多重插補過程產(chǎn)生多個中間插補值，可以利用插補值之間的變異反映無回答的不確定性，包括無回答原因已知情況下抽樣的變異性和無回答原因不確定造成的變異性。②多重插補通過模擬缺失數(shù)據(jù)的分布，較好地保持變量之間的關(guān)系。③多重插補能給出衡量估計結(jié)果不確定性的大量信息，單一插補給出的估計結(jié)果則較為簡單。單一插補法:單一插補指對每個缺失值，從其預(yù)測分布中取一個值填充缺失值后，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進行處理。單一插補的方法很多，總的說來可以歸為兩類：隨機插補和確定性插補。單一插補法與多重插補對比單一插補的優(yōu)點：1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對公眾應(yīng)用數(shù)據(jù)庫程序運行一次。多重插補的優(yōu)點：1、表現(xiàn)為數(shù)據(jù)分布，隨機抽取進行插補，增加了估計的有效性。2、在多個模型下通過隨機抽取進行插補，簡單地應(yīng)用完全數(shù)據(jù)方法，可以對無回答的不同模型下推斷的敏感性進行直接研究單一插補法與多重插補對比多重插補缺點：一、生成多重插補比單一插補需要更多工作二、貯存多重插補數(shù)據(jù)集需要更多存儲空間三、分析多重插補數(shù)據(jù)集比單一插補需要花費更多精力。單一插補缺點：缺點一低估估計量的方差,效果差。不處理不處理:不處理就是直接在包含空值的數(shù)據(jù)上進行數(shù)據(jù)挖掘。貝葉斯網(wǎng)絡(luò)僅適合于對領(lǐng)域知識具有一定了解的情況，至少對變量間的依賴關(guān)系較清楚的情況。否則直接從數(shù)據(jù)中學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)不但復(fù)雜性較高，網(wǎng)絡(luò)維護代價昂貴，而且它的估計參數(shù)較多，為系統(tǒng)帶來了高方差，影響了它的預(yù)測精度。人工神經(jīng)網(wǎng)絡(luò)可以有效的對付空值，但人工神經(jīng)網(wǎng)絡(luò)在這方面的研究還不是非常成熟。數(shù)據(jù)缺失的處理方法數(shù)據(jù)插補通常是一件非常繁瑣的工作，很多常用的統(tǒng)計軟件以及專門為其編寫的軟件都可以完成。從中