




已閱讀5頁(yè),還剩16頁(yè)未讀, 繼續(xù)免費(fèi)閱讀
版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
缺失數(shù)據(jù)的插補(bǔ)方法 中國(guó)科學(xué)院系統(tǒng)科學(xué)研究所 楊 軍 聯(lián)系方式:,報(bào)告提綱,缺失數(shù)據(jù) 為什么進(jìn)行插補(bǔ) 單一插補(bǔ) 多重插補(bǔ) 幾何插補(bǔ) 問(wèn)題與挑戰(zhàn),缺失數(shù)據(jù),在許多實(shí)際問(wèn)題的研究中,有一些數(shù)據(jù)無(wú)法獲得或缺失。當(dāng)缺失比例很小時(shí),可直接對(duì)完全記錄進(jìn)行數(shù)據(jù)處理,舍棄缺失記錄。 但在實(shí)際數(shù)據(jù)中,往往缺失數(shù)據(jù)占有相當(dāng)?shù)谋戎?,尤其是多元?shù)據(jù)。這時(shí)前述的處理將是低效率的,因?yàn)檫@樣做丟失了大量信息,并且會(huì)產(chǎn)生偏倚,使不完全觀測(cè)數(shù)據(jù)與完全觀測(cè)數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。,什么是插補(bǔ),給每一個(gè)缺失數(shù)據(jù)一 些替代值,如此得到“完全數(shù)據(jù)集”后,再使用完全數(shù)據(jù)統(tǒng)計(jì)分析方法分析數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)推斷。 80年代以后,人們開始重視數(shù)據(jù)缺失問(wèn)題,著力研究插補(bǔ)方法。迄今為 止,提出并發(fā)展了30多種的插補(bǔ)方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補(bǔ)和多重插補(bǔ)。,為什么進(jìn)行插補(bǔ),允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法 能融合數(shù)據(jù)收集者的知識(shí) 數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化,需要使用更復(fù)雜的統(tǒng)計(jì)工具進(jìn)行分析,而插補(bǔ)可以緩解這一困難 能夠防止刪除不完全記錄造成的信息丟失 在一些情形下,插補(bǔ)能夠減少無(wú)回答偏倚 特別注意:插補(bǔ)的目的并不是預(yù)測(cè)單個(gè)缺失值,而是預(yù)測(cè)缺失數(shù)據(jù)所服從的分布,單一插補(bǔ),單一插補(bǔ)指對(duì)每個(gè)缺失值,從其預(yù)測(cè)分布中取一個(gè)值填充缺失值后,使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進(jìn)行處理。單一插補(bǔ)的方法很多,總的說(shuō)來(lái)可以歸為兩類:隨機(jī)插補(bǔ)和確定性插補(bǔ)。常用的確定性插補(bǔ)方法有以下幾種: 推理插補(bǔ),均值插補(bǔ) 熱平臺(tái)插補(bǔ) 冷平臺(tái)插補(bǔ),最近鄰插補(bǔ) 在插補(bǔ)類中按匹配變量找到和受者記錄最接近的供者記錄替代缺失記錄 比率/回歸插補(bǔ) 根據(jù)輔助信息與樣本中的有效回答記錄建立一個(gè)比率或回歸模型 EM算法 每一種確定性的插補(bǔ)方法都對(duì)應(yīng)著一種隨機(jī)插補(bǔ)方法。插補(bǔ)定量數(shù)據(jù)時(shí),用確定性的方法得到一個(gè)插補(bǔ)值,加上從某個(gè)適宜的分布中產(chǎn)生的一個(gè)殘差作為最后的插補(bǔ)值,就成為隨機(jī)插補(bǔ)。隨機(jī)插補(bǔ)能更好地保持?jǐn)?shù)據(jù)的頻數(shù)結(jié)構(gòu),保持比確定性插補(bǔ)更真實(shí)的變異性。,下面紹兩種貝葉斯觀點(diǎn)的隨機(jī)插補(bǔ): 貝葉斯Bootstap(ABB) 近似貝葉斯Bootstap(ABB) 單一插補(bǔ)的優(yōu)點(diǎn) 1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法 2、對(duì)公眾應(yīng)用數(shù)據(jù)庫(kù),程序運(yùn)行一次 缺點(diǎn)低估估計(jì)量的方差 改進(jìn)校正估計(jì)量的方差,主要利用Jackknife、Bootstrap 等工具,給出方差的相合估計(jì)。,多重插補(bǔ),單一插補(bǔ)往往會(huì)低估估計(jì)量的方差,為改善這一弊病,80年代前后,Rubin提出了多重插補(bǔ)。后經(jīng)Rubin、Meng X.L. 和 J.L. Schafer等人完善和發(fā)展,已經(jīng)在著名的統(tǒng)計(jì)軟件SAS中采用。多重插補(bǔ)是一種以模擬為基礎(chǔ)的方法,對(duì)每個(gè)缺失值產(chǎn)生m個(gè)合理的插補(bǔ)值,這樣插補(bǔ)后,得到m組完全數(shù)據(jù),使用標(biāo)準(zhǔn)的完全數(shù)據(jù)方法分析每組數(shù)據(jù)并融合分析結(jié)果。,多重插補(bǔ)保持了單一插補(bǔ)的兩個(gè)基本優(yōu)點(diǎn),即應(yīng)用完全數(shù)據(jù)分析方法和融合數(shù)據(jù)收集者知識(shí)的能力。相對(duì)于單一插補(bǔ),多重插補(bǔ)有三個(gè)極其重要的優(yōu)點(diǎn):第一,為表現(xiàn)數(shù)據(jù)分布,隨機(jī)抽取進(jìn)行插補(bǔ),增加了估計(jì)的有效性。第二,當(dāng)多重插補(bǔ)是在某個(gè)模型下的隨機(jī)抽樣時(shí),按一種直接方式簡(jiǎn)單融合完全數(shù)據(jù)推斷得出有效推斷,即它反映了在該模型下由缺失值導(dǎo)致的附加變異。第三,在多個(gè)模型下通過(guò)隨機(jī)抽取進(jìn)行插補(bǔ),簡(jiǎn)單地應(yīng)用完全數(shù)據(jù)方法,可以對(duì)無(wú)回答的不同模型下推斷的敏感性進(jìn)行直接研究。,多重插補(bǔ)缺點(diǎn): 一、生成多重插補(bǔ)比單一插補(bǔ)需要更多工作 二、貯存多重插補(bǔ)數(shù)據(jù)集需要更多存儲(chǔ)空間 三、分析多重插補(bǔ)數(shù)據(jù)集比單一插補(bǔ)需要花費(fèi)更多精力。 多重插補(bǔ)所面臨的主要問(wèn)題是如何得到缺失數(shù)據(jù)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 股權(quán)轉(zhuǎn)讓與員工股權(quán)激勵(lì)計(jì)劃合同范本
- 高科技企業(yè)股權(quán)投資合作合同
- 股權(quán)合同轉(zhuǎn)讓中的公司戰(zhàn)略規(guī)劃及業(yè)務(wù)發(fā)展協(xié)議
- 文化藝術(shù)場(chǎng)地轉(zhuǎn)租服務(wù)合同
- 高新技術(shù)園區(qū)場(chǎng)地轉(zhuǎn)租管理規(guī)范
- 高鐵車站車輛運(yùn)輸及停放協(xié)議
- 車輛交通事故第三方責(zé)任免除合同
- 浙江省2025屆高三語(yǔ)文上學(xué)期10月聯(lián)考試題
- 2025年公務(wù)員筆試模擬試卷及答案
- 標(biāo)準(zhǔn)的銷售服務(wù)流程 (一)
- 《漁業(yè)船舶重大事故隱患判定標(biāo)準(zhǔn)(試行)》 知識(shí)培訓(xùn)
- 2024北京西城區(qū)初一(下)期末數(shù)學(xué)試題和答案
- 家長(zhǎng)走進(jìn)課堂:健康飲食知識(shí)與課件分享
- 口腔醫(yī)院裝修設(shè)計(jì)合同
- 2024年中考語(yǔ)文??济?xí)題訓(xùn)練:《鋼鐵是怎樣煉成的》
- “嚴(yán)而有度愛而不寵”班主任經(jīng)驗(yàn)分享稿
- 南京聾人高級(jí)中學(xué)預(yù)科招生考試各學(xué)科考試主要內(nèi)容及參考教
- 第4章我們生活的大地知識(shí)點(diǎn)清單-2024-2025學(xué)年浙教版七年級(jí)下冊(cè)科學(xué)
- 批判性思維實(shí)踐手冊(cè)
- 醫(yī)院培訓(xùn)課件:《多發(fā)性骨髓瘤》
- 西湖寫景作文600字
評(píng)論
0/150
提交評(píng)論