數(shù)據(jù)缺失值處理之均值填補(bǔ)法

數(shù)據(jù)缺失值處理之均值填補(bǔ)法學(xué)習(xí)目標(biāo)2知識(shí)目標(biāo)●數(shù)據(jù)缺失簡(jiǎn)介●數(shù)據(jù)缺失的處理方法●均值填補(bǔ)法能力目標(biāo)●了解數(shù)據(jù)缺失●掌握數(shù)據(jù)缺失的處理方法●了解均值填補(bǔ)法學(xué)習(xí)任務(wù)3初步探索什么是數(shù)據(jù)缺失值初步探索數(shù)據(jù)缺失值的處理方法初步探索均值填補(bǔ)法總結(jié)處理方法的優(yōu)缺點(diǎn)引言數(shù)據(jù)缺失的處理方法數(shù)據(jù)缺失簡(jiǎn)介4均值填補(bǔ)法目錄引言5在社會(huì)調(diào)查資料中，最為常見(jiàn)的問(wèn)題就是數(shù)據(jù)缺失。造成數(shù)據(jù)缺失的原因有：失訪、無(wú)響應(yīng)或是回答問(wèn)題不合格等等。統(tǒng)計(jì)學(xué)上，將含有缺失數(shù)據(jù)的記錄稱(chēng)為不完全觀測(cè)。缺失數(shù)據(jù)或不完全觀測(cè)對(duì)調(diào)查研究的影響是很大的。所以在統(tǒng)計(jì)學(xué)中，為了能夠更加充分地利用已經(jīng)搜集到的數(shù)據(jù)，國(guó)內(nèi)外很多學(xué)者都對(duì)缺失數(shù)據(jù)的處理提出了自己獨(dú)到的見(jiàn)解，來(lái)挽救有缺失的調(diào)查數(shù)據(jù)，以保證研究工作順利進(jìn)行。6數(shù)據(jù)缺失簡(jiǎn)介數(shù)據(jù)缺失是指在數(shù)據(jù)采集時(shí)由于某種原因應(yīng)該得到而沒(méi)有得到的數(shù)據(jù)。它指的是現(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。統(tǒng)計(jì)調(diào)查中能否按設(shè)計(jì)要求獲得被調(diào)查單位的詳全資料是衡量數(shù)據(jù)質(zhì)量的一個(gè)重要標(biāo)準(zhǔn),但實(shí)際調(diào)查中經(jīng)常遇到數(shù)據(jù)缺失的情況。無(wú)回答有2種表現(xiàn)形式:單位無(wú)回答(unitnon-response)和項(xiàng)目無(wú)回答(itemnon-response)?！皢挝粺o(wú)回答”——被調(diào)查者不愿意或者不能夠回答整張的問(wèn)卷;“項(xiàng)目無(wú)回答”——被調(diào)查者拒絕回答個(gè)別的調(diào)查項(xiàng)目。7數(shù)據(jù)缺失簡(jiǎn)介缺失原因（Reason）在統(tǒng)計(jì)調(diào)查過(guò)程中，數(shù)據(jù)缺失是不可避免的，造成這種現(xiàn)象的原因是多方面的，主要有以下幾種：1.在存儲(chǔ)數(shù)據(jù)的過(guò)程中，由于機(jī)器的損壞造成數(shù)據(jù)存儲(chǔ)失??；2.調(diào)查員在采集數(shù)據(jù)過(guò)程中，由于主觀因素人為地認(rèn)為數(shù)據(jù)不重要或無(wú)用，而私自丟棄數(shù)據(jù)；4.受訪者拒絕透露被調(diào)查信息，或回答錯(cuò)誤信息；3.調(diào)查員信息錄入失誤；5.受訪者選取失誤。例如調(diào)查工資情況，選取的受訪者是嬰幼兒8數(shù)據(jù)缺失簡(jiǎn)介產(chǎn)生機(jī)制（Mechanism）Little和Rubin針對(duì)缺失數(shù)據(jù)，探討缺失數(shù)據(jù)與目標(biāo)變量是否有關(guān)，定義了3種不同的缺失機(jī)制。MCAR完全隨機(jī)缺失(MissingCompletelyAtRandom)：數(shù)據(jù)的缺失與不完全變量以及完全變量都是無(wú)關(guān)的。MAR隨機(jī)缺失(MissingAtRandom)：數(shù)據(jù)的缺失僅僅依賴(lài)于完全變量。MNAR非隨機(jī)缺失(NotMissingAtRandom)：不完全變量中數(shù)據(jù)的缺失，依賴(lài)于不完全變量本身。這種缺失是不可忽略的。9數(shù)據(jù)缺失簡(jiǎn)介產(chǎn)生機(jī)制（Mechanism）10數(shù)據(jù)缺失簡(jiǎn)介缺失模式（Pattern）數(shù)據(jù)缺失模式主要研究哪些變量缺失，更確切的說(shuō)，關(guān)注的是缺失數(shù)據(jù)矩陣R的分布。當(dāng)一維目標(biāo)變量出現(xiàn)缺失數(shù)據(jù)時(shí)，我們?cè)跀?shù)據(jù)處理過(guò)程中首先要考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制，而對(duì)于多維目標(biāo)變量而言，除了考慮缺失數(shù)據(jù)產(chǎn)生機(jī)制外，還要判斷數(shù)據(jù)的缺失模式。11數(shù)據(jù)缺失簡(jiǎn)介缺失模式（Pattern）假設(shè)完全數(shù)據(jù)資料陣y是由m個(gè)觀測(cè)、n個(gè)變量組成的m×n矩陣，通過(guò)分析這個(gè)矩陣的特點(diǎn)，可以推斷出數(shù)據(jù)缺失模式。12數(shù)據(jù)缺失的處理方法基本方法基于完整觀測(cè)單位的方法刪除法加權(quán)調(diào)整法列表刪除個(gè)案刪除（配對(duì)刪除）基于填補(bǔ)的方法單一填補(bǔ)法多重填補(bǔ)法隨機(jī)回歸填補(bǔ)法（PMM法）趨勢(shì)得分法人工填補(bǔ)法均值填補(bǔ)法回歸填補(bǔ)法不處理貝葉斯網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)13均值填補(bǔ)法數(shù)據(jù)的屬性定性數(shù)據(jù)和定量數(shù)據(jù)。如果缺失值是定量的，就