任務(wù)8.2.2-缺失值處理

ETL數(shù)據(jù)預(yù)處理技術(shù)主講人：張宏偉任務(wù)8-2-2缺失值處理01.缺失值處理概述02.目錄缺失值判斷CONTENTS04.樣例解析03.缺失值的處理方式

在Python中，pandas使用浮點(diǎn)值NaN表示浮點(diǎn)數(shù)和非浮點(diǎn)數(shù)組中的缺失值，同時(shí)Python內(nèi)置None值也會(huì)被當(dāng)作是缺失值。在處理缺失值之前，首先要判斷缺失值是否存在，然后再對缺失值進(jìn)行刪除、填充或者不處理的操作。（1）isnull()函數(shù)：用于檢查空值或缺失值的對象；如果有空值或缺失值則返回True，否則返回False。

（2）notnull()函數(shù)：用于檢查不為空值或缺失值的對象；如果有空值或缺失值則返回False，否則返回True。

通過isnull()函數(shù)和sum()函數(shù)可以獲得Series和DataFrame中缺失值的數(shù)量（1）刪除含有缺失值的記錄在數(shù)據(jù)分析中，如果數(shù)據(jù)集的樣本很大，并且在刪除含有缺失值的記錄后，不會(huì)影響分析結(jié)果的客觀性和準(zhǔn)確性時(shí)，一般是使用dropna()函數(shù)直接將空值或缺失值的數(shù)據(jù)刪除。dropna()函數(shù)的語法格式如下：DataFrame.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)函數(shù)中的參數(shù)說明如下：axis:指定刪除方向，當(dāng)axis=0按行刪除,axis=1按列刪除，默認(rèn)為0。how:取值為’all’表示這一行或列中的元素全部缺失(為NaN)才刪除這一行或列;取值為’any’表示這一行或列中只要有缺失值，就刪除這一行或列。thresh:一行或一列中至少出現(xiàn)了thresh個(gè)才刪除。subset:在某些列的子集中選擇出現(xiàn)了缺失值的列刪除，不在子集中的含有缺失值的列或行不會(huì)被刪除。inplace:篩選缺失值后，獲得的新數(shù)據(jù)是存為副本還是直接在原數(shù)據(jù)上進(jìn)行修改（2）數(shù)據(jù)插補(bǔ)法

在數(shù)據(jù)分析中，如果數(shù)據(jù)集的樣本比較少或者由于刪除含有缺失值的記錄會(huì)影響到數(shù)據(jù)分析結(jié)果的客觀性和準(zhǔn)確性時(shí)，就需要根據(jù)數(shù)據(jù)插補(bǔ)的方法來選擇填充值，然后再使用fillna()函數(shù)對空值或缺失值進(jìn)行填充。fillna()函數(shù)的語法格式如下：DataFrame.fillna(axis=0,mthod=‘ffill’,limit=1,inplace=Flase)函數(shù)中的參數(shù)說明如下：axis：這個(gè)參數(shù)取1時(shí)，表示按照行來填充，取0時(shí)表示按照列來填充。默認(rèn)為0，即按照列。和dropna函數(shù)的剛好相反。method：這個(gè)參數(shù)的意思是填充的方式，如果為’ffill’,則是將這個(gè)空值的前一個(gè)數(shù)據(jù)復(fù)制給這個(gè)空值；如果為‘bfill’，則是將這個(gè)空值的后一個(gè)數(shù)據(jù)復(fù)制給這個(gè)空值。如果不用這個(gè)參數(shù)，不聲明即可。limit：這個(gè)參數(shù)時(shí)限制填充的空值的個(gè)數(shù)，比如某一列有兩個(gè)空值，我這里指定只填充一個(gè)空值，另一個(gè)空值不管它。inplace:刪除缺失值后，獲得的新數(shù)據(jù)是存為副本還是直接在原數(shù)據(jù)上進(jìn)行修改現(xiàn)有某商場的產(chǎn)品銷售數(shù)據(jù)如右圖所示：（1）查看缺失值（2）刪除缺失值（3）插補(bǔ)缺失值首先讀取數(shù)據(jù)：輸出結(jié)果如下：（1）查看缺失值，代碼如下：輸出結(jié)果如下：如圖所示，統(tǒng)計(jì)出了每一列缺失值的數(shù)量（2）刪除缺失值，代碼如下：輸出結(jié)果如下：跟刪除重復(fù)值類似，當(dāng)參數(shù)值不一樣的時(shí)候，得到的結(jié)果是不同的，大家可以自行嘗試不同的參數(shù)（3）用價(jià)格列的中位數(shù)插補(bǔ)缺失值，代碼如下：輸出結(jié)果如下：如結(jié)