《財(cái)稅大數(shù)據(jù)分析》課件-任務(wù)二 大數(shù)據(jù)處理

大數(shù)據(jù)處理項(xiàng)目二大數(shù)據(jù)的采集、處理與挖掘任務(wù)二大數(shù)據(jù)處理一數(shù)據(jù)缺值補(bǔ)全缺失值對數(shù)據(jù)挖掘來說，空值的存在，造成了以下影響：丟失了大量的有用信息；數(shù)據(jù)所表現(xiàn)出的不確定性更加顯著，其中蘊(yùn)涵的確定性成分更難把握；包含空值的數(shù)據(jù)會(huì)使挖掘過程陷入混亂，導(dǎo)致不可靠的輸出?？杖钡臄?shù)據(jù)需要通過專門的方法進(jìn)行推導(dǎo)、填充等，以減少數(shù)據(jù)挖掘算法與實(shí)際應(yīng)用之間的差距。在各種實(shí)用的數(shù)據(jù)庫中，數(shù)據(jù)屬性值缺失的情況經(jīng)常發(fā)生甚至是不可避免的。缺失值處理的方法：（1）刪除操作（2）補(bǔ)全操作缺失值缺失值處理的方法刪除操作當(dāng)某個(gè)特征上面的數(shù)據(jù)缺失太大的時(shí)候，直接將這個(gè)特征刪除。當(dāng)特征上面的缺失值很少的時(shí)候，比如只有幾個(gè)缺失值的時(shí)候，可以考慮把包含這些缺失值的元組進(jìn)行刪除。缺失值處理的方法缺失值處理的方法補(bǔ)全操作如果缺失值是數(shù)值型的，就根據(jù)該變量在其他所有對象的取值的平均值來填充該缺失的變量值;如果缺失值是非數(shù)值型的，則使用眾數(shù)來補(bǔ)齊該缺失的變量值。（1）均值填充法缺失值處理的方法缺失值處理的方法補(bǔ)全操作在完整數(shù)據(jù)中找到一個(gè)與它最相似的對象，然后用這個(gè)相似對象的值來進(jìn)行填充。（2）熱卡填充填補(bǔ)法缺失值處理的方法缺失值處理的方法補(bǔ)全操作回歸替換法首先需要選擇若干個(gè)預(yù)測缺失值的自變量，然后建立回歸方程估計(jì)缺失值，即用缺失數(shù)據(jù)的條件期望值對缺失值進(jìn)行替換。（3）回歸填充法缺失值處理的方法缺失值處理的方法補(bǔ)全操作極大似然估計(jì)、期望最大化法、K最近距離鄰法等。（4）其它填充方法缺失值處理的方法在處理缺失值時(shí)，可以對缺失值進(jìn)行舍棄或補(bǔ)全，但在實(shí)際數(shù)據(jù)中，如果缺失數(shù)據(jù)占據(jù)了相當(dāng)?shù)谋戎?，舍棄缺失?shù)據(jù)則會(huì)丟失大量信息，不利于后續(xù)數(shù)據(jù)的處理和分析。數(shù)據(jù)缺失值補(bǔ)全是數(shù)據(jù)清理中十分重要的一步。任務(wù)描述任務(wù)要求上傳子任務(wù)一中保存的經(jīng)過數(shù)據(jù)清洗的文件，即清洗后的電商評論數(shù)據(jù)。選擇恰當(dāng)?shù)难a(bǔ)全方法，將表中的空缺值進(jìn)行補(bǔ)全，對無圖片的評價(jià)記錄填寫無圖評價(jià)。任務(wù)描述（1）登錄大數(shù)據(jù)處理平臺(tái)，選擇“大數(shù)據(jù)處理”下的“數(shù)據(jù)清洗”，打開數(shù)據(jù)清洗頁面。任務(wù)實(shí)現(xiàn)點(diǎn)擊【上傳文件】，將任務(wù)一采集的唯品會(huì)的評論數(shù)據(jù)文件上傳到平臺(tái)中。任務(wù)實(shí)現(xiàn)選擇數(shù)據(jù)源為之前上傳的數(shù)據(jù)源，數(shù)據(jù)顯示選擇“顯示50行”。任務(wù)實(shí)現(xiàn)（2）數(shù)據(jù)清洗步驟參照子任務(wù)一，此處略過這一步，繼續(xù)單擊【下一步】，進(jìn)入缺失值插補(bǔ)步驟。任務(wù)實(shí)現(xiàn)（3）根據(jù)任務(wù)要求，在缺失值插補(bǔ)頁面設(shè)置缺失值規(guī)則，選擇“為空缺失值插補(bǔ)”，字段選擇為“評論圖片”，插補(bǔ)要求選擇為“默認(rèn)值補(bǔ)缺”，默認(rèn)值填寫為“無圖評價(jià)”。任務(wù)實(shí)現(xiàn)（4）設(shè)置完成后點(diǎn)擊【執(zhí)行插補(bǔ)】，執(zhí)行成功后在下方“數(shù)據(jù)預(yù)覽”處查看并下載excel表格。任務(wù)實(shí)現(xiàn)二數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換長度統(tǒng)一轉(zhuǎn)換日期格式轉(zhuǎn)換短信消息轉(zhuǎn)換訂單信息轉(zhuǎn)換……將同一數(shù)據(jù)字段規(guī)范成統(tǒng)一的長度將非結(jié)構(gòu)化的短信消息轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)將消息格式的訂單轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)將不同格式的日期統(tǒng)一成相同的格式將數(shù)據(jù)轉(zhuǎn)換成規(guī)范、結(jié)構(gòu)化的形式，以便更好地理解和處理。對數(shù)據(jù)進(jìn)行規(guī)范化處理，將上傳的excel表格中的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，以實(shí)現(xiàn)字段精度統(tǒng)一、日期格式轉(zhuǎn)換等功能。將數(shù)據(jù)轉(zhuǎn)化為適當(dāng)?shù)男问?，適用于之后數(shù)據(jù)挖掘的需要。任務(wù)描述對“銷售訂單（一）”表里的數(shù)據(jù)做數(shù)據(jù)轉(zhuǎn)換，要求單據(jù)編號為10位，如不足的右邊補(bǔ)0，要求商品編號為7位，不足的左邊補(bǔ)*?！颁N售訂單（一）”表展示：任務(wù)要求（1）登錄大數(shù)據(jù)處理平臺(tái)，選擇“大數(shù)據(jù)處理”下的“數(shù)據(jù)轉(zhuǎn)換。任務(wù)實(shí)現(xiàn)打開數(shù)據(jù)轉(zhuǎn)換頁面，點(diǎn)擊【上傳文件】，將需要轉(zhuǎn)換的文件上傳到平臺(tái)中，選擇數(shù)據(jù)源為之前上傳的數(shù)據(jù)源，點(diǎn)擊【下一步】。任務(wù)實(shí)現(xiàn)（2）在數(shù)據(jù)轉(zhuǎn)換規(guī)則頁面點(diǎn)擊【添加規(guī)則】，按案例任務(wù)要求填寫完成規(guī)則后，