《商務(wù)數(shù)據(jù)分析》課件-數(shù)據(jù)清洗

商務(wù)數(shù)據(jù)分析缺失值清洗12354格式內(nèi)容清洗邏輯錯(cuò)誤清洗重復(fù)數(shù)據(jù)清洗無(wú)價(jià)值數(shù)據(jù)清洗數(shù)據(jù)清洗數(shù)據(jù)清洗的含義

數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過(guò)程，包括對(duì)數(shù)據(jù)表中多余或重復(fù)的數(shù)據(jù)進(jìn)行篩選清除，將缺失或不完整的數(shù)據(jù)補(bǔ)充完整，將內(nèi)容、格式錯(cuò)誤的數(shù)據(jù)進(jìn)行糾正或刪除等操作行為，其目的在于提升數(shù)據(jù)的質(zhì)量，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。缺失值清洗數(shù)據(jù)集中某個(gè)或某些屬性的值不完整，即稱為數(shù)據(jù)缺失。缺失值產(chǎn)生的原因機(jī)械原因?qū)е碌臄?shù)據(jù)缺失，如數(shù)據(jù)存儲(chǔ)的失敗，存儲(chǔ)器損壞，機(jī)械故障導(dǎo)致某段時(shí)間數(shù)據(jù)未能收集。由于人為原因（人的主觀失誤或有意隱瞞）造成的數(shù)據(jù)缺失，比如，在市場(chǎng)調(diào)查中被訪人拒絕透露相關(guān)問(wèn)題的答案，或者回答的問(wèn)題是無(wú)效的；再比如由于數(shù)據(jù)錄入人員的失誤導(dǎo)致漏錄、錯(cuò)錄或刪除數(shù)據(jù)等等。數(shù)據(jù)清洗數(shù)據(jù)清洗缺失值常見(jiàn)的表現(xiàn)形式是空值或錯(cuò)誤標(biāo)識(shí)符。空值就是原始數(shù)據(jù)表格中出現(xiàn)空白單元格，錯(cuò)誤標(biāo)識(shí)符即Excel中常見(jiàn)的錯(cuò)誤提示如#####表示單元格中的數(shù)據(jù)超出了該單元格的寬度，或者單元格中的日期時(shí)間公式產(chǎn)生了一個(gè)負(fù)值；#DIV/0!表示進(jìn)行公式運(yùn)算時(shí)，除數(shù)使用了數(shù)值零、指向了空單元格或包含零值單元格的引用等等。缺失值表現(xiàn)形式缺失值處理方法對(duì)于數(shù)據(jù)表中的缺失值，我們可以利用EXCEL的定位功能，查找到數(shù)據(jù)表中的空值和錯(cuò)誤標(biāo)識(shí)符，在明確具體原因的基礎(chǔ)上，利用excel中的相關(guān)命令和操作進(jìn)行對(duì)應(yīng)處理。格式內(nèi)容清洗常見(jiàn)問(wèn)題時(shí)間、日期、數(shù)值、半全角等顯示格式不一致內(nèi)容中有不該存在的字符，如在頭部、中間、尾部存在空格數(shù)據(jù)清洗內(nèi)容與該字段應(yīng)有的內(nèi)容不符：比如姓名寫(xiě)成了性別、身份證號(hào)寫(xiě)成手機(jī)號(hào)等問(wèn)題針對(duì)以上問(wèn)題，需要我們根據(jù)具體情況進(jìn)行對(duì)應(yīng)的格式轉(zhuǎn)換、數(shù)據(jù)修改或字符刪除等處理。由于系統(tǒng)導(dǎo)出渠道或人為輸入習(xí)慣的原因，整合而來(lái)的原始數(shù)據(jù)往往不能做到格式統(tǒng)一，內(nèi)容上也容易出現(xiàn)空格，所以在數(shù)據(jù)分析之前需要先進(jìn)行數(shù)據(jù)格式內(nèi)容的清洗操作。邏輯錯(cuò)誤清洗違反邏輯規(guī)則而產(chǎn)生的錯(cuò)誤，一般使用邏輯推理就可以發(fā)現(xiàn)問(wèn)題。常見(jiàn)問(wèn)題數(shù)據(jù)不合理。如，年齡200歲，個(gè)人年收入1000萬(wàn)，籍貫：漢族。數(shù)據(jù)不符合規(guī)則。例如某產(chǎn)品限購(gòu)2件，客戶的購(gòu)買數(shù)量出現(xiàn)3。數(shù)據(jù)清洗數(shù)據(jù)自相矛盾。例如身份證號(hào)是1101031980XXXXXXXX，但年齡顯示為18歲。針對(duì)以上問(wèn)題，可以利用Excel的條件格式功能將錯(cuò)誤數(shù)據(jù)進(jìn)行標(biāo)注并做出對(duì)應(yīng)處理。重復(fù)數(shù)據(jù)清洗重復(fù)數(shù)據(jù)即數(shù)據(jù)被重復(fù)、多次記錄。重復(fù)數(shù)據(jù)會(huì)影響數(shù)據(jù)處理結(jié)果的正確性，從而導(dǎo)致數(shù)據(jù)分析出現(xiàn)偏差，因此需要將其刪除。處理方法利用excel識(shí)別處理重復(fù)數(shù)據(jù)的方法有很多種，如利用常見(jiàn)的菜單刪除法：選中數(shù)據(jù)區(qū)域，在數(shù)據(jù)選項(xiàng)卡下的數(shù)據(jù)工具功能組中，點(diǎn)擊刪除重復(fù)值，即可進(jìn)行刪除。除此之外，還可以利用Excel自帶的排序功能、高級(jí)篩選功能、條件格式功能、Countif

函數(shù)、數(shù)據(jù)透視表法等等。數(shù)據(jù)清洗無(wú)價(jià)值