數(shù)據(jù)新聞與信息可視化 課件 第四章 數(shù)據(jù)清理

數(shù)據(jù)新聞與信息可視化數(shù)據(jù)清理第四章目錄CONTENT01.

數(shù)據(jù)清理的必要性與分類02.

釋放PDF文件中的數(shù)據(jù)03.

使用EXCEL清理數(shù)據(jù)04.使用OpenRefine清理數(shù)據(jù)05.使用Python編程清理數(shù)據(jù)數(shù)據(jù)清理的必要性與分類1.1數(shù)據(jù)清理的必要性1.2文件格式與數(shù)據(jù)類型1.3數(shù)據(jù)清理的分類1.4數(shù)據(jù)清理日志第一節(jié)1.1數(shù)據(jù)清理的必要性干凈的數(shù)據(jù)輸入是高質(zhì)量數(shù)據(jù)分析的前提1.2

文件格式與數(shù)據(jù)類型文件格式文本文件分隔格式JSON格式HTML格式二進(jìn)制文件1.2

文件格式與數(shù)據(jù)類型數(shù)據(jù)類型數(shù)字類型日期與時(shí)間數(shù)據(jù)字符串?dāng)?shù)據(jù)1.3數(shù)據(jù)清理的分類缺失數(shù)據(jù)不完整的數(shù)據(jù)?？蛇M(jìn)行數(shù)據(jù)補(bǔ)全或標(biāo)記為NULL。重復(fù)數(shù)據(jù)

序號(hào)不同的數(shù)據(jù)，但其屬性和值都一致，很可能是重復(fù)數(shù)據(jù)?？刹捎煤喜⒒蚯宄姆椒ㄌ幚怼ｅe(cuò)誤數(shù)據(jù)無效數(shù)據(jù)，格式不正確、包含非正規(guī)字符或邏輯錯(cuò)誤等。應(yīng)依據(jù)錯(cuò)誤類型進(jìn)行人工清理。1.4數(shù)據(jù)清理日志樣例

2022年4月12日

(1)執(zhí)行命令VALUE.REPLACE(“/”，“”)附上截圖原始數(shù)據(jù)中有多余字符“/”，使用REPLACE函數(shù)將“/”去掉。

(2)執(zhí)行命令，全部轉(zhuǎn)換為數(shù)字附上截圖原始數(shù)據(jù)中年齡一列應(yīng)為數(shù)字格式釋放PDF文件中的數(shù)據(jù)2.1使用OCR軟件進(jìn)行格式轉(zhuǎn)換2.2使用Tabula獲取PDF文件中的表格第二節(jié)2.1使用OCR軟件進(jìn)行格式轉(zhuǎn)換2.2使用Tabula獲取PDF文件中的表格使用Excel清理數(shù)據(jù)3.1導(dǎo)入數(shù)據(jù)3.2數(shù)據(jù)格式轉(zhuǎn)換3.3字符串清理第三節(jié)3.1導(dǎo)入數(shù)據(jù)3.2數(shù)據(jù)格式轉(zhuǎn)換3.3

字符串清理使用OpenRefine清理數(shù)據(jù)4.1創(chuàng)建新項(xiàng)目4.2清理數(shù)據(jù)第四節(jié)4.1創(chuàng)建新項(xiàng)目4.2清理數(shù)據(jù)處理缺失數(shù)據(jù)4.2清理數(shù)據(jù)處理重復(fù)、相似數(shù)據(jù)4.2清理數(shù)據(jù)清除無效數(shù)據(jù)4.2清理數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換使用Python編程清理數(shù)據(jù)5.1查閱數(shù)據(jù)5.2處理數(shù)據(jù)缺失5.3轉(zhuǎn)換數(shù)據(jù)類型5.4清理重復(fù)數(shù)據(jù)5.5清理數(shù)據(jù)實(shí)戰(zhàn)第五節(jié)5.1查閱數(shù)據(jù)表Pandas函數(shù)查閱數(shù)據(jù)5.2處理數(shù)據(jù)缺失5.3轉(zhuǎn)換數(shù)據(jù)類型5.4清理重復(fù)數(shù)據(jù)5.5清