1.1 數(shù)據(jù)預(yù)處理簡(jiǎn)介

1.1數(shù)據(jù)預(yù)處理簡(jiǎn)介學(xué)習(xí)目標(biāo)2.了解數(shù)據(jù)預(yù)處理的重要性1.了解什么是數(shù)據(jù)3.掌握數(shù)據(jù)預(yù)處理的流程1.1.1數(shù)據(jù)與數(shù)據(jù)預(yù)處理

什么是數(shù)據(jù)？聲音圖片文字

在計(jì)算機(jī)科學(xué)中，數(shù)據(jù)是指所有能輸入到計(jì)算機(jī)并被計(jì)算機(jī)程序處理的符號(hào)的介質(zhì)的總稱(chēng)。1.1.1數(shù)據(jù)與數(shù)據(jù)預(yù)處理

什么是大數(shù)據(jù)？（4V）互聯(lián)網(wǎng)每分鐘產(chǎn)生的數(shù)據(jù)1）Volume：表示大數(shù)據(jù)的數(shù)據(jù)體量巨大。2）Velocity：表示大數(shù)據(jù)的數(shù)據(jù)產(chǎn)生、處理和分析的速度在持續(xù)加快。3）Variety：表示大數(shù)據(jù)的數(shù)據(jù)類(lèi)型繁多。4）Value：表示大數(shù)據(jù)的數(shù)據(jù)價(jià)值密度低。1.1.1數(shù)據(jù)與數(shù)據(jù)預(yù)處理

為什么需要數(shù)據(jù)預(yù)處理？

原始數(shù)據(jù)往往存在規(guī)格或精度不一、數(shù)據(jù)缺失、屬性名稱(chēng)或編碼方式不統(tǒng)一、由于受到噪聲影響而造成的數(shù)據(jù)錯(cuò)誤或異常值等問(wèn)題，因此原始數(shù)據(jù)往往是通常所說(shuō)的“臟”數(shù)據(jù)。

數(shù)據(jù)預(yù)處理的目的就是把這些“臟”數(shù)據(jù)變成“干凈”的數(shù)據(jù)。簡(jiǎn)單地說(shuō)，數(shù)據(jù)預(yù)處理就是將原始數(shù)據(jù)變成便于進(jìn)行數(shù)據(jù)分析或挖掘的形式的過(guò)程。數(shù)據(jù)預(yù)處理是進(jìn)行數(shù)據(jù)分析或挖掘前一個(gè)非常必要的過(guò)程。1.1.2數(shù)據(jù)預(yù)處理的重要性在一個(gè)完整的數(shù)據(jù)分析或挖掘過(guò)程中，數(shù)據(jù)預(yù)處理往往要花費(fèi)60%左右的時(shí)間，而數(shù)據(jù)質(zhì)量的好壞往往關(guān)系后續(xù)數(shù)據(jù)分析或挖掘工作的成敗。數(shù)據(jù)質(zhì)量是在指定條件下使用時(shí)，數(shù)據(jù)的特性滿(mǎn)足明確的和隱含的要求的程度。1.1.2數(shù)據(jù)預(yù)處理的重要性名稱(chēng)描述規(guī)范性數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)或權(quán)威參考數(shù)據(jù)的程度。完整性按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度。包括數(shù)據(jù)元素的完整性和數(shù)據(jù)記錄的完整性。是衡量所必須的數(shù)據(jù)的完整程度，如不能缺失的空值檢查。準(zhǔn)確性數(shù)據(jù)準(zhǔn)確表示其所描述的真是實(shí)體（實(shí)際對(duì)象）真實(shí)值的程度。確保數(shù)據(jù)必須反映真實(shí)的業(yè)務(wù)內(nèi)容。包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復(fù)率、數(shù)據(jù)唯一性和無(wú)效數(shù)據(jù)出現(xiàn)率等。一致性數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無(wú)矛盾的程度。要求數(shù)據(jù)元素的類(lèi)型和含義必須一致和清晰。包括相同數(shù)據(jù)的一致性和關(guān)聯(lián)數(shù)據(jù)的一致性。時(shí)效性數(shù)據(jù)在時(shí)間變化中的正確程度。包括基于時(shí)間段的正確性、基于時(shí)間點(diǎn)的及時(shí)性和時(shí)序性?？稍L問(wèn)性數(shù)據(jù)能被訪問(wèn)的程度。包括數(shù)據(jù)在需要時(shí)的可獲取性和在有效生存周期內(nèi)的可使用性。

數(shù)據(jù)預(yù)處理的過(guò)程1.1.3數(shù)據(jù)預(yù)處理的過(guò)程數(shù)據(jù)獲取就是將爬蟲(chóng)，儀器設(shè)備等采集的不同數(shù)據(jù)源，可能是txt、excel、csv這種文件，也可能是存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)庫(kù)文件，通過(guò)讀取這些文件加載到內(nèi)存中，以Python特定的對(duì)象來(lái)保存，以便于進(jìn)行后續(xù)的數(shù)據(jù)預(yù)處理操作。數(shù)據(jù)合并主要是將存儲(chǔ)在多張表中的數(shù)據(jù)合并為一張表，便于進(jìn)行數(shù)據(jù)分析。通過(guò)數(shù)據(jù)合并，可以將關(guān)聯(lián)的數(shù)據(jù)信息存入一張表中。。數(shù)據(jù)清洗的主要目的是增加數(shù)據(jù)量，具體操作可能包括拼接多個(gè)數(shù)據(jù)文件等。數(shù)據(jù)變換主要是將數(shù)據(jù)變換