高一【信息技術(shù)(人教中圖版)】數(shù)據(jù)整理（第二十三課時(shí)）-課件

數(shù)據(jù)整理（第二十三課時(shí)）年級：高一學(xué)科：信息技術(shù)（人教/中圖版）主講人：

學(xué)校：回顧數(shù)據(jù)處理一般過程數(shù)據(jù)采集數(shù)據(jù)整理數(shù)據(jù)分析數(shù)據(jù)呈現(xiàn)數(shù)據(jù)保存數(shù)據(jù)采集到的數(shù)據(jù)，是怎樣保存的呢？常見的數(shù)據(jù)保存形式是云存儲(chǔ)、數(shù)據(jù)庫、文件。文件格式文件格式保存，最常見的是txt、csv格式。csv文件也是一種保存了數(shù)據(jù)的文本文件，其中的數(shù)據(jù)通常以英文逗號(hào)分隔開。excel、wps等表格軟件可以兼容打開該格式的文件。觀察數(shù)據(jù)上圖是學(xué)生體質(zhì)健康數(shù)據(jù)的部分原始數(shù)據(jù)，觀察該數(shù)據(jù)存在什么問題。原始數(shù)據(jù)可能存在的問題缺失數(shù)據(jù)為空錯(cuò)誤數(shù)據(jù)不準(zhǔn)確重復(fù)重復(fù)的數(shù)據(jù)非標(biāo)準(zhǔn)數(shù)據(jù)單位格式不一致“臟數(shù)據(jù)”1、數(shù)據(jù)整理的目的問題數(shù)據(jù)清潔數(shù)據(jù)有效數(shù)據(jù)完整性準(zhǔn)確性統(tǒng)一性提取價(jià)值2、數(shù)據(jù)整理的方法補(bǔ)漏避免缺失勘誤標(biāo)準(zhǔn)化、異常值修正去重刪除重復(fù)刪除重復(fù)3、數(shù)據(jù)整理金山銀山不如綠水青山，最近這些年，國家落實(shí)嚴(yán)控環(huán)境污染、修復(fù)生態(tài)環(huán)境等政策。隨著環(huán)境改善，你家鄉(xiāng)的空氣質(zhì)量情況是否有所改善？我們需要數(shù)據(jù)來幫助判斷。每小時(shí)采集的空氣質(zhì)量原始數(shù)據(jù)金山銀山不如綠水青山，最近這些年，國家落實(shí)嚴(yán)控環(huán)境污染、修復(fù)生態(tài)環(huán)境等政策。隨著環(huán)境改善，你家鄉(xiāng)的空氣質(zhì)量情況是否有所改善？我們需要數(shù)據(jù)來幫助判斷。每小時(shí)采集的空氣質(zhì)量原始數(shù)據(jù)金山銀山不如綠水青山，最近這些年，國家落實(shí)嚴(yán)控環(huán)境污染、修復(fù)生態(tài)環(huán)境等政策。隨著環(huán)境改善，你家鄉(xiāng)的空氣質(zhì)量情況是否有所改善？我們需要數(shù)據(jù)來幫助判斷?；顒?dòng)1：觀察數(shù)據(jù)請暫停視頻，下載資源包中的文件。打開原始數(shù)據(jù).csv。

觀察數(shù)據(jù)表中的數(shù)據(jù)，思考是否存在什么問題。原始數(shù)據(jù).csv觀察數(shù)據(jù)——重復(fù)存在重復(fù)值——需要去重觀察數(shù)據(jù)——篩選存在太多數(shù)據(jù)——需要篩選觀察數(shù)據(jù)——非標(biāo)準(zhǔn)化日期格式不正確——需要數(shù)據(jù)標(biāo)準(zhǔn)化觀察數(shù)據(jù)——缺失存在數(shù)據(jù)缺失——需要盡可能補(bǔ)缺空氣質(zhì)量數(shù)據(jù)整理需求1、存在重復(fù)數(shù)據(jù)！——去重2、數(shù)據(jù)太多了，我們只需要某個(gè)城市數(shù)據(jù)！——篩選3、日期格式不正確！——標(biāo)準(zhǔn)化4、現(xiàn)有缺失數(shù)據(jù)！——盡可能補(bǔ)缺Pandas庫介紹Pandas庫是數(shù)據(jù)分析和整理常用的一個(gè)第三方庫。包含現(xiàn)成方法讀寫多種文件格式數(shù)據(jù)。能夠高效操作大型數(shù)據(jù)集。非常擅長處理類似于表格類型的數(shù)據(jù)。Pandas庫介紹Pandas庫有兩個(gè)常用的主要數(shù)據(jù)結(jié)構(gòu)Series——這是一串?dāng)?shù)據(jù)組成的集合DataFrame——這是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)Pandas庫——DataFrame結(jié)構(gòu)行索引號(hào)列索引號(hào)列數(shù)據(jù)從0開始活動(dòng)2：空氣質(zhì)量數(shù)據(jù)去重暫停視頻請下載課堂活動(dòng)（去重）.py

文件和原始數(shù)據(jù).csv放在同目錄下。

活動(dòng)2：空氣質(zhì)量數(shù)據(jù)去重目標(biāo)——?jiǎng)h除重復(fù)數(shù)據(jù)打開下載的程序文件活動(dòng)2：空氣質(zhì)量數(shù)據(jù)去重刪除重復(fù)數(shù)據(jù)用三句代碼實(shí)現(xiàn)A.data.to_csv(savename,index=False)——保存文件B.df=pd.read_csv(file,encoding='utf-8',header=0)——讀取文件C.data=df.drop_duplicates(keep='first')——?jiǎng)h除重復(fù)數(shù)據(jù)正確的順序是BCA活動(dòng)2：空氣質(zhì)量數(shù)據(jù)去重df=pd.read_csv(file,encoding='utf-8',header=0)data=df.drop_duplicates(keep='first')data.to_csv(savename,index=False)請大家參考老師提供的代碼，將缺失的代碼補(bǔ)全，然后運(yùn)行，看看去重后的效果吧！讀取文件刪除重復(fù)另存文件活動(dòng)2：空氣質(zhì)量數(shù)據(jù)去重活動(dòng)3：空氣質(zhì)量數(shù)據(jù)篩選目標(biāo)——篩選數(shù)據(jù)現(xiàn)在數(shù)據(jù)太多了，我需要篩選某個(gè)城市的數(shù)據(jù)！例如篩選北京的數(shù)據(jù)。DataFrame篩選用法DataFrame篩選數(shù)據(jù)df[列索引]篩選某列的數(shù)據(jù)df['北京']篩選紅色區(qū)域數(shù)據(jù)DataFrame篩選用法DataFrame篩選數(shù)據(jù)df[列索引列表]篩選多列數(shù)據(jù)df[

['date','北京']

]篩選兩列數(shù)據(jù)DataFrame篩選用法DataFrame篩選數(shù)據(jù)更多篩選、定位數(shù)據(jù)的方法請參考學(xué)習(xí)資料包中的閱讀材料DataFrame篩選數(shù)據(jù)更多篩選、定位數(shù)據(jù)的方法請參考學(xué)習(xí)資料包中的閱讀材料活動(dòng)3：空氣質(zhì)量數(shù)據(jù)篩選暫停視頻請下載課堂活動(dòng)（篩選）.py

文件和STEP1_刪除重復(fù)數(shù)據(jù).csv

放在同目錄下。

活動(dòng)3：空氣質(zhì)量數(shù)據(jù)篩選篩選出date、hour、type、北京這四列數(shù)據(jù)

活動(dòng)3：空氣質(zhì)量數(shù)據(jù)篩選讀取文件篩選數(shù)據(jù)另存文件活動(dòng)3：空氣質(zhì)量數(shù)據(jù)篩選df=pd.read_csv(file,encoding='utf-8',header=0)data=df[['date','hour','type',city]]data.to_csv(savename,index=False)請大家參考老師提供的代碼，將缺失的代碼補(bǔ)全，然后運(yùn)行。看看篩選后的效果吧！讀取文件篩選數(shù)據(jù)另存文件運(yùn)行效果活動(dòng)4：空氣質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)化處理暫停視頻請下載課堂活動(dòng)（標(biāo)準(zhǔn)化）.py

文件和STEP2_篩選后數(shù)據(jù).csv

放在同目錄下。

活動(dòng)4：空氣質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)化處理目標(biāo)——數(shù)據(jù)標(biāo)準(zhǔn)化（日期標(biāo)準(zhǔn)化）日期格式應(yīng)該是2020-10-01的形式。我們需要對這一列數(shù)據(jù)處理?；顒?dòng)4：空氣質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)化處理2015052120150521用-拼接2015-05-21datestrdatestr[0:4]datestr[4:6]datestr[6:8]datestr[0:4]+'-'+datestr[4:6]+'-'+datestr[6:8]課堂活動(dòng)：STEP3標(biāo)準(zhǔn)化讀取文件循環(huán)拼接另存文件讀取文件循環(huán)拼接另存文件活動(dòng)4：空氣質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)化處理暫停視頻請運(yùn)行課堂活動(dòng)(標(biāo)準(zhǔn)化）.py文件運(yùn)行結(jié)束，觀察新生成的數(shù)據(jù)文件

運(yùn)行效果活動(dòng)5:空氣質(zhì)量數(shù)據(jù)補(bǔ)缺暫停視頻請下載課堂活動(dòng)（補(bǔ)缺）.py

文件和STEP3_日期標(biāo)準(zhǔn)化后數(shù)據(jù).csv

放在同目錄下。

活動(dòng)5:空氣質(zhì)量數(shù)據(jù)補(bǔ)缺目標(biāo)——補(bǔ)全缺失數(shù)據(jù)對于未發(fā)布數(shù)據(jù)，無法補(bǔ)全。對于偶發(fā)性缺失數(shù)據(jù)，可以補(bǔ)全。方法很多，比如線性插值法、均值插值、臨近值補(bǔ)缺。這些屬于高等數(shù)學(xué)、線性代數(shù)的內(nèi)容，請課下了解。活動(dòng)5:空氣質(zhì)量數(shù)據(jù)補(bǔ)缺目標(biāo)——數(shù)據(jù)補(bǔ)缺打開課堂活動(dòng)（補(bǔ)缺）.py自定義函數(shù)supplyData實(shí)現(xiàn)了補(bǔ)缺。修改city為指定的城市名稱。（注意一定和csv文件中的城市名一致）。運(yùn)行程序，體驗(yàn)下補(bǔ)缺過程。運(yùn)行效果數(shù)據(jù)整理活動(dòng)小結(jié)我們通過課堂體驗(yàn)活動(dòng)，體驗(yàn)了刪除重復(fù)數(shù)據(jù)、篩選數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、補(bǔ)全缺失值的整理過程。其實(shí)數(shù)據(jù)整理除了編程工具還有多種工具可以使用，如表格軟件、在線數(shù)據(jù)分析平臺(tái)等。選擇Python編程工具來做數(shù)據(jù)整理有哪些優(yōu)勢呢？編程可靈活實(shí)現(xiàn)使用者的需求4、課堂小結(jié)數(shù)據(jù)整理整理目的整理方法問題