Python 數(shù)據(jù)分析與應(yīng)用電子教案 第3章 數(shù)據(jù)處理

第3章數(shù)據(jù)處理一、教學目標讓學生理解數(shù)據(jù)處理在數(shù)據(jù)分析和數(shù)據(jù)挖掘中的重要性，掌握完整的數(shù)據(jù)處理流程。教授學生數(shù)據(jù)導入導出的基本操作，包括不同文件類型和數(shù)據(jù)庫的數(shù)據(jù)導入導出方法。熟悉數(shù)據(jù)清洗技術(shù)，能夠處理缺失值、重復值等問題，確保數(shù)據(jù)的質(zhì)量和一致性。引導學生利用pandas庫和NumPy庫進行數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析，包括數(shù)據(jù)訪問、清洗、抽取、合并和計算等操作。通過實訓項目，提高學生的數(shù)據(jù)處理實踐能力，加深對Python數(shù)據(jù)處理技術(shù)的理解和應(yīng)用。二、教學內(nèi)容3.1數(shù)據(jù)導入導出文件導入和導出：介紹CSV、Excel等文件的導入導出方法，使用pandas庫的read_csv()、read_excel()、to_csv()、to_excel()等函數(shù)。數(shù)據(jù)庫導入和導出：概述數(shù)據(jù)從一個數(shù)據(jù)庫導入另一個數(shù)據(jù)庫或從數(shù)據(jù)庫導出數(shù)據(jù)的過程，涉及數(shù)據(jù)格式轉(zhuǎn)換和加載。網(wǎng)頁數(shù)據(jù)導入和導出：簡要介紹網(wǎng)頁數(shù)據(jù)導入導出的應(yīng)用場景，如網(wǎng)頁爬取、數(shù)據(jù)采集等，具體操作將在后續(xù)章節(jié)展開。3.2數(shù)據(jù)清洗數(shù)據(jù)排序：使用pandas的sort_values()方法對數(shù)據(jù)進行升序和降序排列。重復數(shù)據(jù)處理：使用duplicated()函數(shù)標識重復行，使用drop_duplicates()函數(shù)刪除重復行。缺失值處理：使用isnull()方法查找缺失值，使用dropna()方法刪除缺失值行，使用fillna()方法填充缺失值。3.3數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)類型查看：介紹使用type()函數(shù)、isinstance()函數(shù)、__class__屬性和type()函數(shù)結(jié)合__name__屬性查看數(shù)據(jù)類型的方法。數(shù)值與字符串轉(zhuǎn)換：使用str()函數(shù)將數(shù)值轉(zhuǎn)換為字符串，使用int()或float()函數(shù)將字符串轉(zhuǎn)換為數(shù)值。字符串與日期時間對象轉(zhuǎn)換：使用datetime.strptime()函數(shù)將字符串轉(zhuǎn)換為日期時間對象，使用strftime()函數(shù)將日期時間對象轉(zhuǎn)換為字符串。3.4數(shù)據(jù)抽取字符串拆分：使用字符串的split()方法和正則表達式模塊re進行字符串拆分。記錄抽取：介紹將抽取的記錄寫入文件和存儲到數(shù)據(jù)框的方法，使用文件操作和pandas庫的to_csv()函數(shù)。3.5數(shù)據(jù)合并記錄合并：使用pandas的merge()函數(shù)、concat()函數(shù)和join()方法進行記錄合并，包括內(nèi)連接、行拼接等。字段合并：使用字符串連接操作和字符串格式化合并字段，介紹使用字符串方法和正則表達式進行復雜字段合并。字段匹配：使用merge()函數(shù)和merge_asof()函數(shù)進行字段匹配和字段模糊匹配。3.6數(shù)據(jù)計算簡單計算：使用Python基本運算符和內(nèi)置數(shù)學函數(shù)進行數(shù)值計算。時間計算：使用datetime模塊和pandas庫進行時間計算，包括時間加減、時間差計算等。數(shù)據(jù)分組：使用pandas的groupby()函數(shù)對數(shù)據(jù)進行分組，并計算每個分組的統(tǒng)計值。3.7應(yīng)用實例——電影票房統(tǒng)計之數(shù)據(jù)處理數(shù)據(jù)收集：介紹獲取電影票房數(shù)據(jù)的途徑和內(nèi)容，包括票房收入、排片情況、觀眾反饋和地域分布等。數(shù)據(jù)清洗和轉(zhuǎn)換：演示如何對票房數(shù)據(jù)進行清洗和轉(zhuǎn)換，包括刪除多余字符、轉(zhuǎn)換數(shù)據(jù)類型、抽取年份和月份等，并將清洗后的數(shù)據(jù)輸出為Excel文件。三、課后實訓實訓項目1：數(shù)據(jù)導入導出操作導入CSV和Excel文件：使用pandas庫讀取CSV和Excel文件中的數(shù)據(jù)，并輸出查看。導出數(shù)據(jù)到CSV和Excel文件：將處理后的數(shù)據(jù)導出為CSV和Excel文件，指定編碼和是否保留索引。實訓項目2：數(shù)據(jù)清洗實踐重復數(shù)據(jù)處理：創(chuàng)建一個包含重復數(shù)據(jù)的DataFrame，使用duplicated()和drop_duplicates()函數(shù)識別和刪除重復行。缺失值處理：創(chuàng)建一個包含缺失值的DataFrame，使用isnull()、dropna()和fillna()方法查找、刪除和填充缺失值。實訓項目3：數(shù)據(jù)轉(zhuǎn)換應(yīng)用類型轉(zhuǎn)換：定義不同類型的變量，使用type()、isinstance()、__class__屬性和type()結(jié)合__name__屬性查看變量類型。字符串與數(shù)值轉(zhuǎn)換：將數(shù)值變量轉(zhuǎn)換為字符串，將字符串變量轉(zhuǎn)換為整數(shù)或浮點數(shù)。日期時間轉(zhuǎn)換：將日期時間字符串轉(zhuǎn)換為日期時間對象，將日期時間對象轉(zhuǎn)換為指定格式的字符串。實訓項目4：數(shù)據(jù)抽取與合并字符串拆分與記錄抽?。菏褂胹plit()方法和正則表達式拆分字符串，將拆分后的數(shù)據(jù)存儲到列表或數(shù)據(jù)框中。數(shù)據(jù)合并操作：使用merge()、concat()和join()方法對多個數(shù)據(jù)框進行合并，實現(xiàn)不同數(shù)據(jù)集的整合。實訓項目5：電影票房數(shù)據(jù)分析票房數(shù)據(jù)收集與導入：從貓眼網(wǎng)站下載各年度、月份的總票房情況，導入到Python中進行處理。數(shù)據(jù)清洗與轉(zhuǎn)換：