《數(shù)據(jù)挖掘與機器學習》 課件2.2.5 分組聚合、處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)

處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)農(nóng)產(chǎn)品信息可視化分析——NumPy、pandas與Matplotlib庫任務描述水稻是全球最重要的糧食作物之一，水稻審定數(shù)據(jù)可以為農(nóng)業(yè)科技創(chuàng)新提供重要的參考和依據(jù)，可以幫助選擇高產(chǎn)、優(yōu)質(zhì)、抗逆性強的水稻品種，促進綠色、可持續(xù)的農(nóng)業(yè)生產(chǎn)方式，有助于推動農(nóng)業(yè)的可持續(xù)發(fā)展。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)本任務先了解水稻信息數(shù)據(jù)的情況，根據(jù)數(shù)據(jù)檢測的內(nèi)容可知數(shù)據(jù)存在缺失值、重復值、異常值的情況，并對數(shù)據(jù)中的缺失值、重復值、異常值進行處理，增強后續(xù)數(shù)據(jù)分析的效果。對數(shù)據(jù)進行仔細的處理和清洗，確保數(shù)據(jù)的質(zhì)量可靠，為后續(xù)的數(shù)據(jù)分析和決策提供更可信的基礎，也展現(xiàn)了勞動精神的價值和應用。任務要求讀取農(nóng)產(chǎn)品基本信息數(shù)據(jù)。檢測數(shù)據(jù)缺失值的情況，并進行缺失值處理。檢測數(shù)據(jù)異常值的情況，并進行異常值處理。檢測數(shù)據(jù)重復值的情況，并進行重復值處理。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)數(shù)據(jù)讀取與寫入pandas數(shù)據(jù)結構pandas數(shù)據(jù)處理pandas數(shù)據(jù)處理處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)pandas數(shù)據(jù)處理數(shù)據(jù)清洗數(shù)據(jù)合并分組聚合分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)依據(jù)某個或某幾個特征對數(shù)據(jù)集進行分組，并對各組應用一個函數(shù)，無論是聚合還是轉(zhuǎn)換，都是數(shù)據(jù)分析的常用操作。分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)pandas提供了一個靈活高效的groupby()方法，配合agg()方法能夠?qū)崿F(xiàn)分組聚合的操作。groupby()方法提供的是分組聚合步驟中的拆分功能，能夠根據(jù)索引或特征對數(shù)據(jù)進行分組，其基本使用格式如下。DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=<no_default>,observed=False,dropna=True)分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)groupby()方法常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明by接收list、str、mapping、function或generator。表示用于確定進行分組的依據(jù)，若傳入的是一個函數(shù)，則對索引進行計算并分組；若傳入的是一個字典或Series，則字典或Series的值用于作為分組依據(jù)；若傳入一個NumPy數(shù)組，則數(shù)據(jù)的元素作為分組依據(jù)；若傳入的是字符串或字符串列表，則使用這些字符串所代表的特征作為分組依據(jù)。默認為Noneaxis接收0或1。表示操作的軸向。默認為0分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)groupby()方法常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明level接收int或索引名。表示標簽所在級別。默認為Noneas_index接收bool。表示聚合后的聚合標簽是否以DataFrame索引形式輸出。默認為Truesort接收bool。表示是否對分組依據(jù)、分組標簽進行排序。默認為Truegroup_keys接收bool。表示是否顯示分組標簽的名稱。默認為True分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)分組后的結果并不能直接查看，而是被存在內(nèi)存中，輸出的是內(nèi)存地址。實際上，分組后的數(shù)據(jù)對象GroupBy類似于Series與DataFrame，是pandas提供的一種對象。GroupBy對象常用的描述性統(tǒng)計方法及說明如右表所示。方法名稱方法說明count返回各組的計數(shù)值，不包括缺失值head返回每組的前n個值max返回每組最大值mean返回每組的均值median返回每組的中位數(shù)分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)分組后的結果并不能直接查看，而是被存在內(nèi)存中，輸出的是內(nèi)存地址。實際上，分組后的數(shù)據(jù)對象GroupBy類似于Series與DataFrame，是pandas提供的一種對象。GroupBy對象常用的描述性統(tǒng)計方法及說明如右表所示。方法名稱方法說明cumcount對每個分組中的組員進行標記，0～n-1size返回每組的大小min返回每組最小值std返回每組的標準差sum返回每組的和分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)agg()方法和aggregate()方法都支持對每個分組應用某函數(shù)，包括Python內(nèi)置函數(shù)或自定義函數(shù)。同時，這兩個方法也能夠直接對DataFrame進行函數(shù)應用操作。針對DataFrame的agg()方法與aggregate()方法的基本使用格式如下。DataFrame.agg(func,axis=0,*args,**kwargs)DataFrame.aggregate(func,axis=0,*args,**kwargs)agg()方法與aggregate()方法分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)agg()方法與aggregate()方法常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明func接收list、dict、function或str。表示用于聚合數(shù)據(jù)的函數(shù)。無默認值axis接收0或1。代表操作的軸向。默認為0在正常使用過程中，agg()方法和aggregate()方法對DataFrame對象操作時的功能幾乎完全相同，因此只需要掌握其中一個方法即可。分組聚合處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)對應屆生招聘數(shù)據(jù)進行分組聚合的流程如下。使用groupby()方法根據(jù)學歷要求對招聘數(shù)據(jù)進行分組結合agg()方法，計算應屆生招聘數(shù)據(jù)中不同學歷要求的工資平均值讀取農(nóng)產(chǎn)品基本信息數(shù)據(jù)缺失值檢測與處理異常值檢測與處理重復值檢測與處理存儲數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)使用pandas庫中pd.read_csv函數(shù)讀取農(nóng)產(chǎn)品基本信息數(shù)據(jù)查看農(nóng)產(chǎn)品基本信息數(shù)據(jù)的基本屬性，大致了解水稻信息數(shù)據(jù)的情況使用isnull()方法和sum()方法對農(nóng)產(chǎn)品基本信息數(shù)據(jù)中缺失值進行檢測使用dropna()方法對缺失值進行刪除處理處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)的具體流程如下。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)的具體流程如下。水稻數(shù)據(jù)中可能存在“?”和“/”兩類異常值，使用isin()方法和sum()方法對其進行檢測使用“!=”運算符剔除包含異常字符的行數(shù)據(jù)使用duplicated()方法和sum()方法對農(nóng)產(chǎn)品基本信息數(shù)