《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件2.2.4 數(shù)據(jù)合并

處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)農(nóng)產(chǎn)品信息可視化分析——NumPy、pandas與Matplotlib庫任務(wù)描述水稻是全球最重要的糧食作物之一，水稻審定數(shù)據(jù)可以為農(nóng)業(yè)科技創(chuàng)新提供重要的參考和依據(jù)，可以幫助選擇高產(chǎn)、優(yōu)質(zhì)、抗逆性強(qiáng)的水稻品種，促進(jìn)綠色、可持續(xù)的農(nóng)業(yè)生產(chǎn)方式，有助于推動(dòng)農(nóng)業(yè)的可持續(xù)發(fā)展。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)本任務(wù)先了解水稻信息數(shù)據(jù)的情況，根據(jù)數(shù)據(jù)檢測(cè)的內(nèi)容可知數(shù)據(jù)存在缺失值、重復(fù)值、異常值的情況，并對(duì)數(shù)據(jù)中的缺失值、重復(fù)值、異常值進(jìn)行處理，增強(qiáng)后續(xù)數(shù)據(jù)分析的效果。對(duì)數(shù)據(jù)進(jìn)行仔細(xì)的處理和清洗，確保數(shù)據(jù)的質(zhì)量可靠，為后續(xù)的數(shù)據(jù)分析和決策提供更可信的基礎(chǔ)，也展現(xiàn)了勞動(dòng)精神的價(jià)值和應(yīng)用。任務(wù)要求讀取農(nóng)產(chǎn)品基本信息數(shù)據(jù)。檢測(cè)數(shù)據(jù)缺失值的情況，并進(jìn)行缺失值處理。檢測(cè)數(shù)據(jù)異常值的情況，并進(jìn)行異常值處理。檢測(cè)數(shù)據(jù)重復(fù)值的情況，并進(jìn)行重復(fù)值處理。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)數(shù)據(jù)讀取與寫入pandas數(shù)據(jù)結(jié)構(gòu)pandas數(shù)據(jù)處理pandas數(shù)據(jù)處理處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)橫向堆疊縱向堆疊堆疊合并主鍵合并pandas數(shù)據(jù)處理數(shù)據(jù)清洗數(shù)據(jù)合并分組聚合堆疊就是簡(jiǎn)單地將兩個(gè)表拼在一起，也被稱作軸向連接、綁定或連接。主鍵合并，即通過一個(gè)或多個(gè)鍵將兩個(gè)數(shù)據(jù)集的行連接起來.堆疊合并數(shù)據(jù)橫向堆疊處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)橫向堆疊，即將兩個(gè)表在x軸向拼接在一起，可以使用concat函數(shù)完成。concat函數(shù)的基本使用格式如下。pandas.concat(objs,axis=0,join='outer',ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,sort=False,copy=True)堆疊合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)concat函數(shù)的常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明objs接收多個(gè)Series、DataFrame、Panel的組合。表示參與連接的pandas對(duì)象的列表的組合。無默認(rèn)值axis接收int。表示連接的軸向，可選0和1。默認(rèn)為0join接收str。表示其他軸向上的索引是按交集（inner）還是并集（outer）進(jìn)行合并。默認(rèn)為outerignore_index接收bool。表示是否不保留連接軸上的索引，產(chǎn)生一組新索引range(total_length)。默認(rèn)為Falsesort接收bool。表示對(duì)非連接軸進(jìn)行排序。默認(rèn)為False堆疊合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)當(dāng)參數(shù)axis=1時(shí)，concat函數(shù)可做行對(duì)齊，然后將不同列名稱的兩張或多張表合并。當(dāng)兩個(gè)表索引不完全一樣時(shí)，可以設(shè)置join參數(shù)選擇是內(nèi)連接還是外連接。橫向堆疊外連接示例如圖所示。堆疊合并數(shù)據(jù)concat函數(shù)實(shí)現(xiàn)縱向堆疊處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)對(duì)比橫向堆疊，縱向堆疊是將兩個(gè)數(shù)據(jù)表在y軸向上拼接，concat函數(shù)也可以實(shí)現(xiàn)縱向堆疊。當(dāng)使用concat函數(shù)時(shí)，在默認(rèn)情況下，axis=0，concat函數(shù)做列對(duì)齊，將不同行索引的兩張或多張表縱向合并。在兩張表的列名并不完全相同的情況下，可以使用join參數(shù)，當(dāng)join參數(shù)取值不同，返回的列不同。當(dāng)兩張表的列名完全相同時(shí)，不論join參數(shù)的取值是inner還是outer，結(jié)果都是將兩個(gè)表完全按照y軸拼接起來。堆疊合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)縱向堆疊外連接示例如圖所示。堆疊合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)除了concat函數(shù)之外，append()方法也可以用于縱向合并兩張表。但是使用append()方法實(shí)現(xiàn)縱向表堆疊的前提條件是兩張表的列名需要完全一致。append()方法的基本使用格式如下。pandas.DataFrame.append(other,ignore_index=False,verify_integrity=False,sort=False)append()方法實(shí)現(xiàn)縱向堆疊堆疊合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)append()方法的常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明other接收DataFrame或Series。表示要添加的新數(shù)據(jù)。無默認(rèn)值ignore_index接收bool。如果輸入True，那么就會(huì)對(duì)新生成的DataFrame使用新的索引（自動(dòng)產(chǎn)生），而忽略原來數(shù)據(jù)的索引。默認(rèn)為Falseverify_integrity接收bool。如果輸入True，那么當(dāng)ignore_index為False時(shí)，會(huì)檢查添加的數(shù)據(jù)索引是否沖突，若沖突，則會(huì)添加失敗。默認(rèn)為Falsesort接收bool。如果輸入True，那么會(huì)對(duì)合并的兩個(gè)表的列進(jìn)行排序。默認(rèn)為False主鍵合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)針對(duì)兩張包含不同特征的表，將根據(jù)某幾個(gè)特征一一對(duì)應(yīng)拼接起來，合并后數(shù)據(jù)的列數(shù)為兩個(gè)原數(shù)據(jù)的列數(shù)和減去連接鍵的數(shù)量。主鍵合并的示意如圖所示。主鍵合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)pandas庫中的merge函數(shù)可以實(shí)現(xiàn)主鍵合并，merge函數(shù)的基本使用格式如下。pandas.merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x','_y'),copy=True,indicator=False,validate=None)主鍵合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)merge函數(shù)的常用參數(shù)及其說明如下。left接收DataFrame或Series。表示要添加的新數(shù)據(jù)1。無默認(rèn)值right接收DataFrame或Series。表示要添加的新數(shù)據(jù)2。無默認(rèn)值how接收“inner”“outer”“l(fā)eft”或“right”。表示數(shù)據(jù)的連接方式。默認(rèn)為inneron接收str或sequence。表示兩個(gè)數(shù)據(jù)合并的主鍵（必須一致）。默認(rèn)為Noneleft_on接收str或sequence。表示left參數(shù)接收數(shù)據(jù)用于合并的主鍵。默認(rèn)為None參數(shù)名稱參數(shù)說明主鍵合并數(shù)據(jù)處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)right_on接收str或sequence。表示right參數(shù)接收數(shù)據(jù)用于合并的主鍵。默認(rèn)為Noneleft_index接收bool。表示是否將left參數(shù)接收數(shù)據(jù)的index作為連接主鍵。默認(rèn)為Falseright_index接收bool。表示是否將right參數(shù)接收數(shù)據(jù)的index作為連接主鍵。默認(rèn)為Falsesort接收bool。表示是否根據(jù)連接鍵對(duì)合并后的數(shù)據(jù)進(jìn)行排序。默認(rèn)為Falsemerge函數(shù)的常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明數(shù)據(jù)合并處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)某地區(qū)的幾所中學(xué)舉行聯(lián)考，其中三所學(xué)校的考試語文平均成績(jī)與數(shù)學(xué)平均成績(jī)分別如表所示。學(xué)校參加考試人數(shù)語文平均成績(jī)甲107690乙97886