大數(shù)據(jù)技術(shù)在財務(wù)中的應(yīng)用Python版 課件 項目5 利用Pandas進行財務(wù)數(shù)據(jù)分析

項目5利用Pandas進行財務(wù)數(shù)據(jù)分析利用Pandas進行數(shù)據(jù)排序和排名分析任務(wù)5.1利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析任務(wù)5.2利用Pandas進行數(shù)據(jù)的分組與分段分析任務(wù)5.3利用Pandas進行數(shù)據(jù)的交叉與透視分析任務(wù)5.4目錄利用Pandas進行數(shù)據(jù)相關(guān)性分析任務(wù)5.5項目學(xué)習(xí)目標(biāo)1知識目標(biāo)2能力目標(biāo)3素養(yǎng)目標(biāo)掌握索引排序函數(shù)sort_index()、數(shù)值排序函數(shù)sort_values()以及數(shù)據(jù)排名函數(shù)rank()的使用；掌握常用統(tǒng)計分析函數(shù)的使用，如sum()、mean()、max()、min()等函數(shù)；掌握分組統(tǒng)計函數(shù)groupby()、agg()及分段函數(shù)cut()的使用；掌握交叉分析函數(shù)crosstab()及數(shù)據(jù)透視函數(shù)pivot_table()的使用；掌握相關(guān)系數(shù)計算函數(shù)corr()的使用。能根據(jù)分析需要對財務(wù)數(shù)據(jù)進行排序或排名；能根據(jù)分析需要對財務(wù)數(shù)據(jù)進行統(tǒng)計與描述；能根據(jù)分析需要對財務(wù)數(shù)據(jù)進行分組和分段；能根據(jù)分析需要對財務(wù)數(shù)據(jù)進行交叉和透視分析；能根據(jù)分析需要對財務(wù)數(shù)據(jù)進行相關(guān)性分析。具有做事認(rèn)真、一絲不茍的學(xué)習(xí)態(tài)度；具有與團隊成員精誠合作的精神，能正確面對成功或失??；具有一定的自學(xué)能力和實踐創(chuàng)新意識。引入案例任務(wù)分析知識解析案例解析任務(wù)實訓(xùn)實訓(xùn)評價5.1.1數(shù)據(jù)排序5.1.2數(shù)據(jù)排名任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析引入案例美創(chuàng)科技有限公司財務(wù)人員小王想利用企業(yè)費用支出表.xlsx(位置：E:\file\)中的數(shù)據(jù)，對今年每個月的招待費進行排序和排名，大概了解一下招待費每個月的使用情況，那么在Pandas中如何實現(xiàn)呢？任務(wù)分析要想實現(xiàn)對數(shù)據(jù)的排序和排名，就要用到Pandas模塊中的索引排序函數(shù)sort_index()、數(shù)值排序函數(shù)sort_values()以及數(shù)據(jù)排名函數(shù)rank()，通過正確選擇函數(shù)、設(shè)置函數(shù)參數(shù)，就能實現(xiàn)分析目標(biāo)。任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析知識解析在數(shù)據(jù)分析時，對數(shù)據(jù)進行排序和排名是常用的操作。通過數(shù)據(jù)的排序和排名，比較容易發(fā)現(xiàn)數(shù)據(jù)的特征和趨勢，找到解決問題的線索。除此之外，排序和排名還有助于對數(shù)據(jù)檢查糾錯，為數(shù)據(jù)的分組或分段提供方便。5.1.1數(shù)據(jù)排序數(shù)據(jù)排序是指使數(shù)據(jù)按一定方式進行排列，通過數(shù)據(jù)排序可以更為方便地看出數(shù)據(jù)特征。DataFrame排序可以分為按索引排序和按數(shù)值排序。任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析一、按索引排序按索引排序是指按照DataFrame索引的值升序或者降序重新排列數(shù)據(jù)，在Pandas中利用sort_index()函數(shù)可以實現(xiàn)按照索引對數(shù)據(jù)進行排序。sort_index()函數(shù)的語法格式如下：DataFrame.sort_index(axis=0,level=None,ascending=True,inplace=False,kind='quicksort’,na_position='last',sort_remaining=True,ignore_index=False,key=None)參數(shù)說明axis接收0或1。表示用來指定排序的軸，0表示根據(jù)行索引排序，1表示根據(jù)列索引排序，默認(rèn)為0。level用來指定索引級別，若設(shè)置則按照指定的級別排序，默認(rèn)為None，即以索引的值進行排序。ascending接收布爾值或布爾值列表。用來指定是否升序排序，默認(rèn)是True，即升序排序。inplace接收布爾值,默認(rèn)為False。如果設(shè)置為True,則在原地（原來的數(shù)據(jù)）進行操作。na_position接收'first'或'last'。用來指定空值（NaN）應(yīng)該排序的位置，默認(rèn)為'last'，即放在最后面。任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析【做中學(xué)5.1.1】讀入應(yīng)交個稅表.xlsx（位置：E:\file\），將工號設(shè)置為行索引，然后根據(jù)行索引升序排列?！咀鲋袑W(xué)5.1.1】解析如下：導(dǎo)入Pandas模塊和Excel表格數(shù)據(jù)。程序如下：importpandasaspd#引入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\應(yīng)交個稅表.xlsx')df#查看dfSTEP01將工號列設(shè)置為行索引，并按照行索引升序排列。程序如下：df1=df.set_index('工號')#將工號列設(shè)置為行索引df1.sort_index(inplace=True)df1#查看df1STEP02任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析二、按數(shù)值排序按數(shù)值排序是指可以按照DataFrame某一列(行)或幾列(行)的值升序或者降序的方式重新排列數(shù)據(jù)，在Pandas中利用sort_values()函數(shù)實現(xiàn)對數(shù)值的排序。sort_values()函數(shù)的語法格式如下：DataFrame.sort_values(by,axis=0,ascending=Ture,inplace=Flase,kind='quicksort’,na_position='last',ignore_index=False,key=None)參數(shù)說明by接收字符串（行名或者列名），也可以是字符串的列表（多個行名或者多個列名），需要配合axis參數(shù)使用。如果axis=0或者"index"，那么by="列名"；如果axis=1或者"columns"，那么by="行名"。axis若axis=0或'index'，則按照指定列中數(shù)據(jù)大小排序；若axis=1或'columns'，則按照指定行中數(shù)據(jù)大小排序，默認(rèn)axis為0。ascending接收布爾值或布爾值列表。指定是否升序排序，默認(rèn)是True，即升序排序。inplace接收布爾值,默認(rèn)為False。如果設(shè)置為True,則在原地（原來的數(shù)據(jù)）進行操作。na_position接收'first'或'last'。表示指定空值（NaN）應(yīng)該排序的位置，默認(rèn)為'last'，即放在最后面?！菊堊⒁狻縮ort_values()函數(shù)必須指定by參數(shù)，即必須指定行或列。任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析【做中學(xué)5.1.2】讀入應(yīng)交個稅表.xlsx（位置：E:\file\），對表格中的數(shù)據(jù)按列進行排序?！咀鲋袑W(xué)5.1.2】解析如下：導(dǎo)入Pandas模塊和Excel表格，并根據(jù)應(yīng)交個稅列升序排列。程序如下：importpandasaspd#引入Pandas#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\應(yīng)交個稅表.xlsx')df.sort_values(by='應(yīng)交個稅')#根據(jù)應(yīng)交個稅列升序排列STEP01根據(jù)應(yīng)交個稅列和工號列兩列排序，并且應(yīng)交個稅列、工號列都降序排列。程序如下：df.sort_values(by=['應(yīng)交個稅','工號'],

ascending=[False,False])STEP02任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析rank()函數(shù)的語法格式如下：DataFrame.rank(axis=0,method='average',numeric_only=None,na_option='keep',ascending=True,pct=False)5.1.2數(shù)據(jù)排名參數(shù)說明axis接收0或'index'，1或'columns'。表示沿著行或列計算排名，默認(rèn)為0。method接收'average'，'min'，'max'，'first'或'dense'，默認(rèn)為'average'。表示如何對相同數(shù)值進行排名，不同的取值含義如下：①average：在相等分組中，為各個值分配平均排名；②min：使用整個分組的最小排名；③max：使用整個分組的最大排名；④first:按值在原始數(shù)據(jù)中的出現(xiàn)順序分配排名；⑤dense：類似于'min’，但組之間的排名始終提高1，即并列的數(shù)據(jù)只占據(jù)一個名次。numeric_only接收布爾值，表示是否僅僅計算數(shù)字型的columns。na_option接收'keep'，'top'或'bottom'，默認(rèn)為'keep'。表示NaN值是否參與排名及如何排名，不同的取值含義如下：①keep：將NaN等級分配給NaN值；②top：如果升序，則將最小等級分配給NaN值；③bottom：如果升序，則將最高等級分配給NaN值。ascending接收布爾值，默認(rèn)為True。表示某列（行）元素是否按升序排名。pct接收布爾值，默認(rèn)為False。表示是否以百分比形式顯示返回的排名。任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析【做中學(xué)5.1.3】讀入應(yīng)交個稅表.xlsx（位置：E:\file\），對表格中的應(yīng)交個稅列使用method參數(shù)的四種取值進行排名?！咀鲋袑W(xué)5.1.3】程序如下：importpandasaspd#引入Pandas模塊df=pd.read_excel(r'E:\file\應(yīng)交個稅表.xlsx')df['rank_avg']=df['應(yīng)交個稅'].rank(ascending=False)df['rank_min']=df['應(yīng)交個稅'].rank(method='min',ascending=False)df['rank_max']=df['應(yīng)交個稅'].rank(method='max',ascending=False)df['rank_fir']=df['應(yīng)交個稅'].rank(method='first',ascending=False)df['rank_den']=df['應(yīng)交個稅'].rank(method='dense',ascending=False)df#查看df內(nèi)容任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析讀取企業(yè)費用支出表.xlsx（位置：E:\file\）獲取數(shù)據(jù)。程序如下：importpandasaspd#導(dǎo)入Pandas模塊#讀入Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\企業(yè)費用支出表.xlsx')df.head()#查看前5行數(shù)據(jù)STEP01案例解析任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析使用sort_values()函數(shù)對招待費按降序排列。程序如下：df1=df.sort_values(by="招待費",ascending=False)df1.head()#查看df前5行STEP02案例解析任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析使用rank()函數(shù)對招待費進行排名，并在原來df增加排名列。程序如下：df['排名']=df['招待費'].rank(method='dense',ascending=False)df#查看dfSTEP03任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析任務(wù)實訓(xùn)請上機編寫程序?qū)崿F(xiàn)以下要求：讀取企業(yè)費用支出表.xlsx（位置：E:\file\），對管理費按降序進行排列，同時對管理費進行排名，且并列的數(shù)據(jù)只占據(jù)一個名次。實訓(xùn)評價評價類別評價內(nèi)容分值得分綜合得分知識與技能評價（70%）能正確讀入表格10

能選擇合適的函數(shù)20

能正確設(shè)定函數(shù)參數(shù)20

能得到正確的實訓(xùn)結(jié)果20

素質(zhì)評價（30%）具有刻苦、勤奮、好問、獨立思考和細(xì)心檢查的學(xué)習(xí)習(xí)慣10

能與組員精誠合作，能正確面對他人的成功或失敗10

具有一定的自學(xué)能力，分析問題、解決問題能力和創(chuàng)新能力10

任務(wù)5.1利用Pandas進行數(shù)據(jù)排序和排名分析引入案例任務(wù)分析知識解析案例解析任務(wù)實訓(xùn)實訓(xùn)評價5.2.1數(shù)值型字段的統(tǒng)計與描述5.2.2分類型字段的統(tǒng)計與描述任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析引入案例美創(chuàng)科技有限公司的財務(wù)人員小王想要根據(jù)企業(yè)費用支出表.xlsx(位置：E:\file\)中的數(shù)據(jù)計算辦公費的合計數(shù)、平均值、最大值、最小值、標(biāo)準(zhǔn)差等統(tǒng)計指標(biāo)，那么小王如何利用Pandas快速計算出這些統(tǒng)計值呢?任務(wù)分析利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述，首先要確定分析數(shù)據(jù)的類型，如果是數(shù)值類型，可以直接利用統(tǒng)計指標(biāo)函數(shù)(如求和函數(shù)sum()、平均數(shù)函數(shù)mean()、最大值函數(shù)max()等)，或者利用describe()函數(shù)直接進行描述性統(tǒng)計；如果是分類型數(shù)據(jù)，可以利用value_counts()函數(shù)進行統(tǒng)計，或者使用describe()函數(shù)進行統(tǒng)計分析。任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析知識解析數(shù)據(jù)的統(tǒng)計與描述可以用來概括和表示數(shù)據(jù)的分布狀況，通過這些統(tǒng)計指標(biāo)可以方便的表示一組數(shù)據(jù)的集中趨勢、離散趨勢、頻數(shù)分布等特征。5.2.1數(shù)值型字段的統(tǒng)計與描述數(shù)值型字段是指該字段是用數(shù)值來描述的，如營業(yè)收入、營業(yè)成本、凈利潤等。數(shù)值型字段的描述性統(tǒng)計主要包括計算最小值、最大值、均值、中位數(shù)、四分位數(shù)、極差、方差、標(biāo)準(zhǔn)差等統(tǒng)計指標(biāo)。任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析一、直接利用統(tǒng)計指標(biāo)進行計算Pandas提供了很多方法來計算數(shù)值型字段的各類指標(biāo)，常用統(tǒng)計指標(biāo)如下表所示。方法名稱說明方法名稱說明mean均值max最大值median中位數(shù)min最小值mode眾數(shù)ptp極差quantile四分位數(shù)std標(biāo)準(zhǔn)差sum總和cumsum累加和skew偏度kurt峰度直接利用統(tǒng)計指標(biāo)進行計算的語法格式：DataFrame[column].統(tǒng)計指標(biāo)任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析【做中學(xué)5.2.1】讀入期間費用表.xlsx（位置：E:\file\），實現(xiàn)如下操作：（1）對銷售費用求和；（2）對管理費用求平均值；（3）對財務(wù)費用求標(biāo)準(zhǔn)差。importpandasaspd#引入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\期間費用表.xlsx')print('銷售費用的和為：',df['銷售費用'].sum())print('管理費用的平均值為：',df['管理費用'].mean())print('財務(wù)費用的標(biāo)準(zhǔn)差為：',df['財務(wù)費用'].std())【做中學(xué)5.2.1】程序如下：銷售費用的和為：75355管理費用的平均值為：23267.5財務(wù)費用的標(biāo)準(zhǔn)差為：1611.3278732621475程序輸出結(jié)果如下所示：任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析二、利用describe()函數(shù)進行計算Pandas模塊提供了describe()函數(shù)用來一次性計算數(shù)值型字段的8個統(tǒng)計指標(biāo)，如下表所示。方法名稱說明count非空個數(shù)mean均值std標(biāo)準(zhǔn)差min最小值25%25%分位數(shù)50%50%分位數(shù)，即中位數(shù)75%75%分位數(shù)max最大值在調(diào)用describe()函數(shù)計算統(tǒng)計指標(biāo)時,還可以采用describe()[i](i=0,1,2,…)的方法調(diào)用某個統(tǒng)計指標(biāo),如用describe()[0]調(diào)用第1個統(tǒng)計指標(biāo)count，如用describe()[1]調(diào)用第2個統(tǒng)計指標(biāo)mean。同時，還可以用指標(biāo)名稱來調(diào)用指標(biāo)，如describe()['25%']，表示調(diào)用25%分位數(shù)，即調(diào)用下四分位數(shù)。任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析【做中學(xué)5.2.2】讀入期間費用表.xlsx（位置：E:\file\），使用describe()函數(shù)實現(xiàn)對財務(wù)費用的描述性統(tǒng)計分析。importpandasaspd#引入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\期間費用表.xlsx')print('財務(wù)費用的描述性統(tǒng)計指標(biāo)如下：')print(df['財務(wù)費用'].describe())print('采用位置獲取標(biāo)準(zhǔn)差：',df['財務(wù)費用'].describe()[2])print('采用名稱獲取標(biāo)準(zhǔn)差：',df['財務(wù)費用'].describe()['std'])print('采用名稱獲取下四分位數(shù)：',df['財務(wù)費用'].describe()['25%'])【做中學(xué)5.2.2】程序如下：財務(wù)費用的描述性統(tǒng)計指標(biāo)如下：count12.000000mean3963.666667std1611.327873min2047.00000025%2581.25000050%3959.50000075%5335.000000max6163.000000Name:財務(wù)費用,dtype:float64采用位置獲取標(biāo)準(zhǔn)差：1611.3278732621475采用名稱獲取標(biāo)準(zhǔn)差：1611.3278732621475采用名稱獲取下四分位數(shù)：2581.25程序輸出結(jié)果如下所示：任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析5.2.2分類型字段的統(tǒng)計與描述一、利用value_counts()函數(shù)進行統(tǒng)計分析參數(shù)說明normalize接收布爾型。表示是否按頻率顯示，默認(rèn)為False,則按頻數(shù)顯示。sort接收布爾型。表示是否對結(jié)果排序，默認(rèn)為True,會對結(jié)果進行排序。ascending接收布爾型。表示按降序排列，還是升序排序，默認(rèn)為False,表示降序。bins接收整數(shù)。表示可以自定義分組區(qū)間，默認(rèn)為None，只適用于數(shù)值型數(shù)據(jù)。dropna接收布爾型。表示是否刪除缺失值NaN，默認(rèn)為Ture,表示刪除缺失值。任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析Pandas提供了value_counts()函數(shù)用來統(tǒng)計分類型字段的頻數(shù)。value_counts()函數(shù)的語法格式如下：Series.value_counts(normalize=False,sort=True,ascending=False,bins=None,dropna=True)【做中學(xué)5.2.3】讀入銷售統(tǒng)計表.xlsx（位置：E:\file\），使用value_counts()函數(shù)統(tǒng)計不同銷售部門的員工人數(shù)?！咀鲋袑W(xué)5.2.3】解析如下：導(dǎo)入Pandas模塊和Excel表格數(shù)據(jù)。程序如下：importpandasaspd#引入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\銷售統(tǒng)計表.xlsx')df.head()#查看前5行數(shù)據(jù)STEP01對銷售部門列的不同取值進行頻數(shù)統(tǒng)計，并按降序進行排列。程序如下：df['銷售部門'].value_counts(ascending=False)STEP02銷售3部14銷售2部13銷售1部11Name:銷售部門,dtype:int64程序輸出結(jié)果如下所示：程序輸出結(jié)果如下所示：任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析對銷售部門列的不同取值進行頻率統(tǒng)計，并按升序進行排列。程序如下：df['銷售部門'].value_counts(normalize=True,ascending=True)STEP03銷售1部0.289474銷售2部0.342105銷售3部0.368421Name:銷售部門,dtype:float64程序輸出結(jié)果如下所示：二、利用describe()函數(shù)進行統(tǒng)計分析Pandas中describe()函數(shù)除了可以對數(shù)值型字段進行統(tǒng)計描述，還可以對分類型字段進行統(tǒng)計描述。對于分類型字段，describe()函數(shù)可以統(tǒng)計分類數(shù)目、最多頻數(shù)類別等結(jié)果。describe()函數(shù)統(tǒng)計結(jié)果的含義如右表所示。方法名稱含義count表示非空數(shù)目unique表示數(shù)據(jù)的種類top表示出現(xiàn)最多的類型freq表示出現(xiàn)最多的類型的數(shù)目任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析【做中學(xué)5.2.4】讀入銷售統(tǒng)計表.xlsx（位置：E:\file\），使用describe()函數(shù)對銷售部門列進行描述統(tǒng)計。importpandasaspd#引入Pandas#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\銷售統(tǒng)計表.xlsx')sale=df['銷售部門'].describe()sale#查看sale【做中學(xué)5.2.4】程序如下：count38unique3top銷售3部freq14Name:銷售部門,dtype:object程序輸出結(jié)果如下所示：

從程序運行結(jié)果可以看出，對于銷售部門列有38個非空元素值，分為3個種類，分別為：銷售1部、銷售2部、銷售3部，其中出現(xiàn)非空值最多的是銷售3部，共計有14個。任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析通過讀取企業(yè)費用支出表.xlsx（位置：E:\file\）獲取數(shù)據(jù)。程序如下：importpandasaspd#導(dǎo)入Pandas模塊#讀入Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\企業(yè)費用支出表.xlsx')STEP01案例解析對辦公費采用sum()、mean()、max()、min()、std()函數(shù)統(tǒng)計合計數(shù)、平均值、最大值、最小值和標(biāo)準(zhǔn)差。程序如下：print('辦公費的合計數(shù)為：',df['辦公費'].sum())print('辦公費的平均值為：',df['辦公費'].mean())print('辦公費的最大值為：',df['辦公費'].max())print('辦公費的最小值為：',df['辦公費'].min())print('辦公費的標(biāo)準(zhǔn)差為：',df['辦公費'].std())STEP02辦公費的合計數(shù)為：299000辦公費的平均值為：24916.666666666668辦公費的最大值為：49000辦公費的最小值為：8000辦公費的標(biāo)準(zhǔn)差為：14100.021491494475程序輸出結(jié)果如下所示：任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析任務(wù)實訓(xùn)請上機編寫程序?qū)崿F(xiàn)以下要求：讀取企業(yè)費用支出表.xlsx（位置：E:\file\），對研發(fā)費用計算平均值、合計數(shù)、最大值、標(biāo)準(zhǔn)差。實訓(xùn)評價評價類別評價內(nèi)容分值得分綜合得分知識與技能評價（70%）能正確讀入Execel表格10

能計算出平均值15

能計算出合計數(shù)15

能計算出最大值15

能計算出標(biāo)準(zhǔn)差15

素質(zhì)評價（30%）具有刻苦、勤奮、好問、獨立思考和細(xì)心檢查的學(xué)習(xí)習(xí)慣10

能與組員精誠合作，能正確面對成功或失敗10

具有一定的自學(xué)能力，分析問題、解決問題能力和創(chuàng)新能力10

任務(wù)5.2利用Pandas進行數(shù)據(jù)的統(tǒng)計與描述分析

引入案例任務(wù)分析知識解析案例解析任務(wù)實訓(xùn)實訓(xùn)評價5.3.1數(shù)據(jù)分組統(tǒng)計分析5.3.2數(shù)據(jù)分段統(tǒng)計分析任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析引入案例在財務(wù)工作中，經(jīng)常需要對一些財務(wù)指標(biāo)進行分類匯總，美創(chuàng)科技有限公司的財務(wù)人員小王要根據(jù)近兩年的財務(wù)數(shù)據(jù)fin_data2.xlsx(位置：E:\file\)按“年”計算營業(yè)收入、營業(yè)成本、凈利潤的合計數(shù)、平均值、標(biāo)準(zhǔn)差，那么如何利用Pandas快速計算出這些統(tǒng)計值呢?任務(wù)分析要想實現(xiàn)數(shù)據(jù)的分組統(tǒng)計分析，首先使用Pandas模塊的分組函數(shù)groupby()進行分組，再使用聚合函數(shù)(如sum()、size()、std()等)，如要實現(xiàn)更加靈活的聚合方式，則需要使用agg()函數(shù)；要想實現(xiàn)數(shù)據(jù)的分段統(tǒng)計分析，可先使用cut()函數(shù)，然后再使用value_counts()進行統(tǒng)計。任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析知識解析在數(shù)據(jù)分析時，對數(shù)據(jù)進行分組和分段是常用的操作，通過分組和分段可以挖掘出更多數(shù)據(jù)的內(nèi)在信息。5.3.1數(shù)據(jù)分組統(tǒng)計分析分組統(tǒng)計分析主要利用分組聚合操作來實現(xiàn)，所謂分組聚合就是將DataFrame對象根據(jù)一列或多列劃分成若干組，然后對分組后的數(shù)據(jù)分別進行匯總計算，并將匯總計算后的結(jié)果進行合并。如下圖所示，這是按門店對銷售額進行分組聚合的一個簡單案例。任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析按門店對銷售額進行分組聚合一、數(shù)據(jù)分組任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析groupby()函數(shù)的語法格式如下:DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,dropna=True)Pandas提供了一個靈活的groupby()函數(shù)，通過groupby()函數(shù)可以對DataFrame對象進行分組操作，進而再對每一組進行統(tǒng)計分析，如計算每組最大值、最小值、平均值、中位數(shù)等。通過groupby()函數(shù)執(zhí)行分組操作，只會返回一個GroupBy對象，該對象實際上并沒有進行任何的計算，其僅僅是中間數(shù)據(jù)。groupby()函數(shù)常用參數(shù)說明常用參數(shù)說明by接收映射、函數(shù)、標(biāo)簽或標(biāo)簽列表，用于確定聚合的組。axis接收0或1，用于表示沿行或列分割。默認(rèn)為0，表示沿行分割。level接收int、級別名稱或序列，默認(rèn)為None。如果軸是一個多索引(層次化)，則按一個或多個特定級別分組。as_index接收布爾型，默認(rèn)Ture。Ture表示返回以by參數(shù)指定的組標(biāo)簽為索引的對象，F(xiàn)alse表示不以組標(biāo)簽為索引。sort接收布爾型，表示按組鍵排序，默認(rèn)為True。設(shè)置為False可獲得更好的性能。任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析【做中學(xué)5.3.1】讀入應(yīng)收賬款統(tǒng)計表.xlsx（位置：E:\file\），使用groupby()函數(shù)按年進行分組，并查看分組數(shù)據(jù)。導(dǎo)入Pandas模塊和讀入Excel表格。程序如下：importpandasaspd#導(dǎo)入pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\應(yīng)收賬款統(tǒng)計表.xlsx’,converters={'年':str,'月':str})df.head()#查看前5行數(shù)據(jù)STEP01使用groupby()函數(shù)按年進行分組。程序如下：df.groupby('年')STEP02任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析<pandas.core.groupby.generic.DataFrameGroupByobjectat0x000001D0546CDBE0>

從程序運行結(jié)果可以看出，使用groupby()函數(shù)對DataFrame數(shù)據(jù)進行分組操作后，返回的結(jié)果是一個分組的對象(DataFrameGroupBy，即分組的中間數(shù)據(jù))，而不是一個DataFrame或Series對象，分組后可以使用相關(guān)函數(shù)進行查看，或進行聚合運算。使用get_group()函數(shù)查看某一分組。程序如下：df.groupby('年').get_group('2019')#查看組名是2019的分組STEP03使用for循環(huán)語句遍歷所有的分組。GroupBy對象支持迭代，會生成一個包含組名和數(shù)據(jù)塊的2維元組序列，其遍歷各分組程序如下：forname,groupindf.groupby('年'):print(name)print(group)STEP04任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析二、分組統(tǒng)計1.單一聚合方式常用聚合函數(shù)及功能說明函數(shù)功能函數(shù)功能mean()計算各組平均值describe()生成描述性統(tǒng)計sum()計算各組值之和first()計算各組第一個值size()計算各組大小(行數(shù))last()計算各組最后一個值count()計算各組元素個數(shù)nth()取各組第n個值std()計算各組標(biāo)準(zhǔn)差min()計算各組最小值var()計算各組方差max()計算各組最大值sem()計算各組均值的標(biāo)準(zhǔn)誤差median()計算各組中位數(shù)任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析所謂單一聚合方式，是指對特定的列每次只能使用一種聚合函數(shù)。其一般語法格式如下：DataFrame.groupby(by=分組列)[統(tǒng)計列].聚合函數(shù)【做中學(xué)5.3.2】讀入應(yīng)收賬款統(tǒng)計表.xlsx（位置：E:\file\），統(tǒng)計2020年不同客戶的本期發(fā)生額的總數(shù)及期初余額的平均數(shù)。導(dǎo)入Pandas模塊和讀入Excel表格，并篩選出2020年的數(shù)據(jù)。程序如下：importpandasaspd#導(dǎo)入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\應(yīng)收賬款統(tǒng)計表.xlsx',converters={'年':str,'月':str})df1=df.loc[df['年']=='2020']#篩選出2020年的數(shù)據(jù)df1.head()#查看前5行數(shù)據(jù)STEP01程序輸出結(jié)果如下：【做中學(xué)5.3.2】解析如下：統(tǒng)計2020年不同客戶應(yīng)收賬款本期發(fā)生額的總數(shù)。程序如下：df1.groupby('客戶ID')['本期發(fā)生額'].sum()STEP02客戶IDFZ0326135000NJ0124179820TJ0201250000WX0621114000XM024890000Name:本期發(fā)生額,dtype:int64程序輸出結(jié)果如下：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析統(tǒng)計2020年不同客戶應(yīng)收賬款期初余額的平均數(shù)。程序如下：df1.groupby('客戶ID')['期初余額'].mean()STEP03客戶IDFZ032657333.333333NJ0124129870.000000TJ0201280000.000000WX0621114500.000000XM024890000.000000Name:期初余額,dtype:float64程序輸出結(jié)果如下所示：2.自定義聚合方式使用agg()函數(shù)，可以實現(xiàn)對多列進行一種聚合或多種聚合方式，主要有以下三種方式：（1）對指定列同時使用多個聚合函數(shù)。這時必須把由聚合函數(shù)名構(gòu)成的字符串列表作為agg()函數(shù)的參數(shù)。

【做中學(xué)5.3.3】讀入應(yīng)收賬款統(tǒng)計表.xlsx（位置：E:\file\），使用groupby()函數(shù)按“年”進行分組，并統(tǒng)計各組本期發(fā)生額列、期初余額列的平均值、合計值、最小值、最大值。任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析importpandasaspd#引入pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\應(yīng)收賬款統(tǒng)計表.xlsx',converters={'年':str,'月':str})df.groupby('年')[['本期發(fā)生額','期初余額']].agg(['mean','sum','max','min'])【做中學(xué)5.3.3】程序如下：程序輸出結(jié)果如下所示：（2）對特定的列使用特定的聚合函數(shù)。這時可以通過構(gòu)造字典傳入agg()函數(shù)實現(xiàn)，其中字典以列名為鍵，以聚合函數(shù)名的字符串或字符串列表為值。任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析【做中學(xué)5.3.4】接續(xù)【做中學(xué)5.3.3】使用groupby()函數(shù)按“年”進行分組，并統(tǒng)計各組本期發(fā)生額列的合計值、平均值，期初余額列的最小值。df.groupby('年').agg({'本期發(fā)生額':['mean','sum'],'期初余額':'min'})【做中學(xué)5.3.4】程序如下：程序輸出結(jié)果如下所示：（3）使用自定義的聚合函數(shù)。這時傳入聚合函數(shù)的參數(shù)是agg()函數(shù)前面數(shù)據(jù)源中的列，逐列進行計算。

【做中學(xué)5.3.5】接續(xù)【做中學(xué)5.3.3】使用groupby()函數(shù)按“年”進行分組，計算本期發(fā)生額列和期初余額列的極差（最大值-最小值）。df.groupby('年')[['本期發(fā)生額','期初余額’]].agg([lambdax:x.max()-x.min()])【做中學(xué)5.3.5】程序如下：程序輸出結(jié)果如下所示：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析5.2.2數(shù)據(jù)分段統(tǒng)計分析任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析參數(shù)說明x表示被切分的類數(shù)組數(shù)據(jù)，必須是一維的。bins表示被切割后的區(qū)間，一般為整型，但也可以為序列向量。right布爾值，確定右區(qū)間是否開閉，取True時右區(qū)間閉合。labels是否用標(biāo)簽來代替分組的結(jié)果，長度必須與結(jié)果bins相等，返回值為整數(shù)或者對bins的標(biāo)識。precision保留區(qū)間小數(shù)點的位數(shù)，默認(rèn)為3。include_lowest接收布爾型，表示是否包含左端點。cut()函數(shù)常用參數(shù)說明在Pandas中cut()函數(shù)可以實現(xiàn)將連續(xù)型數(shù)據(jù)轉(zhuǎn)換為分段型數(shù)據(jù)。cut()函數(shù)的語法格式如下:pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise',ordered=True)【做中學(xué)5.3.6】讀入公司資產(chǎn)負(fù)債率.xlsx（位置：E:\file\），根據(jù)資產(chǎn)負(fù)債率的分段情況進行統(tǒng)計?！咀鲋袑W(xué)5.3.6】解析如下：導(dǎo)入Pandas模塊和讀入Excel表格。程序如下：importpandasaspd#引入Pandas模塊#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\公司資產(chǎn)負(fù)債率.xlsx')df#查看dfSTEP01平均分為3個區(qū)間，并進行統(tǒng)計。程序如下：cat1=pd.cut(df['資產(chǎn)負(fù)債率(%)'],3)print(cat1)print('分段統(tǒng)計結(jié)果為：')print(cat1.value_counts())STEP02程序輸出結(jié)果如下所示：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析0(24.437,45.467]1(45.467,66.433]2(45.467,66.433]3(45.467,66.433]4(66.433,87.4]5(45.467,66.433]Name:資產(chǎn)負(fù)債率(%),dtype:categoryCategories(3,interval[float64]):[(24.437,45.467]<(45.467,66.433]<(66.433,87.4]]分段統(tǒng)計結(jié)果為：(45.467,66.433]4(24.437,45.467]1(66.433,87.4]1Name:資產(chǎn)負(fù)債率(%),dtype:int64程序輸出結(jié)果如下所示：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析指定區(qū)間進行分割并指定labels，再進行統(tǒng)計，程序如下：cat2=pd.cut(df['資產(chǎn)負(fù)債率(%)'],bins=[0,50,55,60,70,100],labels=['優(yōu)秀','良好','平均','較低','較差'])print(cat2)print('分段統(tǒng)計結(jié)果為：')print(cat2.value_counts())STEP03程序輸出結(jié)果如下所示：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析讀入fin_data2.xlsx（位置：E:\file\）中的利潤表項目，按年進行分組，并查看2021年的分組數(shù)據(jù)。程序如下：importpandasaspd#導(dǎo)入Pandas模塊#讀入Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\fin_data2.xlsx',sheet_name=1,converters={'年':str,'月':str})grouped=df.groupby('年')#按年進行分組grouped.get_group('2021').head()STEP01案例解析在分組的基礎(chǔ)上，使用agg()函數(shù)計算營業(yè)收入、營業(yè)成本、凈利潤的合計數(shù)、平均值、最大值、標(biāo)準(zhǔn)差。程序如下：grouped.agg(['sum','mean','std’)].round(2)STEP02程序輸出結(jié)果如下所示：任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析任務(wù)實訓(xùn)

請上機編寫程序?qū)崿F(xiàn)以下要求：讀入fin_data.xlsx（位置：E:\file\）的利潤表項目，按年進行分組并查看分組數(shù)據(jù)，然后計算營業(yè)收入的平均值、營業(yè)成本的合計數(shù)以及凈利潤的標(biāo)準(zhǔn)差。實訓(xùn)評價評價類別評價內(nèi)容分值得分綜合得分知識與技能評價（70%）能正確讀入Execel表格10

能正確進行分組10

能查看分組情況15

能計算出營業(yè)收入的平均值10

能計算出營業(yè)成本的合計數(shù)10

能計算出凈利潤的標(biāo)準(zhǔn)差15

素質(zhì)評價（30%）具有刻苦、勤奮、好問、獨立思考和細(xì)心檢查的學(xué)習(xí)習(xí)慣10

能與組員精誠合作，能正確面對成功或失敗10

具有一定的自學(xué)能力，分析問題、解決問題能力和創(chuàng)新能力10

任務(wù)5.3利用Pandas進行數(shù)據(jù)的分組與分段分析引入案例任務(wù)分析知識解析案例解析任務(wù)實訓(xùn)實訓(xùn)評價5.4.1頻數(shù)交叉分析5.4.2數(shù)據(jù)透視分析任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析引入案例在財務(wù)分析工作中，經(jīng)常會從不同角度對數(shù)據(jù)進行分類匯總。美創(chuàng)科技財務(wù)人員小王想要根據(jù)下圖中的左圖表格數(shù)據(jù)轉(zhuǎn)換成右圖表格數(shù)據(jù)，其中右圖中以季度作為行，以年作為列，中間數(shù)據(jù)為平均流動資產(chǎn)、平均非流動資產(chǎn)的季度合計數(shù)。這個轉(zhuǎn)換過程稱為數(shù)據(jù)透視，那么在Pandas中如何實現(xiàn)呢?任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析任務(wù)分析要想實現(xiàn)頻數(shù)的交叉分析，可以使用Pandas模塊提供的crosstab()函數(shù)實現(xiàn)；要想實現(xiàn)數(shù)據(jù)的透視分析，可以使用Pandas模塊提供的pivot_table()函數(shù)實現(xiàn)。任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析知識解析數(shù)據(jù)交叉透視分析是數(shù)據(jù)分析中常用方法之一，通過交叉透視分析可以用來判斷不同字段之間是否存在相互關(guān)聯(lián)。5.4.1頻數(shù)交叉分析

頻數(shù)交叉表是一種用于計算分組頻數(shù)的表格，頻數(shù)交叉表只統(tǒng)計行與列字段交叉出現(xiàn)的頻數(shù)，因為表格統(tǒng)計的內(nèi)容是有限的，所以行字段和列字段的取值不能過多，一般都是字符型分類字段。例如，分析性別與商品類別之間是否存在關(guān)聯(lián)，就可以把性別與商品類別分別作為行字段和列字段，進而統(tǒng)計交叉字段出現(xiàn)的頻數(shù)，并判斷不同性別選擇不同商品時是否存在明顯差異。

例如，一共有40個客戶，其中男性和女性客戶各占20個，而使用A手機和B手機的客戶也各占20個。如果僅僅分析性別或者商品類別的話，看不出明顯的規(guī)律。但是如果將兩個字段進行交叉分析的話，就可以進一步統(tǒng)計不同性別選擇不同類別的頻數(shù)，將各個頻數(shù)繪制在表格中，如下表所示。不同性別選擇不同商品的結(jié)果

AB小計男51520女15520小計202040

從表中可以看出購買A手機的客戶中，女性客戶明顯多于男性客戶，而購買B手機的客戶中，男性客戶明顯多于女性客戶。這些規(guī)律是無法通過一個字段看出來的，只有通過字段的交叉統(tǒng)計才能看出來。

如果要把數(shù)值型字段作為交叉表的行字段或者列字段，可以先將數(shù)值型字段通過分段函數(shù)轉(zhuǎn)化成分類型字段，進而進行統(tǒng)計分析。例如，直接繪制年齡和商品類別的交叉表意義不大，因為年齡的取值過多，此時可以對年齡進行分段，再制作年齡段和商品類別的交叉表。任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析crosstab()函數(shù)常用參數(shù)說明參數(shù)說明index表示要在行中分組的值。columns表示要在列中分組的值。values表示可選的值數(shù)組，根據(jù)因子進行匯總，這時要求指定aggfunc參數(shù)。aggfunc表示可選的透視函數(shù)，如果指定，則還需要指定values參數(shù)。margins表示添加行/列匯總欄，默認(rèn)False，即不進行匯總，margins=True表示匯總。margins_name用來指定匯總欄的名稱。當(dāng)margin為True時，用來設(shè)定匯總的行/列的名稱，默認(rèn)為“All”。dropna如果某列的數(shù)據(jù)全是NaN，則被刪除。normalize表示數(shù)據(jù)歸一化，設(shè)置為True時顯示百分比。任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析crosstab()函數(shù)的語法格式如下：pandas.crosstab(index,columns,values=None,rownames=None,colnames=None,aggfunc=None,margins=False,margins_name='All',dropna=True,normalize=False)【做中學(xué)5.4.1】讀入店鋪銷售情況表.xlsx（位置：E:\file\），使用crosstab()函數(shù)生成訪客性別與商品品牌的頻數(shù)交叉表、訪客性別與商品訂單金額總和交叉表?！咀鲋袑W(xué)5.4.1】解析如下：導(dǎo)入Pandas模塊和讀入Excel表格。程序如下：importpandasaspd#引入pandas模塊pd.set_option('display.precision',2)#讀取Excel表格數(shù)據(jù)df=pd.read_excel(r'E:\file\店鋪銷售情況表.xlsx')df.head()#查看前5行數(shù)據(jù)STEP01制作訪客性別與商品品牌的頻數(shù)交叉表，并在交叉表中加上匯總欄，程序如下：pd.crosstab(df['訪客性別'],df['商品品牌’],margins=True,margins_name='合計')STEP02程序輸出結(jié)果如下所示：程序輸出結(jié)果如下所示：任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析制作訪客性別與商品品牌的訂單金額總和交叉表，并在交叉表中加上匯總欄，程序如下：pd.crosstab(df['訪客性別'],df['商品品牌'],values=df['訂單金額’],aggfunc='sum',margins=True,margins_name='合計')STEP03程序輸出結(jié)果如下所示：任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析5.4.2數(shù)據(jù)透視分析

頻數(shù)交叉表只能統(tǒng)計行與列字段交叉出現(xiàn)的頻數(shù)，而如果還要再統(tǒng)計行與列字段以外的第3個字段，就需要用到數(shù)據(jù)透視表。Pandas中的數(shù)據(jù)透視表類似于Excel中的數(shù)據(jù)透視表，需到行字段、列字段以及統(tǒng)計字段，再確定統(tǒng)計方法就可以繪制數(shù)據(jù)透視表。比如年份與地區(qū)可以分別作為行字段和列字段，進而再統(tǒng)計銷售金額的各種指標(biāo)，就可以制作數(shù)據(jù)透視表。pivot_table()函數(shù)的語法格式如下：任務(wù)5.4利用Pandas進行數(shù)據(jù)的交叉與透視分析pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,dropna=True,margins_name='All',observed=False)或者：DataFrame.pivot_table(values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,dropna=True,margins_name='All',observed=False)

pivot_table()函數(shù)常用參數(shù)說明參數(shù)說明data表示用于