Python數(shù)據(jù)分析常用方法手冊(cè)

1、1. Python 數(shù)據(jù)處理和分析常用語(yǔ)句數(shù)據(jù)分析的一般步驟包括數(shù)據(jù)獲取、數(shù)據(jù)整理、數(shù)據(jù)描述、數(shù)據(jù)分析1.1 數(shù)據(jù)獲取1.1.1 數(shù)據(jù)獲取方式1.1.2 查看數(shù)據(jù)屬性Data.shape 查看數(shù)據(jù)多少行、多少列Data.columns 查看數(shù)據(jù)列Data.dtypes 查看各數(shù)據(jù)字段的屬性1.2 數(shù)據(jù)整理#第二步：做一些數(shù)據(jù)的基本處理：1.2.1 數(shù)據(jù)基本處理（類 excel）2 0.數(shù)據(jù)類型的轉(zhuǎn)換例如：如果要做時(shí)間序列分析，首先要將交易日期從通用對(duì)象（object）轉(zhuǎn)換為日期對(duì)象（datetime）dfdate=pd.to_datetime（dfdate）3 1.如何獲取導(dǎo)入的數(shù)據(jù)有幾行幾列

2、？直接用 df.shape,返回一個(gè)維度（幾行，幾列）的元組;df.columns.size#獲取列數(shù)df.iloc:,0.size#獲取行數(shù)4 2.如何查看指定行、歹 h 子集？#df=pandas.read_excel(1.xls,sheetname=店鋪分析日?qǐng)?bào),)df=df.loc:,股票代碼,股票名稱,營(yíng)業(yè)總收入#訪問(wèn)指定的列#df=df股票代碼#查看指定列#DataFrame.ixindex_name#查看指定行#dataframem:n#選擇多行#dataframedataframecol35#條件篩選#dataframe.ix0:3,0:5#選擇子集1.%23.如何添加新的列例

3、 1:添加一個(gè)總和欄來(lái)顯示 Jan、Feb 和 Mar 三個(gè)月的銷售總額dftotal=dfJan+dfFeb+dfMar例 2:把計(jì)算結(jié)果添加為一個(gè)新的列dfP/E=df.收盤價(jià)/df.基本每股收益#新的列名，后面是對(duì)應(yīng)的數(shù)值例 3:在 excel 表最后加一行求各列和sum_row=dfJan,Feb,Mar,total.sum()2.%24.如何刪除行列#df_delete=df.drop(result,axis=1)#刪除歹 U#DataFrame.drop(index1,index2.)#刪除行3.%25.如何對(duì)數(shù)據(jù)進(jìn)行排序?dfP/E.size#獲取P/E這列共有多少行newdf=

4、df_delete.sort(P/E)#默認(rèn)升序排列sort_index 也可以進(jìn)行排序4.%26.如何對(duì)數(shù)據(jù)進(jìn)行篩選？5.%21.篩選出 predictaqi_norm1 這一列大于 100 的行；aqicsvaqicsvpredictaqi_norm1100也可以寫為：datadata.收盤價(jià)1006.%22.使用&(并)與|(或)實(shí)現(xiàn)多條件篩選aqicsv(aqicsvFID”37898)&(aqicsvFID150)|(aqicsv.predictaqi_norm110000)|(aqicsv.predictaqi_norm1150)8.%24.isin()用法：篩選某

5、一列數(shù)據(jù)符合等于規(guī)定值(它使得我們可以定義一個(gè)列表，里面包含我們所希望查找的值);data7=datadata股票代碼.isin(sh600141,sh600754,sh603017,sh603198)9.%2同樣，以上這個(gè)語(yǔ)句可以用 query()函數(shù)來(lái)查詢，需要安裝 numexpr;data8=data.query(股票代碼=sh600141,sh600754,sh603017,sh603198)#map()函數(shù)也有這個(gè)功能，樣式如下：dfdfsku.map(lambdax:x.startswith(BI)&(dfquantity>22).head()10.%

6、2 5.字符串方法：篩選某一列內(nèi)容包含特定值例如找出 MA 金叉死叉列所有含金叉的行，但列不能含空值data8=data7data7MA 金叉死叉.str.contains（金叉）11.%2 6.如果列中存在空值，空值處理方法：12.%26.1 用 fillna（）方法將空值填充data7=data.fillna（value=你好）13.%26.2 或者將列中的空值刪除；stock_data=stock_datastock_data市盈率 TTM.notnull（）14.%2或 6.2 用 dropna 刪除缺失值stock_data.dropna（subset=下個(gè)月 7 張跌幅,inpla

7、ce=True）15.%2 7.pandas 能夠理解日期，在對(duì)日期數(shù)據(jù)篩選方面可以對(duì)某年、某月進(jìn)行篩選；datadata交易日期尸 2014-03datadata交易日期尸 2015data(data交易日期=20140701)&(data交易日期6.sort(tip,ascending=False)1.7 對(duì)歹!Jsex 分組后，對(duì)另一列(tip/total_bill)進(jìn)行排序deftop(self,n):returnself.sort(tip/total_bill,ascending=False):n#top(tips)tips.groupby(sex).apply(top,n=

8、5)1.8 按照某一列內(nèi)容的部分字母進(jìn)行分組排序比如，某一列由不同星期+日期組成，但只想按照這一列的星期進(jìn)行排序？#get_day=lambdaday:tips.day:1#選擇列中的第一個(gè)字母，按第一個(gè)字母排序#tips.groupby(get_day).apply(top,n=5)#groupby 可以調(diào)用函數(shù)#1.9 采用多個(gè)聚合函數(shù)返回多個(gè)聚合值tips2=tips1.groupby(sex,smoker)total_bill,tiptips2.agg(mean,sum,std,max)#2.0 計(jì)算 tip 和 total_bill 之間的相關(guān)系數(shù)#corr=lambdax:x.co

9、rrwith(xtips)tips_corr=tips.groupby(sex)tips_corr.apply(lambdag:gtip.corr(gtotal_bill)#2.1 根據(jù)日價(jià)格變化計(jì)算各股票之間的年度相關(guān)系數(shù)by_year=data.groupby(lambdax:x.year)corr=lambdax:x.corrwith(xSPX)data_by_year=by_year.apply(corr).merge 合并I.AppendP=2.Concat例子 1：使用 concat()函數(shù)將兩個(gè)不同邏輯結(jié)構(gòu)的對(duì)象能連接:將股票數(shù)據(jù)中的前 5 個(gè)和后 5 個(gè)合并；Data1=dat

10、a:3Data2=df:3Pd.concat(Data1,Data2,ignore_index=Ture)例子 2:將兩個(gè)相同邏輯結(jié)構(gòu)的對(duì)象能連接importpandasaspddates=range(20161010,20161020)pieces=fordateindates:path=overview-push-%d/stockoverview.csv%datedate=pd.read_csv(path,encoding=gbk)pieces.append(date)datas=pd.concat(pieces)3.Join將美國(guó)運(yùn)通公司和可可可樂(lè)公司近一年中每個(gè)月的交易總量瓊斯成分股股票信息表合并；Pd.merge(data1,data2,on=code).聚類分析K-均值聚類scikit-learn 語(yǔ)言包#K-Mean 聚類的一個(gè)小例子frompylabimport*fromscipy.cluster.vqimport*list1=88,64,96,85list2=92,99,95,94list3=91,87,99,95list4=78,99,97,81