Python商業(yè)數(shù)據(jù)分析PPT完整全套教學(xué)課件

Python商業(yè)數(shù)據(jù)分析（一）全套PPT課件1.商業(yè)數(shù)據(jù)分析及其工具1.1商業(yè)數(shù)據(jù)分析的概念及其應(yīng)用1.2商業(yè)數(shù)據(jù)類型1.3商業(yè)數(shù)據(jù)來源1.4商業(yè)數(shù)據(jù)分析工具簡介1.5Python商業(yè)數(shù)據(jù)分析工具的下載1.6商業(yè)數(shù)據(jù)分析工具Python的安裝1.7Python的啟動和退出1.8Python商業(yè)數(shù)據(jù)分析相關(guān)的程序包1.9Python商業(yè)數(shù)據(jù)分析快速入門1.1商業(yè)數(shù)據(jù)分析的概念及其應(yīng)用商業(yè)數(shù)據(jù)分析是指以商業(yè)理論為基礎(chǔ)，從數(shù)據(jù)分析出發(fā)，依靠統(tǒng)計(jì)工具，以決策優(yōu)化為目的，洞察數(shù)據(jù)背后的規(guī)律，為商業(yè)創(chuàng)造最大價值。主要應(yīng)用（1）監(jiān)控異常數(shù)據(jù)，如信用欺詐；（2）建立模型并預(yù)測，如產(chǎn)品分析；關(guān)鍵變量分析并預(yù)測，如潛在客戶分析；（4）預(yù)測性分析，如客戶流失預(yù)測等。大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)可以概括為5個V，數(shù)據(jù)量大(Volume)、速度快(Velocity)、類型多(Variety)、價值（Value）、真實(shí)性(Veracity)。

1.3商業(yè)數(shù)據(jù)來源1橫截面數(shù)據(jù)、2時間序列數(shù)據(jù)3面板數(shù)據(jù)。2.專業(yè)數(shù)據(jù)公司和信息公司1.4商業(yè)數(shù)據(jù)分析工具簡介1.4.1Python數(shù)據(jù)分析工具簡介Python是一種面向?qū)ο?、解釋型?jì)算機(jī)程序設(shè)計(jì)語言，由GuidovanRossum于1989年底發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。Python語法簡潔而清晰，具有豐富和強(qiáng)大的類庫。它常被昵稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。Python需要安裝pandas、numpy、scipy、statsmodels、matplotlib、seaborn、sklearn、Theano、tensorflow、Keras、TA-Lib、cvxopt等一系列的程序包，還需要安裝iPython交互環(huán)境，目前有包括這些程序包的套裝軟件可供下載。目前最新版為2019年7月8日發(fā)布的

R3.7.4版。詳細(xì)內(nèi)容請登陸：/查詢。1.4.2R數(shù)據(jù)分析工具簡介R是統(tǒng)計(jì)領(lǐng)域廣泛使用的誕生于1980年左右的S語言的一個分支?？梢哉J(rèn)為R是S語言的一種實(shí)現(xiàn)。而S語言是由AT&T貝爾實(shí)驗(yàn)室開發(fā)的一種用來進(jìn)行數(shù)據(jù)探索、統(tǒng)計(jì)分析和作圖的解釋型語言。最初S語言的實(shí)現(xiàn)版本主要是S-PLUS。S-PLUS是一個商業(yè)軟件，它基于S語言，并由MathSoft公司的統(tǒng)計(jì)科學(xué)部進(jìn)一步完善。后來Auckland大學(xué)的RobertGentleman和RossIhaka及其他志愿人員開發(fā)了一個R系統(tǒng)。由“R開發(fā)核心團(tuán)隊(duì)”負(fù)責(zé)開發(fā)。R是基于S語言的一個GNU項(xiàng)目，所以也可以當(dāng)作S語言的一種實(shí)現(xiàn)，通常用S語言編寫的代碼都可以不作修改的在R環(huán)境下運(yùn)行。R的語法是來自Scheme。R的使用與S-PLUS有很多類似之處，這兩種語言有一定的兼容性。S-PLUS的使用手冊，只要稍加修改就可作為R的使用手冊。所以有人說：R，是S-PLUS的一個“克隆”。目前最新版為2019年7月5日發(fā)布的R3.6.1版。詳細(xì)內(nèi)容請登陸：查詢。1.4.3Stata數(shù)據(jù)分析工具簡介Stata由美國計(jì)算機(jī)資源中心（ComputerResourceCenter）1985年研制。其特點(diǎn)是采用命令行/程序操作方式，程序短小精悍，功能強(qiáng)大。Stata是一套提供其使用者數(shù)據(jù)分析、數(shù)據(jù)管理以及繪制專業(yè)圖表的完整及整合性統(tǒng)計(jì)軟件。它提供許許多多功能，包含線性混合模型、均衡重復(fù)反復(fù)及多項(xiàng)式普羅比模式。新版本的STATA采用最具親和力的窗口接口，使用者自行建立程序時，軟件能提供具有直接命令式的語法。Stata提供完整的使用手冊，包含統(tǒng)計(jì)樣本建立、解釋、模型與語法、文獻(xiàn)等出版品。除了之外，Stata工具可以透過網(wǎng)絡(luò)實(shí)時更新每天的最新功能，更可以得知世界各地的使用者對于Stata公司提出的問題與解決之道。使用者也可以透過StataJournal獲得許許多多的相關(guān)訊息以及書籍介紹等。另外一個獲取龐大資源的管道就是Statalist，它是一個獨(dú)立的listserver，每月交替提供使用者超過1000個訊息以及50個程序。目前最新版為Stata16.0版。詳細(xì)內(nèi)容請登陸：查詢。1.4.4Matlab數(shù)據(jù)分析工具簡介Matlab工具是由美國Mathworks公司推出的用于數(shù)值計(jì)算和圖形處理的科學(xué)計(jì)算系統(tǒng)，在Matlab工具環(huán)境下，用戶可以集成地進(jìn)行程序設(shè)計(jì)、數(shù)值計(jì)算、圖形繪制、輸入輸出、文件管理等各項(xiàng)操作。它提供的是一個人機(jī)交互的數(shù)學(xué)系統(tǒng)環(huán)境，與利用c語言作數(shù)值計(jì)算的程序設(shè)計(jì)相比，利用Matlab可以節(jié)省大量的編程時間，且程序設(shè)計(jì)自由度大。最大的特點(diǎn)給用戶帶來的是最直觀，最簡潔的程序開發(fā)環(huán)境，語言簡潔緊湊，使用方便靈活，庫函數(shù)與運(yùn)算符極其豐富，另外具有強(qiáng)大的圖形功能。在國際學(xué)術(shù)界，Matlab已經(jīng)被確認(rèn)為準(zhǔn)確、可靠的科學(xué)計(jì)算標(biāo)準(zhǔn)軟件，許多國際一流學(xué)術(shù)刊物上，都可以看到MATLAB的應(yīng)用。目前最新版為R2019a版。詳細(xì)內(nèi)容請登陸：查詢。1.4.5EViews數(shù)據(jù)分析工具簡介EViews是美國GMS公司1981年發(fā)行第1版的MicroTSP的Windows版本，通常稱為計(jì)量經(jīng)濟(jì)學(xué)軟件包。EViews是EconometricsViews的縮寫，它的本意是對社會經(jīng)濟(jì)關(guān)系與經(jīng)濟(jì)活動的數(shù)量規(guī)律，采用計(jì)量經(jīng)濟(jì)學(xué)方法與技術(shù)進(jìn)行"觀察"。計(jì)量經(jīng)濟(jì)學(xué)研究的核心是設(shè)計(jì)模型、收集資料、估計(jì)模型、檢驗(yàn)?zāi)Ｐ?、運(yùn)用模型進(jìn)行預(yù)測、求解模型和運(yùn)用模型。EViews是完成上述任務(wù)得力的必不可少的工具。正是由于EViews等計(jì)量經(jīng)濟(jì)學(xué)軟件包的出現(xiàn)，使計(jì)量經(jīng)濟(jì)學(xué)取得了長足的進(jìn)步，發(fā)展成為實(shí)用與嚴(yán)謹(jǐn)?shù)慕?jīng)濟(jì)學(xué)科。使用EViews軟件包可以對時間序列和非時間序列的數(shù)據(jù)進(jìn)行分析，建立序列（變量）間的統(tǒng)計(jì)關(guān)系式，并用該關(guān)系式進(jìn)行預(yù)測、模擬等等。EViews。雖然EViews是由經(jīng)濟(jì)學(xué)家開發(fā)的，并且大多數(shù)被用于經(jīng)濟(jì)學(xué)領(lǐng)域，但并意味著必須限制該軟件包僅只用于處理經(jīng)濟(jì)方面的時間序列。EViews處理非時間序列數(shù)據(jù)照樣得心應(yīng)手。實(shí)際上，相當(dāng)大型的非時間序列（截面數(shù)據(jù)）的項(xiàng)目也能在EViews中進(jìn)行處理。目前最新版為2019年7月30日發(fā)布的EViewsR11.0版。詳細(xì)內(nèi)容請登陸：/查詢。1.4.6SAS數(shù)據(jù)分析工具簡介SAS是美國SAS研究所研制的一套大型集成應(yīng)用軟件系統(tǒng)，具有完備的數(shù)據(jù)存取、數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)功能。尤其是創(chuàng)業(yè)產(chǎn)品統(tǒng)計(jì)分析系統(tǒng)部分，由于其具有強(qiáng)大的數(shù)據(jù)分析能力，一直為業(yè)界著名軟件，在數(shù)據(jù)處理和統(tǒng)計(jì)分析領(lǐng)域，被譽(yù)為國際上的標(biāo)準(zhǔn)軟件和最權(quán)威的優(yōu)秀統(tǒng)計(jì)軟件包，廣泛應(yīng)用于政府行政管理、科研、教育、生產(chǎn)和金融等不同領(lǐng)域，發(fā)揮著重要的作用。SAS系統(tǒng)中提供的主要分析功能包括統(tǒng)計(jì)分析、經(jīng)濟(jì)計(jì)量分析、時間序列分析、決策分析、財(cái)務(wù)分析和全面質(zhì)量管理工具等等。目前最新版為sas2019多國語言版。詳細(xì)內(nèi)容請登陸：查詢。1.4.7SPSS數(shù)據(jù)分析工具簡介SPSS是社會科學(xué)統(tǒng)計(jì)軟件包是世界是著名的統(tǒng)計(jì)分析軟件之一。由斯坦福大學(xué)的三位研究生研制開發(fā)了最早的統(tǒng)計(jì)分析軟件SPSS，同時成立了SPSS公司，并于1975年在芝加哥組建了SPSS總部。20世紀(jì)80年代以前，SPSS統(tǒng)計(jì)軟件主要應(yīng)用于企事業(yè)單位。1984年SPSS總部首先推出了世界第一個統(tǒng)計(jì)分析軟件微機(jī)版本SPSS/PC+，開創(chuàng)了SPSS微機(jī)系列產(chǎn)品的開發(fā)方向，從而確立了個人用戶市場第一的地位。2009年IBM收購SPSS公司后，現(xiàn)在在中國國內(nèi)市場上推出的最新產(chǎn)品，是IBMSPSSStatistics21.0多國語言版。SPSS/PC＋的推出，極大地?cái)U(kuò)充了它的應(yīng)用范圍，使其能很快地應(yīng)用于自然科學(xué)、技術(shù)科學(xué)、社會科學(xué)的各個領(lǐng)域，世界上許多有影響的報刊雜志紛紛就SPSS的自動統(tǒng)計(jì)繪圖、數(shù)據(jù)的深入分析、使用方便、功能齊全等方面給予了高度的評價與稱贊。目前已經(jīng)在國內(nèi)逐漸流行起來。它使用Windows的窗口方式展示各種管理和分析數(shù)據(jù)方法的功能，使用對話框展示出各種功能選擇項(xiàng)，只要掌握一定的Windows操作技能，粗通統(tǒng)計(jì)分析原理，就可以使用該軟件為特定的科研工作服務(wù)。目前最新版為SPSSV25.0版。詳細(xì)內(nèi)容請登陸：查詢。1.5Python商業(yè)數(shù)據(jù)分析工具的下載1.5.1下載安裝Python執(zhí)行文件1.5.2下載Anaconda1.5.1下載安裝Python執(zhí)行文件1.5.2下載Anaconda1.6商業(yè)數(shù)據(jù)分析工具Python的安裝1.7Python的啟動和退出點(diǎn)擊下圖中Spyder圖標(biāo)，即可啟動Python。啟動Python的用戶界面如下圖。在圖1-9中點(diǎn)擊Python的用戶界面中的“File”下的“Quit”菜單，即可退出Python。1.8Python商業(yè)數(shù)據(jù)分析相關(guān)的程序包1程序包名稱簡介網(wǎng)址Matplotlib量化的主要特征是可視化matplotlib可能是Python2D繪圖領(lǐng)域使用最廣泛的庫。它能讓使用者很輕松地將數(shù)據(jù)圖形化，并且提供多樣化的輸出格式NumPyNumPy系統(tǒng)是Python的一種開源的數(shù)值計(jì)算擴(kuò)展。NumPy（NumericPython）提供了許多高級的數(shù)值編程工具，如：矩陣數(shù)據(jù)類型、矢量處理，以及精密的運(yùn)算庫。專為進(jìn)行嚴(yán)格的數(shù)字處理而產(chǎn)生SciPySciPy是一款方便、易于使用、專為科學(xué)和工程設(shè)計(jì)的Python工具包。它包括統(tǒng)計(jì)，優(yōu)化，整合，線性代數(shù)模塊，傅里葉變換，信號和圖像處理,常微分方程求解器等等pandasPythonDataAnalysisLibrary或pandas是基于NumPy的一種工具，該工具是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。Pandas納入了大量庫和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的工具。pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法seaborn該模塊是一個統(tǒng)計(jì)數(shù)據(jù)可視化庫1.8Python商業(yè)數(shù)據(jù)分析相關(guān)的程序包2sklearnScikit-Learn是基于python的機(jī)器學(xué)習(xí)模塊，基于BSD開源許可證。scikit-learn的基本功能主要被分為六個部分，分類，回歸，聚類，數(shù)據(jù)降維，模型選擇，數(shù)據(jù)預(yù)處理。Scikit-Learn中的機(jī)器學(xué)習(xí)模型非常豐富，包括SVM，決策樹，GBDT，KNN等等，可以根據(jù)問題的類型選擇合適的模型StatsmodelsStatismodels是一個Python包，提供一些互補(bǔ)scipy統(tǒng)計(jì)計(jì)算的功能，包括描述性統(tǒng)計(jì)和統(tǒng)計(jì)模型估計(jì)和推斷TA-Lib技術(shù)分析指標(biāo)庫TheanoPyhton深度學(xué)習(xí)庫tensorflow谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)Keras高階神經(jīng)網(wǎng)絡(luò)開發(fā)庫，可運(yùn)行在TensorFlow或Theano上1.9Python商業(yè)數(shù)據(jù)分析快速入門1.9.1數(shù)據(jù)導(dǎo)入1.9.2數(shù)據(jù)變換1.9.3統(tǒng)計(jì)描述1.9.4假設(shè)檢驗(yàn)1.9.5可視化1.9.6創(chuàng)建自定義函數(shù)defadd_2int(x,y):returnx+yprint(add_2int(2,2))2Python商業(yè)數(shù)據(jù)的存取2.1Python-pandas的csv格式本地?cái)?shù)據(jù)存取2.2Python-pandas的Excel格式本地?cái)?shù)據(jù)讀取2.3挖地兔Tushare財(cái)經(jīng)網(wǎng)站數(shù)據(jù)存取2.4Pandas_datareader包獲取國外財(cái)經(jīng)網(wǎng)站數(shù)據(jù)2.5商業(yè)數(shù)據(jù)分析的Pandas分組聚合（或分類匯總）2.1Python-pandas的csv格式本地?cái)?shù)據(jù)存取2.2Python-pandas的Excel格式本地?cái)?shù)據(jù)讀取2.3挖地兔Tushare財(cái)經(jīng)網(wǎng)站數(shù)據(jù)存取importtushareastsdf=ts.get_hist_data('000875')#從網(wǎng)上取數(shù)據(jù)#直接保存#df.to_csv(':/2glkx/data/000875.csv')#選擇數(shù)據(jù)保存df.to_csv('F:/2glkx/data/000875.csv',columns=['open','high','low','close'])2.4Pandas_datareader包獲取國外財(cái)經(jīng)網(wǎng)站數(shù)據(jù)importpandas_datareader.dataaswebimportdatetimestart=datetime.datetime(2017,1,1)#獲取數(shù)據(jù)的時間段-起始時間end=datetime.date.today()#獲取數(shù)據(jù)的時間段-結(jié)束時間stock=web.DataReader("600797.SS","yahoo",start,end)#獲取浙大網(wǎng)新2017年1月1日至今的股票數(shù)stock.head()#打印DataFrame數(shù)據(jù)前5行網(wǎng)上財(cái)經(jīng)數(shù)據(jù)以csv格式存放到本地pandas_datareader.data可以獲取雅虎財(cái)經(jīng)股票數(shù)據(jù)并以csv格式存放在本地，命令代碼如下：importnumpyasnpimportpandasaspdimportpandas_datareader.dataaswebimportdatetime#獲取600797.SS浙大網(wǎng)新數(shù)據(jù)df_csvsave=web.DataReader("600018.SS","yahoo",datetime.datetime(2019,1,1),datetime.date.today())print(df_csvsave)df_csvsave.to_csv(r'F:\2glkx\data\600018.csv',columns=df_csvsave.columns,index=True)2.5商業(yè)數(shù)據(jù)分析的Pandas分組聚合（或分類匯總）2groupby函數(shù)importtushareastsimportpandasaspdpd.set_option('expand_frame_repr',False)#顯示所有列ts.set_token('yourtoken')#獲取token號pro=_api()code_list=['000001.SZ','600000.SH','000002.SZ']stock_data=pd.DataFrame()forcodeincode_list:print(code)df=pro.daily(ts_code=code,start_date='20180101',end_date='20180104')stock_data=stock_data.append(df,ignore_index=True)print(stock_data)3Python商業(yè)數(shù)據(jù)的圖形繪制與可視化3.1Python-matplotlib繪圖基礎(chǔ)3.2Python直方圖的繪制3.2Python散點(diǎn)圖的繪制3.3Python氣泡圖的繪制3.4Python箱圖的繪制3.5Python餅圖的繪制3.6Python條形圖的繪制3.7Python折線圖的繪制3.8Python曲線標(biāo)繪圖的繪制3.9Python連線標(biāo)繪圖的繪制3.10Python3D圖的繪制3.1Python-matplotlib繪圖基礎(chǔ)Python提供了非常多樣的繪圖功能，可以通過Python提供的工具matplotlib可以繪制二維、三維圖形。還有一個Seaborn是Python中用于創(chuàng)建信息豐富和有吸引力的統(tǒng)計(jì)圖形庫，它是基于matplotlib的，Seaborn提供多種功能，如內(nèi)置主題、調(diào)色板、函數(shù)和工具，來實(shí)現(xiàn)單因素、雙因素、線性回歸、數(shù)據(jù)矩陣、統(tǒng)計(jì)時間序列等的可視化，以便我們進(jìn)一步構(gòu)建更加復(fù)雜的可視化。matplotlib庫里的常用對象類的包含關(guān)系為?Figure->Axes->(Line2D,Text,etc.)一個Figure對象可以包含多個子圖(Axes)，在matplotlib中用Axes對象表示一個繪圖區(qū)域，可以理解為子圖。我們可以使用subplot()快速繪制包含多個子圖的圖表，它的調(diào)用形式如下：subplot(numRows,numCols,plotNum)subplot將整個繪圖區(qū)域等分為numRows行*numCols列個子區(qū)域，然后按照從左到右，從上到下的順序?qū)γ總€子區(qū)域進(jìn)行編號，左上的子區(qū)域的編號為1。如果numRows，numCols和plotNum這三個數(shù)都小于10的話，可以把它們縮寫為一個整數(shù)，例如subplot(323)和subplot(3,2,3)是相同的。subplot在plotNum指定的區(qū)域中創(chuàng)建一個軸對象。如果新創(chuàng)建的軸和之前創(chuàng)建的軸重疊的話，之前的軸將被刪除。例3-1：為了解某公司雇員的的銷售和收入情況，我們搜集整理了某公司10個雇員的銷售和收入有關(guān)方面的數(shù)據(jù)，如表3-1所示。試通過繪制直方圖來直觀該公司職員的有關(guān)情況。3.2Python直方圖的繪制3.2Python散點(diǎn)圖的繪制3.3Python氣泡圖的繪制3.4Python箱圖的繪制3.5Python餅圖的繪制3.6Python條形圖的繪制3.6Python條形圖的繪制3.7Python折線圖的繪制3.8Python曲線標(biāo)繪圖的繪制3.9Python連線標(biāo)繪圖的繪制3.10Python3D圖的繪制4Python描述性統(tǒng)計(jì)4.1Python描述性統(tǒng)計(jì)工具4.2Python數(shù)據(jù)集中趨勢的度量4.3Python數(shù)據(jù)離散狀況的度量4.4Python峰度、偏度與正態(tài)性檢驗(yàn)4.5Python異常數(shù)據(jù)處理4.1Python描述性統(tǒng)計(jì)工具Python中的pandas常用的統(tǒng)計(jì)方法如表4-1所示。Python中numpy和scipy常用的統(tǒng)計(jì)方法如表4-2所示。4.2數(shù)據(jù)集中趨勢的度量3中位數(shù)一組數(shù)據(jù)的中位數(shù)是當(dāng)以遞增或遞減順序排列時出現(xiàn)在數(shù)據(jù)中間位置的數(shù)字。當(dāng)我們有奇數(shù)n個數(shù)據(jù)點(diǎn)時，中位數(shù)就是位置（n+1）/2的值。當(dāng)我們有偶數(shù)的數(shù)據(jù)點(diǎn)時，數(shù)據(jù)分成兩半，中間位置沒有任何數(shù)據(jù)點(diǎn);所以我們將中位數(shù)定義為位置n/2和（n+2）/2中的兩個數(shù)值的平均值。4眾數(shù)眾數(shù)是數(shù)據(jù)集里出現(xiàn)次數(shù)最多的數(shù)據(jù)點(diǎn)。它可以應(yīng)用于非數(shù)值數(shù)據(jù)，與平均值和中位數(shù)不同。#Scipy具有內(nèi)置的求眾數(shù)功能，但它只返回一個值，即使兩個值出現(xiàn)相同的次數(shù)，也是只返回一個值。4.3數(shù)據(jù)離散狀況的度量4.4峰度、偏度與正態(tài)性檢驗(yàn)4.4峰度、偏度與正態(tài)性檢驗(yàn)4.4峰度、偏度與正態(tài)性檢驗(yàn)4.5異常數(shù)據(jù)處理 X～N(μ,σ2)4.5異常數(shù)據(jù)處理 4.5異常數(shù)據(jù)處理5Python參數(shù)估計(jì)5.1參數(shù)估計(jì)與置信區(qū)間的含義5.2Python點(diǎn)估計(jì)5.3Python單正態(tài)總體均值區(qū)間估計(jì)5.4Python單正態(tài)總體方差區(qū)間估計(jì)5.5Python雙正態(tài)總體均值差區(qū)間估計(jì)5.6Python雙正態(tài)總體方差比區(qū)間估計(jì)5.1參數(shù)估計(jì)與置信區(qū)間的含義例：假設(shè)一位投資分析師從股權(quán)基金中選取了一個隨機(jī)樣本，并計(jì)算出了平均的夏普比率。樣本的容量為100，并且平均的夏普比率為0.45。該樣本具有的標(biāo)準(zhǔn)差為0.30。利用一個基于標(biāo)準(zhǔn)正態(tài)分布的臨界值，計(jì)算并解釋所有股權(quán)基金總體均值的90%置信區(qū)間。5.2Python點(diǎn)估計(jì)例5-2：對某個籃球運(yùn)動員記錄其在某一次比賽中投籃命中與否，觀測數(shù)據(jù)如下：11010010111011010010101001101101編寫Python程序估計(jì)這個籃球運(yùn)動員投籃的成敗比。5.3Python單正態(tài)總體均值區(qū)間估計(jì)例5-3：某車間生產(chǎn)的滾珠直徑X服從正態(tài)分布N()?，F(xiàn)從某天的產(chǎn)品中抽取6個，測得直徑如下(單位：mm)：14.6，15.1，14.9，14.8，15.2，15.1試求平均直徑置信度為95%的置信區(qū)間。例5-4：某糖廠自動包裝機(jī)裝糖，設(shè)各包重量服從正態(tài)分布N()。某日開工后測得9包重量為(單位：kg)：99.3，98.7，100.5，101.2，98.3，99.7，99.5，102.1，100.5試求的置信度為95%的置信區(qū)間。5.4Python單正態(tài)總體方差區(qū)間估計(jì)例5-5：從某車間加工的同類零件中抽取了16件，測得零件的平均長度為12.8厘米，方差為0.0023。假設(shè)零件的長度服從正態(tài)分布，試求總體方差及標(biāo)準(zhǔn)差的置信區(qū)間(置信度為95%)。5.5Python雙正態(tài)總體均值差區(qū)間

估計(jì)5.5Python雙正態(tài)總體均值差區(qū)間

估計(jì)例5-5：在上一例題中，如果不知道兩種品種產(chǎn)量的方差，但已知兩者相同求置信區(qū)間。5.6Python雙正態(tài)總體方差比區(qū)間6Python參數(shù)假設(shè)檢驗(yàn)6.1參數(shù)假設(shè)檢驗(yàn)的基本理論6.2Python單個樣本t檢驗(yàn)6.3Python兩個獨(dú)立樣本t檢驗(yàn)6.4Python配對樣本t檢驗(yàn)6.5Python單樣本方差假設(shè)檢驗(yàn)6.6Python雙樣本方差假設(shè)檢驗(yàn)6.1參數(shù)假設(shè)檢驗(yàn)的基本理論檢驗(yàn)統(tǒng)計(jì)量和關(guān)鍵值要做假設(shè)檢驗(yàn)，我們先要計(jì)算兩樣?xùn)|西：檢驗(yàn)統(tǒng)計(jì)量和關(guān)鍵值檢驗(yàn)統(tǒng)計(jì)量是從樣本數(shù)據(jù)中計(jì)算得來的。檢驗(yàn)統(tǒng)計(jì)量的一般形式為：檢驗(yàn)統(tǒng)計(jì)量=（樣本統(tǒng)計(jì)量-在H0中假設(shè)的總體參數(shù)值）/樣本統(tǒng)計(jì)量的標(biāo)準(zhǔn)誤關(guān)鍵值是查表得到的。關(guān)鍵值的計(jì)算需要知道下面三點(diǎn)：（1）檢驗(yàn)統(tǒng)計(jì)量是什么分布。這決定我們要去查哪張表。（2）顯著性水平。（3）是雙尾還是單尾檢驗(yàn)。3.決策規(guī)則（1）基于檢驗(yàn)統(tǒng)計(jì)量和關(guān)鍵值的決策準(zhǔn)則（2）基于p值和顯著性水平的決策規(guī)則（3）結(jié)論的陳述如果不能拒絕原假設(shè)，我們不能說接受原假設(shè)，只能說cannotrejectH0或failtorejectH0。在作出判斷之后，我們還要陳述結(jié)論。如果拒絕原假設(shè)，那么我們說總體均值顯著地不相等。6.2Python單樣本t檢驗(yàn)6.3Python兩個獨(dú)立樣本t檢驗(yàn)6.4Python配對樣本t檢驗(yàn)6.5Python單樣本方差假設(shè)檢驗(yàn)

6.6Python雙樣本方差假設(shè)檢驗(yàn)7Python相關(guān)分析7Python相關(guān)分析7.1相關(guān)系數(shù)的概念7.2使用模擬數(shù)據(jù)計(jì)算變量之間的相關(guān)系數(shù)和繪圖7.3使用本地?cái)?shù)據(jù)計(jì)算變量之間的相關(guān)系數(shù)和繪圖7.4使用網(wǎng)上數(shù)據(jù)計(jì)算變量之間的相關(guān)系數(shù)和繪圖7.1相關(guān)分析基本理論7Python相關(guān)分析7.3使用本地?cái)?shù)據(jù)計(jì)算變量之間的相關(guān)系數(shù)和繪圖7.4使用網(wǎng)上數(shù)據(jù)計(jì)算變量之間的相關(guān)系數(shù)和繪圖7.5通過相關(guān)關(guān)系熱力圖可視化股票相關(guān)性8Python一元線性回歸數(shù)據(jù)分析8.1一元線性回歸分析基本理論8.2應(yīng)用Python-statsmodels工具作一元線性回歸分析8.3應(yīng)用Python-sklearn工具作一元線性回歸分析5.3一元線性回歸分析基本理論8.1一元線性回歸分析基本理論例：某公司的分析師根據(jù)歷史數(shù)據(jù)，做了公司銷售額增長率關(guān)于GDP增長率的線性回歸分析，得到截距為-3.2%，斜率為2,國家統(tǒng)計(jì)局預(yù)測今年GDP增長率為9%，問該公司今年銷售額增長率預(yù)計(jì)為多少？答：Y=-3.2%+2X=-3.2%+2*9%=14.8%2一元線性回歸的假設(shè)任何模型都有假設(shè)前提，一元線性回歸模型有以下6條假設(shè)：1.自變量X和因變量Y之間存在線性關(guān)系。2.殘差項(xiàng)的期望值為0。殘差=真實(shí)的Y值與預(yù)測的Y值之間的差，即預(yù)測的誤差。期望值為0即有些點(diǎn)在回歸線的上方，有些點(diǎn)在回歸線的下方，且均勻圍繞回歸直線，這符合常理。3.自變量X與殘差項(xiàng)不相關(guān)。殘差項(xiàng)本身就是Y的變動中不能被X的變動所解釋的部分。4.殘差項(xiàng)的方差為常數(shù)。這稱為同方差性。如果殘差項(xiàng)的方差不恒定，稱為異方差性。5.殘差項(xiàng)與殘差項(xiàng)之間不相關(guān)。如果殘差項(xiàng)與殘差項(xiàng)之間相關(guān)，稱為自相關(guān)或序列相關(guān)。6.殘差項(xiàng)為正態(tài)分布的隨機(jī)變量。3方差分析4決定系數(shù)5估計(jì)的標(biāo)準(zhǔn)誤6回歸系數(shù)的假設(shè)檢驗(yàn)回歸系數(shù)的假設(shè)檢驗(yàn)是指檢驗(yàn)回歸系數(shù)（截距和斜率）是否等于某個常數(shù)。通常要檢驗(yàn)斜率系數(shù)是否等于0（H0:b1=0），這稱為斜率系數(shù)的顯著性檢驗(yàn)。如果不能拒絕原假設(shè)，即斜率系數(shù)沒有顯著的不等于0，那就說明自變量X和因變量Y的線性相關(guān)性不大，回歸是失敗的。例，我們做了一個線性回歸模型，得到Y(jié)=0.2+1.4X。截距系數(shù)的標(biāo)準(zhǔn)誤為0.4，斜率系數(shù)的標(biāo)準(zhǔn)誤為0.2，問截距和斜率系數(shù)的顯著性檢驗(yàn)結(jié)果如何？，設(shè)顯著性水平為5%。答：截距系數(shù)的顯著性檢驗(yàn)：計(jì)算t統(tǒng)計(jì)量：t=0.2/0.4=0.5<2（t檢驗(yàn)的臨界點(diǎn)），因此我們不能拒絕原假設(shè)，即認(rèn)為截距系數(shù)沒有顯著的不等于0。其次是斜率系數(shù)的顯著性檢驗(yàn)：計(jì)算t統(tǒng)計(jì)量：t=1.4/0.2=7>2（t檢驗(yàn)的臨界點(diǎn)），因此我們拒絕原假設(shè)，即認(rèn)為斜率系數(shù)顯著不等于0。這說明我們的回歸做得不錯。7回歸系數(shù)的置信區(qū)間例如我們做了一個線性回歸模型，得到Y(jié)=0.2+1.4X。截距系數(shù)的標(biāo)準(zhǔn)誤為0.4，斜率系數(shù)的標(biāo)準(zhǔn)誤為0.2，求截距和斜率系數(shù)的置信度為95%的置信區(qū)間。截距系數(shù)的置信區(qū)間，假設(shè)n充分大，5%的顯著性水平的t關(guān)鍵值一般近似為2，所以我們得到置信區(qū)間為：0.2，即[-0.6，1.0]。0包括在置信區(qū)間中，所以我們認(rèn)為截距系數(shù)沒有顯著的不等于0。斜率系數(shù)的置信區(qū)間：1.4，即[1.0，1.8]。0沒有包括在置信區(qū)間中，所以我們認(rèn)為斜率系數(shù)顯著的不等于0。8.2應(yīng)用Python-statsmodels工具作一元線性回歸分析8.3應(yīng)用Python-sklearn工具作一元線性回歸分析9Python多元線性回歸數(shù)據(jù)分析9.1多元線性回歸分析基本理論9.2Python多元線性回歸數(shù)據(jù)分析9.3用scikit-learn工具作多元回歸分析9.4Python穩(wěn)健線性回歸分析9.5Python邏輯Logistic回歸分析9.6Python廣義線性回歸分析9.7違背回歸分析假設(shè)的計(jì)量檢驗(yàn)9.8Python自相關(guān)性診斷與消除9.9Python異方差診斷與消除9.10Python多重共線性的診斷與消除9.1多元線性回歸分析基本理論9.1虛擬變量9.2Python多元線性回歸數(shù)據(jù)分析9.3用scikit-learn工具作多元回歸分析9.4Python穩(wěn)健線性回歸分析from__future__importprint_functionfrompatimportlmapimportnumpyasnpfromscipyimportstatsimportmatplotlib.pyplotaspltimportstatsmodels.apiassmfromstatsmodels.graphics.apiimportabline_plotfromstatsmodels.formula.apiimportols,rlm##取數(shù)據(jù)集prestige=sm.datasets.get_rdataset("Duncan","car",cache=True).data##顯示前5條print(prestige.head(5))9.4Python穩(wěn)健線性回歸分析##穩(wěn)健線性回歸分析rlm_model=rlm('prestige~income+education',prestige).fit()print(rlm_model.summary())9.5Python邏輯Logistic回歸分析9.5Python邏輯Logistic回歸分析importnumpyasnpimportstatsmodels.apiassm程序包內(nèi)含數(shù)據(jù)導(dǎo)入spector_data=sm.datasets.spector.load()spector_data.exog=sm.add_constant(spector_data.exog,prepend=False)數(shù)據(jù)展示print(spector_data.exog[:5,:])邏輯回歸分析代碼如下：logit_mod=sm.Logit(spector_data.endog,spector_data.exog)logit_res=logit_mod.fit(disp=0)print('Parameters:',logit_res.params)9.6Python廣義線性回歸分析正態(tài)分布擬合和計(jì)算importstatsmodels.apiassmgauss_log=sm.GLM(lny,X,family=sm.families.Gaussian())res=gauss_log.fit()print(res.summary())二項(xiàng)分布擬合和計(jì)算importstatsmodels.apiassmglm_binom=sm.GLM(data.endog,data.exog,family=sm.families.Binomial())res=glm_binom.fit()print(res.summary())泊淞分布擬合和計(jì)算importstatsmodels.apiassmglm_poisson=sm.GLM(data.endog,data.exog,family=sm.families.Poisson())res=glm_poisson.fit()print(res.summary())伽馬分布擬合和計(jì)算importstatsmodels.apiassmglm_gamma=sm.GLM(data2.endog,data2.exog,family=sm.families.Gamma())res=glm_gamma.fit()print(res.summary())2.Python應(yīng)用importnumpyasnpimportstatsmodels.apiassmfromscipyimportstatsfrommatplotlibimportpyplotasplt程序包內(nèi)含數(shù)據(jù)導(dǎo)入data=sm.datasets.star98.load()data.exog=sm.add_constant(data.exog,prepend=False)數(shù)據(jù)展示print(spector_data.exog[:5,:])二項(xiàng)分布函數(shù)的廣義回歸分析代碼如下：glm_binom=sm.GLM(data.endog,data.exog,family=sm.families.Binomial())res=glm_binom.fit()print(res.summary())9.7違背回歸分析假設(shè)的計(jì)量檢驗(yàn)9.7違背回歸分析假設(shè)的計(jì)量檢驗(yàn)9.8Python自相關(guān)性診斷與消除9.9Python異方差診斷與消除9.10Python多重共線性的診斷與消除9.7Python自相關(guān)性診斷與消除

，且相互獨(dú)立，i=1,2,…,N其中各不完全相同9.8.1自相關(guān)的概念9.8.3產(chǎn)生自相關(guān)的原因經(jīng)濟(jì)慣性模型設(shè)定不當(dāng)應(yīng)為：但是設(shè)定：9.8.3自相關(guān)的后果正序列相關(guān)通常造成回歸系數(shù)的標(biāo)準(zhǔn)誤偏小，回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)統(tǒng)計(jì)量偏大，這就會增大犯第一類錯誤的概率；負(fù)序列相關(guān)通常造成回歸系數(shù)的標(biāo)準(zhǔn)誤偏大，回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)統(tǒng)計(jì)量偏小，這就會增大犯第二類錯誤的概率。我們可以通過調(diào)整系數(shù)的標(biāo)準(zhǔn)誤如Hanson方法來糾正序列相關(guān).9.8.4自相關(guān)的識別和檢驗(yàn)DW檢驗(yàn)法回歸檢驗(yàn)法………….9.8.5自相關(guān)的處理方法廣義差分法杜賓兩步法9.8.6自相關(guān)診斷的Python應(yīng)用9.8.7自相關(guān)消除的Python應(yīng)用差分法9.8.8金融市場數(shù)據(jù)自相關(guān)性實(shí)例的Python應(yīng)用9.9Python異方差診斷與消除9.9.1異方差的概念9.9.2異方差產(chǎn)生的原因9.9.3異方差的后果9.9.4異方差的識別檢驗(yàn)9.9.5消除異方差的方法9.9.6異方差診斷的Python應(yīng)用9.9.7異方差消除的Python應(yīng)用9.9.8異方差應(yīng)用實(shí)例的Python應(yīng)用9.9.1異方差的概念9.9.2異方差產(chǎn)生的原因忽略解釋變量設(shè)定不當(dāng)經(jīng)濟(jì)結(jié)構(gòu)的變化9.9.3異方差的后果9.9.4異方差的識別檢驗(yàn)Park（伯克）檢驗(yàn)Goldfeld-Quandt檢驗(yàn)9.9.5消除異方差的方法1.模型（數(shù)據(jù)）變換法2.加權(quán)最小二乘法9.9.6異方差診斷的Python應(yīng)用9.9.8異方差應(yīng)用實(shí)例的Python應(yīng)用9.9.8異方差應(yīng)用實(shí)例的Python應(yīng)用續(xù)表：9.10Python多重共線性的診斷與消除1.完全多種共線性rank(X)<p+12.不完全多重線性

9.10.4多重共線性的識別和檢驗(yàn)簡單相關(guān)系數(shù)回歸檢驗(yàn)法方差膨脹因子9.10.5消除多重共線性的方法通?？梢圆捎靡韵路椒ㄏ嘀毓簿€性問題。1.剔除引起多重共線性的解釋變量由前述判定是否存在多重共線性的第3種方法可知，當(dāng)存在多重共線性時，最簡單的方法就是從模型中剔除不顯著的變量，但注意采用此方法時應(yīng)注意結(jié)合有關(guān)經(jīng)濟(jì)理論知識和分析問題的實(shí)際經(jīng)濟(jì)背景慎重進(jìn)行。因?yàn)橛袝r產(chǎn)生多重共線性的原因是樣本數(shù)據(jù)的來源存在一定問題，而在許多計(jì)量經(jīng)濟(jì)模型中，人們往往只能被動地獲得已有的數(shù)據(jù)。如果處理不當(dāng)，就有可能從模型中剔除了對被解釋變量有重要影響的經(jīng)濟(jì)變量，從而會引起更為嚴(yán)重的模型設(shè)定錯誤。故應(yīng)注意從模型中剔除的應(yīng)當(dāng)是意義相對次要的經(jīng)濟(jì)變量。9.10.6多重共線性診斷的Python應(yīng)用9.10.6多重共線性診斷的Python應(yīng)用續(xù)表：10Python時間序列數(shù)據(jù)分析應(yīng)用10.1時間序列基礎(chǔ)10.2時間序列的相關(guān)概念及其Python應(yīng)用10.3自回歸(AR)模型10.4移動平均(MA)模型10.5自回歸移動平均ARMA模型10.6差分自回歸移動平均ARIMA模型10.7自回歸條件異方差模型(ARCH)及預(yù)測10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測10.1時間序列基礎(chǔ)平穩(wěn)性10.1時間序列分析的基礎(chǔ)知識相關(guān)10.2自回歸(AR)模型的Python應(yīng)用圖10-3上證指數(shù)日收益率序列的平穩(wěn)性平穩(wěn)性10.2自回歸(AR)模型的Python應(yīng)用偏相關(guān)10.2自回歸(AR)模型的Python應(yīng)用擬合優(yōu)度10.3移動平均(MA)模型的Python應(yīng)用10.4自回歸移動平均ARMA模型的Python應(yīng)用10.5差分自回歸移動平均ARIMA模型的Python應(yīng)用10.6差分自回歸移動平均ARIMA模型ARIMA比ARMA僅多了個"I"，代表著其比ARMA多一層內(nèi)涵：也就是差分。一個非平穩(wěn)序列經(jīng)過d次差分后，可以轉(zhuǎn)化為平穩(wěn)時間序列。d具體的取值，我們得分被對差分1次后的序列進(jìn)行平穩(wěn)性檢驗(yàn)，若是非平穩(wěn)的，則繼續(xù)差分。直到d次后檢驗(yàn)為平穩(wěn)序列。10.6.1單位根檢驗(yàn)ADF單位根檢驗(yàn)temp=np.array(data2)t=sm.tsa.stattools.adfuller(temp)#ADF檢驗(yàn)output=pd.DataFrame(index=['TestStatisticValue',"p-value","LagsUsed","NumberofObservationsUsed","CriticalValue(1%)","CriticalValue(5%)","CriticalValue(10%)"],columns=['value'])output['value']['TestStatisticValue']=t[0]output['value']['p-value']=t[1]output['value']['LagsUsed']=t[2]output['value']['NumberofObservationsUsed']=t[3]output['value']['CriticalValue(1%)']=t[4]['1%']output['value']['CriticalValue(5%)']=t[4]['5%']output['value']['CriticalValue(10%)']=t[4]['10%']output可以看出，p-value為0.178787，大于顯著性水平。原假設(shè)：序列具有單位根即非平穩(wěn)。不能被拒絕。因此上證指數(shù)日指數(shù)序列為非平穩(wěn)的。我們將序列進(jìn)行1次差分后再次檢驗(yàn)！data2Diff=data2.diff()#差分data2Diff.plot(figsize=(15,5))temp=np.array(data2Diff)[1:]#差分后第一個值為NaN,舍去t=sm.tsa.stattools.adfuller(temp)#ADF檢驗(yàn)print("p-value:",t[1])p-value:2.346451382047225e-30可以看出，p-value非常接近于0，拒絕原假設(shè)，因此，該序列為平穩(wěn)的?？梢姡?jīng)過1次差分后的序列是平穩(wěn)的，對于原序列，d的取值為1即可。10.6.2ARIMA(p,d,q)模型階次確定首先，我們還是嘗試PACF和ACF來判斷p、q。temp=np.array(data2Diff)[1:]#差分后第一個值為NaN,舍去fig=plt.figure(figsize=(20,10))ax1=fig.add_subplot(211)fig=sm.graphics.tsa.plot_acf(temp,lags=30,ax=ax1)ax2=fig.add_subplot(212)fig=sm.graphics.tsa.plot_pacf(temp,lags=30,ax=ax2)

可以看出，模型的階次為(27,27)，還是太高了。建模計(jì)算了太大。我們再看看AIC準(zhǔn)則。sm.tsa.arma_order_select_ic(temp,max_ar=6,max_ma=4,ic='aic')['aic_min_order']#AIC(2,2)根據(jù)AIC準(zhǔn)則，差分后的序列的ARMA模型階次為(2,2)。因此，我們要建立的ARIMA模型階次(p,d,q)=(2,1,2)10.6.3ARIMA模型建立及預(yù)測order=(2,2)data=np.array(data2Diff)[1:]#差分后，第一個值為NaNrawdata=np.array(data2)train=data[:-10]test=data[-10:]model=sm.tsa.ARMA(train,order).fit()10.7自回歸條件異方差模型(ARCH)及預(yù)測10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測10.7自回歸條件異方差模型(ARCH)及預(yù)測ARCH模型設(shè)定ARCH模型10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測11.1自回歸條件異方差模型(ARCH)及預(yù)測的Python應(yīng)用ARCH模型的預(yù)測10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測廣義的ARCH模型（GARCH）10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測GARCH模型建立10.8廣義自回歸條件異方差模型(GARCH)與波動率預(yù)測波動率預(yù)測11Python量化金融數(shù)據(jù)分析應(yīng)用11.1Python金融數(shù)據(jù)描述性統(tǒng)計(jì)11.2戰(zhàn)勝股票市場策略可視化的Python應(yīng)用11.3Python實(shí)現(xiàn)量化金融投資統(tǒng)計(jì)套利協(xié)整配對交易策略11.4Python在資產(chǎn)組合均值方差模型中應(yīng)用11.5Python繪制投資組合有效邊界11.6Python繪制尋找Markowitz最優(yōu)投資組合1.程序包準(zhǔn)備#使用免費(fèi)、開源的python財(cái)經(jīng)數(shù)據(jù)接口包Tushare來獲取數(shù)據(jù)importtushareasts#需先安裝tushare程序包#此程序包的安裝是在AnacondaPrompt狀態(tài)下，輸入命令：pipinstalltushareimportpandasaspdimportnumpyasnpimportstatsmodels.apiassmimportscipy.statsasscsimportmatplotlib.pyplotasplt2.選擇股票代號獲取股票數(shù)據(jù)data=pd.DataFrame()hs300_data=ts.get_hist_data('hs300','2017-0