大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)之Python金融應(yīng)用編程第九講-金融中地統(tǒng)計(jì)學(xué)及Python實(shí)現(xiàn)-revised

北風(fēng)網(wǎng)項(xiàng)目實(shí)戰(zhàn)培訓(xùn)第9講、金融學(xué)中的統(tǒng)計(jì)學(xué)及其Python實(shí)現(xiàn)講師：朱彤（北風(fēng)網(wǎng)版權(quán)所有)Python金融應(yīng)用統(tǒng)計(jì)學(xué)是一個(gè)內(nèi)容非常豐富的領(lǐng)域，統(tǒng)計(jì)學(xué)的工具和結(jié)果在金融領(lǐng)域有著廣泛的應(yīng)用。這也解釋了為什么一些專門在統(tǒng)計(jì)領(lǐng)域應(yīng)用的語言，比如R是如此的流行。統(tǒng)計(jì)模型越精細(xì)和復(fù)雜，對(duì)有效和易用的計(jì)算方案的需求就越大。本章針對(duì)一些在金融中常用的統(tǒng)計(jì)方法進(jìn)行介紹，這提供了關(guān)于如何使用Python進(jìn)行金融統(tǒng)計(jì)分析的很好的起點(diǎn)。本章主要討論以下四個(gè)話題：正態(tài)性檢驗(yàn)：大量重要的金融模型，例如均值-方差資產(chǎn)組合理論以及資本資產(chǎn)定價(jià)模型（CAPM），是基于證券的收益為正態(tài)分布的假設(shè)，因此，本章提供了收益時(shí)間序列的正態(tài)性檢驗(yàn)的實(shí)現(xiàn)方法。資產(chǎn)組合理論：現(xiàn)代資產(chǎn)組合理論（MPT）被認(rèn)為是統(tǒng)計(jì)學(xué)在金融領(lǐng)域最重要的成功，這個(gè)工作由HarryMarkowitz所提出，人們從此開始了使用嚴(yán)格的數(shù)學(xué)和統(tǒng)計(jì)方法來處理金融市場(chǎng)中的投資問題。從這個(gè)意義上講，這也是量化金融領(lǐng)域的開端。主成分分析：主成分分析（PCA）是金融中非常流行的工具，例如，在實(shí)現(xiàn)股權(quán)投資策略或者是分析利率變動(dòng)的主要因素的時(shí)候。其主要的好處是“降低復(fù)雜度”，導(dǎo)出潛在可能高度相關(guān)的時(shí)間序列成分的一組線性無關(guān)的成分（不相關(guān)，正交）。我們?cè)诒菊聦⒚枋龌诘聡?guó)DAX指數(shù)以及該指數(shù)包含的30只股票的分析。貝葉斯回歸：從最基礎(chǔ)的角度看，貝葉斯統(tǒng)計(jì)在統(tǒng)計(jì)學(xué)中引入了代理人的信念以及對(duì)信念的修正的思想。當(dāng)處理線性回歸的時(shí)候，這可能采取的形式是對(duì)于回歸參數(shù)有一個(gè)分布，而不是點(diǎn)估計(jì)（例如回歸線的截距和斜率）。今天，貝葉斯方法在金融中非常常用，我們將在本章中介紹一些這方面的知識(shí)。概述正態(tài)分布可以被認(rèn)為是金融中最重要的分布，而且是金融理論的主要統(tǒng)計(jì)學(xué)基礎(chǔ)。下面的這些領(lǐng)域的結(jié)論都在很大程度上依賴于股票市場(chǎng)收益是正態(tài)分布的假設(shè)。資產(chǎn)組合理論：當(dāng)股票收益是正態(tài)分布的時(shí)候，最優(yōu)資產(chǎn)組合選擇可以轉(zhuǎn)換為僅僅考慮平均收益、收益的方差（或波動(dòng)性）以及不同股票之間的相關(guān)系數(shù)，只有這三項(xiàng)內(nèi)容是與投資決策（即最優(yōu)資產(chǎn)組合構(gòu)建）是相關(guān)的。資本資產(chǎn)定價(jià)模型：再一次的，當(dāng)股票收益是正態(tài)分布的時(shí)候，單一股票的價(jià)格可以很好的表達(dá)為市場(chǎng)指數(shù)的關(guān)系。這個(gè)關(guān)系一般可以表示為單一股票于市場(chǎng)指數(shù)之間的變動(dòng)相關(guān)性，即beta值。有效市場(chǎng)假說：所謂有效市場(chǎng)，是指價(jià)格反映了所有可得的信息，這里所有可以較窄或較寬的定義（例如：所有公開可以獲得的信息或者包括僅僅私人可獲得的信息），如果這個(gè)假設(shè)是正確的，那么股票價(jià)格會(huì)隨機(jī)波動(dòng)，而收益是正態(tài)分布的。期權(quán)定價(jià)理論：布朗運(yùn)動(dòng)是隨機(jī)股票（或其他證券）價(jià)格波動(dòng)的標(biāo)準(zhǔn)和基準(zhǔn)模型，著名的Black-Scholes-Merton期權(quán)定價(jià)公式使用幾何布朗運(yùn)動(dòng)作為股票價(jià)格隨時(shí)間隨機(jī)波動(dòng)的模型，這會(huì)導(dǎo)致正態(tài)分布的收益。事實(shí)上，在金融領(lǐng)域依賴于正態(tài)分布的內(nèi)容還有很多。正態(tài)性檢驗(yàn)

基準(zhǔn)情形嚴(yán)格的檢驗(yàn)過程。函數(shù)normality_tests包括三種不同的統(tǒng)計(jì)檢驗(yàn)SkewnessTest(skewtest)：這個(gè)方式檢驗(yàn)樣本數(shù)據(jù)的偏度是否是正態(tài)的（也就是偏度是否為0）。KurtosisTest(kurtosistest)：這個(gè)方式檢驗(yàn)樣本數(shù)據(jù)的峰度是否為正態(tài)的（也就是接近于0）NormalityTest(normaltest）：將上述兩種方式結(jié)合起來檢驗(yàn)正態(tài)性。因?yàn)閜值超過0.05，因此，我們可以認(rèn)為數(shù)據(jù)集是正態(tài)分布的。最后，我們來檢驗(yàn)期末的值是否確實(shí)是對(duì)數(shù)正態(tài)分布，當(dāng)然通過轉(zhuǎn)換數(shù)據(jù)，可以進(jìn)行正態(tài)檢驗(yàn)。與正態(tài)分布pdf進(jìn)行對(duì)比，并進(jìn)行QQ圖檢驗(yàn)?；鶞?zhǔn)情形實(shí)際世界數(shù)據(jù)我們現(xiàn)在來分析實(shí)際數(shù)據(jù)的正態(tài)性問題。我們將要分析兩只股票指數(shù)和兩只個(gè)股的四組歷史時(shí)間序列（德國(guó)DAX指數(shù)和美國(guó)S&P500指數(shù)，Yahoo和Microsoft股票）。我們選擇pandas作為數(shù)據(jù)管理的工具。獲取AdjClose時(shí)間序列數(shù)據(jù)并引入一個(gè)DataFrame對(duì)象。將數(shù)據(jù)正規(guī)化并作圖。使用pandas計(jì)算對(duì)數(shù)收益是很方便的，可以用shift方法。做收益的頻率分布，找到分布的直觀感受。下一步，考慮時(shí)間序列數(shù)據(jù)的描述統(tǒng)計(jì)量，我們看到，峰度數(shù)值對(duì)于四個(gè)數(shù)據(jù)集而言都不是那么正態(tài)的。使用QQ圖分析正態(tài)性。發(fā)現(xiàn)樣本的分位點(diǎn)都不處于直線上，意味著非正態(tài)性，在兩邊顯示的非直線意味著數(shù)據(jù)肥尾特性，意味著存在著正值和負(fù)值的超過正態(tài)分布所暗示的部分。正規(guī)的正態(tài)分布檢驗(yàn)的結(jié)果。這樣檢驗(yàn)的結(jié)果強(qiáng)烈的拒絕了不同的樣本數(shù)據(jù)集是正態(tài)分布的假設(shè)。這證明幾何布朗運(yùn)動(dòng)背后的正態(tài)分布特性在證券市場(chǎng)上是不真實(shí)存在的，要進(jìn)行精確的分析，我們需要使用肥尾的模型，例如跳躍擴(kuò)散過程或者隨機(jī)波動(dòng)率模型。資產(chǎn)組合優(yōu)化現(xiàn)代或均值-方差資產(chǎn)組合理論（MPT）是金融理論的重要組成部分。HarryMarkowitz的這個(gè)理論在1990年獲得了諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。雖然開始于1950年，這一部分今天仍然是金融理論教學(xué)的重要組成（雖然有一些小的改變）。本節(jié)對(duì)其中關(guān)鍵的部分進(jìn)行介紹。數(shù)據(jù)：我們?cè)谶@里分析五種不同的資產(chǎn)，美國(guó)的技術(shù)股票Apple，Yahoo以及Microsoft，以及德意志銀行AG以及以黃金為基礎(chǔ)的一支ETF基金。MPT的基本思想是分散化會(huì)導(dǎo)致資產(chǎn)組合風(fēng)險(xiǎn)的降低或者是在某種特定的風(fēng)險(xiǎn)水平下最大化資產(chǎn)組合收益。我們用上述五種資產(chǎn)來說明這個(gè)問題。使用pandas的DataReader函數(shù)來有效率的獲得每只股票的收盤價(jià)，并進(jìn)行正規(guī)化作圖。計(jì)算對(duì)數(shù)收益，求252日均值和方差協(xié)方差矩陣?；纠碚?/p>

基本理論

基本理論

資產(chǎn)組合優(yōu)化為了便于分析，首先我們定義一個(gè)函數(shù)，對(duì)于輸入的權(quán)重向量/數(shù)組，給出主要的資產(chǎn)組合統(tǒng)計(jì)。導(dǎo)出約束優(yōu)化問題的最優(yōu)資產(chǎn)組合，我們需要使用scipy.optimize子庫(kù)提供的minimize方法。這個(gè)最小化函數(shù)minimize是非常一般的，允許不等式約束以及參數(shù)的界限。我們開始于最大化Sharpe比率。正式的，我們應(yīng)當(dāng)最小化負(fù)的Sharpe比率。這里的約束是所有的參數(shù)（權(quán)重）加起來為1，這可以按照下面的方式進(jìn)行設(shè)置，使用minimize函數(shù)的傳統(tǒng)設(shè)置習(xí)慣。同時(shí)我們還需要參數(shù)值（權(quán)重）在0到1之間，這些值作為一組元組提供給最小化函數(shù)。還需要設(shè)定的是初始參數(shù)列表，我們簡(jiǎn)單的使用相同的權(quán)重。調(diào)用這個(gè)函數(shù)不僅返回最優(yōu)的參數(shù)值，還返回了其他，我們將這個(gè)結(jié)果存儲(chǔ)在一個(gè)稱為opts的對(duì)象中。我們主要關(guān)心的是最優(yōu)組合權(quán)重，為了達(dá)到這個(gè)目標(biāo)，我們使用感興趣的鍵值來獲得結(jié)果，即這個(gè)例子中的x。最優(yōu)化產(chǎn)生的結(jié)構(gòu)包含這五種證券的權(quán)重。使用最優(yōu)資產(chǎn)組合權(quán)重，我們可以計(jì)算相關(guān)的統(tǒng)計(jì)量，期望收益，期望方差，Sharpe比率等等。接著，最小化資產(chǎn)組合的方差，也就是最小化波動(dòng)性，這里也是調(diào)用minimize函數(shù)，獲得了最優(yōu)組合以后，也可以計(jì)算統(tǒng)計(jì)量。有效前沿導(dǎo)出所有最優(yōu)的資產(chǎn)組合——即所有的給定目標(biāo)收益書評(píng)情況下最小化波動(dòng)的資產(chǎn)組合（或者給定風(fēng)險(xiǎn)水平下最大化收益的資產(chǎn)組合）都類似于之前的最優(yōu)化。唯一的差異是我們需要對(duì)多個(gè)開始條件進(jìn)行除以。我們所采用的方法是固定一個(gè)目標(biāo)收益水平，導(dǎo)出對(duì)于每一個(gè)這樣的水平最小化風(fēng)險(xiǎn)值的權(quán)重。對(duì)于最優(yōu)化而言，這導(dǎo)致兩個(gè)條件，一個(gè)是關(guān)于目標(biāo)收益水平tret，一個(gè)是關(guān)于資產(chǎn)組合權(quán)重的和為1，和以前一樣。每個(gè)值的邊界條件都是相同的。我們定義一個(gè)專門的函數(shù)min_func來實(shí)現(xiàn)最小化過程，它從statistics函數(shù)中返回風(fēng)險(xiǎn)價(jià)值。下面是針對(duì)不同的目標(biāo)收益水平進(jìn)行迭代，其中最小化的一個(gè)條件啊生了變化，在每次循環(huán)中都需要對(duì)條件字典進(jìn)行更新。用圖形表示最優(yōu)化的結(jié)果，用x符號(hào)表示了給定目標(biāo)收益水平的最優(yōu)資產(chǎn)組合，點(diǎn)和以前一樣表示隨機(jī)資產(chǎn)組合。另外，圖形中顯示了兩個(gè)星號(hào)，一個(gè)是最小化方差（波動(dòng)率）資產(chǎn)組合，一個(gè)是最大化Sharpe比率的資產(chǎn)組合。最優(yōu)前沿包含的是比絕對(duì)最小化方差資產(chǎn)組合更高收益的所有最優(yōu)組合。這些組合在給定的風(fēng)險(xiǎn)水平下在期望收益方面占優(yōu)了其他組合。資本市場(chǎng)線

資本市場(chǎng)線

主成分分析主成分分析（PCA）在金融領(lǐng)域中越來越流行，Wikipedia定義如下：主成分分析（PCA）是一種統(tǒng)計(jì)方法，它使用正交變換，將一組可能相關(guān)的資產(chǎn)的觀測(cè)轉(zhuǎn)化為香型不想管變量的組合，稱為主成分。主成分的數(shù)量小于或等于正交變量的個(gè)數(shù)。這種變換定義的方式是第一主成分有最大可能的方差（也就是刻畫了數(shù)據(jù)中可能出現(xiàn)的最多的變化），而每一個(gè)順次的成分都有最大的方差，但是要滿足約束是正交于（不相關(guān)于）之前的成分。例如，考慮德國(guó)DAX股票指數(shù)，包含30種不同的股票。所有股票的股票價(jià)格運(yùn)動(dòng)確定了指數(shù)的運(yùn)動(dòng)（通過一個(gè)良好定義的公式）。另外，單一股票價(jià)格的運(yùn)動(dòng)可能是相關(guān)的，因?yàn)橐话愕慕?jīng)濟(jì)條件或者是某種行業(yè)的某種發(fā)展特性。對(duì)于統(tǒng)計(jì)應(yīng)用來說，通常比較困難的是使用30種相關(guān)的因素來解釋股票指數(shù)的運(yùn)動(dòng)，這樣就引入了PCA，它會(huì)導(dǎo)出單一的，不想管的成分，用來解釋股票指數(shù)的運(yùn)動(dòng)。我們可以將這些成本認(rèn)為是從指數(shù)中選擇股票的線性組合。這樣我們可以不使用30種相關(guān)的成分，而只是使用可能5種，3種或僅僅一種主成分。本節(jié)在這樣一種設(shè)定下描述PCA，我們獲取德國(guó)DAX指數(shù)以及其成分股的數(shù)據(jù)，然后使用PCA導(dǎo)出主成分，構(gòu)造一個(gè)pca_index。首先是引入庫(kù)，我們使用scikit-learn機(jī)器學(xué)習(xí)庫(kù)中的KernelPCAh函數(shù)。DAX指數(shù)及其30種股票-應(yīng)用PCA首先，我們給出30種DAX中包含的股票的列表，這些是股票代碼。我們僅僅使用每個(gè)數(shù)據(jù)集的收盤價(jià)，使用pandas來導(dǎo)入數(shù)據(jù)。我們將股票的數(shù)據(jù)與指數(shù)的數(shù)據(jù)分開，這樣數(shù)據(jù)集DataFrame中就包含的是股票價(jià)格信息。通常PCA被應(yīng)用于正規(guī)化的數(shù)據(jù)集合，定義一個(gè)函數(shù)完成這個(gè)工作。首先考慮有多個(gè)成分的PCA（即并不限制成分的數(shù)量）。每個(gè)成分的解釋能力或重要性是由其Eigenvalue所給出的。這些可以在KernelPCA對(duì)象的屬性上得到。這個(gè)分析給出了太多的成分。因此我們來看一下前10個(gè)成分，第10個(gè)成分的影響幾乎可以忽略。我們主要關(guān)心的是每個(gè)成分的相對(duì)重要性，因此我們需要對(duì)這些數(shù)值求正規(guī)化，我們定義一個(gè)函數(shù)完成此操作。這樣，問題就變得更為清晰。第一個(gè)成分已經(jīng)描述了30個(gè)時(shí)間序列的變動(dòng)的大約60%，前五個(gè)成分大約解釋了變動(dòng)性的95%。構(gòu)造PCA_index接著我們使用PCA來構(gòu)造一個(gè)PCA（因子）指數(shù)并且與之前的指數(shù)進(jìn)行比較。首先，我們考慮僅僅一個(gè)元素的PCA指數(shù)。用圖形顯示規(guī)范化以后的數(shù)據(jù)。如果我們加入更多的成分，例如計(jì)算結(jié)果成分的加權(quán)平均，并用圖形顯示，結(jié)果比以前有所改善，至少?gòu)闹庇^上。接著我們要從另一個(gè)角度考慮DAX指數(shù)與PCA指數(shù)的關(guān)系，通過散點(diǎn)圖，給混合加入日期信息。Ian，我們將DataFrame的DatetimeIndex轉(zhuǎn)化為matplotlib能接受的格式。這樣的日期可以用于散點(diǎn)圖，使用不同的顏色表示每個(gè)數(shù)據(jù)點(diǎn)來自于哪個(gè)日期。圖形顯示明顯在2011年中間某個(gè)時(shí)間有某種程度的結(jié)構(gòu)變化。如果PCA指數(shù)完美的復(fù)制了DAX指數(shù)，我們期望所有的點(diǎn)都在直線上，看到回歸線通過這些點(diǎn)，完美的結(jié)果很難達(dá)到，但是我們看這基本上滿足要求。接著，我們將所有的時(shí)間分成兩段，然后使用early和late回歸。新的回歸線顯示了較高的解釋能力，無論是在臨界點(diǎn)之前還是之后。這種探索性的方法在下一節(jié)介紹Bayes統(tǒng)計(jì)的時(shí)候會(huì)更為清晰。Bayes回歸

Bayes回歸

PYMC3通過PYMC3，Python生態(tài)系統(tǒng)提供了一種強(qiáng)有力的處理貝葉斯統(tǒng)計(jì)的庫(kù)。PyMC3并不是Anaconda的組成部分。我們需要使用Linux系統(tǒng)來進(jìn)行安裝。安裝成功以后，我們可以按照通常的方式導(dǎo)入pymc庫(kù)。一個(gè)介紹性的例子

一個(gè)介紹性的例子貝葉斯回歸的一個(gè)主要元素是（Markov鏈）MonteCarlo（MCMC）抽樣。原則上說，這等同于從盒子中抽取球多次，和我們之前的例子一樣，只是以一種系統(tǒng)化和自動(dòng)的方式。在抽樣的技術(shù)層面，需要調(diào)用三個(gè)不同的函數(shù)：find_MAP：通過導(dǎo)出后驗(yàn)點(diǎn)的局部最大值求得抽樣算法的開始點(diǎn)。NUTS實(shí)現(xiàn)所謂的“有雙重平均的有效無-U-Turn抽樣”算法，給定假設(shè)的先驗(yàn)分布，實(shí)現(xiàn)MCMC抽樣。給定find_MAP規(guī)定的初始值以及NUTS算法的最優(yōu)步長(zhǎng)，抽取一定數(shù)量的隨機(jī)樣本。這些都被封裝到PyMC3的Model對(duì)象中，使用with語句來執(zhí)行。抽樣回歸的結(jié)果表明（第一組結(jié)果）非常接近于原始值(4,2,2)，但是當(dāng)然整體的過程顯示了更多的估計(jì)。這最好是使用traceplot進(jìn)行展示，這個(gè)展示顯示了不同參數(shù)的后驗(yàn)分布以及每個(gè)樣本的估計(jì)。后驗(yàn)分布給了我們關(guān)于估計(jì)中的不確定性的一種直觀測(cè)量。使用回歸得到的alpha和beta，我們可以做出所有的回歸線的圖形。實(shí)際數(shù)據(jù)之前使用虛擬的數(shù)據(jù)研究了PyMC3進(jìn)行回歸的處理，我們現(xiàn)在來處理實(shí)際市場(chǎng)數(shù)據(jù)。在這種情況下，我們需要引入另外一個(gè)Python庫(kù)zipline，這是一個(gè)Python化的開源算法交易庫(kù)，由社區(qū)回測(cè)框架Quantopian所支持。這個(gè)庫(kù)也需要獨(dú)立安裝。在安裝之后，我們可以按通常的方式導(dǎo)入zipline庫(kù)以及pytz等。類似于pandas，zipline提供了一個(gè)方便的函數(shù)，從不同來源加載財(cái)經(jīng)數(shù)據(jù)。在其內(nèi)部，zipline使用pandas。我們使用的例子是一個(gè)“經(jīng)典”的配對(duì)交易策略，也就是說，投資黃金和黃金開采公司的股票。這些投資標(biāo)的分別由GLD和GDX代表，分別是兩個(gè)ETF。這樣可以用zipline加載數(shù)據(jù)，并進(jìn)行圖形展示。兩個(gè)品種的絕對(duì)表現(xiàn)有明顯不同，然而，兩個(gè)時(shí)間序列似乎有相當(dāng)強(qiáng)的正相關(guān)。和往常一樣，DataFrame對(duì)象的DatetimeIndex對(duì)象由TimeStamp對(duì)象組成，我們必須首先將日期-時(shí)間信息轉(zhuǎn)換為順序日期表示，才能在后面以希望的方式用于matplotlib，用不同顏色描繪每對(duì)數(shù)據(jù)的日期。實(shí)際數(shù)據(jù)下面我們?cè)谶@兩個(gè)時(shí)間序列基礎(chǔ)上實(shí)施貝葉斯回歸，參數(shù)化本質(zhì)上和前一個(gè)虛擬數(shù)據(jù)的示例相同，我們只是用現(xiàn)在擁有的真實(shí)數(shù)據(jù)代替虛擬數(shù)據(jù)。展示關(guān)于3個(gè)參數(shù)先驗(yàn)概率分布的假設(shè)下，MCMC采樣過程的結(jié)果。將得到的所有回歸線添加到之前的散點(diǎn)圖中，所有回歸線相互很靠近。之前進(jìn)行的回歸方法有一個(gè)重大不足：該方法沒有考慮隨時(shí)間推移發(fā)生的變化。也就是說，最近的數(shù)據(jù)和最老的數(shù)據(jù)受到同樣對(duì)待。而正如本節(jié)開始時(shí)所指出的，金融學(xué)上的貝葉斯方法通常在歷史分析時(shí)最有用——也就是說，隨著時(shí)間推移揭示的心數(shù)據(jù)可以得出更好的回歸和估算。為了在當(dāng)前的示例中加入上述概念，我們假定回歸參數(shù)不只是隨機(jī)和呈某種分布的，而且隨著時(shí)間的推移隨機(jī)“游走”，這和金融理論從隨機(jī)變量推廣到隨機(jī)過程（本質(zhì)上是隨機(jī)變量的有序序列）時(shí)采用相同的方式。為此，我們定義一個(gè)新的PyMC3模型，這次指定參數(shù)值隨機(jī)游走，方差參數(shù)值轉(zhuǎn)換到對(duì)數(shù)空間（為了得到更好的采樣特性）。實(shí)際數(shù)據(jù)由于使用隨機(jī)游走代替單一隨機(jī)表娘，所以這些定義都比以前復(fù)雜一些。不過，MCMC的推導(dǎo)步驟本質(zhì)上仍然沒有變化。要注意的是，由于我們必須為每個(gè)隨機(jī)游走樣本計(jì)算一個(gè)參數(shù)對(duì)，共計(jì)1950/50=19個(gè)，以前只需要計(jì)算1個(gè)，所以計(jì)算負(fù)擔(dān)明顯增大。我們總共對(duì)39個(gè)時(shí)間間隔做100次估算?？梢岳L制估算子集合所有樣本平均值的圖表，說明