《金融大數(shù)據(jù)分析》-課件 第 19 章

第十九章

大數(shù)據(jù)機器學習方法在金融學中的應用

學習目標1.理解大數(shù)據(jù)機器學習方法在金融研究中的一些應用2.了解非線性Lasso方法3.了解工具變量主成分分析法（IPCA）4.了解如何使用機器學習進行糾偏

章節(jié)簡介本章聚焦于股票收益率的樣本外預測、潛在因子模型的構建和從大量可觀測因子中篩選出最有定價效能的因子這三個方面，介紹機器學習方法在其中的實證應用。識別并驗證哪些變量具有真正的解釋力和定價能力

強調(diào)機器學習模型在處理高維數(shù)據(jù)和復雜關系中的應用股票收益率橫截面預測實證高維問題和機器學習解決方案:傳統(tǒng)線性模型（如Fama-MacBeth回歸）在高維情況下容易出現(xiàn)多重共線性和過擬合問題。機器學習方法通過正則化和降維（如PCA）解決這些問題。機器學習可以更好地處理非線性關系，如神經(jīng)網(wǎng)絡模型可以近似任意非線性函數(shù)。Gu,Kelly,andXiu(2020)的研究:機器學習方法用于預測股票收益，包括彈性網(wǎng)、主成分回歸（PCR）、偏最小二乘（PLS）、回歸樹和神經(jīng)網(wǎng)絡?；貧w樹表現(xiàn)優(yōu)于廣義線性模型，神經(jīng)網(wǎng)絡表現(xiàn)最好，淺層學習效果優(yōu)于深層學習。重要特征包括動量、流動性、風險測度、估值比率和基本面信號，宏觀經(jīng)濟變量中賬面市值比最重要。由散戶投資者主導，導致高波動性和短線交易行為。中央控制的銀行主導金融體系，市場自動修正機制受政府影響。賣空限制導致市場定價效率低于西方市場。相關研究：Leippold,Wang,andZhou(2021)的研究:流動性成為最重要的預測因子，中國市場顯示出更大的可預測性，特別是小規(guī)模和非國有企業(yè)的股票。散戶投資者對短期可預測性有正向影響，長期來看大盤股和國有企業(yè)有較高可預測性。Freybergeretal.(2020)和Wangetal.(2023)的研究:在美國和中國市場應用非線性Lasso方法，展示了機器學習在處理高維股票收益預測和非線性問題方面的優(yōu)勢。中國市場的特點Fama-Macbeth回歸是一個兩步截面回歸檢驗方法，它非常巧妙排除了殘差在截面上的相關性對標準誤的影響，適用于預測股票收益率等殘差項橫截面相關性高、時間序列相關性不高的情況。

首先基于時間序列回歸估計每個測試資產(chǎn)的因子暴露

第二步是橫截面回歸，在每個橫截面上計算如下回歸

然后將每個橫截面的估計取均值作為Fama-MacBeth回歸的估計

基于回歸的預測方法

基于回歸的預測方法Lasso

非線性Lasso（非參數(shù)組Lasso）假設特征與條件預期收益之間存在非線性關系，在??時，第??個特征與股票條件預期收益之間的關系可以描述為

自適應LassoLasso在變量選擇和參數(shù)估計上不具有一致性，使用自適應Lasso(AdaptiveLasso)則可以解決這一問題

即基于第一輪Lasso訓練的參數(shù)對不同參數(shù)的懲罰項進行加權，對第一輪訓練得到的估計值較大的參數(shù)進行較低的懲罰，從而在第二輪Lasso中獲得具有一致性的估計結果。

類似地可以得到自適應組Lasso模型，即基于第一輪每組參數(shù)的訓練結果對每組的懲罰項進行加權后進行第二輪訓練。

交叉驗證

機器學習模型確定超參數(shù)比如上面Lasso中的超參數(shù)??時往往采用交叉驗證的方法

5折交叉驗證：劃分訓練集和測試集之后，再進一步將訓練集隨機劃分為5等份；選定一個超參數(shù)值，第一輪訓練模型時，采用第2、3、4、5份訓練集數(shù)據(jù)訓練模型，使用第1份訓練集數(shù)據(jù)作為驗證集，計算驗證集上目標測度比如均方誤差的值；第二輪訓練時采用第1、3、4、5份訓練集數(shù)據(jù)訓練模型，使用第2份訓練集數(shù)據(jù)作為驗證集，測度驗證集上模型的表現(xiàn)；由此進行5輪訓練后得到5個模型表現(xiàn)測度值進而計算出模型表現(xiàn)平均值，對比不同超參數(shù)值下模型表現(xiàn)的好壞，取模型在驗證集上表現(xiàn)最好時的超參數(shù)并重新使用完整的訓練集訓練模型。

使用k折交叉驗證的弊端：如果使用未來股票信息訓練模型而使用過去的數(shù)據(jù)檢驗“預測”股票收益的好壞，存在前瞻性偏差

時間序列交叉驗證：將訓練集按時間順序從早到晚劃分成均勻的5份，第1份時間最早，第一輪訓練模型時，采用第1份訓練集數(shù)據(jù)訓練模型，使用第2份訓練集數(shù)據(jù)作為驗證集，第二輪則用第1、2份數(shù)據(jù)訓練，第3份用來驗證，直至第五輪用前4份數(shù)據(jù)訓練，第5份數(shù)據(jù)驗證

預測因子的實證表現(xiàn)對股票橫截面收益率具有預測作用的因子類型：應計負債、債務發(fā)行、投資、低杠桿、低風險、動量、盈利能力、質量、季節(jié)性、短期逆轉、價值等

主流的多因子模型都是稀疏的，即一般不超過5個因子，稀疏因子模型之間發(fā)生了激烈的競爭對比

Fama-French五因子(FF5)模型、Hou-Xue-Zhang四因子(q4)模型、BarillasandShanken(2018)根據(jù)對FF5、q4等模型進行貝葉斯因子檢驗的結果提出的六因子模型、Hou-Mo-Xue-Zhang五因子模型

下面展示一些常用因子在中國和美國市場上的表現(xiàn)

表1記錄了2000年1月至2023年12月中國和美國市場上部分常用因子的表現(xiàn)

MKtRf——市場因子、SMB——市值因子、VMG/HML——價值因子

表1:因子歷史平均月度表現(xiàn)（2000年1月至2023年12月）

在基于Fama-French三因子構造中國三因子時，Liuetal.(2019)剔除了市值最小的后30%的股票以避免殼價值污染

根據(jù)表1，經(jīng)過Liuetal.(2019)改造后的規(guī)模因子和價值因子在近24年都有著顯著的正收益，相比之下PanelB中Fama-French因子在近24年并沒有取得顯著的正收益，PanelA中Liuetal.(2019)規(guī)模因子和價值因子的累積收益也遠高于PanelB

中美國市場上Fama-French因子的表現(xiàn)

預測因子的實證表現(xiàn)基于Wangetal.(2023)構建的132個中國股票收益預測指標，使用機器學習方法對滬深300成分股的收益進行預測

使用Fama-MacBeth回歸、自適應Lasso、自適應組Lasso三種方法，采用12年窗口的滾動估計，股票特征在橫截面上進行排序并轉換為0到1之間的取值

表2：股票收益預測多空組合表現(xiàn)

AGLasso、ALasso、FMB分別代表自適應組Lasso、自適應Lasso、Fama-MacBeth回歸，KFold和TSCV則分別代表普通5折交叉驗證和5折時間序列交叉驗證

Fama-MacBeth回歸選股能力最弱，最優(yōu)的方法是使用基于時間序列交叉驗證的自適應Lasso

組Lasso樣本外存在過擬合現(xiàn)象，與滬深300的樣本空間較小有關

預測因子的實證表現(xiàn)工具變量主成分分析法簡介

將股票（或其他資產(chǎn)）的收益率用以下的線性因子模型來描述

相對于經(jīng)典的因子定價模型，IPCA方法具有兩個顯著的優(yōu)勢

第一，IPCA模型結合了來自資產(chǎn)特征的附加信息來估計資產(chǎn)收益的潛在因子結構，而經(jīng)典的基于主成分分析的潛在因子模型的則只使用資產(chǎn)的收益率信息

第二，IPCA模型是一個條件資產(chǎn)定價模型，可以描述因子載荷的動態(tài)變化。此特性可以緩解定價研究中的兩個挑戰(zhàn)，高維性和遷移資

檢驗資產(chǎn)特征變量在收益率截面定價能力的常用方法是投資組合排序法；

IPCA模型拓展投資組合排序法到高維空間，構造了特征與期望超額收益的關系

投資組合排序和IPCA有兩點不同

1.投資組合排序在檢驗特征的定價能力的時候只能同時控制一個或者兩個特征，而IPCA方法不受特征數(shù)量的限制2.投資組合排序構造的是可觀測的因子，但是IPCA沒有預設定價方程的因子結構，而是通過統(tǒng)計方法來估計潛在因子。

工具變量主成分分析法簡介

線性映射參數(shù)的估計

目標是最小化復合模型的誤差平方和，即

線性映射參數(shù)的估計

對于無約束模型，截距??????+1是工具變量的線性函數(shù)，允許超額收益以與系統(tǒng)性風險無關的方式依賴于特征變量

這可以理解為動態(tài)貝塔對超額異?；貓蟮臋M截面回歸系數(shù)估計量

線性映射參數(shù)的估計

IPCA方法的資產(chǎn)定價實證檢驗

檢驗模型設定為

原假設和備擇假設分別為

假設推斷通過bootstrap完成第二個非常有用的檢驗是，具有預先指定的可觀察因素的有影響力的模型是否可以為IPCA模型增加解釋能力，從而可以比較不同的定價模型。模型設定為

對應的Wald型檢驗統(tǒng)計量為

它測量模型(19.14)和不包括可觀察因子的IPCA模型之間的距離。假設推斷通過bootstrap完成

相應的，Wald型檢驗統(tǒng)計量為

IPCA方法的資產(chǎn)定價實證檢驗

IPCA在美國市場的實證表現(xiàn)

Kellyetal.(2019)使用美國股票數(shù)據(jù)表明，IPCA解釋股票超額收益率的表現(xiàn)優(yōu)于傳統(tǒng)的資產(chǎn)定價模型，并給出了一個很好的例子來實施和解釋IPCA的潛在因子。

股票回報和特征數(shù)據(jù)來自Freybergeretal.(2020)。時間段介于1962年7月至2014年5月之間，股票數(shù)量為12,813只，每只股票都有36個特征。

為了消除異常值的影響，我們對每個橫截面的股票應用秩變換

它衡量了模型對條件預期回報的描述能夠解釋的已實現(xiàn)回報變化的比例

表3:IPCA模型美國市場實證表現(xiàn)

表3的面板A報告了當潛在因子數(shù)量為1至6時個股的擬合優(yōu)度。

受限制的單因素IPCA模型無法解釋條件預期回報的異質性

當我們考慮多個IPCA因素時，約束模型和無約束模型的差距逐漸縮小

表3的結果表明，如果規(guī)范中至少包含五個因素，IPCA基本上解釋了與股票特征相關的平均股票回報的所有異質性。它通過識別一組因素和相關負載來做到這一點，使股票的預期回報與其對系統(tǒng)性風險的敞口保持一致，而無需訴諸異常收益來解釋特征的預測作用

IPCA在美國市場的實證表現(xiàn)

如何從大量可觀測定價因子中識別出有效定價因子

本節(jié)主要探討資產(chǎn)定價研究中的一個核心問題：哪些因子才是構成真實因子定價模型的有效因子。

經(jīng)典的多因子模型，如Fama-French的三因子、五因子模型，用因子風險溢價來解釋資產(chǎn)的預期收益，這些風險溢價是基于市場對于承擔特定風險的額外補償。然而，檢驗一個因子是否具有顯著的風險溢價并不足以證明該因子真正具有定價能力

一個有效的因子，是指其與SDF的相關性顯著，即該因子捕捉到了資產(chǎn)定價中的系統(tǒng)性風險，而不是指它具有顯著的風險溢價

隨機貼現(xiàn)因子理論

我們可以用兩個基本公式來描述資產(chǎn)定價（HansenandRichard,1987和Cochrane,2005）

為了更深入理解這個概念，讓我們來看一個關于效用最大化的問題

隨機貼現(xiàn)因子理論

隨機貼現(xiàn)因子與多因子模型

多因子模型通過分析各種經(jīng)濟因素，比如GDP增長率、消費增長率，來解釋資產(chǎn)價格為何各不相同。實際上隨機貼現(xiàn)因子與多因子模型是等價的

因此研究者將GDP增長率、消費增長率、匯率走勢以及其他評估經(jīng)濟狀態(tài)發(fā)生可能性的宏觀變量定義為“定價因子”（pricingfactor）。(19.27)式中提到的邊際效用增長率難以直接度量，因此實證中研究者常用這些定價因子作為增長率的代理變量：

這里將隨機貼現(xiàn)因子表達為一系列定價因子的組合，這和我們通常見到的多因子模型非常相似

公式(19.31)展示了多因子模型的一般形式：

我們可以證明公式(19.30)和(19.31)在數(shù)學上是等價的。

對比(19.31)式與(19.33)式，易推出：

這些推導顯示了隨機貼現(xiàn)因子和多因子模型在數(shù)學上是等價的。這意味著，一旦我們有了一個多因子模型，我們就可以找到相應的隨機貼現(xiàn)因子表達式，反之亦然

隨機貼現(xiàn)因子與多因子模型

雙重Lasso回歸方法

當我們有大量數(shù)據(jù)并想找出哪些因素真正影響資產(chǎn)定價時，傳統(tǒng)方法如最小二乘法可能不太適用。這時，Lasso回歸、決策樹和神經(jīng)網(wǎng)絡這樣的機器學習方法能有效處理這種高維數(shù)據(jù)，但它們可能因為過分適應數(shù)據(jù)中的“噪聲”而無法提供無偏的估計結果。

為了解決這個問題，F(xiàn)engetal.（2020）提出了一種新的方法：雙重選擇Lasso模型。這個方法首先用Lasso回歸挑選出最能解釋收益率的因子，然后再用Lasso回歸找出可能被遺漏的變量。這樣一來，我們就能在一定條件下滿足估計的一致性。在這一節(jié)中，我們將討論如何運用雙重選擇Lasso法來估計隨機貼現(xiàn)因子載荷，并將這個方法應用到對中國A股市場的實證研究中

雙重Lasso回歸方法

對股票收益率和所有基準因子之間的關系進行Lasso回歸分析：

由于實際中樣本量有限，傳統(tǒng)的Lasso回歸可能無法百分之百準確地選出真正的模型，可能會遺漏一些重要變量。這意味著單純依賴一次Lasso回歸可能會導致對SDF載荷的錯誤統(tǒng)計推斷。因此，我們需要進行第二步的Lasso回歸，以找出那些在第一步中可能被遺漏的、但仍對解釋資產(chǎn)收益率有貢獻的因子：

雙重Lasso回歸方法

雙重Lasso回歸方法

因子與測試資產(chǎn)

在這一節(jié)中，我們的目標是探索一些新的定價因子，看看它們在基準因子的基礎上是否對測試資產(chǎn)有邊際解釋力。首先介紹A股市場主流定價因子的定義，并在本章的附錄一中給出了因子的詳細構建方法，之后介紹如何構建測試資產(chǎn)去檢驗這些因子和其他潛在因子的解釋力。更多關于主流因子模型在A股市場的實證研究，可以參考Chen,Wu,andZhu(2022)和Chen,Shen,andLiu(2021)的研究。

表19.4:A股市場基準定價因子描述性統(tǒng)計

在表19.4中列出了金融學文獻中的主流因子模型，和這些模型在中國A股市場的表現(xiàn)。除此之外，我們還考慮了兩個額外的因子。第一個是基于Amihud（2002）的非流動性測度構建的流動性因子AMI，第二個是Asnessetal.（2013）提出的QMJ因子（Quality-Minus-Junkfactor）。在A股市場這兩個因子也有顯著的正收益率。

表19.5:CH-4四因子模型下顯著的市場異象單變量分組檢驗

除此之外，我們還考慮了其他7個在文獻中提出，并在A股市場表現(xiàn)顯著的市場異象，包括季度總資產(chǎn)比市值（amq）、總資產(chǎn)收益率變化（droa）、凈資產(chǎn)收益率變化（droe）、Fama-French三因子調(diào)整的異質性波動率（ivff）、季度銷售增長（sgq）、短期收益反轉（srev）和股票換手率變化（vturn）。對于每一個異象，我們根據(jù)每個特征的30%和70%將股票分成3個投資組合，并且對變量進行調(diào)整，保證高排名與更高的平均回報相關聯(lián)。同時，我們根據(jù)市值的中位數(shù)將股票分成兩組，因子的收益是兩個高特征投資組合的平均值與兩個低特征投資組合的平均值之間的收益差。表19.4提供了這些待測試因子的平均值、標準差、??值、年化夏普比率、偏度和峰度

因子與測試資產(chǎn)

為了確保我們的測試資產(chǎn)不會受到某些特定因子結構的影響，我們選擇了大量的特征變量，并通過分組排序的方法來構建測試資產(chǎn)。我們選擇了26個顯著的公司特征變量來構造投資組合作為因子檢驗的測試資產(chǎn)。這26個顯著的特征變量包括盈余公告日前后累積超額收益率、換手率、Amihud非流動性比率、季度總資產(chǎn)比市值、Dimson貝塔值、凈值市價比、資產(chǎn)回報率變化、凈資產(chǎn)回報變化、美元計價交易量、預期投資增長、收益價格比率、投資增長、Fama-French三因子調(diào)整的異質性波動率、長期收益率反轉、前24個月收益價格動量、最高日度收益、前5年年末平均收益附近的累積異常收益率、11個月動量、研發(fā)費用占市值比、凈資產(chǎn)回報率、季度銷售增長、季度股價與銷售額比率、短期收益反轉、總波動率、股票美元交易量變化和股票換手率變化。我們采用獨立雙重分組排序方法，將所有A股上市公司根據(jù)它們的市值和這26個公司特征變量分別構建5×5的投資組合，共構建了650個（25×26）投資組合。這些投資組合將作為我們因子識別檢驗的測試資產(chǎn)。

表19.6:待測試因子的描述性統(tǒng)計表

因子與測試資產(chǎn)

實證結果

繼上一小節(jié)介紹了因子模型和測試資產(chǎn)構建之后，這一節(jié)我們將探討使用雙重選擇Lasso方法在中國A股市場上進行因子識別的實證研究結果。我們從表19.6中選取了10個因子作為我們的待測試因子，接下來的目標是檢驗這些具有顯著風險溢價的因子是否能夠幫助我們解釋不同測試資產(chǎn)的收益率差異。

考慮所有20個基準因子，應用雙重選擇Lasso法的兩步篩選共選出了4個基準因子，包括預期增長（??????）、流動性（AMI）、質量因子（QMJ）和市場超額回報（MKT），其中前三個因子來自第一步，最后一個因子來自第二步。我們選擇這些因子而不是Liu-Stambaugh-Yuan提出的中國市場CH-4模型中的因子，是因為選定的基準因子能更好地適應我們的測試資產(chǎn)。事實上，相較于CH-4模型，這些因子對于我們650個測試資產(chǎn)的收益有更強的解釋力。

表19.7:隨機貼現(xiàn)因子載荷估計

從表19.7的結果中我們可以看到，在10個待測試因子中，有8個在5%的顯著性水平下具有顯著的隨機貼現(xiàn)因子載荷，這些因子多數(shù)被歸類為交易摩擦類因子。相比之下，當我們使用Liu-Stambaugh-Yuan的CH-4模型作為對照時，有7個因子具有顯著性。兩種基準因子模型下都顯著的因子包括盈余公告日前后累積超額收益率（abr）、Dimson貝塔值（betad）、總資產(chǎn)收益率變化（droa）以及Fama-French三因子調(diào)整的異質性波動率（ivff）。這種差異的出現(xiàn)是因為兩種方法使用了不同的基準因子，而基準因子的選擇對于評估新因子的額外貢獻有著重要影響。

實證結果

表19.8:因子模型定價能力對比

實證結果

自糾偏機器學習法識別有效因子

介紹了在線性的隨機貼現(xiàn)因子假設下如何識別能夠解釋橫截面股票收益的因子。但實際上，這種線性關系并不一定成立。例如JagannathanandKorajczyk（1986）表明，與期權特征相類似的股票（如高杠桿公司股票）的被動投資組合收益可能與市場收益有非線性關系。因此，本節(jié)在假設隨機貼現(xiàn)因子具有非線性結構的基礎上，介紹Chernozhukovetal.（2022）提出的自糾偏機器學習（AutomaticDebiasedMachineLearning,ADML）方法，并采用該方法來估計A股市場定價因子的隨機貼現(xiàn)因子載荷。

自糾偏機器學習法

自糾偏機器學習法

自糾偏機器學習法

自糾偏機器學習法

數(shù)值模擬過程

數(shù)值模擬結果

圖19.1:數(shù)值模擬結果

定價因子識別實證研究

在這一節(jié)中，我們探討了在解釋中國和美國股票市場的收益方面，哪些因子起到了重要作用。作為世界上最大的新興資本市場，中國股市的散戶投資者占比很大，套利的限制性也相對更強，這使得它與美國股市的交易和定價性質具有顯著的差異。

仿效Houetal.（2020）和Chenetal.（2022），我們使用國泰安數(shù)據(jù)庫（CSMAR）的交易和財務數(shù)據(jù)，構建了132個描述中國股票市場的公司特征。在該實證研究中，使用了762個3×2的投資組合作為測試資產(chǎn)，樣本期覆蓋了2000年1月到2021年12月。另一方面，美股市場作為一個更成熟的資本市場，我們參考了Fengetal.（2020）的方法，選取了150個風險定價因子作為美國市場的因子庫，并使用750個3×2的投資組合作為測試資產(chǎn)。這部分數(shù)據(jù)的樣本期是從1976年6月到2017年12月。

我們使用自糾偏機器學習（ADML）方法來分析在中國A股市場和美國股市中各個因子相對于其他因子的邊際貢獻。有趣的是，我們在這兩個市場中發(fā)現(xiàn)了一些相似和不同的特點。

首先，在兩個市場中，與估值比率、盈利能力和投資相關的因子都非常重要。但是動量和反轉類因子，比如動量因子（UMD）和36個月的動量（mom36m），在解釋美國股市的收益時非常顯著。而在中國A股市場，與動量相關的因子，如過去6個月的回報（r6）、過去11個月的回報（r11）和短期反轉（srev）在A股市場不具有顯著的增量定價能力。這些發(fā)現(xiàn)與Lietal.（2010）和Cheungetal.（2015）一致，體現(xiàn)了我國A股市場的動量效應較弱。

另外，與博彩效應相關的因子，在解釋中國股市的收益方面非常重要。這些因子包括采用FamaandFrench（1993）三因子模型計算的特質波動率（ivff）以及最大日收益率（mdr）。相比之下，在美國股市中，這些彩票類因子的表現(xiàn)較弱。中國股市中的大量交易由個人投資者而非機構投資者主導（