金融產(chǎn)品深度：基于時(shí)序神經(jīng)網(wǎng)絡(luò)的選股模型初探

本報(bào)告由中信建投證券股份有限公司在中華人民共和國(guó)（僅為本報(bào)告目的，不包括香港、澳門(mén)、臺(tái)灣）提供。在遵守適用的法律法規(guī)情況2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4證券研究報(bào)告·金融產(chǎn)品深度基于時(shí)序神經(jīng)網(wǎng)絡(luò)的選股模型初探核心觀點(diǎn)探討多種時(shí)序模型，將時(shí)序處理模塊拓寬為三大類(lèi)、將時(shí)序模型結(jié)構(gòu)拓寬為九種。根據(jù)測(cè)試結(jié)果，單模型中TCN2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4證券研究報(bào)告·金融產(chǎn)品深度基于時(shí)序神經(jīng)網(wǎng)絡(luò)的選股模型初探核心觀點(diǎn)探討多種時(shí)序模型，將時(shí)序處理模塊拓寬為三大類(lèi)、將時(shí)序模型結(jié)構(gòu)拓寬為九種。根據(jù)測(cè)試結(jié)果，單模型中TCN表現(xiàn)較優(yōu)，均值因子IC可達(dá)11.31%，無(wú)明顯弱勢(shì)年份；模型間相關(guān)性隨結(jié)構(gòu)差異度而有相對(duì)高低；多模型簡(jiǎn)單結(jié)合后，績(jī)效全面提升、分年表現(xiàn)更穩(wěn)定；基于多模型的中證1000增強(qiáng)組合年化超額達(dá)到18.6%、信息比率2.63。時(shí)序處理模塊對(duì)于時(shí)序數(shù)據(jù)，常用處理模塊包括RNN、CNN和Attention。三于捕捉短期局部依賴(lài)關(guān)系；Attention可為時(shí)間或變量加權(quán)。時(shí)序模型結(jié)構(gòu)選擇9類(lèi)結(jié)構(gòu)各異的時(shí)序模型，包含GRU、AGRU、TPA、GAT、LSTNet、TCN、TCAN、XCM和Transformer。其中，AGRU模型增加時(shí)序注意力層；TPA模型側(cè)重識(shí)別關(guān)鍵變量的時(shí)序模式；LSTNet模型包含短期信息、長(zhǎng)期信息、周期信息、線(xiàn)性穩(wěn)健預(yù)測(cè)的多種學(xué)習(xí)途徑；GAT模型增加圖注意力層；XCM模型僅用CNN模塊實(shí)現(xiàn)低復(fù)雜度和高可解釋性的結(jié)構(gòu)；TCN模型構(gòu)建適用于時(shí)序建模的卷積模塊；TCAN模型在TCN的基礎(chǔ)上納入注意力機(jī)制；Transformer模型以注意力機(jī)制為核心進(jìn)行時(shí)序建模。單模型測(cè)試從單模型整體績(jī)效來(lái)看：1）TCN模型IC績(jī)效最優(yōu)，均值因子IC達(dá)到11.31%，隨機(jī)種子間最大差異僅為0.26%；2）Transformer模型IC績(jī)效偏弱，均值因子IC8.66%，隨機(jī)種子間最大差異可達(dá)1.73%。從單模型分年績(jī)效來(lái)看：1）隨模型更新，模型間的相對(duì)表現(xiàn)出現(xiàn)輪轉(zhuǎn)；2）GRU、AGRU、TPA、TCN在過(guò)往年份表現(xiàn)頗為強(qiáng)勢(shì)，其中TCN模型無(wú)明顯弱勢(shì)年份；3）XCM、Transformer在過(guò)往年份表現(xiàn)較弱勢(shì)，但今年表現(xiàn)偏強(qiáng)勢(shì)。多模型測(cè)試從模型間相關(guān)性來(lái)看：1）GRU、AGRU、TPA因結(jié)構(gòu)相似性而高度相關(guān)；2）XCM、TF因模塊差異性而與其它模型偏低相關(guān)。從模型間兩兩結(jié)合來(lái)看：1）強(qiáng)強(qiáng)結(jié)合利于提升當(dāng)收IC績(jī)效；2）強(qiáng)弱結(jié)合可提升次均IC績(jī)效。從多模型等權(quán)結(jié)合的效果來(lái)看：1）相較于單模型，IC績(jī)效全面提升，分年表現(xiàn)更平滑、無(wú)弱勢(shì)年份；2）中證1000內(nèi)分組的多頭年化超額可達(dá)29.5%；3）中證1000增強(qiáng)組合的年化超額收益可達(dá)18.6%、信息比率2.63。風(fēng)險(xiǎn)提示：本文所有模型結(jié)果均來(lái)自歷史數(shù)據(jù)，不保證模型未來(lái)的有效性陳升銳陳升銳chenshengruiAC編號(hào)：S1440519040002王西之wangxizhi8109SAC編號(hào)：S1440522070003發(fā)布日期：2023年12月08日市場(chǎng)表現(xiàn)0%-5%-10%-15% 國(guó)債指數(shù)上證指數(shù)相關(guān)研究報(bào)告【中信建投金融產(chǎn)品】：基于循環(huán)神【中信建投金融產(chǎn)品】：基于循環(huán)神金融產(chǎn)品研究金融產(chǎn)品研究1 3 3 3 4 4 4 5 5 6 6 7 8 8 9 9 3 4 4 5 5 6 7 7 8 8 9 9 2 金融產(chǎn)品研究金融產(chǎn)品研究3一、前言本篇報(bào)告作為前兩篇專(zhuān)題（《基于循環(huán)神經(jīng)網(wǎng)絡(luò)的選股模型初探》與《基于循環(huán)神經(jīng)網(wǎng)絡(luò)的選股模型改進(jìn)》）的拓展，對(duì)時(shí)序模型結(jié)構(gòu)做進(jìn)一步探討。將時(shí)序處理模塊由RNN拓展為RNN、CNN和Attention三大類(lèi)，將時(shí)序模型結(jié)構(gòu)由簡(jiǎn)單GRU拓展為GRU、AGRU、TPA、GAT、LSTNet、TCN、TCAN、XCM和Transformer九種，從模型結(jié)構(gòu)介紹、到模型間互相關(guān)聯(lián)、再到多模型結(jié)合，對(duì)時(shí)序神經(jīng)網(wǎng)絡(luò)的選股應(yīng)用做了初步探究。根據(jù)測(cè)試結(jié)果得到以下初步結(jié)論：1）單模型測(cè)試下，TPA和TCN表現(xiàn)較突出；2）模型間的預(yù)測(cè)相關(guān)程度與模型結(jié)構(gòu)的相似性有密切關(guān)聯(lián)；3）相較于單模型結(jié)果，多模型整合后的績(jī)效表現(xiàn)有全面提升、分年表現(xiàn)更為穩(wěn)定；4）基于多模型構(gòu)建中證1000指數(shù)增強(qiáng)組合，年化超額收益可達(dá)18.6%、信息比率為2.63。時(shí)序模型通常會(huì)考慮多維時(shí)序數(shù)據(jù)，如圖表1所示，包含三個(gè)維度：樣本、變量和時(shí)間步。數(shù)據(jù)維度對(duì)模型結(jié)構(gòu)設(shè)計(jì)頗為重要，可以從三個(gè)維度內(nèi)部或三個(gè)維度之間提取豐富的特征信息。以基礎(chǔ)模塊而言，譬如RNN可以識(shí)別時(shí)間模式信息、Attention可以識(shí)別關(guān)鍵變量信息、CNN可以識(shí)別時(shí)間步與變量的聯(lián)合信息、GNN可以識(shí)別樣本間關(guān)聯(lián)信息。在特征輸入環(huán)節(jié)，選擇8個(gè)日度行情特征作為特征集，包括：開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)、均價(jià)、成交額、成交量和市值。而后進(jìn)行統(tǒng)一處理操作，涉及：1）序列截取，截取30日序列長(zhǎng)度；2）時(shí)序變換，可以去除量綱并保留時(shí)序信息；3）截面變換，將所有特征縮放到同一尺度以便模型訓(xùn)練；4）缺失填補(bǔ)，對(duì)低缺失率的序列樣本做填補(bǔ)。資料來(lái)源：Spadonetal.(2021)，中信建投金融產(chǎn)品研究金融產(chǎn)品研究4對(duì)于時(shí)序數(shù)據(jù)，常用的處理模塊包括RNN、CNN和Attention。如圖表2所示，三者的作用各不相同：RNN擅于捕捉長(zhǎng)期宏觀依賴(lài)關(guān)系；CNN擅于捕捉短期局部依賴(lài)關(guān)系；Attention可為時(shí)間或變量加權(quán)。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）專(zhuān)用于序列數(shù)據(jù)建模，利用其內(nèi)部循環(huán)結(jié)構(gòu)捕捉序列前后的依賴(lài)關(guān)系。常用的RNN模型包括長(zhǎng)短期存儲(chǔ)器（LSTM）、門(mén)控循環(huán)單元（GRU）等，可改善長(zhǎng)期依賴(lài)效應(yīng)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）常用于圖像數(shù)據(jù)建模，通過(guò)局部感受野捕捉空間依賴(lài)關(guān)系。為了將CNN應(yīng)用于序列數(shù)據(jù)，可以使用因果卷積（CasualConvolution）即僅考慮序列的歷史信息進(jìn)行預(yù)測(cè)，同時(shí)為了削弱感受野的局限性，可以使用膨脹卷積（DilatedConvolution）納入更早的歷史信息。注意力機(jī)制（AttentionMechanism）適用于多種場(chǎng)景，使用加權(quán)操作捕捉關(guān)鍵信息。對(duì)于序列數(shù)據(jù)而言，可以直接聚焦于長(zhǎng)歷史窗口內(nèi)的關(guān)鍵時(shí)間步。資料來(lái)源：Limetal.(2021)，中信建投隨著研究的深入，通常會(huì)采用多種模塊的組合來(lái)搭建模型。如圖表4所示，我們列舉了9類(lèi)常見(jiàn)的時(shí)序預(yù)測(cè)模型，分別使用了不同的模塊或不同的搭建方法。其中，相對(duì)基礎(chǔ)的模型結(jié)構(gòu)為GRU模型，也是前兩篇報(bào)告中使用的核心結(jié)構(gòu)，原始數(shù)據(jù)經(jīng)過(guò)GRU提取特征，再輸入到MLP用于特征決策，最終輸出預(yù)測(cè)結(jié)果。以模塊的豐富度而言，GRU、Transformer、TCN、XCM均使用單一類(lèi)型模塊，AGRU、LSTNet、TCAN使用兩種類(lèi)型模塊，GAT、TPA則使用了三種類(lèi)型模塊。以模塊的種類(lèi)而言，GRU、AGRU、LSTNet、GAT、TPA均使用RNN模塊，LSTNet、TCN、TPA、TCAN、XCM均使用CNN模塊，AGRU、Transformer、GAT、TPA、TCAN均使用Attention模塊，此外GAT還涉及GNN模塊。以模型的復(fù)雜度而言，參考后文各模型的超參設(shè)定，計(jì)算參數(shù)量來(lái)衡量模型復(fù)雜度，由低到高依次為XCM、GRU、GAT、AGRU、TPA、LST、TCN、TCAN、TF。資料來(lái)源：中信建投金融產(chǎn)品研究金融產(chǎn)品研究5模型簡(jiǎn)稱(chēng)結(jié)構(gòu)來(lái)源GRUGRURNN+MLPtranslation:Encoder-decoderapproaches（2014）AGRUAGRULSTNetLSTCNN+RNN+MLPTransformerTFTCNTCNCNN+MLPRecurrentNetworksforSequenceMoTPATPARNN+CNN+Attention+MLPTCANSequenceModeling（2020）XCMXCMCNN+MLP資料來(lái)源：Limetal.(2021)，中信建投相對(duì)于基礎(chǔ)GRU模型結(jié)構(gòu)，AGRU模型在此基礎(chǔ)上增加時(shí)序注意力層。如圖表5所示，以自適應(yīng)權(quán)重聚合各時(shí)間步的隱狀態(tài)，增強(qiáng)對(duì)不同時(shí)間步的感知能力。盡管GRU模型能捕捉長(zhǎng)期依賴(lài)關(guān)系，但時(shí)序注意力能更直接識(shí)別關(guān)鍵時(shí)間步。在決策階段，將所有時(shí)間步的加權(quán)信息和最后時(shí)間步的隱狀態(tài)拼接起來(lái)，共同用于最終資料來(lái)源：Luongetal.(2015)，中信建投金融產(chǎn)品研究金融產(chǎn)品研究6相較于前一節(jié)的AGRU模型，TPA模型同樣關(guān)注注意力機(jī)制，但更側(cè)重于識(shí)別關(guān)鍵變量的時(shí)序模式，也更適用于多維時(shí)序數(shù)據(jù)。如圖表6所示，在GRU之后使用CNN來(lái)提取單個(gè)特征的時(shí)序模式，之后經(jīng)過(guò)注意力機(jī)制識(shí)別關(guān)鍵特征，而在決策階段與AGRU類(lèi)似，合并注意力加權(quán)信息和最后時(shí)間步的隱狀態(tài)共同用于最終的預(yù)資料來(lái)源：Shihetal.(2019)，中信建投LSTNet模型全稱(chēng)是Long-andShort-TermTime-SeriesNetwork，顧名思義專(zhuān)注于識(shí)別不同期限長(zhǎng)度的時(shí)序模式。LSTNet模型結(jié)構(gòu)擁有4種模塊，包含CNN、GRU、SkipGRU和AR。如圖表7所示，1）使用CNN捕捉短期模式，在時(shí)間維度上用短期窗口提取局部信息；2）使用GRU捕捉長(zhǎng)期模式，經(jīng)過(guò)CNN提取的多種短期模式，再進(jìn)一步提取更長(zhǎng)期模式；3）使用SkipGRU捕捉周期性模式，實(shí)際是根據(jù)一定間隔重組數(shù)據(jù)樣本再輸入到GRU；4）使用線(xiàn)性AR結(jié)構(gòu)提供穩(wěn)健預(yù)測(cè)，通過(guò)highway形式直接輸入原始數(shù)據(jù)，相較于非線(xiàn)性結(jié)構(gòu)對(duì)數(shù)據(jù)尺度敏感性會(huì)更低；5）整合多源信息用于最終預(yù)測(cè)，一方面是拼接GRU與SkipGru的信息，另一方面是再疊加AR的信息。金融產(chǎn)品研究金融產(chǎn)品研究7資料來(lái)源：Laietal.(2018)，中信建投相對(duì)于基礎(chǔ)GRU模型結(jié)構(gòu)，GAT模型在此基礎(chǔ)上增加圖注意力層。如圖表8所示，將樣本看作是節(jié)點(diǎn)，將GRU提取最后時(shí)間步的隱狀態(tài)作為節(jié)點(diǎn)特征，通過(guò)自注意力機(jī)制計(jì)算兩兩節(jié)點(diǎn)間的注意力系數(shù)，再通過(guò)激活函數(shù)和歸一化操作得到注意力權(quán)重矩陣，在決策階段仍與AGRU類(lèi)似，合并注意力加權(quán)信息和最后時(shí)間步的隱狀態(tài)共同用于最終的預(yù)測(cè)。資料來(lái)源：Velickovicetal.(2018)，中信建投金融產(chǎn)品研究金融產(chǎn)品研究8XCM模型由3個(gè)卷積子模塊構(gòu)成，模型復(fù)雜度較低、同時(shí)可解釋性程度較高。如圖表9所示，1）使用2維CNN提取單特征的時(shí)序模式，并通過(guò)填充保持維度；2）使用1維CNN提取聯(lián)合特征的時(shí)序模式，并通過(guò)填充保持維度；3）使用1維CNN提取高層特征的時(shí)序模式，將前2個(gè)CNN模塊提取的特征橫向拼接，再次提取特征并填充保持維度；4）經(jīng)過(guò)池化后，用于最終決策。資料來(lái)源：Fauveletal.(2021)，中信建投TCN模型結(jié)構(gòu)的核心在于TCN模塊，改進(jìn)CNN結(jié)構(gòu)以適配序列數(shù)據(jù)建模。如圖標(biāo)10所示，1）因果卷積：僅考慮序列的歷史信息進(jìn)行預(yù)測(cè)；2）膨脹卷積：以特定間隔接收信息，削弱感受野的局限性來(lái)納入更早的歷史信息；3）殘差連接：有效應(yīng)對(duì)深層網(wǎng)絡(luò)模型性能退化的問(wèn)題，同時(shí)能利用不同層級(jí)特征。資料來(lái)源：Baietal.(2018)，中信建投金融產(chǎn)品研究金融產(chǎn)品研究9相對(duì)于TCN模型結(jié)構(gòu)，TCAN模型在TCN模塊的基礎(chǔ)上增加注意力機(jī)制。如圖表11所示，1）時(shí)序注意力：將歷史時(shí)間步的關(guān)鍵信息整合至當(dāng)前步；2）增強(qiáng)殘差連接：將時(shí)間步加權(quán)的輸入信息直接連接至輸出層。資料來(lái)源：Haoetal.(2020)，中信建投Transformer模型結(jié)構(gòu)復(fù)雜度較高，包含多個(gè)模塊。如圖表12所示，1）嵌入層：將原始特征信息轉(zhuǎn)為更豐富表示；2）位置編碼：將位置信息表征為向量形式；3）編碼器模塊：依次經(jīng)過(guò)自注意力層、正則化層、前饋層和正則化層，同時(shí)使用殘差連接；4）解碼器：使用全連接層。資料來(lái)源：Vaswanietal.(2017)，中信建投金融產(chǎn)品研究金融產(chǎn)品研究模型GRU模型GRU三、單時(shí)序模型測(cè)試2016年末起，每?jī)赡曛匦掠?xùn)練模型；3）抽樣規(guī)則：每個(gè)批屬于同期樣本；4）目標(biāo)函數(shù)：設(shè)置單目標(biāo)函數(shù)，模型測(cè)試方面，1）回測(cè)區(qū)間：從2017年1月至2023年10月，以周度頻率生成預(yù)測(cè)結(jié)果；2）因子處理：將預(yù)測(cè)結(jié)果看作是深度學(xué)習(xí)因子，進(jìn)行異常值縮減、標(biāo)準(zhǔn)化（中性化）預(yù)處理；3）隨機(jī)性：采用相同的參數(shù)初始化方法，并設(shè)定5個(gè)固定的隨機(jī)種子，利于比對(duì)測(cè)試結(jié)果；4）結(jié)果整合：對(duì)不同隨機(jī)性的結(jié)果進(jìn)行均值整合；5）IC回測(cè)：計(jì)算當(dāng)收IC和次均IC，分別以因子期當(dāng)日收盤(pán)價(jià)或次日均價(jià)作為首端價(jià)格計(jì)算收益率。對(duì)前文介紹的9個(gè)模型進(jìn)行逐一測(cè)試，結(jié)果如圖表13至21所示：1）TCN模型表現(xiàn)較優(yōu)，均值IC分別和中位IC分別達(dá)到11.31%和11.22%，最大差異僅為0.26%；2）TF模型表現(xiàn)較弱，中位IC僅有8.66%、最大差異高達(dá)1.73%。種子原始中性化當(dāng)收ICIR次均IC次均ICIR當(dāng)收ICIR次均IC次均ICIR種子2種子3種子3種子4種子5種子5最大差異均值整合資料來(lái)源：Wind，中信建投模型隨機(jī)種子原始中性化當(dāng)收ICIR次均IC次均ICIR當(dāng)收ICIR次均IC次均ICIRAGRU種子1種子2種子3種子4最大差異均值整合資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究TPA模型TPA模型原始中性化原始中性化次均ICIR次均ICIR資料來(lái)源：Wind，中信建投原始中性化次均ICIR次均ICIR資料來(lái)源：Wind，中信建投模型原始中性化次均ICIR次均ICIRGAT9.51%1.50%資料來(lái)源：Wind，中信建投模型原始中性化次均ICIR次均ICIRXCMXCM 資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究TCNTCN原始中性化原始中性化次均ICIR次均ICIR資料來(lái)源：Wind，中信建投模型原始中性化次均ICIR次均ICIRTCAN0.26%資料來(lái)源：Wind，中信建投模型原始中性化次均ICIR次均ICIRTFTF 資料來(lái)源：Wind，中信建投對(duì)9個(gè)模型的分年當(dāng)收IC表現(xiàn)進(jìn)行對(duì)比，如圖表22所示：1）隨更新頻率模型表現(xiàn)呈現(xiàn)輪轉(zhuǎn)，2017-2018年TPA與TCN表現(xiàn)突出、2019-2020年AGRU與TPA表現(xiàn)突出、2021-2022年GRU與AGRU表現(xiàn)突出、2023年TCAN與XCM表現(xiàn)突出；2）GRU、AGRU、TPA在2017-2022年表現(xiàn)偏強(qiáng)勢(shì)，但在2023年表現(xiàn)偏弱勢(shì)；3）XCM、TF在2017-2022年表現(xiàn)偏弱勢(shì)，但在2023年表現(xiàn)偏強(qiáng)勢(shì)；4）TCN模型在各年份均無(wú)明顯弱勢(shì)表現(xiàn)。金融產(chǎn)品研究金融產(chǎn)品研究年份GRUAGRUTPAGATLSTTCNTCANXCM 10.33%10.22%10.45%8.38%10.18%10.51%7.18%4.58% 14.48%13.94%14.51%14.21%14.06%14.94%13.41%10.23% 12.36%12.79%12.67%12.04%12.10%12.41%12.00%12.20% 10.28%10.61%10.95%9.61%10.11%10.56%9.65%8.42% 9.65%9.64%9.39%9.18%8.99%9.19%9.20%7.54% 11.63%11.72%11.45%11.55%10.74%11.15%11.26%9.58% 9.40%9.43%9.74%10.28%9.08%10.19%12.13%11.76%TFTF6.38%11.64%8.98%4.89%9.42%20172018201920202021202211.29%11.30%11.30%9.04%2023全部11.21%11.24%11.35%10.76%10.80%11.31%10.64%9.10%資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究四、多時(shí)序模型測(cè)試內(nèi)個(gè)股等權(quán)配置；3）分組收益：計(jì)算每組相對(duì)標(biāo)的指數(shù)超額收益；4）股票池：全市場(chǎng)、滬深300、中證500和中證1000，其中全市場(chǎng)對(duì)標(biāo)指數(shù)為萬(wàn)德全A；3）持倉(cāng)個(gè)股：剔除新股、停牌股、ST股和漲跌停個(gè)股；4）成交設(shè)定：按次日均價(jià)成交，雖然不考慮交易費(fèi)率，但會(huì)計(jì)算每組換手率。股、剔除長(zhǎng)期停牌股；3）優(yōu)化目標(biāo)：最大化多模型等權(quán)預(yù)測(cè)結(jié)果，預(yù)測(cè)值經(jīng)過(guò)標(biāo)準(zhǔn)化與中性化處理；4）約束限制：指數(shù)內(nèi)權(quán)重下限80%、個(gè)股權(quán)重偏離限定1%、行業(yè)權(quán)重偏離限定1.5%、風(fēng)格暴露偏離限定0.2、換手率單邊上限15%；5）持倉(cāng)設(shè)定：剔除停牌股和漲跌停股；6）成交設(shè)定：按次日均價(jià)成交，費(fèi)率雙邊千三。為了便于模型間比較，將各模型的五種隨機(jī)種子結(jié)果按均值整合為單一結(jié)果，再做后續(xù)統(tǒng)計(jì)與測(cè)試?？疾炷Ｐ烷g預(yù)測(cè)的兩兩相關(guān)性，如圖表23所示：1）GRU、AGRU、TPA間極高相關(guān)，從模型結(jié)構(gòu)就不難發(fā)現(xiàn)三者高度相似，均以GRU作為前期特征提取模塊并以最后時(shí)間步的隱狀態(tài)最為主要決策依據(jù)，區(qū)別在于AGRU和TPA補(bǔ)充了部分注意力信息；2）GAT、LST與前三者亦有高相關(guān)，盡管模型結(jié)構(gòu)有部分差異，但核心特征提取模塊仍以GRU為主；3）TCN、TCAN與前五者相關(guān)性略低，主要源于TCN與RNN的序列建模有部分差異；4）XCM、TF與前七者相關(guān)性偏低，XCM和TF分別僅使用CNN模塊和注意力機(jī)制，區(qū)別于一般序列建模形式。資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究GATTCNGATTCN為了考察模型間增益效果，嘗試將模型進(jìn)行兩兩等權(quán)結(jié)合。如圖表24左側(cè)所示，當(dāng)收IC績(jī)效下：1）強(qiáng)強(qiáng)結(jié)合增益明顯，TPA和TCN是表現(xiàn)最強(qiáng)的單模型，兩者結(jié)合后依然表現(xiàn)最強(qiáng)并有進(jìn)一步提升；2）弱模型有拖累，XCM和TF是表現(xiàn)偏弱的單模型，與其它模型結(jié)合后會(huì)有不同程度拉低效果。如圖表24右側(cè)所示，次均IC績(jī)效下：1）高相關(guān)模型間增益有限，GRU、AGRU、TPA、GAT、LST互相高相關(guān)，兩兩結(jié)合增益不及其它低相關(guān)模型；2）強(qiáng)弱結(jié)合有所增益，TCN和TF分別是表現(xiàn)稍強(qiáng)和稍弱的單模型，但兩者結(jié)合后表現(xiàn)最強(qiáng)并有所提升；3）弱模型亦有小幅增益，XCM和TF是表現(xiàn)偏弱的單模型，與其它模型結(jié)合后會(huì)有小幅拉升效果。資料來(lái)源：Wind，中信建投4.3、多模型疊加分析為了考察多模型結(jié)合的增益效果，將9個(gè)模型結(jié)果按照等權(quán)配置進(jìn)行疊加。如圖表25所示：1）多模型的IC績(jī)效全面強(qiáng)于單模型表現(xiàn)；2）多模型的次均IC提升幅度略高于當(dāng)收IC。進(jìn)一步觀察分年IC績(jī)效，如圖表26所示，相較于單模型：1）多模型無(wú)明顯弱勢(shì)年份，除了2017年表現(xiàn)位于中游，其余年份表現(xiàn)靠前；2）多模型逐年表現(xiàn)更平滑、沒(méi)有極端表現(xiàn)。單模型原始中性化當(dāng)收IC當(dāng)收ICIR次均IC次均ICIR當(dāng)收IC當(dāng)收ICIR次均IC次均ICIRGRUTPATCANTF全部等權(quán)1.031.06GRUTPATCANTF全部等權(quán)1.031.060.911.001.040.900.710.671.0011.18%11.16%11.28%10.99%10.93%11.26%10.90%9.97%10.45%11.62%1.041.070.951.031.050.940.780.781.0310.46%10.35%10.44%10.27%10.13%10.53%10.01%9.22%8.58%10.75%9.95%9.85%9.94%9.93%9.75%10.02%9.74%9.43%9.21%10.47%AGRUXCM11.24%11.35%10.76%10.80%11.31%10.64%9.10%9.04%11.47%資料來(lái)源：Wind，中信建投年份GRUAGRUTPAGATLSTTCNTCANXCMTF 10.33%10.22%10.45%8.38%10.18%10.51%7.18%4.58%6.38%全部等權(quán)全部等權(quán)20179.63%14.57%14.57%12.87%10.84%9.55%11.73%11.10%201814.48%12.36%10.28%9.65%11.63%9.40%13.94%12.79%12.79%10.61%9.64%11.72%9.43%14.51%12.67%10.95%9.39%11.45%9.74%14.21%14.21%12.04%9.61%9.61%9.18%11.55%11.55%10.28%14.06%12.10%10.11%8.99%8.99%10.74%9.08%14.94%14.94%12.41%10.56%9.19%11.15%11.15%10.19%13.41%13.41%12.00%9.65%9.20%11.26%12.13%12.13%10.23%10.23%12.20%8.42%8.42%7.54%9.58%11.76%11.64%11.64%8.98%4.89%9.42%11.29%11.30%11.30%20192020202120222023全部11.21%11.24%11.35%10.76%10.80%11.31%10.64%9.10%9.04%11.47%資料來(lái)源：Wind，中信建投4.4、多模型組合績(jī)效將多模型預(yù)測(cè)結(jié)果在不同股票池內(nèi)進(jìn)行分組測(cè)試，如圖表27和圖表28所示，1）中證1000內(nèi)多頭超額收益最高，原始因子的多頭超額可達(dá)29.5%，略高于全市場(chǎng)、明顯高于中證500和滬深300；2）全市場(chǎng)內(nèi)多空收益最高，原始因子的多空收益可達(dá)76.0%，其中空頭收益貢獻(xiàn)占比超過(guò)60%；3）中性化因子換手率略低，最頭組的換手率處于55%~59%；4）中性化因子多空凈值回撤率更低，相較于原始因子，中性化因子的最大回撤率能縮減一半。等權(quán)多頭超額空頭超額多空換手多頭超額空頭超額多空換手最尾組最頭-最尾最頭組最頭組最尾組最頭-最尾最頭組股票池最頭組次頭組次尾組次頭組次尾組原始全部全市場(chǎng)29.1%23.3%-18.0%-46.9%76.0%54.2%23.9%20.4%-19.6%-44.3%68.2%55.6%中證100029.5%27.3%-16.8%-40.5%70.0%59.4%24.1%24.8%-18.1%-37.5%61.6%58.9%中證50020.1%18.0%-10.0%-31.3%51.4%61.5%13.9%10.2%-12.1%-27.8%41.7%58.5%滬深30024.4%16.7%-13.4%-28.0%52.5%64.3%13.2%10.9%-13.3%-23.1%36.3%55.7%資料來(lái)源：Wind，中信建投資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究利用多模型預(yù)測(cè)結(jié)果構(gòu)建相對(duì)于中證1000的指數(shù)增強(qiáng)組合，如圖表29和圖表30所示，1）總體績(jī)效方面，年化超額收益達(dá)18.6%、信息比率達(dá)2.63、雙邊換手率約30%；2）分年績(jī)效方面，各年均有顯著正向超額，僅2021年略低于10%，2023年的年化超額可達(dá)26%；3）超額凈值方面，大幅回撤集中出現(xiàn)在三個(gè)時(shí)段，2020年的年初、2021年的年中和2022年的上半年。多模型全部等權(quán)年化超額收益年化超額波動(dòng)信息比率超額最大回撤率雙邊換手率21.3%29.5%29.7%29.6%8.7%29.6%9.2%9.4%0.987.8%29.7%7.1%29.7%26.0%4.9929.7%全部7.1%7.8%29.6%資料來(lái)源：Wind，中信建投資料來(lái)源：Wind，中信建投金融產(chǎn)品研究金融產(chǎn)品研究五、總結(jié)本篇報(bào)告作為前兩篇專(zhuān)題的拓展，將時(shí)序處理模塊拓寬為三大類(lèi)、將時(shí)序模型結(jié)構(gòu)拓寬為九種。從分析與測(cè)試結(jié)果來(lái)看：1）單模型測(cè)試下，TPA和TCN表現(xiàn)較突出；2）模型間的預(yù)測(cè)相關(guān)程度與模型結(jié)構(gòu)的相似性有密切關(guān)聯(lián)；3）相較于單模型結(jié)果，多模型整合后的績(jī)效表現(xiàn)有全面提升、分年表現(xiàn)更為穩(wěn)定；4）基于多模型構(gòu)建中證1000指數(shù)增強(qiáng)組合，年化超額收益可達(dá)18.6%、信息比率為2.63。風(fēng)險(xiǎn)提示：研究均基于歷史數(shù)據(jù)，對(duì)未來(lái)投資不構(gòu)成任何建議。文中的模型分析均是以歷史數(shù)據(jù)進(jìn)行計(jì)算和分析的，未來(lái)存在失效的可能性。市場(chǎng)的系統(tǒng)性風(fēng)險(xiǎn)、政策變動(dòng)風(fēng)險(xiǎn)等市場(chǎng)不確定性均會(huì)對(duì)策略產(chǎn)生較大的影響。另外，本報(bào)告聚焦于深度模型構(gòu)建和量化組合的回測(cè)效果，因此對(duì)市場(chǎng)及相關(guān)交易做了一些合理假設(shè)，但這樣可能會(huì)導(dǎo)致基于模型所得出的結(jié)論并不能完全準(zhǔn)確地刻畫(huà)現(xiàn)實(shí)環(huán)境，在此可能會(huì)與未來(lái)真實(shí)的情況出現(xiàn)偏差。而且數(shù)據(jù)源通常存在極少量的缺失值，會(huì)弱微增加模型的統(tǒng)計(jì)偏誤。六、參考文獻(xiàn)GabrielSpadon,ShendaHong,BrunoBrandoli,StanMatwin,JoseF.Rodrigues-Jr,andJiemengSun.PayAttentiontoEvolutionTimeSeriesForecastingwithDeepGraph-EvolutionLearning.IEEETransactionsonPatternAnalysis&MachineIntelligence,1939-3539(2021).BryanLim,andStefanZohren.TimeSeriesForecastingwithDeepLearning:ASurvey.PhilosophicalTransactionsoftheRoyalSociety,(2021).Minh-ThangLuong,HieuPham,andChristopherD.Manning.EffectiveApproachestoAttention-basedNeuralMachineTranslation.InProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,1412-1241,(2015).Shun-YaoShih,Fan-KengSun,andHung-yiLee.TemporalPatternAttentionforMultivariateTimeSeriesForecasting.MachineLearning,vol108,1421-1441(2019).GuokunLai,Wei-ChengChang,YimingYang,andHanxiaoLiu.ModelingLongandShort-TermTemporalPatternswithDeepNeuralNetworks.InThe41stInternationalACMSIGIRConferenceonResearch&DevelopmentinInformationRetrieval,95-104(2018).PetarVelickovic,GuillemCucurull,ArantxaCasanova,AdrianaRomero,PietroLio,andYoshuaBengio.GraphAttentionNetworks.arXiv:1710.10903(2018).KevinFauvel,TaoLin,VeroniqueMasson,ElisaFromont,andAlexandreTermier.XCM：AnExplainableCNNforMultivariateTimeSeriesClassification.Mathematics9(23),3137(2021).金融產(chǎn)品研究金融產(chǎn)品研究ShaojieBai,J.ZicoKolter,andVladlenKoltun.AnEmpiricalEvaluationofGenericConvolutionalandRecurrentNetworksforSequenceModeling.arXiv:1803.01271.(2018).HongyanHao,YanWang,SiqiaoXue,YudiXia,FuraoShen,andJianZhao.TemporalConvolutionalAttention-basedNetworkforSequenceModeling.arXiv:2002.12530.(2020).AshishVaswani,NoamShazeer,NikiParmar,JakobU