Transformer架構(gòu)下的量價選股策略分析報告：ChatGPT核心算法量化投資

金融工程|專題報告2023年4月6日捕捉輸入序列各位置之間的關(guān)系。自注意力機(jī)制通過計算query向量與key向量的相關(guān)性來加權(quán)平均value矩陣，得到輸出結(jié)果；而多頭注意力機(jī)制則利用并行計算和拆分矩陣為多個頭的方式，在自注意力網(wǎng)絡(luò)模型，由位置編碼、編碼層和解碼層組成。位置編碼使用正弦和余弦函數(shù)計算單詞位置信息，編碼器將序列中各位置之間關(guān)系的信息模型同時具備并行計算和高效捕捉關(guān)系的能力，被廣泛應(yīng)用于自然語于股票漲跌預(yù)測中，選取個股漲跌幅和換手率作為面板數(shù)據(jù)輸入，通過輸出股票未來漲跌概率進(jìn)行分類。在月度調(diào)倉策略中，中證500、滬深300和全市場選股自2020年以來均獲得良好的相對收益與較強(qiáng)●相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢：1.處理長期記憶；2.變長輸入序列；3.并行計算效率；4.預(yù)訓(xùn)練模型提高泛化能力。●風(fēng)險提示：策略模型并非百分百有效，市場結(jié)構(gòu)及交易行為的改變以及類似交易參與者的增多有可能使得策略失效。本篇報告通過歷史數(shù)據(jù)進(jìn)行建模，但由于市場具有不確定性，模型僅在統(tǒng)計意義下有望獲圖1:中證500選股多空對沖凈值圖1:中證500選股多空對沖凈值圖2:中證500選股指數(shù)對沖凈值圖2:中證500選股指數(shù)對沖凈值七目錄索引 4 6 9 9 三、策略實證分析 (二)滬深300選股實證分析 21 22六、風(fēng)險提示 22圖表索引圖1:ChatGPT模型訓(xùn)練步驟圖 4 5圖3:多頭注意力機(jī)制結(jié)構(gòu)圖 6圖4:Transformer模型整體結(jié)構(gòu)圖 圖5:位置編碼中的正弦和余弦函數(shù)示例圖 8圖6:股票樣本篩選示意圖 圖9:中證500選股Transformer因子的分檔累積收益率 圖10:中證500選股多空對沖策略凈值曲線 圖11:中證500選股指數(shù)對沖策略凈值曲線 圖12:中證500選股多頭組合每期換手率 圖13:交易成本提高之后的中證500選股指數(shù)對沖策略表現(xiàn) 圖14:不同epoch參數(shù)(橫軸)下的多頭組合收益率 圖15:滬深300選股Transformer因子的分檔表現(xiàn) 圖16:滬深300選股指數(shù)對沖策略凈值曲線 圖18:全市場選股多空對沖策略凈值曲線 表1:中證500選股指數(shù)對沖策略分年度表現(xiàn) 表2:不同交易成本下的中證500選股指數(shù)對沖策略表現(xiàn) 表3:滬深300選股指數(shù)對沖策略分年度表現(xiàn) 表4:全市場選股多空對沖策略分年度表現(xiàn) 21ChatGPT是美國人工智能研究公司OpenAl研發(fā)和訓(xùn)練的一款基于GPT算法的基于人類的反饋對模型進(jìn)行強(qiáng)化學(xué)習(xí)的優(yōu)化。與傳統(tǒng)對話式語言模型相比，O-00=0目目目GPT(GenerativePre-trainedTransformer,生成型預(yù)訓(xùn)練轉(zhuǎn)換模型)是一種基于海量數(shù)據(jù)預(yù)訓(xùn)練的深度學(xué)習(xí)文本生成模型，自2018年問世以來，經(jīng)歷了多輪迭代和優(yōu)化，目前ChatGPT使用的GPT-3.5模型中神經(jīng)網(wǎng)絡(luò)的參數(shù)超過1750億個，是整。2023年2月8日，微軟宣布將OpenAI的GPT-4模型集成到其搜索引擎Bing以及Edge瀏覽器中，這意味著GPT-4將能夠更加直接地服能的搜索和交互體驗；同時，OpenAl也于2023年3月15日正式推出了大型多模態(tài)模型GPT-4,該模型能夠同時處理語音、圖像、文本等多種輸入，并生成高質(zhì)量的自GPT模型的誕生，離不開其背后的核心算法：Transformer。Transformer模型的模型框架，而是通過引入注意力機(jī)制來有效地捕捉輸入序列中各位置之間的相關(guān)性，建立輸入和輸出之間的全局依賴關(guān)系。因此，相比于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)，Q、K、V中每一列代表一個詞向量(輸入樣本)。原來的大小。圖2:自注意力機(jī)制結(jié)構(gòu)圖ScaledDot-ProductA多頭注意力機(jī)制不是將多個自注意力機(jī)制簡單疊加，而是將多個樣本的自注意過一層線性變換得到多頭注意力機(jī)制的輸出矩陣，可以表示為：金融工程|專題報告MultiHead(Q,K,V)=concat(head,head?,.,head?)W。多頭注意機(jī)制計算代價與單頭自注意力機(jī)制幾乎相同，并可以通過并行運算減示子空間的信息，提高模型訓(xùn)練效果。h下圖為Transformer模型的整體結(jié)構(gòu)，主要由位置編碼(PostionalEncoding)、編碼層(Encoder)和解碼層(Decoder)組成。位置編碼的作用是在詞向量中加入了單詞在句子中的位置信息；編碼器的作用是將序列中各位置之間關(guān)系的信息進(jìn)行編碼并輸出；解碼器的作用是使用編碼器輸出的序列信息逐個詞進(jìn)行預(yù)測。金融工程|專題報告1.位置編碼由于Transformer模型中沒有使用循環(huán)的模型框架，直接利用全局信息，沒有利用單詞的順序信息，因此必須在詞嵌入生成的詞向量矩陣中加入單詞的相對或絕對位置信息。Transformer模型使用不同頻率的正弦和余弦函數(shù)計算位置編碼：其中pos表示單詞在句中的位置，d是詞向量矩陣的行維度，i是位置編碼向量中元素的位置。2i表示偶數(shù)維度，2i+1表示奇數(shù)維度，即位置編碼的每個維度對應(yīng)一個正弦/余弦函數(shù)。與其他位置編碼方式相比，該編碼方式可以使模型很容易地計算出不同單詞之間的相對位置，因為PEpos+)可以表示為PEpos)的線性函數(shù)，同時正弦和余弦函數(shù)還可以允許模型拓展到比訓(xùn)練中遇到的序列更長的序列。數(shù)據(jù):廣發(fā)證券發(fā)展研究中心加快模型的收斂。3.解碼器由于Transformer模型是逐個單詞進(jìn)行預(yù)測，因此解碼器是串行進(jìn)行的，每一步會利用上一步的輸出進(jìn)行預(yù)測。在預(yù)測第一個單詞時，解碼器的輸入為序列開始標(biāo)簽<BOS>,輸出為第一個單詞的預(yù)測；而在預(yù)測第二個單詞時，解碼器的輸入為(一)Transformer模型在股票漲跌預(yù)測中的應(yīng)用在股票預(yù)測模型中，一般會輸入多個特征的時序數(shù)據(jù)，即面板數(shù)據(jù)。雖然般為一個值(回歸問題)或漲跌概率(分類問題),因此我們對解碼器進(jìn)行簡化，金融工程|專題報告本報告主要從個股過去20個月的月度量價數(shù)據(jù)中選取特征序列，每期的每只股其中return表示股票每月漲跌幅；turnover表示股票每月?lián)Q手率(每日換手率之和)。原始特征數(shù)據(jù)中存在一些缺失值和異常值，且不同特征之間取值范圍存在差1.缺失值處理當(dāng)股票某一時刻的特征值缺失時(上市不滿20個月的情況除外),使用上一時2.極值、異常值處理當(dāng)股票的特征顯著偏離同時刻股票特征數(shù)據(jù)時，設(shè)置邊界閾值進(jìn)行極值處理。上邊界為同時刻特征數(shù)據(jù)的均值加三倍標(biāo)準(zhǔn)差；下邊界為同時刻特征數(shù)據(jù)的均值減三倍標(biāo)準(zhǔn)差。當(dāng)特征值超過上邊界時用上邊界替代；低于下邊界時用下邊界替代。3.截面標(biāo)準(zhǔn)化Z-Score標(biāo)準(zhǔn)化將特征處理為均值為0,方差為1的數(shù)據(jù)：股票漲跌預(yù)測模型是希望預(yù)測出相對強(qiáng)勢的股票，獲得超額收益，因此我們對于每一時刻的所有股票，根據(jù)未來一個月的漲跌幅來給不同的股票添加“上漲”、“平盤”、“下跌”的“標(biāo)簽”。同時為了使不同標(biāo)簽樣本之間的區(qū)別更明顯且樣本數(shù)對每月對樣本內(nèi)的所有股票按下個月相對基準(zhǔn)的超額漲跌幅進(jìn)行排序，取漲幅前20%的股票，標(biāo)記為“上漲”;取漲幅居中20%的股票(漲幅位于40%分位數(shù)到60%分位數(shù)之間),標(biāo)記為“平盤”;取漲幅末20%的股票，標(biāo)記為“下跌”。通過樣本篩選，使得不同標(biāo)簽樣本之間的區(qū)別更明顯。如果不進(jìn)直接將所有股票按下個月的漲跌幅三等分，則位于不同標(biāo)簽分隔處的兩只股票會被劃分至不同標(biāo)簽，但實際上兩者之間的差異并沒有那么大，這樣的劃分不利于機(jī)器圖6:股票樣本篩選示意圖(三)模型的參數(shù)選擇和整體結(jié)構(gòu)[20,2](輸入層)→[20,64](線性層)→8×[20,8](編碼層1)→8碼層2)→8×[20,8](編碼層3)→8×[20,8](編碼層4)→8×[20,8](編碼層5)→8×[20,8](編碼層6)→8×[20,8](解碼層1)→8×[20,8](解碼層2)→8×[20,8](解碼層3)→8×[20,8](解碼層4)→8×[20,8]((一)中證500選股實證分析測。從2000年至2019年獲取樣本進(jìn)行訓(xùn)練，在2020年到2023年(樣本外),用訓(xùn)識別風(fēng)險，發(fā)現(xiàn)價值圖7:中證500選股Transformer因子的IC和秩IC序列圖055數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心第一檔一第二檔一第三檔一第四檔—第五檔2020-01-312021-01-312022-01-31數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心0數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心假設(shè)可以賣空最低檔(第五檔)的股票，買入最高檔(第一檔)的股票，多空對沖策略自2020年以來，策略的年化收益率為18.51%,最大回撤為-9.46%,日度勝率為55.05%。數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心識別風(fēng)險，發(fā)現(xiàn)價值為9.58%,最大回撤為-3.62%,日度勝率為54.40%。數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心——控制在-4%以內(nèi)(注：2020年數(shù)據(jù)從2020年1月31日開始；2023年數(shù)據(jù)截止到2023表1:中證500選股指數(shù)對沖策略分年度表現(xiàn)-2.13%識別風(fēng)險，發(fā)現(xiàn)價值金融工程|專題報告數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心前文中是按照0.3%的雙邊交易成本進(jìn)行測算，如果將交易成本依次提高到0.4%,所下滑，但總體表現(xiàn)穩(wěn)定。千分之三千分之三千分之四一千分之五——千分之六數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心-4.12%識別風(fēng)險，發(fā)現(xiàn)價值在前文中證500選股實證分析中，由于需要處理一定規(guī)模的訓(xùn)練數(shù)據(jù)(約6萬個樣本),為了提高計算效率并增強(qiáng)模型的泛化能力，避免過擬合，我們將batchsize設(shè)置為128;同時，我們還在模型的收斂速度和穩(wěn)定性上取一個折中，將學(xué)習(xí)率設(shè)置較小時，多頭組合的收益率較低且存在較大波動；迭代次數(shù)過大時，模型已經(jīng)接近收斂，且存在一定的過擬合，多頭組合的收益率同樣較低且不穩(wěn)定；而epoch在38(二)滬深300選股實證分析的回測。從2000年至2019年獲取樣本進(jìn)行訓(xùn)練，在2020年到2023年(樣本外),股票池：滬深300成份股，剔除交易日停牌的股票回測期：2020年1月至2023年3月交易成本：雙邊0.3%以1個月為調(diào)倉周期，在每一次調(diào)倉時，按照因子值的大小將股票分為5檔，測2020-01-312021-01-312022-01-312023-01-31數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心從上圖可以看到，Transformer因子值大的股票整體表現(xiàn)優(yōu)于Transformer因子值小的股票，分檔的單調(diào)性相對中證500成分股選股要差一些。2.滬深300選股-指數(shù)對沖策略實證分析以滬深300指數(shù)為對沖標(biāo)的，指數(shù)對沖策略自2020年以來，策略的年化收益率為8.52%,最大回撤為-7.26%,日度勝率為52.85%。滬深300凈值滬深300凈值■指數(shù)對沖收益率數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心識別風(fēng)險，發(fā)現(xiàn)價值指數(shù)對沖策略分年度的收益回撤情況如下表所示，策略每年都獲得了正收益，2020年和2021年策略的收益率都超過了10%。(注：2020年數(shù)據(jù)從2020年1月31日開始；2023年數(shù)據(jù)截止到2023年3月31日)-5.14%(三)全市場選股實證分析最后，本報告將股票池拓展至全市場A股，進(jìn)行從2000年至2019年獲取樣本進(jìn)行訓(xùn)練，在2020年到2023年(樣本外),用訓(xùn)練好股票池：全市場股票(萬得全A指數(shù)成份股),剔除交易日停牌的股票回測期：2020年1月至2023年3月交易成本：雙邊0.3%以1個月為調(diào)倉周期，在每一次調(diào)倉時，按照因子值的大小將股票分為5檔，測試Transformer因子選股表現(xiàn)的單調(diào)性?；販y期因子的分檔表現(xiàn)和累積收益率情況如識別風(fēng)險，發(fā)現(xiàn)價值圖17:全市場選股Transformer因子的分檔表現(xiàn)22一第二檔—第三檔2020-01-312021-01-312022-01-31數(shù)據(jù):Wind,廣發(fā)證券發(fā)展研究中心從上圖可以看到，Transformer因子值大的股票整體表現(xiàn)優(yōu)于Transformer因子假設(shè)可以賣空最低檔(第五檔)的股票，買入最高檔(第一檔)的股票，多空對沖策略自2020年以來，策略的年化收益率為15.58%,最大回撤為-12.09%,日度勝率為56.61%。多空對沖收益率(右軸)——多空對沖凈值數(shù)據(jù):