AI前沿跟蹤系列（一）：基于人機互動和大預言模型的因子挖掘平臺

請務必閱讀正文之后的免責條款部分基于人機互動和大預言模型的因子挖掘平臺——AI前沿跟蹤系列（一）核心觀點SaizhuoWang、HangYuan等人的論文中提出了一種利用大型語言模型進行Alpha因子挖掘的新范式，也為投資機構未來金融科技、數(shù)據(jù)平臺、因子系統(tǒng)等平臺未來搭建提供了一種思路?，F(xiàn)代金融體系信息傳播、獲取、響應大有不同，因子效果持續(xù)性下降，Alpha因子需要動態(tài)評估都對因子挖掘新范式提出了更高的要求?；贚LM的Alpha挖掘范式提出相關報告SaizhuoWang和HangYuan等提出了第三種alpha挖掘范式，即增強人工智能交互以提高alpha研究的效果和效率。基于這種新的范式，構建一個人機交互式alpha挖掘系統(tǒng)Alpha-GPT。該系統(tǒng)利用大型語言模型作為量化研究人員和alpha搜索之間的中介，具有解釋用戶交易想法、快速總結優(yōu)秀alpha以及自動修改搜索配置等優(yōu)勢。通過LLM實現(xiàn)人機互動增加Alpha挖掘額外知識AlphaBot是Alpha-GPT的關鍵層，它通過四個功能模塊自動將量化研究人員的意圖/思想轉化為LLM查詢的領域特定提示和指令，并將其轉化為算法Alpha挖掘層能理解的配置，增加Alpha挖掘的額外知識、信息、文獻和數(shù)據(jù)，以提高LLM的性能和準確性。通過Alpha-GPT生成更加可解釋的因子表達式通過Alpha-GPT生成的Alpha表達式和相應的自然語言解釋的示例表明，Alpha-GPT能夠提供適當?shù)腁lpha解釋，減輕了人類研究人員自行解釋這些表達式的負風險提示本報告依據(jù)最新前沿論文進行解讀評述，若有理解不當請以原始論文表述為準。且本報告為AI應用方法和框架介紹，并不作為有效投資方法建議，僅供參考。請務必閱讀正文之后的免責條款部分正文目錄 4 43平臺架構與技術挑戰(zhàn) 63.1AlphaBot層 63.2Alpha挖掘算法層 83.3用于加速Alpha計算的技術 9 9 10 11請務必閱讀正文之后的免責條款部分圖1：Alpha挖掘范式演化 4圖2：Alpha-GPT的工作流程 5圖3：Alpha-GPT用戶界面 5圖4：Alpha-GPT系統(tǒng)架構 6圖5：Alpha-GPT因子挖掘不同階段回測曲線 10圖6：Alpha-GPT生成的可解釋Alpha因子示例 10表1：Alpha-GPT樣本外Top-20IC搜索加強前后對比 9尋找交易alpha旨在尋找一種具有預測超額回報或風險能力的金融信號或函數(shù)。傳統(tǒng)的alpha挖掘方法有兩種范式：第一種是手動建模，通過將量化研究人員對金融市場的理念和直覺轉化為公式化的alpha，并通過回測實驗證明其有效性和顯著性，從而改進alpha的性能；第二種是通過搜索算法如遺傳編程等尋找alpha，但由于搜索空間巨大，計算密集度很然而，這兩種方法都存在一些共同的缺點，比如難以找到精確簡明的公式化表達、理解和解釋大量的alpha以及設計和修改算法參數(shù)和搜索配置等。為了解決這些問題，（SaizhuoWang和HangYuan等，2023）提出了第三種alpha挖掘范式，即增強人工智能交互以提高alpha研究的效果和效率。基于這種新的范式，構建一個人機交互式alpha挖掘系統(tǒng)Alpha-GPT。該系統(tǒng)利用大型語言模型作為量化研究人員和alpha搜索之間的中介，具有解釋用戶交易想法、快速總結優(yōu)秀alpha以及自動修改搜索配置等優(yōu)勢。2Alpha-GPT用戶接口框架Alpha-GPT的研究人員在論文中介紹了基于大語言模型的人機互動因子挖掘平臺的用戶接口（UI）。它由三個主要組件組成：會話管理器、對話框和Alpha挖掘儀表板。對話框：用戶將他們的交易想法和思路輸入到對話框中。作為回應，生成的種子alpha、alpha搜索進展、alpha挖掘的最終報告以及生成的alpha的表現(xiàn)都被組織成系統(tǒng)消息，提供全面的反饋。用戶可以分析結果并為alpha挖掘提供進一步的指導，這個對話會一直持續(xù)到找到有效的alpha為止。挖掘會話管理器：Alpha-GPT采用基于會話的用戶界面，通過會話管理器存儲過去的交互歷史記錄。這些會話還用于組織用戶生成的數(shù)據(jù)，以進一步提升系統(tǒng)的性能。Alpha挖掘儀表板：在右半部分，儀表板用于顯示和分析alpha挖掘的結果。它為用戶提供了會話的更詳細描述。實驗監(jiān)控顯示了alpha挖掘實驗的進展和當前系統(tǒng)負載，以及會話過程中生成的所有歷史alpha。如果選擇了特定的alpha，它的表現(xiàn)將在分析面板上進1SaizhuoWang,HangYuan,LInvestment,2023Jul.請務必閱讀正文之后的免責條款部分行繪制和可視化?？捎玫睦L圖功能包括遺傳編程的世代間適應度曲線，單個alpha的回測曲線，以及IC分布和信號衰減等其他附加分析。此外，Alpha儀表板還包括一鍵存儲和部署功能，可以進一步應用和下游分析。請務必閱讀正文之后的免責條款部分圖4展示了作者提出的交互式Alpha挖掘范式的系統(tǒng)框架，通過從Alpha-GPT的架構設計中提煉和抽象得出，各個模塊還是充滿細節(jié)和技術挑戰(zhàn)。3.1AlphaBot層AlphaBot是Alpha-GPT的關鍵層，它在人工智能與人類交互中扮演了調解者的角色。具體而言，該層包括四個功能模塊：1)知識編譯器自動將量化研究人員的意圖/思想轉化為LLM查詢的領域特定提示和指令；2)LLM為主流大型語言模型（如GPT-4）提供API或本地部署選項；3)思想解編器將LLM的自然語言輸出轉化為算法Alpha挖掘層能理解的配置；4)知識庫整合了關于Alpha挖掘的額外知識、信息、文獻和數(shù)據(jù)，以提高LLM的性能和準確性。在像Alpha挖掘這樣的領域專屬任務中，許多用戶請求中會包含只能在金融領域中找到的術語。在沒有進一步的上下文的情況下，傳統(tǒng)的LLM無法理解輸入背后的含義。這就需要知識編譯器模塊的介入。利用LLM的上下文學習能力，該模塊通過提供額外的上下文和澄清提示中的關鍵詞來增強原始用戶請求。例如，“youareaquantresearcherdevelopingformulaicalphas”這樣的具體短語有助于將可能的回答范圍縮小到更適合因子挖掘的答案。請務必閱讀正文之后的免責條款部分由于Alpha表達式必須以一定的格式才能有效，提示中還有一個部分列出了表達式的每個可能組成部分以及如何利用它的解釋（例如，“high_1D”：股票的最高日內價格）。這個補充幫助LLM將用戶意圖與可以實現(xiàn)該目標的特定功能相關聯(lián)，并確保輸出結果有效。由于這些術語適用于更廣泛的金融領域，提示的這一部分也在思想解編器中用于防止產(chǎn)生幻覺。這樣的模塊是為了允許用戶以自然語言進行請求而不涉及不確定性。對其預建的大型語言模型的訪問。這些產(chǎn)品按一定數(shù)量的標記收取名義金額，并包括GPT、Claude和Bard等。在線請求的一個優(yōu)點是實時響應和即時訪問?？傊?，AlphaBot層是Alpha-GPT中的關鍵層，起到了人工智能與人類交互的調解者角色。其中的知識編譯器模塊用于加強用戶請求的語境理解和提示，而大型語言模型模塊用于提供LLM的API或本地部署選項。API的好處是它提供了易用性，并消除了對計算能力的需求。本地部署可以從頭開始開發(fā)LLM，這樣可以更加定制化地控制模型的功能?？梢詫μ囟〝?shù)據(jù)集進行預訓練，以使其適應特定的目的。這包括通過學習相關文件進行領域微調，并通過人工反饋進行強化學習。然而，這需要大量的計算能力來訓練和更新這些模型。在alphamining中，LLM的響應與期望的輸出結構之間存在明顯差距。具體來說，這些差距可以從以下幾個方面的挑戰(zhàn)來總結：將自然語言轉換為結構化數(shù)據(jù)：需要將LLM的響應從自然語言轉換為結構化數(shù)據(jù)。對于每個LLM的響應消息，需要從其原始輸出中提取一個表達式塊列表。每個表達式塊都遵循一定的組織方式，例如其簡稱、表達式和一段自然語言描述。令牌大小限制：由于大多數(shù)最先進的LLM都采用基于Transformer的架構和自注意力機制，輸入序列長度（令牌數(shù)）的限制通常是一個非常常見的問題。這樣，LLM的輸入和輸出都有長度的上限。這可能會導致兩個問題：1）不能將完整的對話歷史記錄發(fā)送給LLM，因為它會超出輸入令牌大小的限制。2）單個LLM的響應大小受限，這意味著每個消息只能獲取有限數(shù)量的表達式。為了解決這些問題，作者提出了一個迭代的LLM推理過程。使用基于正則表達式的解析器來解析LLM的輸出。對于每個LLM生成的alpha，對其進行語法和語義上的正確性驗證。作者采用抽象語法樹解析器進行語法檢查，對于語義正確性，使用模擬數(shù)據(jù)和運行時上下文來評估這個表達式是否會拋出任何異常。在實踐中，正確的alpha比例可能很低（每輪只有10個alpha中的4個是正確的這使得alpha生成過程低效。同時，由于對話歷史記錄被附加到LLM的輸入中，這些不正確的表達式也可能影響后續(xù)的生成過程。因此，采用迭代的修正過程，提示LLM重新生成不正確的alpha。此外，為了解決令牌大小限制的問題，在每一輪中，動態(tài)檢查是否超出了令牌大小限制，如果是，則會對輸入消息進行截斷和重新組織，以減少令牌數(shù)。如上所述，在少樣本上下文學習中，需要一個支持有效檢索與交易想法相關的示例的外部存儲。在Alpha-GPT中，作者設計了一個協(xié)議來組織來自多個來源的內容。這些來源包括現(xiàn)有的alpha表達式集合和金融文獻。當用戶提出請求時，知識庫對該查詢進行編碼，并找到可以作為示例并合并到提示中的類似文檔。請務必閱讀正文之后的免責條款部分3.2Alpha挖掘算法層該層在Alpha-GPT中提供搜索增強功能。具體而言，它通過接收AlphaBot的搜索命令和配置，利用種子Alpha來改進它們，并將最合適的Alpha推送回AlphaBot。它由四個模塊組成：算法式Alpha搜索模塊根據(jù)AlphaBot的命令生成Alpha候選項，評估和回測模塊從這些候選項中選擇合格的Alpha，Alpha選擇模塊根據(jù)特定的預測目標（例如，對未來10天回報的貢獻）進一步修剪這些Alpha，最終的Alpha由Alpha部署模塊“一鍵”部署，以確保在線交易期間的實時計算的平滑性和正確性。Alpha搜索增強。目前在行業(yè)中使用最廣泛的Alpha搜索算法是遺傳編程（GP它從一些Alpha種子開始，根據(jù)評分函數(shù)的適應性，通過隨機交叉和突變子樹選擇樹形表達的Alpha候選項。然而，GP目前存在三個問題：1）過擬合，對于量化交易來說極其危險?？梢酝ㄟ^在GP迭代中加入樣本外評估、減少函數(shù)復雜度的擬合正則化和迭代的早停等策略來減輕這個問題。這些方法有助于確保Alpha在訓練數(shù)據(jù)之外具有良好的泛化能力，提高其可靠性。2）Alpha多樣性的喪失可能導致投資風險的聚集和累積，并增加回報的不確定性。可以通過在GP的迭代過程中強制執(zhí)行更多的約束來實現(xiàn)Alpha多樣性，并有助于發(fā)現(xiàn)對不斷變化的市場條件具有韌性的穩(wěn)健Alpha因子。3）GP容易生成無效的Alpha。例如，log(0)和√-5，或者兩個具有不兼容單位的值的求和（例如，成交量+收盤價）?？梢酝ㄟ^整合數(shù)學規(guī)則、單位一致性規(guī)則和金融領域特定規(guī)則的規(guī)則庫來調節(jié)Alpha表達式的生成。評估和回測。評估Alpha最直接的方法是通過回測來揭示Alpha在投資策略中的具體表現(xiàn)。然而，這個過程引入了三個重要的挑戰(zhàn)：1）引入未來信息：回測時來自更遠時間點的信息可能對結果的準確性產(chǎn)生災難性的影響。為了減輕這個問題，使用時間戳為每個輸入數(shù)據(jù)分配一個時間標簽。這種技術可以更準確地復制市場條件并驗證測試結果，從而增強Alpha評估的可靠性。2）交易成本的估計：常規(guī)的粗粒度回測無法準確衡量交易成本，這對于短期Alpha至關重要。為了解決這個問題，作者使用更詳細的數(shù)據(jù)（例如訂單簿級數(shù)據(jù)）進行基于模擬的回測，并使用交易匹配規(guī)則模擬交易成本和市場價格對Alpha的影響，從而能夠在微觀結構水平上對Alpha進行建模。3）計算成本：Alpha挖掘所需的計算能力也是相當大的，在計算加速層中解決了這個問題。Alpha選擇。Alpha選擇模塊通過以下方式進一步進行選擇過程：1）去重和去相關性：新的Alpha需要與現(xiàn)有的Alpha不同，但是計算大量Alpha之間的成對相似性可能是耗時的。算法如KD-樹、局部敏感哈希（LSH）或近似最近鄰（ANN）可以快速確定每個潛在Alpha與池中其他Alpha的最大相關性。2）重要性評分：雖然一個Alpha的信息系數(shù)（IC）分數(shù)和回測可能反映了其個體表現(xiàn)，但在實際情況下，多個Alpha在投資策略中組合在一起，這些指標不能準確反映它們在更大集合中的表現(xiàn)。一組IC分數(shù)較低的Alpha可能會優(yōu)于由最高分Alpha組成的子集。因此，重要性評分技術，如ShapleyAdditiveexplanations（SHAP）和LocalInterpretableModel-agnosticExplanations（LIME可以衡量這種貢獻，并全面理解Alpha之間的相互關系。Alpha部署。在這個模塊中，需要正確管理三個關鍵方面，以確保在線交易期間的平滑和正確的實時計算：1）依賴管理：這涉及維護和監(jiān)督所有Alpha數(shù)據(jù)之間的依賴關系，以確保順序計算和問題的可追溯性。2）流-批一體化：實時交易和歷史回測之間的不一致是不可接受的。通過采用Kappa架構，可以維護一個統(tǒng)一的實時處理層，從而以相同的方式處理所有數(shù)據(jù)，消除Alpha生成過程中批處理和流處理之間的不一致性。3）自動Alpha請務必閱讀正文之后的免責條款部分驗證：這用于驗證所有系統(tǒng)維護的Alpha，監(jiān)控數(shù)據(jù)質量并識別差異。這種持續(xù)驗證確保部署的Alpha的可靠性、及時性和準確性。包括流算法（StreamingAlgorithms矢量化計算（VectorizedComputationSIMD和SIMT等并行計算技術，內存優(yōu)化（MemoryOptimization數(shù)據(jù)分區(qū)（DataPartitioning多線程計算（Multithreading以及利用GPU加速計算（GPUAcceleration）等方法。這些技術可大幅提高Alpha計算的效率，特別適用于處理金融數(shù)據(jù)等大規(guī)模數(shù)據(jù)集的計算任作者對Alpha-GPT進行了多方面的實驗，旨在驗證以下研究問題：?RQ1：Alpha-GPT能否生成與輸入的交易想法一致的表達式？?RQ2：算法性Alpha挖掘層對LLM的種子Alpha的增強效果如何？?RQ3：用戶能否有效地與Alpha-GPT進行交互指導挖掘過程？?RQ4：Alpha-GPT能否成功解釋Alpha表達式背后的交易想法？實驗設置包括：數(shù)據(jù)和運算符：使用股票市場的日間成交量-價格數(shù)據(jù)，包括基本的K線圖數(shù)據(jù)（開盤價、最高價、最低價、收盤價）、加權平均價格（VWAP）和行業(yè)數(shù)據(jù)。還包括19個基本運算符，包括時間序列運算、橫截面運算、分組運算和基本元素運算。知識庫：對于每個Alpha，首先將其分解成子表達式并解釋它們。然后解釋這些子表達式的組合形成整個交易想法。文檔嵌入通過Faiss進行索引。需要注意的是，僅在生成與交易想法相吻合的Alpha表達式時使用外部存儲器。LLM和適配器：為了進行自然語言交互，使用OpenAI的聊天完成API，基于“gpt-3.5-turbo-16k-0613”模型基礎。對于知識檢索中使用的嵌入模型，使用OpenAI的“text-ada-embedding-002”API，嵌入維度為1536。LLM一次生成一批Alpha，并將被要求糾正具有語法或語義錯誤的Alpha。Alpha搜索和評估：通過遺傳規(guī)劃模型搜索Alpha，其中適應度評分由信息系數(shù)（IC）定義。評估這些Alpha在樣本外的指標（如IC、年回報率、夏普比率等）上的表MomentumFlowofFundsAftersearch請務必閱讀正文之后的免責條款部分實驗結果包括：想法-公式一致性：Alpha-GPT能夠生成與用戶給定的交易想法一致的公式Alpha。通過示例展示了基于給定交易想法生成的Alpha表達式，并展示了它們與K線圖中的模式的對應關系，驗證了生成的Alpha正確捕捉了交易想法。搜索增強：通過算法性Alpha挖掘層的搜索增強，顯著提高了Alpha-GPT的表現(xiàn)。通過對7個不同的交易想法進行搜索增強前后的Alpha樣本外IC進行比較，可以看出搜索增強對Alpha-GPT的性能提升非常重要。人工智能交互：通過人工智能交互生成的Alpha的回測曲線顯示在圖中?；販y是在2012年至2021年的美國股票數(shù)據(jù)上進行的。經(jīng)過幾輪搜索增強和用戶交互后，生成的Alpha的回測表現(xiàn)顯著提高。Alpha解釋：通過Alpha-GPT生成的Alpha表達式和相應的自然語言解釋的示例表明，Alpha-GPT能夠提供適當?shù)腁lpha解釋，減輕了人類研究人員自行解釋這些表達式的研究所整理研究所整理在SaizhuoWang、HangYuan等人的論文中提出了一種利用大型語言模型進行Alpha因子挖掘的新范式，也為投資機構未來金融科技、數(shù)據(jù)平臺、因子系統(tǒng)等平臺未來搭建提供了一種思路。這一點我們認為可能為機構量化投資平臺的演進打開一片新天地，主要基于以下幾點我們認為量化因子平臺新范式重構的必要性越來越強。信息獲取傳播響應的需要?；ヂ?lián)網(wǎng)時代的今天，信息傳播速度，市場響應節(jié)奏都遠遠快于過去。及時可靠的因子分析平臺的重構迫在眉睫。低頻因子似乎并不需要一個快捷的平臺，然后輿情系統(tǒng)、實時價量分析都給量化平臺提出了新要求。因子穩(wěn)定性下降。越來越多的投資者運用各種非線性技術進行盈利模式挖掘。比如利用深度學習、GP模型等合成因子或生成因子表達式。然而，非線性模型最大的缺點在于穩(wěn)定性較差。同樣架構的模型，可能在同一時點由于訓練后參數(shù)的差異得到完全相反的研判請務必閱讀正文之后的免責條款部分觀點。而這種對立模式的博弈，往往使得市場容易在原本可能形成一致邏輯的點上形成短暫的矛盾，導致過去可能持續(xù)性更好的因子，有效性衰減較快。Alpha因子需動態(tài)認識。因子穩(wěn)定性下降，使得獲取長期穩(wěn)定Alpha的因子難度提升。動態(tài)地捕捉當前最為有效的Alpha因子成為當下因子量化投資的重要課題。很多機構選擇周度、月度、季度地重新評價其因子庫中各個因子的有效性和收益貢獻，然而金融市場的動態(tài)性決定了因子有效性的動態(tài)變化，并沒有穩(wěn)定的周期性規(guī)律，因子動量的持續(xù)性也難以測度。量化投資者更多是在“后驗信息”的基礎上，不斷地更新和調整對于因子庫中因子有效性的跟蹤觀測。Alpha-GPT就提供了一種動態(tài)形成因子跟蹤的范式。當然，投資者也可使用類似BeyesianEstimation、ReinforcementLearning等方法對因子盈利模型進行動態(tài)評價。‘參考文獻[1]SaizhuoWang,HangYuan,LeonZhou,LionelM.Ni,Heung-YeungShum,JianGuo,Alpha-GPT:Human-AIInteractiveAlphaMiningforQuantitativeInvestment,2023Jul.請務必閱讀正文之后的免責條款部分股票投資評級說明以報告日后的6個月內，證券相對于滬深300指數(shù)的漲跌幅為標準，定義如下：1.買入：相對于滬深300指數(shù)表現(xiàn)＋20％以上；2.增持：相對于滬深300指數(shù)表現(xiàn)＋1020%;3.中性：相對于滬深300指數(shù)表現(xiàn)－1010％之間波動；4.減持：相對于滬深300指數(shù)表現(xiàn)－10％以下。行業(yè)的投資評級：以報告日后的6個月內，行業(yè)指數(shù)相對于滬深300指數(shù)的漲跌幅為標準，定義如下：1.看好：行業(yè)指數(shù)相對于滬深300指數(shù)表現(xiàn)＋10%以上；2.中性：行業(yè)指