GPT加量化投資等于什么

atT原理深度解析NL（NatralLanuaerocess自然語言處理是人工智能的子領(lǐng)域?qū)Ｗ⒂谌藱C(jī)交互和自然語言數(shù)據(jù)的處理和分析。近年來，NLP領(lǐng)域最激動人心的成果莫過于預(yù)訓(xùn)練自然言模型GT系列模型作為預(yù)訓(xùn)練自然語言模型的一個重要分支逐漸展現(xiàn)出I模型對于完成通用自然語言處理任務(wù)的強(qiáng)大能力。下圖是GT系列模型的發(fā)展路徑。圖表：PT系模型的發(fā)展路徑：OpenI的四代PT模型218203年OpI陸續(xù)推出四代GT模型前三代每一代模型的規(guī)模和參數(shù)量逐漸增大G-3的參數(shù)量達(dá)70億個第四代參數(shù)量未公開模型在各類自然語言下游任務(wù)中的表現(xiàn)也越來越好。前三代模型的結(jié)構(gòu)和參數(shù)如下圖。圖表：前三代PT模型的結(jié)構(gòu)：OA，GT模型8年，OpnI在論文mrovngLanuaeUnderstadingbyGeneratvereranng中提出了GT模型GT是單向表征的自回歸語言模型主要用來處理語言生成任務(wù)其多頭注意力模塊為MkdMt-Headttention，通過掩碼的遮蓋，在預(yù)測一個單詞時只會用到前面已經(jīng)生成的單詞，而無信息的泄露。GT是典型的“無監(jiān)督預(yù)訓(xùn)練有監(jiān)督微調(diào)”的兩階段模型，先在沒有標(biāo)注的數(shù)據(jù)集中進(jìn)行預(yù)訓(xùn)練，再在有標(biāo)注的特定下游任務(wù)數(shù)據(jù)集上微調(diào)。在預(yù)訓(xùn)練階段，對于一個含有大量單詞的語料庫??={1,…,????}，GT使用極大化似然函數(shù)來進(jìn)行優(yōu)化：1??)=∑log??????∣???????,…,????1;)????是預(yù)測時所用到的單詞的個數(shù)??是用于預(yù)測的模型我們定義??=?????,…,??1為輸入的??個單詞的編碼序列??為詞嵌入映射矩陣??為位置嵌入矩陣L表示堆疊的ock層數(shù)，則GT的預(yù)訓(xùn)練流程可以按如下方法公式化：0=????+????=asomrbock??1),??∈{123…,??}????(??)=sofma(??????)??預(yù)訓(xùn)練完成后需要使用少量帶標(biāo)注的下游任務(wù)數(shù)據(jù)對模型進(jìn)行微調(diào)。G-2和G-3模型從G-2開始OpnI逐漸拋棄“無監(jiān)督預(yù)訓(xùn)練有監(jiān)督微調(diào)的方式嘗試訓(xùn)練一種不需要進(jìn)行下游任務(wù)微調(diào)就能處理各種自然語言任務(wù)的模型，并且認(rèn)為隨著模型參數(shù)量的不斷增大，模型容納的知識和可應(yīng)對的任務(wù)會越來越多，語言模型應(yīng)該往大模型的方向發(fā)展。G-2相比GT的變化主要包含：參見圖表，G-2中rasfomr層的內(nèi)部結(jié)構(gòu)相比GT有一定變化。G-2的rasfomr層數(shù)增多，參數(shù)量達(dá)到了5億個。G-2開創(chuàng)性地引入了Zeo-shot技術(shù)，即模型在大規(guī)模參數(shù)下學(xué)習(xí)到了海量文本中的知識不需要再針對下游任務(wù)微調(diào)只需要將要做的任務(wù)也作為一個提示詞和文一起輸入預(yù)訓(xùn)練好的模型，就可以完成這個任務(wù)。遺憾的是因?yàn)榛赯ero-t的訓(xùn)練方式難度很大-2在很多下游任務(wù)上的表現(xiàn)還不夠好，但從開創(chuàng)性來講G-2無疑是一個優(yōu)秀的研究，為G-3的誕生做好了準(zhǔn)備。0年OenI在論文LnuageMdesareFew-ShotLarners提出了G-G-3在多項任務(wù)上的表現(xiàn)超出了G-。G-3相比G2的變化主要包含：參見圖表，G-3中rnsfomr層的內(nèi)部結(jié)構(gòu)和G-2一致，但層數(shù)達(dá)到6層，參數(shù)數(shù)量達(dá)到0億個。G-3吸取了G-2的經(jīng)驗(yàn)教訓(xùn)，在使用Zero-st技術(shù)的同時，還引入了相對容易的One-hot和Fw-ht技術(shù)。下方將英語chese翻譯成法語的例子形象說明了Ze-sOne-sFe-shot與微調(diào)的對比。圖表：Zeoho、Onho、Fwt與微調(diào)的對比：Lgaeolsaeew-Stens，微調(diào)：模型會根據(jù)每個微調(diào)樣本（exape#1,examle#,…,xmleN）產(chǎn)生梯度更新模型參數(shù)，微調(diào)完成之后將英語chese翻譯成法語。Zeo-shot：模型預(yù)測階段，給模型提供一個任務(wù)提示rasateEngshtoFrech并加上要翻譯的單詞chese也就是告訴模型需要做的是翻譯任務(wù)這個過程中不會有梯度更新。On-shot：模型預(yù)測階段，給模型提供一個任務(wù)提示rasatengshtoFrech并加上要翻譯單詞chese的同時，增加一個翻譯示例seaoter=>lotredemer，也就是告訴模型需要做的是翻譯任務(wù)，并且有一個參考示例。這個過程中不會有梯度更新。Few-sho：模型預(yù)測階段，給模型提供一個任務(wù)提示rasatengshtoFrech并加上要翻譯單詞chese的同時增加多個翻譯示例也就是告訴模型需要做的是翻譯任務(wù)并且有多個參考示例。這個過程中不會有梯度更新?？梢钥闯觯琙eo-ho、O-hot和Fw-ht更接近人類在面對各類語言問題時的思考模式即人類只需要提示和少量示例就能回答各類語言問題對于Zero-s由于沒有提供示例，是最有挑戰(zhàn)的，即使是人類有時也難以在僅依賴任務(wù)描述而沒有示例的情況下理解一個任務(wù)。G-4模型223年3月4日OenAI推出了G-4模型向多模態(tài)通用人工智能邁出更堅實(shí)的一步。G-4之前的模型都是語言模型G-4則升級為語言圖像的多模態(tài)模型能夠輸入文本和圖像，回答文本內(nèi)容。考慮到競爭格局和大型模型的安全影響，OpnI并未披露G-4的大小、硬件、數(shù)據(jù)集構(gòu)建訓(xùn)練方法等細(xì)節(jié)只發(fā)表了一篇技術(shù)報告來介紹模型在各種任務(wù)上的性能但G-4并非一天建成的，我們依然可以通過已發(fā)表的相關(guān)研究論文來了解G-4使用的I技術(shù)。下圖整理了G-4原理概況及參考模型。圖表：GP4原理概況及參考模型：InsructGPT和hatPT：使用LF訓(xùn)練人機(jī)對話模型nstructGT和ChtGT都是GT模型在人機(jī)對話方面的應(yīng)用延伸目的是使得機(jī)器的回答盡可能向人類的邏輯和意圖看齊（gmet。二者都使用了基于人類反饋的強(qiáng)化學(xué)習(xí)（RenforcmetLarnngfrmHmanFedack,RLHF）進(jìn)行訓(xùn)練，由于ChtGT的論文尚未發(fā)布，我們將主要參照nstructGT的論文anngangagemoestofolownstructonswithhuaneedack來介紹RLHF的訓(xùn)練過程。圖表：使用LF訓(xùn)練haPT的三個步驟：OA，上圖展示了使用RLHF訓(xùn)練ChtGT的三個步驟，分別是：利用人類標(biāo)注的對話數(shù)據(jù)對G-5進(jìn)行有監(jiān)督訓(xùn)練微調(diào)。利用人類標(biāo)注的對話打分?jǐn)?shù)據(jù)訓(xùn)練一個打分模型，模型能評價機(jī)器回答的質(zhì)量高低。利用步驟2中打分模型得到獎勵函數(shù)，使用強(qiáng)化學(xué)習(xí)繼續(xù)對步驟1中的模型微調(diào)。步驟1較為簡單，即利用人類標(biāo)注的對話數(shù)據(jù)對G-5進(jìn)行有監(jiān)督訓(xùn)練微調(diào)得到T（uervsedfne-tunng）模型。對話數(shù)據(jù)中包含的任務(wù)類型較為全面，包括文本分類、信息抽取文本生成或重寫問答等等在nstructGT的論文中該步驟使用的數(shù)據(jù)量為1000條左右這實(shí)際上是一個規(guī)模較小的數(shù)據(jù)因此可以考慮使用文本增（mex）的方法擴(kuò)充這些數(shù)據(jù)。圖表：步驟：利用人類標(biāo)注的對話數(shù)對GP.5進(jìn)行有監(jiān)督訓(xùn)練微調(diào)：HuigFceRLHF，步驟2需要按照以下流程進(jìn)行：將大量的問題文本輸入給微調(diào)過的T模型得到回答。人工按照某些標(biāo)準(zhǔn)對回答進(jìn)行排序，標(biāo)準(zhǔn)可以是回答的可讀性、無害性、正確性等等。需要注意的是人工排序并不是給出4這樣的排序數(shù)（因?yàn)橹苯哟蚍趾苋菀资苤饔^影響，而是給出DCAB這樣的相對強(qiáng)弱。使用人工排序的結(jié)果訓(xùn)練一個打分模（ReardMoel模型能評價一條回答的質(zhì)量高低。在nstructGT的論文中，訓(xùn)練打分模型使用了如下的prwise排序損失函數(shù)：12loss??)=?(??)??,??,????~??[log??(????,??)???(??,??)]2其中??是一個提問針對??有（論文中個回答從中任選兩個回答????????,??)是打分模型對??的評分????,??)?????,??)即兩個回答的得分差值log(??????,??)???(??,??))則把得分差值轉(zhuǎn)換為Lgstic損失最后把Lgstc損失求均值并取相反數(shù)就得到loss??)。nstructGT的論文中，步驟2總共使用了0條人工標(biāo)注的樣本來訓(xùn)練。圖表：步驟：利用人類標(biāo)注的對話打數(shù)據(jù)訓(xùn)練一個打分模型：HuigFceRLHF，步驟3使用強(qiáng)化學(xué)習(xí)對T模型繼續(xù)進(jìn)行微調(diào)，需要按照以下流程進(jìn)行：向模型輸入問題文本，例如：Aogs…步驟1的T模型給出回答：afurrymmmal使用強(qiáng)化學(xué)習(xí)微調(diào)的模型給出回答：msstfrd計算兩個回答之間的L散度來評價它們的相似程度，以L散度作為懲罰項，目的使得兩個模型差異不要太大。將強(qiáng)化學(xué)習(xí)微調(diào)的模型回答（msstfrd）輸入第2步中的打分模型，得到打分??。設(shè)置強(qiáng)化學(xué)習(xí)的獎勵函數(shù)使用O算法對模型進(jìn)行微調(diào)在nstructGT的論文中，獎勵函數(shù)設(shè)置為：oece)=(

????(????)? [????,??)???log( )]+?

log(????(??)]????,??????????????

????????|??)

?????????????? ?其中????代表O微調(diào)的模型，??????代表FT微調(diào)的模型，????????????則是未微調(diào)的預(yù)? ?????????|??)訓(xùn)練模型lg(? 即L散度超參數(shù)??和??控制L散度和未微調(diào)的預(yù)訓(xùn)練模型???????(????)?的影響。若??=0則得到模型命名為O模型，若??>0則得到模型命名為O-模型。整個獎勵函數(shù)的含義是：在最大化打分??的情況下，控制????和??????的差異，并? ?且引入未微調(diào)模型來增強(qiáng)整體模型的魯棒性。隨著強(qiáng)化學(xué)習(xí)的不斷訓(xùn)練就能逐漸微調(diào)模型使得回答質(zhì)量越來越接近人類的期望水平。圖表：步驟：使用強(qiáng)化學(xué)習(xí)O算法繼續(xù)微調(diào)模型：HuigFceRLHF，nstructGT的測試結(jié)果包含了很多值得注意的信息我們將逐個展開分析下圖的橫軸為模型大小，縱軸為模型相對于基準(zhǔn)模型的勝率，基準(zhǔn)模型是對0億參數(shù)的G-3微調(diào)得到的模型T。圖表：InsruGPT的測試結(jié)果分析：Tiinglaugemdlstollowinstrctiosithmanedack，從上圖可知，O和O-x的表現(xiàn)最好，顯著優(yōu)于FT，O和O-x之間沒有顯著的優(yōu)劣之分。引入人工標(biāo)注的數(shù)據(jù)進(jìn)行LHF訓(xùn)練對模型指標(biāo)的提升是非常顯著的，模型大小只有3億的O表現(xiàn)遠(yuǎn)優(yōu)于模型大小達(dá)到0億的GT。上圖5個模型的指標(biāo)都隨著模型大小的增大而增大且并未出現(xiàn)見頂?shù)嫩E象這可能說明繼續(xù)增大模型規(guī)模還有進(jìn)一步提升的空間語言大模型的潛力還有進(jìn)一步挖掘的可能關(guān)于LF的兩點(diǎn)思考首先RLHF的核心思想是用強(qiáng)化學(xué)習(xí)微調(diào)語言模型相比監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)要復(fù)雜很多，需要定義環(huán)境、狀態(tài)、獎勵、策略等要素。復(fù)雜方法的引入，一般是因?yàn)槠淠苷宫F(xiàn)出相比簡單方法的特殊價值對于nstructGT來說其使用的人工標(biāo)注數(shù)據(jù)相對于模型規(guī)模來說是很小的，只有數(shù)萬條而已，我們認(rèn)為RLHF的一大優(yōu)勢就在于可以充分利用這些有限的標(biāo)注數(shù)據(jù)。具體來講RLHF中的打分模型學(xué)習(xí)了人類對機(jī)器回答的評價排序相當(dāng)于替代了人類反饋能自動對更多回答進(jìn)行打分。這種自動打分機(jī)制被融入到強(qiáng)化學(xué)習(xí)的獎勵函數(shù)中，使得強(qiáng)化學(xué)習(xí)可以在模型的不斷迭代中實(shí)時獲得環(huán)境反饋，逐漸微調(diào)模型使得回答的可讀性、無害性、正確性更好。其次，讀者可能會發(fā)現(xiàn)，-3和ChtGT的訓(xùn)練方法論是矛盾的。G-3嘗試訓(xùn)練一種不需要進(jìn)行下游任務(wù)微調(diào)就能處理各種自然語言任務(wù)的模型而ChtGT則又使用了微調(diào)模型的訓(xùn)練方法。我們認(rèn)為這其實(shí)是兩個研究的目的不同所致。G-3嘗試借鑒人類思維模式，探索一種通用的語言大模型，G-3更像是一種打地基式的工作，具有更高的全局規(guī)劃和研究視野。與之相比，ChtGT則是一種更偏應(yīng)用的研究，應(yīng)用研究更關(guān)注的是模型在某個領(lǐng)域的實(shí)際效果，對能提升實(shí)際效果的方法論都可以吸收使用。實(shí)際上，ChtGT正是站在G-3這個巨人的肩膀上，才取得了當(dāng)前的驚艷效果。參考文獻(xiàn)asan,.,hae,N.,arma,N.,Uskoret,J.,Joes,L.,Gome,.N.,...&olosukhn,I.(201).ttentonsallouned.Adacesnneuralnformatonprocessngsstems,0.Radford,.,Narasmhn,.,Salmas,.,&utske,I.(208).Improinglanuageudrstandngbygenratvere-trainin.Radford,.,Wu,J.,Chld,R.,Lua,D.,moe,D.,&Sutskee,I.(219).Lanuagemoesareusupervsedmuttaskernrs.OpnIbog,1(8),9.ron,.,Mnn,.,Rde,N.,ubbia,M.,Kapa,J.D.,Dharia,.,...&moe,D.(22).Lngagemoesarefew-shtearners.Adancesinneralinfomatonprocessngsstems,3,1877-190.Ouan,L.,Wu,J.,Jag,X.,med,D.,Wanrght,C.L.,Mshkn,.,...&Loe,R.(22).rannganuaemoestofoownstructionsthhmanfedack.aXvpreprntrXi:220.015.chma,J.,Wok,.,Dhariwa,.,Radford,.,&lmo,O.(21).roxmalpocyotmiatonagrthms.rXvpreprintrXi:170.0634.生成模型在量化投資中的應(yīng)用ChaGT作為自然語言生成模型，在聊天對話的場景中取得了令人矚目的成就。而在量投資場景中，研究對象除了文本類型數(shù)據(jù)外，更常用的仍是截面、時間序列等數(shù)值類型數(shù)據(jù)。哪些生成模型適用于數(shù)值類型數(shù)據(jù)生成？數(shù)值類型數(shù)據(jù)如何應(yīng)用于量化投資？哪些生成模型適用于數(shù)值類型數(shù)據(jù)生成？生成模型的核心是學(xué)習(xí)隨機(jī)變量z到生成數(shù)據(jù)的映射。學(xué)習(xí)完成后對z進(jìn)行隨機(jī)采樣，即可得到生成數(shù)據(jù)。GN、E、流模型、擴(kuò)散模型這四類主流的生成模型，其主要區(qū)別就體現(xiàn)在上述映射關(guān)系的表征和學(xué)習(xí)方式上。圖表：四類生成模型示意圖：tts:/liliane.ith.i/psts/01-71ifsinmdls/，生成對抗網(wǎng)絡(luò)（GeneativedversrialNetwoks，N）生成模型和判別模型屬于人工智能的兩大分支但在N成“網(wǎng)紅模型之前學(xué)界和業(yè)界的研究重心主要放在判別模型可以說GN靠一己之力“火了生成模型GN的熱潮一度席卷各項I頂級會議，但其地位近幾年逐漸被擴(kuò)散模型取代。GN由IanGodfeow在4年NIS會議提出精妙之處在于訓(xùn)練中引入博弈的思想。GN包含兩個網(wǎng)絡(luò)：生成器G和判別器D。假設(shè)G的目標(biāo)是生成盡可能逼真的贗品，那么D的目標(biāo)是盡可能區(qū)分真品和G生成的贗品原版N中G和D的損失函數(shù)互為相反數(shù)相當(dāng)于零和博弈兩者交替訓(xùn)練直到達(dá)到納什均衡的理想狀態(tài)此時“明察秋毫而G生成贗品的技藝同樣“巧奪天工。從前述映射關(guān)系的角度分析D學(xué)習(xí)從樣（真樣本x或生成樣本x到真假判（1或）的映射D()，G學(xué)習(xí)從隨機(jī)變量z到生成樣本x的映射G()，z服從標(biāo)準(zhǔn)正態(tài)分布。G和D都可以通過復(fù)雜神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合。GN的核心是學(xué)習(xí)G()，G相當(dāng)于“學(xué)生，D的作用類似“老師，起輔助作用。GN由于其獨(dú)特的訓(xùn)練方式和優(yōu)良的生成效果受到學(xué)界矚目。研究者此后陸續(xù)提出各類GN的變式例如針對損失函數(shù)改造的WGN針對網(wǎng)絡(luò)結(jié)構(gòu)改造的DCGN引入條件信息從而具備預(yù)測能力的CGN，擴(kuò)大網(wǎng)絡(luò)規(guī)模的gGN，實(shí)現(xiàn)風(fēng)格遷移的t實(shí)現(xiàn)單樣本生成的nGN等。GN的缺點(diǎn)是訓(xùn)練不穩(wěn)定，并且生成多樣性不足。圖表：GN生成人臉實(shí)例與GN的損失函數(shù)：TeliciousUsefAtificilItlligce，圖表：SinGN生成圖像實(shí)例：SiGAN:leringaertivedlfomasinletrlige，變分自編碼器（aiationalutoncoder，）AE由Knma和Weng在213年提出并發(fā)表于4年ICLR會議（utEncoer，自編碼器）是一種經(jīng)典的無監(jiān)督學(xué)習(xí)方法，常用于降維。E借鑒了E的編碼器-解碼器結(jié)構(gòu)并引入概率圖模型的變分推斷思（E中的此后學(xué)者連續(xù)提出E的變式，其中Q-E的改進(jìn)版在1年被OpI應(yīng)用于第一代文本圖像生成工具DL·1上。GN和E生成的起點(diǎn)都是隨機(jī)變量（隱變量兩者不同之處在于GN的z從標(biāo)準(zhǔn)正態(tài)分布中采樣，而E的z是從特定均值、方差的正態(tài)分布中采樣，均值、方差是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出來。E的具體結(jié)構(gòu)為：原始數(shù)據(jù)x通過編碼器網(wǎng)絡(luò)得到隱變量z的均值μ和方差，對正態(tài)分布進(jìn)行采樣得到隱變量，再通過解碼器網(wǎng)絡(luò)得到生成數(shù)據(jù)x。網(wǎng)絡(luò)的損失函數(shù)是重構(gòu)誤差（如x和x的M）和正則化項（約束均值和方差，盡量接近標(biāo)準(zhǔn)正態(tài)分布）兩項之和。AE相比GN在數(shù)學(xué)上更“優(yōu)美。從貝葉斯概率模型的角度看，隱變量z服從先驗(yàn)分布()，編碼器的本質(zhì)是學(xué)習(xí)后驗(yàn)分布(x)，解碼器的本質(zhì)是學(xué)習(xí)似然分布()，也就是前述隨機(jī)變量z到生成數(shù)據(jù)x的映射。訓(xùn)練E的過程，數(shù)學(xué)上等價于對(x)的參數(shù)進(jìn)行極大似然估計，更確切地說是最大化似然函數(shù)的下確界。E的另一優(yōu)勢是生成多樣性比GN更好，缺點(diǎn)是生成數(shù)據(jù)的真實(shí)度和清晰度不如GN。圖表：VE網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)：基于流的模型（Flw-baedModels）E的訓(xùn)練目標(biāo)是最大化似然函數(shù)的下確界然而優(yōu)化函數(shù)的下確界不等于優(yōu)化函數(shù)本身基于流的模型（以下簡稱流模型）的訓(xùn)練目標(biāo)是最大化似然函數(shù)本身，在數(shù)學(xué)上相比E更嚴(yán)格。NICE被認(rèn)為是流模型的奠基之作（盡管全文未出現(xiàn)fo，由Dnh等人于年提出，被5年ICLR會議接收。此后學(xué)者陸續(xù)提出ReaN、Gow等流模型，生成能力得到進(jìn)一步提升。流模型的本質(zhì)是學(xué)習(xí)隨機(jī)變量和真實(shí)數(shù)據(jù)之間的概率分布轉(zhuǎn)換關(guān)系。假設(shè)隨機(jī)變量z服分布pZ()真實(shí)數(shù)據(jù)x服從分布(xE學(xué)習(xí)的是Z()的均值和方差而流模型中Z()是標(biāo)準(zhǔn)正態(tài)分布()學(xué)習(xí)的是x和之間的雙射關(guān)系＝f(x與＝f-()其中f必須是可逆函數(shù)。此時，f相當(dāng)于編碼器，反函數(shù)f1相當(dāng)于解碼器。流模型訓(xùn)練過程中，實(shí)際訓(xùn)練的是解碼器f-，可記為G，一般為神經(jīng)網(wǎng)絡(luò)。根據(jù)變量替定理，生成數(shù)據(jù)x的對數(shù)似然函數(shù)可以顯式地表達(dá)為(G-(x))ogdet(J-)，其中J-1代表解碼器反函（即編碼器G-1的雅可比矩陣神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最大化對數(shù)似然函數(shù)。訓(xùn)練完成后，將高斯分布隨機(jī)變量z送入解碼器，即可得到生成數(shù)據(jù)x＝G)。通常單個解碼器G不足以實(shí)現(xiàn)隱變量z和數(shù)據(jù)x之間的分布轉(zhuǎn)換，可以堆疊一系列解碼G、G、……、G，此時生成過程x＝G(…G(G()))，如同連續(xù)的數(shù)據(jù)流，因此得名流模型。流模型的重要假設(shè)是解碼器G可逆，并非所有神經(jīng)網(wǎng)絡(luò)都滿足可逆性，網(wǎng)絡(luò)結(jié)構(gòu)要特別設(shè)計，如引入仿射耦合層等。流模型的優(yōu)點(diǎn)是邏輯完備，并且隱變量z具有高級的語義屬性，例如將笑臉對應(yīng)的隱變減去普通人臉對應(yīng)的隱變量，即可得到表征笑容的隱變量。但流模型參數(shù)量偏大，且在生成效果上相比GN和E沒有顯著優(yōu)勢，一直沒有成為生成模型的主流。圖表：基于流的模型網(wǎng)絡(luò)示意圖和損失數(shù)：擴(kuò)散模型（DffusionModl）擴(kuò)散模型的思想誕生于5年0年DDP（DenoisngDfusonrobablstcMdel）實(shí)現(xiàn)高分辨率圖像生成，擴(kuò)散模型開始逐漸取代GN，成為生成模型的主流。222年OpAI將其改進(jìn)模型應(yīng)用于第二代文本圖像生成工具DL·E2上，擴(kuò)散模型憑借其強(qiáng)大的生成能力隨IGC一同成功“出圈”為人熟知。與流模型類似擴(kuò)散模型同樣包含編碼-解碼的過程擴(kuò)散模型的特殊之處在于編碼和解碼過程并“一步到位而是經(jīng)過一系列“小步慢走實(shí)現(xiàn)的。以生成過程即解為例E直接學(xué)習(xí)隱變量z下真實(shí)數(shù)據(jù)x的似然分布(x)從隨機(jī)變量z可直接生成；擴(kuò)散模型將該過程拆解為T步，高斯噪音z經(jīng)過“擴(kuò)散”依次得到x-、x-、…、x，最終生成x。編碼過程從真實(shí)數(shù)據(jù)x出發(fā)，每步添加高斯噪聲，依次得到x、x、…、x-、T。當(dāng)擴(kuò)散步數(shù)足夠多時T可視作高斯分布隨機(jī)變量該過程也稱為前向擴(kuò)散不涉及神經(jīng)網(wǎng)絡(luò)和參數(shù)訓(xùn)練。解碼過程從高斯噪音z出發(fā)每步訓(xùn)練神經(jīng)網(wǎng)絡(luò)依次預(yù)測x-x-…xx0即為生成數(shù)據(jù)x神經(jīng)網(wǎng)絡(luò)的作用是降噪輸入為x原始擴(kuò)散模型的預(yù)測目標(biāo)為降噪后的數(shù)據(jù)x-DDPM的預(yù)測目標(biāo)為前向擴(kuò)散時添加的噪音εt減ε可得x-DDPM的網(wǎng)絡(luò)結(jié)構(gòu)為U-Nt，輸入和輸出數(shù)據(jù)維度一致。各步神經(jīng)網(wǎng)絡(luò)共享參數(shù)，DDPM的輸入還增加tmeembdng，表征當(dāng)前進(jìn)行到擴(kuò)散過程的哪一步。擴(kuò)散模型的優(yōu)點(diǎn)是生成質(zhì)量優(yōu)于，多樣性和穩(wěn)定性優(yōu)于GN，缺點(diǎn)是對算力要求高，生成效率低。近年來，學(xué)者陸續(xù)從提高生成效率、提升泛化能力等角度提出改進(jìn)，在計算機(jī)視覺、自然語言處理、時序數(shù)據(jù)建模等領(lǐng)域大放異彩。作為新涌現(xiàn)出的生成模型，擴(kuò)散模型具有廣闊的發(fā)展前景和應(yīng)用價值。圖表：M擴(kuò)散模型結(jié)構(gòu)：生成數(shù)據(jù)如何應(yīng)用于量化投資？生成什么金融數(shù)據(jù)？時間序列數(shù)據(jù)：金融時間序列數(shù)據(jù)生成是生成模型在量化投資領(lǐng)域的研究熱點(diǎn)。東京大學(xué)kaashi等人219年使用GN生成標(biāo)普0指數(shù)長達(dá)0年的日度價格序列，并證實(shí)GN生成的資產(chǎn)價格序列能夠復(fù)現(xiàn)尖峰厚尾、波動率聚集等真實(shí)序列的典型化事實(shí)。富國銀行Fu等人9年使用GN生成美股日度收益率序列以及美國GD、CI等宏觀指標(biāo)序列。JPMrgnBuher等人0年使用AE生成不同尺度的資產(chǎn)價格序列，并指出E相比其他生成模型更適用于小樣本集場景下的生成（盡管文中未對比其他模型。華泰金工團(tuán)隊在《人工智能：生成對抗網(wǎng)絡(luò)GN初探（0--）中初次嘗試將GN應(yīng)用于單資產(chǎn)價格序列生成，在《人工智能WN應(yīng)用于金融時間序列生成》（0--2中使用WN提升生成真實(shí)性和多樣性《人工智能WGN生成：從單資產(chǎn)到多資產(chǎn)（--中實(shí)現(xiàn)多資產(chǎn)價格序列生成總的來看時間序列生成技術(shù)目前較為成熟，模型以GN為主，擴(kuò)散模型可能是下一階段的重要方向。圖表：WGN生成標(biāo)普0月頻價格序列生成序列生成序列1生成序列2生成序列3生成序列4歸一化歸一化格864200月份，K線圖像數(shù)據(jù)在學(xué)術(shù)領(lǐng)域圖像生成是生成模型“老本行香港科技大學(xué)Wng等人0年發(fā)表GNtck:UStockForecastngwthGAN-GeeratedCandlestcks使用條件深度卷積GN模型，基于美股歷史5日K線圖，生成未來5日K線圖，再結(jié)合歷史5日OHLC數(shù)據(jù)（開高低收盤價，使用卷積雙向LTM預(yù)測未來股價。盡管論文中預(yù)測效果不錯我們認(rèn)為K線圖和OHLC序列包含的信息一致K線圖相比OHLC還存在冗余，生成K線圖并用K線圖預(yù)測的必要性存疑，論文的創(chuàng)新性大于實(shí)用性。圖表：GN生成K線圖Wgtl.(00)GANStick:USStockrcstingithANGnatdCalesticks，截面數(shù)據(jù)：截面數(shù)據(jù)是因子投資中常用的數(shù)據(jù)組織形式。未見到直接生成因子收益組合截面數(shù)據(jù)的研究但金融場景下有生成類似特征標(biāo)簽組合的研究美國運(yùn)通的fmov等0年發(fā)表UsngGeeratveAdversarialNetworkstoyntesiertfcalFnncalDatsets，使用CDRAGN模型生成信用卡風(fēng)險分析數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，生成的截面數(shù)據(jù)和真實(shí)數(shù)據(jù)的分布接近，并且使用生成數(shù)據(jù)訓(xùn)練的監(jiān)督學(xué)習(xí)模型表現(xiàn)也和真實(shí)數(shù)據(jù)訓(xùn)練得到的模型接近。作者指出，生成截面數(shù)據(jù)相比時間序列、圖像數(shù)據(jù)的難點(diǎn)在于截面數(shù)據(jù)的異質(zhì)性如變量類型范圍分布不一致存在缺失值等需要事先進(jìn)行嚴(yán)格的數(shù)據(jù)預(yù)處理。訂單簿數(shù)據(jù)：市場微觀數(shù)據(jù)也可以由生成模型模擬。臺灣交通大學(xué)uo等人1年發(fā)表ImrovingGenraliatonnRenforceentLernng–asedradngbyUsngaGeeratveAdversarialMrketodl，以CGN和WGN模型為基礎(chǔ)，構(gòu)建限價訂單簿生成器LO-GN基于歷史訂單流模擬未來買單和賣單進(jìn)而訓(xùn)練強(qiáng)化學(xué)習(xí)組合優(yōu)化模型，結(jié)果表明LO-GN的生成效果和回測表現(xiàn)優(yōu)于其他生成方法。強(qiáng)化學(xué)習(xí)應(yīng)用于量化投資的難點(diǎn)在于智能體和環(huán)境缺乏真實(shí)互動，從而限制智能體對環(huán)境的探索，訂單簿生成模型可以實(shí)現(xiàn)對市場的模擬，相當(dāng)于站在“上帝視角”再造市場，未來或有較高的應(yīng)用價值。圖表：基于限價訂單簿生成器OGN的強(qiáng)化學(xué)習(xí)組合優(yōu)化模型：Kotl.22)IpovingGnrlitininRinfceterigBsedaingbyUsingaGnativeAvrsilrktMl，生成數(shù)據(jù)怎么用？訓(xùn)練模型：當(dāng)機(jī)器學(xué)習(xí)訓(xùn)練樣本稀缺時，可能造成訓(xùn)練不穩(wěn)定，此時生成數(shù)據(jù)是很好的補(bǔ)充。前述uo等（）即采用生成訂單簿數(shù)據(jù)訓(xùn)練強(qiáng)化學(xué)習(xí)模型。UCL的oshiama等人9年發(fā)表GeeratvedversarialNetworksforFnancalradngtratgiesFn-unngadCombnation訓(xùn)練GN生成股指價格序列并使用生成序列訓(xùn)練回歸樹和神經(jīng)網(wǎng)絡(luò)擇時策略。此類研究的挑戰(zhàn)在于，生成數(shù)據(jù)相比真實(shí)數(shù)據(jù)可能并未提供增量信息，使用生成數(shù)據(jù)訓(xùn)練模型的理論基礎(chǔ)是否扎實(shí)有待進(jìn)一步探討。檢驗(yàn)?zāi)Ｐ停簜鹘y(tǒng)量化研究僅使用真實(shí)數(shù)據(jù)回測評估策略好壞，存在回測過擬合風(fēng)險，而生成數(shù)據(jù)有助于提升模型檢驗(yàn)的效力。華泰金工《人工智能：生成對抗網(wǎng)絡(luò)GN初探》（0--0）中，我們使用GN模擬多組“平行世界，觀察真實(shí)世界表現(xiàn)好的策略在平行世界里是否依然穩(wěn)健以此評估策略過擬合程度前述oshiama（9和華泰金工《人工智能：對抗過擬合：cGN應(yīng)用于策略調(diào)參（1--）兩項研究根據(jù)海量生成數(shù)據(jù)回測結(jié)果篩選擇時策略參數(shù)，均發(fā)現(xiàn)策略表現(xiàn)優(yōu)于僅根據(jù)單一真實(shí)數(shù)據(jù)回測結(jié)果篩選的參數(shù)。預(yù)測收益GN的變式之一CGN可在給定的條件下進(jìn)行生成從而使生成模型兼具預(yù)能力陸軍工程大學(xué)Zhu等人8年基于A股歷史分鐘線數(shù)據(jù)生成未來分鐘線并預(yù)測分鐘級別收益率；中國海洋大學(xué)Zhng等人219年在日頻數(shù)據(jù)上進(jìn)行了測試。此類研究的挑戰(zhàn)在于，收益率本身信噪比低，僅靠行情數(shù)據(jù)訓(xùn)練監(jiān)督學(xué)習(xí)模型尚且有難度，生成模型并未提供增量信息，其預(yù)測可靠度有待進(jìn)一步考察。預(yù)測風(fēng)險相比收益率預(yù)測風(fēng)險預(yù)測更具可行性前述Fu（9生成收益率序列后，進(jìn)而計算資產(chǎn)在險價值aR和預(yù)期損失相當(dāng)于用生成模型替換傳統(tǒng)蒙特卡洛模擬IMrani等人8年發(fā)表GN:PortfolonaysswthGeeratveAdversarialNetwrks，華泰金工1年發(fā)布報《人工智能cGN應(yīng)用于資產(chǎn)配置（--1兩項研究使用CGN基于歷史收益率序列生成多組未來收益率序列，進(jìn)而計算生成序列的協(xié)方差矩陣，作為預(yù)期風(fēng)險的度量，并用于風(fēng)險平價策略，結(jié)果表明生成模型方法優(yōu)于用傳統(tǒng)歷史波動率計算協(xié)方差矩陣。期權(quán)定價：期權(quán)定價的核心是預(yù)測波動率，JPMrganWese等人9年發(fā)表DeepHedgng:LarnngtoimlateEqityOptonarkets使用生成模型預(yù)測期權(quán)隱含波動率。該研究將期權(quán)價格轉(zhuǎn)為D（screteocalvoatites使用GN預(yù)測不同到期日和不同行權(quán)價的DV網(wǎng)格由于預(yù)測網(wǎng)格效率較低論文提出用CA對DV網(wǎng)格降維用GN預(yù)測降維后的D。結(jié)果表明，用GN預(yù)測DV的MSE，在峰度等指標(biāo)優(yōu)于其他模型。華泰金工團(tuán)隊自0年5月以來發(fā)布0篇報告，探討以GN為代表的生成模型在量化投資中的應(yīng)用，其他模型諸如、擴(kuò)散模型涉足較少。隨著IGC、ChaGT帶動生成模型熱潮，我們認(rèn)為以下方向具備探索價值：()擴(kuò)散模型的運(yùn)用；()高頻數(shù)據(jù)的生成。圖表：華泰金工生成模型研究：參考文獻(xiàn)rudae,M.,vn,.,Clark,J.,oe,H.,ckerse,.,&Garfnke,.,eta.(201).Themacosusefartfcialntelgece:forecastin,preentio,andmtgton.uehle,H.,Horath,.,os,.,rrbs,I..,&Wo,.(202).Adata-drienmktsmuatrformaldtaenvromets.arXvpreprintarX:206.1448.Dnh,L.,ruee,D.,&engio,..(2014).Nce:nn-inarndepndetcmpnntsestmato.arXve-prnts.fmo,D.,Xu,D.,on,L.,Nefeo,.,&nanakrsha,A..(220).Usnggnratieadersarialnetworkstosnthesieartfcalfnancaldatasets.rXi.Fu,R.,Chen,J.,Zeng,.,Zhang,.,&ujiato,A..(209).meserissmuatonbycodtioalgeeratveadversarialnet.arX.Godfelo,I.,ouget-baie,J.,Mra,M.,Xu,.,Warde-Farle,D.,Oa,.,Courvle,.,&engio,.(21).Geeratiedersaralnts.Inroceedinsofthe2thIntrnatioalCoferencenNuralIformatonrocessngSstems-oume2(S).MTrss,Cmg,M,US,22268.Ho,J.,Jan,A.,&bbe,..(202).Deosngdfusonprobablstcmoes.ngma,D..,&Weng,M..(204).Auto-encodngariationalbaes.oshiama,.,Frooze,N.,&reeve,..(2019).Geeratieadersarialnetorksforfnncaltraingstrategiesfne-tunngandcombnaton.rX.u,C.H.,Che,C..,Ln,.J.,&Huang,.H..(221).Impronggnraliationinrenforcemeterning–bsedtradngbyusngagneratveaversarialmaketmoe.IEEccess,(9),1-1.MraniG.,etal.201.AGN:Portfooaalsswthgneratieadersarialnetwork.apers109.0578,arX.hahm,.R.,Deke,.,&Mchael,..(21).Sinan:lernngaeneratiemoelfrmasnenturalmae.IE.oh-Dcksten,J.,Wes,..,Mheswaranathn,N.,&Ganu,..(21).Deepusupervsedernngsngnoequlbriumtermodnmcs.JMR.org.kaash,.&Che,.&aaka-Ish,.(209).Mdelngfnacialtme-seesthgnratieadersarialnetorks.hsca:tatstcalMchancsandtsppcatons.27.1226.1.106/j.phsa.201.1126.W,J.,a,.,ommasa,R.,Rafe,C.,Zoph,B.,Borgaud,.,...&Fedus,.22).mergentabltiesofargelaguaemoes.arXvprepritarXv:206.0782.Wse,M.,a,L.,Wod,.,&uehe,H.(219).Deephdgng:lernngtosmuateeutyotonmakets.arXivprepritarXv:11.0100.Wn,M.H.,Le,L.H.,&Hu,.(220).GNtck:USstockforecastngwthGN-gneratedcandestcks.ag,L.,Zhag,Z.,on,.,Hon,.,Xu,R.,Zhao,.,ha,.,Zhag,.,Cu,.&ang,M.(202).DfusionMdes:AComprehenseSurveyofMthosandppcatons.0.4850/arXi.220.079.atT對量化投資影響幾何？前文我們詳細(xì)分析了ChaGT的模型原理以及與之類似的生成模型的應(yīng)用，現(xiàn)在回到ChaGT模型應(yīng)用本身我們自然想問在量化投資領(lǐng)域ChaGT可能會帶來怎樣的影響不妨讓我們先把這個問題拋給ChaGT自身，讓其進(jìn)行一段“自我介紹，由此再激發(fā)我們的思考。三省吾身：hatGPT的自我拷問量化投資始于Mkotz模型與資本資產(chǎn)定價理論，再至T和Fama-Frach三因子模型，而后多因子選股體系日臻完善，再到近年機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在量化投資中的火熱。從上世紀(jì)五十年代發(fā)展至今理論模型和硬件設(shè)備的迭代更新帶動著量化投資的不斷變革作為NP發(fā)展第三階段的標(biāo)志性產(chǎn)物ChaGT所帶來的人機(jī)交互體驗(yàn)更上一層樓全世界似乎都在期待它對于每個行業(yè)的革新和勞動力的解放，量化投資領(lǐng)域自然也不例外?！癈hatGT可能對量化投資帶來什么樣的影響？，它自己給出的答案是這樣的：圖表：haGPT回答：haPT對量投資可能帶來怎樣的影響：ChtPT，ChaGT列舉出了五點(diǎn)其對量化投資的影響，一如htGT在其他領(lǐng)域的部分回答中帶給人的感受一樣，似乎條理清晰，但卻言之無物、過于寬泛。針對其中的每一點(diǎn)，我們希望ChaGT能夠給出更加詳細(xì)的解釋，因此我們繼續(xù)提問：圖表：haGPT回答：能否針對上述響展開說明？：ChtPT，ChaGT進(jìn)一步的解釋說明并未跳脫以自我為中心的范疇，且上述回答不免讓人感到ChaGT仍舊有些泛泛而談并未達(dá)到我們對其原有的想象和期待ChtGT從訓(xùn)練語中似乎學(xué)習(xí)到了量化投資的關(guān)鍵概念甚至于飽“合規(guī)意識地在最后給出了風(fēng)險提示，但對于從業(yè)者更想獲知的切中肯綮的應(yīng)用細(xì)節(jié)卻閉口不談。綜合來說，ChaGT對自己的認(rèn)知雖然有限但也頗為清晰，也確實(shí)從自身應(yīng)用的角度給了一些具有參考意義的觀點(diǎn)。但我們認(rèn)為上述回答的認(rèn)知仍然不夠深刻與全面，就如同人類語言誕生之初，某個原始人類的喉部發(fā)出某個音節(jié)，可以被解讀為生物學(xué)上一種全新物種的誕生，但卻難以想象到后世千萬年語言所交織起的燦爛人類文明才是其更深遠(yuǎn)的意義所在我們認(rèn)為CGT對量化投資所帶來的影響也必不止于此對此我們嘗試進(jìn)行一些補(bǔ)充和討論。CatGPT所生成的海量文本是柄雙刃劍ChaGT的核心競爭力之一在于它的文本生成功能，目前已經(jīng)有海外機(jī)構(gòu)利用htGT編寫新聞稿的案例因此用ChaGT生成財經(jīng)新聞財經(jīng)論壇問答乃至于賣方分析師用來寫投資報告或也只不過是時間問題。ChaGT在部分場景下生成的文本在語義和邏輯做到了和人類近乎一致，這種以假亂真的能力或?qū)氐赘淖儌鹘y(tǒng)資訊行業(yè)。我們進(jìn)行如下新聞文本生成實(shí)驗(yàn)。首先請讀者閱讀下面的兩篇財經(jīng)新聞快訊，內(nèi)容主要與3年2月3日我國股市的融資買入情況相關(guān)。圖表：haGPT偽造財經(jīng)新聞：孰真假？：證券時報， ChaGPT，以上兩篇快訊中，一篇來自于證券時報網(wǎng)2月4日的報道，另一篇則由ChaGT自主成，各位讀者能否分辨其中的真假？雖然略加思考后我們可以得出正確的答案，但隨意瀏覽的情況下實(shí)難做出準(zhǔn)確的判斷，而瀏覽新聞時大部分情況下我們并不會刻意去辨別新聞?wù)婕倥c否。遑論目前可得的還只是初代ChaGT模型，猶如paGO問世之初，李世尚有一戰(zhàn)之力，而版本迭代后的paGO以“大師（Mster”之名屠戮圍棋高手以后，人類是否還能望其項背？或許不久以后的ChaGT迭代版本也將上演重復(fù)的戲碼。上述問題的正確答案是第二篇報道是證券時報所寫而第一篇是在和ChaGT對話中入部分關(guān)鍵字引導(dǎo)生成的結(jié)果在可預(yù)見的未來當(dāng)ChaGT大量滲透傳統(tǒng)資訊行業(yè)以后，新聞信息的真實(shí)性再也無從保證，文本數(shù)據(jù)的增長速度和增長量或?qū)⒊跸胂?。這種海量的文本對量化投資研究來說，風(fēng)險與機(jī)遇同在。利好在于可供學(xué)習(xí)的樣本量增加數(shù)據(jù)量和數(shù)據(jù)不平衡度是制約機(jī)器學(xué)習(xí)模型訓(xùn)練和預(yù)測準(zhǔn)確度的關(guān)鍵因素。下圖展示了數(shù)據(jù)量及數(shù)據(jù)不平衡度對于不同機(jī)器學(xué)習(xí)模型的分類準(zhǔn)確度的影響其中aNNet代表神經(jīng)絡(luò)模型對于模型評價所采用的統(tǒng)計量指標(biāo)為?????（該指標(biāo)數(shù)值越大表示模型的預(yù)測效果越好，該指標(biāo)的具體計算公式及其他模型名稱可參考附錄。圖表：I模型受到樣本量與樣本不平衡的影響：TeEfctsofClassIblacendTiingDataSieonClssifierLrin:AnEiiclStuy，該實(shí)驗(yàn)基于二分類樣本共有9個不同的數(shù)據(jù)集涵蓋氣候物理等多個領(lǐng)域包括圖片文本等多種形式，實(shí)驗(yàn)結(jié)果具有一定的代表性。對于左圖來說，橫坐標(biāo)代表實(shí)驗(yàn)輪次，每輪實(shí)驗(yàn)用于訓(xùn)練的樣本量不斷減少；而對于右圖來說，橫坐標(biāo)表示正負(fù)樣本比例，數(shù)值越接近于1表示樣本的不平衡度越低?？梢缘贸龅慕Y(jié)論是，無論是淺度學(xué)習(xí)模型還是深度學(xué)習(xí)模型，分類的準(zhǔn)確度都與樣本量成正比與樣本的不平衡度成反比類比至量化投資領(lǐng)域未來ChaGT生成的海量財經(jīng)聞類文本或也將助力文本挖掘類量化交易策略的訓(xùn)練，提供更加“另類”的數(shù)據(jù)。利空在于樣本噪音或?qū)⒋蠓嵘龜?shù)據(jù)質(zhì)量對于數(shù)據(jù)分析和建模來說都是直接影響最終投資決策的關(guān)鍵性因素。下圖展示了訓(xùn)練集和測試集樣本數(shù)據(jù)質(zhì)量對于神經(jīng)網(wǎng)絡(luò)模型最終預(yù)測準(zhǔn)確度的影響，其中（nbsouteercentError作為模型的評價指標(biāo)Fractonrror表示對于測試（或訓(xùn)練集）數(shù)據(jù)加入干擾的數(shù)據(jù)比例，而montrror表示對于干擾數(shù)據(jù)的干擾幅度。該實(shí)驗(yàn)的場景為基金凈值的預(yù)測對其他量化投資領(lǐng)域而言實(shí)驗(yàn)結(jié)果也具有一定的參考價值。圖表：數(shù)據(jù)質(zhì)量對神經(jīng)網(wǎng)絡(luò)預(yù)測準(zhǔn)確度影響：Dtalityinerlntwokdls:fectoferrteadaitdefrororeictiveaccucy，可以得出的結(jié)論是，對于神經(jīng)網(wǎng)絡(luò)模型來說，當(dāng)干擾數(shù)據(jù)量較少和干擾幅度較弱時（例如montrror=5%，F(xiàn)ractionrror=5%，模型的泛化能力和魯棒性會得到一定程度的提高。但是當(dāng)數(shù)據(jù)的干擾程度不斷增大時，模型的預(yù)測準(zhǔn)確度發(fā)生大幅下降。如果交易對手方或網(wǎng)絡(luò)中一些不負(fù)責(zé)任的編輯利用ChaGT生成大量歪曲事實(shí)甚至黑白顛倒的文稿這些良莠不齊的文本或?qū)⒔o文本挖掘相關(guān)的策略帶來比較嚴(yán)重的影響。CatGPT替代量化研究員：路途還有多遙遠(yuǎn)？3年2月1日，ChaGT通過了谷歌代碼工程師的面試，為本就炙手可熱的語言模型繼續(xù)帶來一波討論熱潮。從網(wǎng)絡(luò)上的眾多測試來看，CaGT除了寫作能力優(yōu)秀，其“代碼功底”也相當(dāng)扎實(shí)，不僅寫代碼速度快，而且“精通”各種編程語言。下面我們通過量化投資研究中的兩個具體場景，看看ChtGT的表現(xiàn)究竟如何。實(shí)驗(yàn)：計算夏普比率利用ChaGT計算夏普比率的指令和生成代碼如下圖所示：圖表：haGPT回答：夏普比率計算碼：ChGPT，本地運(yùn)行上述代碼能夠得到正確的計算結(jié)果。但是如果將我們的要求微調(diào)，刪除數(shù)據(jù)文件名稱或列名，ChaGT返回的代碼大概率會因?yàn)閿?shù)據(jù)結(jié)構(gòu)不匹配而導(dǎo)致報錯。由此不難現(xiàn)一個潛在的隱患——指令的漏洞可能會導(dǎo)致ChtGT生成代碼的編譯失敗。上述案例中，計算目標(biāo)和數(shù)據(jù)較為簡單，生成代碼前尚且可以窮盡絕大部分可能報錯的關(guān)鍵點(diǎn)。但是如果將量化投資研究比喻成樂高模型，計算夏普比率則只是其中的一塊積木。因此在更加復(fù)雜的情境下，我們繼續(xù)嘗試使用ChaGT生成相關(guān)的代碼并觀測。實(shí)驗(yàn)：均線擇時策略我們的目標(biāo)是利用ChaGPT生成均線擇時策略的代碼并繪制策略凈值圖像輸入的指令為“還是上述數(shù)據(jù)和要求，生成均線擇時策略的代碼，并畫圖出凈值圖像，要求使用多個頻率的均線窗口取其中的最優(yōu)結(jié)果省略模塊導(dǎo)入和圖像生成等環(huán)節(jié)僅截取心計算代碼如下所示：圖表：haGPT回答：均線擇時策略碼：ChGPT，此次實(shí)驗(yàn)CGT生成的代碼并沒有成功運(yùn)行其中有三處錯誤導(dǎo)致編譯失敗如上圖標(biāo)記所示，每處標(biāo)記的錯誤原因?yàn)椋篊htGT無法根據(jù)列名自動識別日期，需要在指令中明確日期序列的列名。ChtGT無法根據(jù)給定序列長度自動選擇長短均線的參數(shù)該實(shí)驗(yàn)數(shù)據(jù)中僅有2個交易日。長均線的參數(shù)過大時，不僅結(jié)果沒有太大價值，而且為后續(xù)編譯失敗埋下了隱患。ChtGT對代碼的感知相對有限此處錯誤也是編譯失敗的主要原因計算移動平均值時，ChtGT將計算結(jié)果保存在變量“”中，當(dāng)臨時變量“s=，l=0”時，長期移動平均值前9行沒有計算結(jié)果。因此對“”使用dropna會導(dǎo)致其刪除前29行的數(shù)據(jù)，后續(xù)計算無法進(jìn)行因而報錯。代碼的嚴(yán)謹(jǐn)性與ChtGT所帶來的人機(jī)交互體驗(yàn)形成一種天然的對抗通過上述兩個實(shí)驗(yàn)不難發(fā)現(xiàn)，如果可以發(fā)出相對準(zhǔn)確的指令，ChaGT具有向“量化研究員”發(fā)展的潛力但一段代碼中的錯誤往往出人意料因此指令大多也難以達(dá)到ChaGT的要求如果為ChaGT能夠生成準(zhǔn)確的代碼而對指令形成一種范式，對于當(dāng)前的使用體驗(yàn)無疑是一定程度上的人為降格。另一方面，以上兩個實(shí)驗(yàn)的代碼量相對較少，而利用機(jī)器學(xué)習(xí)模型或深度學(xué)習(xí)模型