金工深度研究-SAM：提升AI量化模型的泛化性能-華泰證券

免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。1華泰研究華泰研究研究員SACNo.S0570516010001SFCNo.BPY421研究員SACNo.S0570520080004SFCNo.BRB318聯(lián)系人SACNo.S0570124070069linxiaoming@+(86)75582080134hekang@+(86)2128972202puyanheng@+(86)2128972228尖銳極值點與平坦極值點本研究介紹一種低成本、高通用性的正則化方法——SharpnessAwareMinimization（SAM從優(yōu)化器的角度提升模型的泛化性能。在GRU基線模型的基礎(chǔ)上，采用傳統(tǒng)優(yōu)化器AdamW、SAM優(yōu)化器及其四種改進(jìn)版本進(jìn)行對照實驗。結(jié)果表明應(yīng)用SAM優(yōu)化器能顯著提升模型預(yù)測因子的多頭端收益，且基于各類SAM模型構(gòu)建的指數(shù)增強(qiáng)組合業(yè)績均顯著優(yōu)于基線模型。其中，GSAM模型在三組指數(shù)增強(qiáng)組合上均取得良好表現(xiàn)，而ASAM模型2024年表現(xiàn)突出。尖銳極值點與平坦極值點SAM優(yōu)化器通過追求“平坦極小值”，增強(qiáng)模型魯棒性SGD、Adam等傳統(tǒng)優(yōu)化器進(jìn)行梯度下降時僅以最小化損失函數(shù)值為目標(biāo)，易落入“尖銳極小值”，導(dǎo)致模型對輸入數(shù)據(jù)分布敏感度高，泛化性能較差。SAM優(yōu)化器將損失函數(shù)的平坦度加入優(yōu)化目標(biāo)，不僅最小化損失函數(shù)值，同時最小化模型權(quán)重點附近損失函數(shù)的變化幅度，使優(yōu)化后模型權(quán)重處于一等改進(jìn)算法被陸續(xù)提出，從參數(shù)尺度自適應(yīng)性、擾動方向的準(zhǔn)確性等方面進(jìn)一步增強(qiáng)了SAM優(yōu)化器的性能。資料來源：華泰研究SAM優(yōu)化器能降低訓(xùn)練過程中的過擬合，提升模型的泛化性能SAM模型損失函數(shù)地形圖SAM優(yōu)化器設(shè)計初衷是使模型訓(xùn)練時在權(quán)重空間中找到一條平緩的路徑進(jìn)行梯度下降，改善模型權(quán)重空間的平坦度。可通過觀察模型訓(xùn)練過程中評價指標(biāo)的變化趨勢以及損失函數(shù)地形圖對其進(jìn)行驗證。從評價指標(biāo)的變化趨勢分析，SAM模型在驗證集上IC、IR指標(biāo)下降幅度較緩，訓(xùn)練過程中評價指標(biāo)最大值均高于基線模型；從損失函數(shù)地形分析，SAM模型在訓(xùn)練集上損失函數(shù)地形相較基線模型更加平坦，測試集上損失函數(shù)值整體更低。綜合兩者，SAM優(yōu)化器能有效抑制訓(xùn)練過程中的過擬合，提升模型的泛化性能。SAM模型損失函數(shù)地形圖SAM優(yōu)化器能顯著提升AI量化模型表現(xiàn)資料來源：華泰研究GSAM模型中證1000累計超額本研究基于GRU模型，對比AdamW優(yōu)化器與各類SAM優(yōu)化器模型表現(xiàn)。從預(yù)測因子表現(xiàn)看，SAM優(yōu)化器能提升因子多頭收益；從指數(shù)增強(qiáng)組合業(yè)績看，SAM模型及其改進(jìn)版本模型在三組指數(shù)增強(qiáng)組合業(yè)績均顯著優(yōu)于基線模型。2016-12-30至2024-09-30內(nèi)，綜合表現(xiàn)最佳模型為GSAM模型，單因子回測TOP層年化收益高于31%，滬深300、中證500和中證1000增強(qiáng)組合年化超額收益分別為10.9%、15.1%和23.1%資料來源：華泰研究GSAM模型中證1000累計超額風(fēng)險提示：人工智能挖掘市場規(guī)律是對歷史的總結(jié)，市場規(guī)律在未來可能失效。深度學(xué)習(xí)模型受隨機(jī)數(shù)影響較大。本文回測假定以vwap價格成交，未考慮其他影響交易因素。注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。2正文目錄導(dǎo)讀 5SAM優(yōu)化器與模型泛化性能 6正則化方法 6傳統(tǒng)優(yōu)化器及其局限性 7SharpnessAwareMinimization 8什么是損失函數(shù)“地形”？ 8為什么平坦的極值點處模型的泛化性能較優(yōu)？ 8如何追求平坦的極值點？ 9SAM優(yōu)化器的改進(jìn) 10ASAM 10GSAM 11GAM 12FSAM 12實驗方法 13基線模型 13SAM優(yōu)化器 14實驗結(jié)果 15模型收斂性 15損失函數(shù)地形 15因子表現(xiàn) 17指數(shù)增強(qiáng)組合表現(xiàn) 18滬深300增強(qiáng)組合 18中證500增強(qiáng)組合 19中證1000增強(qiáng)組合 212024年業(yè)績表現(xiàn) 22 24參考文獻(xiàn) 25風(fēng)險提示 25免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。3圖表1：基線模型與GSAM模型累計超額收益（基準(zhǔn)為中證1000指數(shù)） 5圖表2：基線模型與GSAM模型回測績效對比 5圖表3：模型的泛化性能 6圖表4：正則化方法分類匯總 6圖表5：傳統(tǒng)優(yōu)化器匯總 7圖表6：“尖銳極小值”與“平坦極小值”處損失函數(shù)地形示意圖 7圖表7：損失函數(shù)地形示意圖（三維山峰圖形式） 8圖表8：損失函數(shù)地形示意圖（二維等高線形式） 8圖表9：平坦極值點與尖銳極值點對比 9圖表10：SAM算法的兩次梯度下降示意圖 10圖表11：SAM算法的偽代碼 10圖表12：改進(jìn)的SAM算法匯總 10圖表13：SAM與ASAM算法中的擾動半徑 11圖表14：ASAM算法的偽代碼 11圖表15：GSAM優(yōu)化器的梯度下降方向示意圖 11圖表16：GSAM算法的偽代碼 11圖表17：GAM算法中的零階平坦度和一階平坦度 12圖表18：GAM算法的偽代碼 12圖表19：FSAM中的擾動方向分解示意圖 12圖表20：FSAM算法的偽代碼 12圖表21：基線模型網(wǎng)絡(luò)結(jié)構(gòu) 13圖表22：基線模型訓(xùn)練細(xì)節(jié) 13圖表23：SAM優(yōu)化器超參數(shù)設(shè)置 14圖表24：訓(xùn)練過程中驗證集IC變化趨勢 15圖表25：訓(xùn)練過程中驗證集IR變化趨勢 15圖表26：AdamW優(yōu)化器訓(xùn)練軌跡沿途損失函數(shù)地形（訓(xùn)練集） 16圖表27：SAM優(yōu)化器訓(xùn)練軌跡沿途損失函數(shù)地形（訓(xùn)練集） 16圖表28：AdamW優(yōu)化器訓(xùn)練軌跡沿途損失函數(shù)地形（測試集） 16圖表29：SAM優(yōu)化器訓(xùn)練軌跡沿途損失函數(shù)地形（測試集） 16圖表30：單因子測試細(xì)節(jié) 17圖表31：單因子測試結(jié)果 17圖表32：單因子累計RankIC 17圖表33：單因子TOP層回測凈值 17圖表34：分層回測凈值 18圖表35：組合優(yōu)化及回測細(xì)節(jié) 18圖表36：滬深300指增組合回測績效 18圖表37：滬深300指增組合累計超額收益 19圖表38：基線模型與GSAM模型累計超額收益（基準(zhǔn)為滬深300指數(shù)） 19圖表39：中證500指增組合回測績效 20免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。4圖表40：中證500指增組合累計超額收益 20圖表41：基線模型與GSAM模型累計超額收益（基準(zhǔn)為中證500指數(shù)） 20圖表42：中證1000指增組合回測績效 21圖表43：中證1000指增組合累計超額收益 21圖表44：基線模型與GSAM模型累計超額收益（基準(zhǔn)為中證1000指數(shù)） 22圖表45：滬深300指增組合2024年累計超額收益 22圖表46：滬深300指增組合2024年月度超額收益 22圖表47：中證500指增組合2024年累計超額收益 23圖表48：中證500指增組合2024年月度超額收益 23圖表49：中證1000指增組合2024年累計超額收益 23圖表50：中證1000指增組合2024年月度超額收益 23免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。5提升泛化性能是增強(qiáng)AI量化模型表現(xiàn)的關(guān)鍵。對AI量化模型應(yīng)用適當(dāng)?shù)恼齽t化方法，可以進(jìn)一步“強(qiáng)化”模型，提升其泛化性能，讓量化策略的表現(xiàn)更進(jìn)一步。正則化方法的目標(biāo)為引導(dǎo)模型捕捉數(shù)據(jù)背后的普遍規(guī)律，而不是單純地記憶數(shù)據(jù)樣本，從而提升模型的泛化性能。正則化方法種類繁多，其通過改造損失函數(shù)或優(yōu)化器、對抗訓(xùn)練、擴(kuò)充數(shù)據(jù)集、集成模型等手段，使模型訓(xùn)練過程更加穩(wěn)健，避免模型對訓(xùn)練數(shù)據(jù)的過擬合。本研究介紹一種低成本、高通用性的正則化方法SharpnessAwareMinimization（SAM從優(yōu)化器的角度提升模型的泛化性能。該方法對傳統(tǒng)優(yōu)化器梯度下降的算法進(jìn)行改進(jìn)，提出了魯棒性更強(qiáng)的SAM優(yōu)化器，通過尋找權(quán)重空間內(nèi)的“平坦極小值”，使模型不僅在訓(xùn)練集上表現(xiàn)良好，且在樣本外同樣表現(xiàn)穩(wěn)定。SAM優(yōu)化器提出后，學(xué)術(shù)界陸續(xù)迭代出了各類改進(jìn)的SAM優(yōu)化器，從不同角度進(jìn)一步增強(qiáng)SAM優(yōu)化器的表現(xiàn)。本研究在GRU模型的基礎(chǔ)上應(yīng)用SAM優(yōu)化器及其各類改進(jìn)版本進(jìn)行實驗，結(jié)果表明：1、SAM優(yōu)化器相較于傳統(tǒng)優(yōu)化器在模型訓(xùn)練過程中驗證集上過擬合速度降低，且損失函數(shù)曲面平坦度提升，展現(xiàn)出更強(qiáng)的泛化性能；2、SAM優(yōu)化器及其改進(jìn)版本訓(xùn)練模型預(yù)測因子2016-12-30至2024-09-30內(nèi)多頭組年化收益31.4%，相較于等權(quán)基準(zhǔn)信息比率4.0，相比基線模型提升顯著；3、應(yīng)用SAM優(yōu)化器及其改進(jìn)版本訓(xùn)練模型構(gòu)建指數(shù)增強(qiáng)組合，相較于GRU基線模型提升顯著，滬深300、中證500、中證1000指數(shù)增強(qiáng)組合超額收益提升在1-2pct；4、對比各SAM優(yōu)化器訓(xùn)練模型表現(xiàn)，回測全區(qū)間內(nèi)GSAM模型預(yù)測因子指標(biāo)及指增組合業(yè)績指標(biāo)表現(xiàn)較好，ASAM模型2024年以來表現(xiàn)突出。450%400%350%300%250%200%150%100% 50% 0%-50%2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-30基線回撤（右軸） GSAM回撤（右軸）基線GSAM0%-5%-10%-15%-20%-25%-30%注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究基準(zhǔn)實驗名稱年化收益率年化波動率夏普比率最大回撤Calmar比率年化超額收年化跟蹤誤信息比率超額收益最超額收益相對基準(zhǔn)月滬深300基線GSAM13.0%13.9%19.0%0.680.7326.0%24.8%0.500.56益率5.8%5.8%1.731.731.87大回撤Calmar比率10.2%0.988.7%1.24勝率72.0%73.1%9.9%10.9%中證500基線GSAM12.8%14.0%21.6%21.6%0.590.6532.1%32.8%0.400.4314.0%14.0%6.6%6.7%610.2%1.379.4%1.6073.1%77.4%中證1000基線GSAM15.2%16.8%24.4%24.4%0.620.6934.5%34.2%0.440.4921.4%23.1%7.5%7.4%2.873.128.8%2.459.4%2.4781.7%77.4%注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。6正則化方法（regularization）旨在使模型變得“更簡單”，防止過擬合。機(jī)器學(xué)習(xí)中的一個關(guān)鍵挑戰(zhàn)是讓模型能夠準(zhǔn)確預(yù)測未見過的數(shù)據(jù)，而不僅僅是在熟悉的訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，即降低模型的泛化誤差。正則化的目標(biāo)是鼓勵模型學(xué)習(xí)數(shù)據(jù)中的廣泛模式，而不僅僅記住數(shù)據(jù)本身。正則化方法通過各類手段，使訓(xùn)練后的模型處于最佳狀態(tài)，在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)上取得同樣良好的表現(xiàn)。資料來源：華泰研究正則化方法的形式多樣。其中狹義的正則化通常指顯式正則化方法，即在損失函數(shù)中顯式添加一個懲罰項或約束，降低模型的復(fù)雜性，典型的顯式正則化項包括L1、L2正則化；而廣義的正則化通常指隱式正則化，其含義較為廣泛，在現(xiàn)代機(jī)器學(xué)習(xí)方法中無處不在，包括早停、Dropout、數(shù)據(jù)增強(qiáng)、去極值、多任務(wù)學(xué)習(xí)、模型集成等，幾乎所有致力于增強(qiáng)模型泛化性能的方法都可歸于此類。注：實線框中的正則化方法為顯式正則化，虛線框中的正則化方法為隱式正則化。資料來源：J.D.Prince,Simon.UnderstandingDeepLearning.2023，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。7深度學(xué)習(xí)領(lǐng)域中，優(yōu)化器的選擇對于模型訓(xùn)練的效率和最終性能至關(guān)重要。在眾多優(yōu)化算法中，隨機(jī)梯度下降（SGD）及其變體是最為基礎(chǔ)且廣泛使用的優(yōu)化方法之一。SGD通過逐次或批量更新權(quán)重來最小化損失函數(shù)，盡管簡單有效，但其學(xué)習(xí)率的選擇和振蕩問題是主要局限。為了克服這些問題，Adagrad、RMSprop以及Adam等優(yōu)化器被陸續(xù)提出，有效提升了SGD優(yōu)化器適用性和性能。下表匯總了深度學(xué)習(xí)中常用的傳統(tǒng)優(yōu)化器的特點和局優(yōu)化器公式特點局限SGDJt=▽wtJt=▽w?∑L(yi,f(xi,w))i∈?tηtJt通過每次迭代使用單個或一小批樣本來更新權(quán)重，最小化損失函數(shù)需要手動調(diào)整學(xué)習(xí)率，且調(diào)整不當(dāng)可能導(dǎo)致收斂速度慢或不收斂AdagradJt=▽wL(yt,f(xt,w))st=st?1+J自適應(yīng)學(xué)習(xí)率優(yōu)化算法，為每個參數(shù)提供不同的學(xué)習(xí)率，提升稀疏權(quán)重優(yōu)化魯棒性學(xué)習(xí)率隨著時間的推移而單調(diào)遞減，最終可能變得過小，導(dǎo)致收斂緩慢RMSpropJt=▽wL(yt,f(xt,w))st=Y?st?1+(1?Y)?Jwt=wt?1??J使用指數(shù)移動平均來估計梯度的平方，提升梯度下降的穩(wěn)定性需要調(diào)整學(xué)習(xí)率和指數(shù)衰減因子，調(diào)參復(fù)雜；記錄各參數(shù)滑動窗口內(nèi)梯度值占用內(nèi)存較高AdamJt=▽wL(yt,f(xt,w))vt=β1?vt?1+(1?β1)?Jtst=β2?st?1+(1?β2)?Jwt=wt?1?J結(jié)合了動量法和RMSprop的優(yōu)點，同時使用了梯度的一階矩估計（動量）和二階矩估計（梯度的平方）開始階段的一階和二階矩估計可能有偏差，影響初期的表現(xiàn)AdamWJt=▽wL(yt,f(xt,w))vt=β1?vt?1+(1?β1)?Jtst=β2?st?1+(1?β2)?JJ=ηt?(+λ?wt?1)wt=wt?1?J在Adam的基礎(chǔ)上直接在權(quán)重更新中加入了權(quán)重衰減（L2正則化），而不是作為學(xué)習(xí)率的一部分需要調(diào)整多個超參數(shù)資料來源：華泰研究除了以上匯總的優(yōu)缺點，傳統(tǒng)的優(yōu)化器相比本文介紹的SAM優(yōu)化器還有一個共同的局限：傳統(tǒng)優(yōu)化器通常只考慮最小化訓(xùn)練集上的損失函數(shù)，可能陷入“尖銳極小值”，這些極小值點處雖然訓(xùn)練損失較低，但往往會導(dǎo)致過擬合現(xiàn)象，即模型對訓(xùn)練數(shù)據(jù)過度擬合而泛化性能較差。相比之下，SAM優(yōu)化算法能夠克服這些局限性，在訓(xùn)練時尋找“平坦極小值”，這些極小值不僅在訓(xùn)練集上表現(xiàn)出較低的損失，而且在測試集上也具有較好的泛化性能。資料來源：Lietal.VisualizingtheLossLandscapeofNeuralNets.2018，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。8SharpnessAwareMinimization（SAM）方法最初由Goog提出。該方法的出發(fā)點為對模型進(jìn)行優(yōu)化時，不僅希望優(yōu)化后的模型權(quán)重所處位置損失函數(shù)較小，同時還希望該位置在模型權(quán)重空間中損失函數(shù)的“地形”較為平坦。由此引申出三個問題：什么是損失函數(shù)“地形”？為什么平坦的極值點處模型的泛化性能較優(yōu)？如何追求平坦的極值點？什么是損失函數(shù)“地形”？損失函數(shù)地形即損失函數(shù)值與模型參數(shù)之間的變化關(guān)系。在優(yōu)化問題中，損失函數(shù)可看作以模型參數(shù)為自變量的函數(shù)，用公式表示即Lw(y?,f(x?,w))。對于神經(jīng)網(wǎng)絡(luò)這類具有大量參數(shù)的模型，自變量w為一個高維向量。若不對模型參數(shù)進(jìn)行降維處理，則損失函數(shù)地形為高維空間中的一個曲面，曲面上的每一個點代表一組自變量取值時的損失函數(shù)值。由于高維空間損失函數(shù)曲面難以可視化，作為研究對象不夠直觀，因此通?？蓪δＰ蛥?shù)w降維，通過簡化后的低維空間進(jìn)行可視化和理解。舉例來說，假設(shè)模型中只有一個可變參數(shù)，則此時損失函數(shù)地形即退化為一維的損失函數(shù)曲線；同樣假設(shè)從高維模型參數(shù)w中提取兩個主要分量w1,w2作為模型參數(shù)，即可將損失函數(shù)與參數(shù)之間的變化關(guān)系用二維曲面進(jìn)行表示，這也是最為常見的做法。資料來源：Lietal.VisualizingtheLossLandscapeofNeuralNets.2018，華泰研究資料來源：Lietal.VisualizingtheLossLandscapeofNeuralNets.2018，華泰研究為什么平坦的極值點處模型的泛化性能較優(yōu)？以一維損失函數(shù)曲線為例進(jìn)行說明。下圖展示了兩個形態(tài)不同的極值點，其中左邊的極值點較為“平坦”，即損失函數(shù)隨著模型參數(shù)的變化較小，而右邊“尖銳”的極值點則相反。若模型訓(xùn)練完成后處于右邊的“尖銳”極值點，雖然其在訓(xùn)練數(shù)據(jù)上的損失函數(shù)值較小，但當(dāng)模型在測試數(shù)據(jù)上進(jìn)行實際預(yù)測時，由于測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)之間分布的偏差，預(yù)測結(jié)果將會產(chǎn)生較大誤差。而若模型訓(xùn)練完成后處于左邊的“平坦”極值點，則測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的偏差給模型預(yù)測帶來的影響就相對微小。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。9資料來源：華泰研究如何追求平坦的極值點？SAM優(yōu)化器通過兩次梯度下降，微調(diào)梯度下降的方向來尋找權(quán)重空間中較為平坦的極值點。具體做法為：將傳統(tǒng)的優(yōu)化器的優(yōu)化目標(biāo)從優(yōu)化一個權(quán)重點位置處的損失函數(shù)改為優(yōu)化這個點以及其擾動范圍內(nèi)全部點損失函數(shù)的最大值。用公式表達(dá)即：‖E‖P≤P其中Ls代表優(yōu)化的目標(biāo)函數(shù)，W代表模型權(quán)重，而E則代表權(quán)重點W附近的一個微小擾動值，P為控制該擾動值大小的超參數(shù)。而某權(quán)重點擾動范圍內(nèi)損失函數(shù)最大值的位置其實是已知的。常規(guī)優(yōu)化算法梯度下降時沿著該權(quán)重點處損失函數(shù)的負(fù)梯度方向前進(jìn)，可使損失函數(shù)最速下降。因此，損失函數(shù)最大值的位置的方向即損失函數(shù)的正梯度方向。在該權(quán)重點處沿著損失函數(shù)正梯度方向前進(jìn)一小步的位置即擾動范圍內(nèi)損失函數(shù)最大值處。用公式表達(dá)即：其中，(W)表示的就是損失函數(shù)上升最快的擾動方向，▽W(xué)Ls(W)為損失函數(shù)Ls在W處而分母中的‖▽W(xué)Ls(W)‖2則表示該梯度張量的二階模。將(W)代入LAM(W)中并求梯度，經(jīng)過泰勒展開及近似，就可以得到SAM優(yōu)化算法在訓(xùn)練時每一步實際更新的梯度：即在SAM算法中，每一次梯度下降時用損失函數(shù)Ls在W+(W)處的梯度更新W點處的模型權(quán)重。SAM優(yōu)化器算法流程示意圖和偽代碼如下圖所示。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。10資料來源：Foretetal.Sharpness-AwareMinimizationforEfficientlyImprovingGeneralization.2021，華泰研究資料來源：Foretetal.Sharpness-AwareMinimizationforEfficientlyImprovingGeneralization.2021，華泰研究SAM優(yōu)化器一經(jīng)提出即在學(xué)術(shù)界引起了廣泛關(guān)注。SAM優(yōu)化器通過簡潔有效的算法邏輯增強(qiáng)了模型的泛化性能，但同樣也存在多方面的改進(jìn)空間。許多改進(jìn)版本的SAM優(yōu)化器被陸改進(jìn)方向優(yōu)化器文獻(xiàn)主要貢獻(xiàn)時間性能ASAMAdaptiveSharpness-AwareMinimizationforScale-InvariantLearningofDeepNeuralNetworks提出了與參數(shù)尺度無關(guān)的自適應(yīng)銳度，能夠更好地衡量泛化邊界2021GSAMSurrogateGapMinimizationImprovesSharpness-AwareTraining定義SurrogateGap作為優(yōu)化目標(biāo)，對梯度垂直方向的分量進(jìn)行梯度上升，避免對擾動損失的影響2022GAMGradientNormAwareMinimizationSeeksFirst-OrderFlatnessandImprovesGeneralization引入了一種更強(qiáng)的平坦度度量，第一階平坦度，同時優(yōu)化參數(shù)的零階和一階平坦度2023FSAMFriendlySharpness-AwareMinimization發(fā)現(xiàn)了SAM中全梯度成分對泛化性能的負(fù)面影響，并利用隨機(jī)梯度噪聲來提高泛化性能2024效率ESAMEfficientSharpness-AwareMinimizationforImprovedTrainingofNeuralNetworks提出了隨機(jī)權(quán)重擾動和銳度敏感數(shù)據(jù)選擇方法，在不犧牲泛化性能的前提下提高SAM的效率2022SSAMMakeSharpness-AwareMinimizationStronger:ASparsifiedPerturbationApproach提出一種采用稀疏擾動的方法，通過掩碼減少訓(xùn)練時擾動參數(shù)量，增強(qiáng)優(yōu)化器的性能2022LookSAMTowardsEfficientandScalableSharpness-AwareMinimization提出一種周期性計算內(nèi)層梯度上升的算法，減少SAM的額外訓(xùn)練成本2022RSTRandomizedSharpness-AwareTrainingforBoostingComputationalEfficiencyinDeepLearning提出RST優(yōu)化器，在每個訓(xùn)練迭代中執(zhí)行伯努利試驗來隨機(jī)選擇使用基礎(chǔ)優(yōu)化器（如SGD）還是SAM進(jìn)行優(yōu)化，節(jié)省計算成本。2023資料來源：GoogleScholar，華泰研究對SAM優(yōu)化器的改進(jìn)主要分為兩個方向，分別著重優(yōu)化SAM優(yōu)化器的性能和效率。對于應(yīng)用于量化選股的AI模型而言，優(yōu)化器的泛化性能才是最終決定模型預(yù)測效果的因素，因此優(yōu)化器的效率相較于其性能并不關(guān)鍵。接下來簡要介紹著眼于改進(jìn)性能的幾種改進(jìn)SAM優(yōu)化器。ASAMAdaptiveSharpnessAwareMinimization（ASAM）由Kwon等（2021）提出。ASAM優(yōu)化器相較于SAM優(yōu)化器的改進(jìn)類似于Adagrad優(yōu)化器相較于SGD優(yōu)化器的改進(jìn)，區(qū)別在于后者調(diào)整學(xué)習(xí)率大小以適應(yīng)神經(jīng)網(wǎng)絡(luò)中不同參數(shù)的尺度，而前者調(diào)整權(quán)重空間內(nèi)擾動半徑以適應(yīng)神經(jīng)網(wǎng)絡(luò)中不同參數(shù)的尺度。ASAM優(yōu)化器引入了自適應(yīng)擾動半徑的概念，在計算權(quán)重空間內(nèi)擾動半徑時考慮到各參數(shù)的尺度，因此通過該方法計算得到的SAM優(yōu)化路徑與各參數(shù)本身的尺度無關(guān)，解決了SAM中銳度定義的敏感性問題，提高了模型的泛化性能。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。11注：上圖為SAM算法擾動半徑，不同尺度參數(shù)方向上擾動半徑相同；下圖為ASAM算法擾動半徑，針對不同尺度的參數(shù)自適應(yīng)設(shè)定不同的擾動半徑。資料來源：Kwonetal.ASAM:AdaptiveSharpness-AwareMinimizationforScale-InvariantLearningofDeepNeuralNetworks.2021，華泰研究注：1代表將W縮放至同一尺度的運(yùn)算，在ASAM算法實際實現(xiàn)時，Tw等價于與W相乘。資料來源：Kwonetal.ASAM:AdaptiveSharpness-AwareMinimizationforScale-InvariantLearningofDeepNeuralNetworks.2021，華泰研究GSAMSurrogateGapGuidedSharpnessAwareMinimization（GSAM）由Zhuang等（2022）提出。該研究發(fā)現(xiàn)擾動后損失與擾動前損失之差（即surrogategap）更能準(zhǔn)確衡量模型權(quán)重空間極小值處損失地形的平坦度。由此進(jìn)一步推導(dǎo)出GSAM優(yōu)化器的梯度更新方法：第一步類似于SAM，通過梯度下降最小化擾動損失；第二步則在實際更新權(quán)重時首先將擾動前梯度在擾動后梯度方向上投影得到垂直分量，接著將擾動后梯度與該垂直方向分量相加得到最終梯度下降的方向，更新模型權(quán)重。注：橙色箭頭為擾動前梯度，綠色箭頭為擾動后梯度，藍(lán)色箭頭為擾動前梯度在擾動后梯度上投影的垂直分量，紅色箭頭代表實際更新權(quán)重時的梯度。資料來源：Zhuangetal.SurrogateGapMinimizationImprovesSharpness-AwareTraining.2022，華泰研究資料來源：Zhuangetal.SurrogateGapMinimizationImprovesSharpness-AwareTraining.2022，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。12GAMGradientNormAwareMinimization（GAM）由Zhang等（2023）提出。本研究發(fā)現(xiàn)，應(yīng)用SAM方法時常常因為小區(qū)域內(nèi)存在多個極值點的情形導(dǎo)致“誤判”：即使在小擾動半徑內(nèi)損失函數(shù)波動非常劇烈，但因為擾動后參數(shù)點的損失函數(shù)與擾動前差距較小而認(rèn)為在該擾動范圍內(nèi)損失函數(shù)是“平坦”的。因此，GAM方法通過同時優(yōu)化擾動半徑內(nèi)的零階平坦度（損失函數(shù)平坦度）以及一階平坦度（梯度平坦度）避免了該種“誤判”。注：ZOF為零階平坦度，F(xiàn)OF為一階平坦度；上圖兩個相同大小的擾動半徑內(nèi)，左邊平坦，右邊波動劇烈且包含多個極值點，但ZOF度量下平坦度相同，而FOF度量下則能準(zhǔn)確識別；下圖同理，F(xiàn)OF能更準(zhǔn)確度量損失變化趨勢。資料來源：Zhangetal.GradientNormAwareMinimizationSeeksFirst-OrderFlatnessandImprovesGeneralization.2023，華泰研究資料來源：Zhangetal.GradientNormAwareMinimizationSeeksFirst-OrderFlatnessandImprovesGeneralization.2023，華泰研究FSAMFriendlySharpnessAwareMinimization（FSAM）由Li等（2024）提出。研究發(fā)現(xiàn)SAM優(yōu)化器的擾動方向可以被分解為全梯度分量和僅與每個小批量相關(guān)的隨機(jī)梯度噪聲分量，且前者對泛化性能的有顯著的負(fù)面影響。FSAM優(yōu)化器通過指數(shù)移動平均（EMA）估計擾動方向中的全梯度分量，并將其從擾動向量中剝離，僅利用隨機(jī)梯度噪聲分量作為擾動向量，成功減少了全梯度成分對泛化性能的負(fù)面影響，從而提高了模型的泛化性能。注：黃色箭頭為原始擾動，紅色箭頭為全梯度分量，綠色箭頭為隨機(jī)噪聲分量。資料來源：Lietal.FriendlySharpness-AwareMinimization.2024，華泰研究資料來源：Lietal.FriendlySharpness-AwareMinimization.2024，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。13本研究基于端到端的GRU量價因子挖掘模型測試SAM優(yōu)化器的改進(jìn)效果。基線模型的構(gòu)建方法如下圖，分別使用兩個GRU模型從日K線和周K線中提取特征得到預(yù)測值，作為單因子，再將兩個單因子等權(quán)合成得到最終的預(yù)測信號。GRU模型的構(gòu)建細(xì)節(jié)可參考《神經(jīng)網(wǎng)絡(luò)多頻率因子挖掘模型》（2023-05-11本文不做展開。資料來源：華泰研究基線模型輸入數(shù)據(jù)細(xì)節(jié)及訓(xùn)練超參數(shù)設(shè)置如下表：特征和標(biāo)簽輸入特征：過去30日（周）的開、高、低、收、vwap、成交量預(yù)測標(biāo)簽：未來10日收益率特征預(yù)處理：先用收盤價和成交量對時序數(shù)據(jù)去量綱，再針對面板數(shù)據(jù)進(jìn)行7倍中位數(shù)去極值、標(biāo)準(zhǔn)化、填充缺失值標(biāo)簽預(yù)處理：截面5倍中位數(shù)去極值、行業(yè)市值中性化、標(biāo)準(zhǔn)化數(shù)據(jù)集劃分：訓(xùn)練集10年，驗證集、測試集均為1年，每隔1年滾動訓(xùn)練模型訓(xùn)練參數(shù)模型訓(xùn)練參數(shù)隨機(jī)數(shù)種子點：5組不同隨機(jī)數(shù)種子點，預(yù)測結(jié)果取均值GRU層數(shù)：2；隱藏層維度：64BatchSize：5000，從訓(xùn)練集中隨機(jī)選取樣本；時序長度：30損失函數(shù)：IC的相反數(shù)最大迭代次數(shù)：100；早停次數(shù)：20基線優(yōu)化器：AdamW；學(xué)習(xí)率：1e-3；權(quán)重衰減：1e-4 ·Dropout概率：0.1資料來源：華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。14SAM優(yōu)化器的突出特點即適用性強(qiáng)，同一種SAM優(yōu)化器能夠封裝各類不同的基礎(chǔ)優(yōu)化器，而無需對模型訓(xùn)練的流程進(jìn)行大范圍的修改。本研究將SAM優(yōu)化器應(yīng)用于基線模型，GRU的網(wǎng)絡(luò)結(jié)構(gòu)及超參數(shù)均不做改變，僅改變模型訓(xùn)練時使用的優(yōu)化器。其中，SAM優(yōu)化器及其4種改進(jìn)版本均選取AdamW作為基礎(chǔ)優(yōu)化器，優(yōu)化器的學(xué)習(xí)率、動量和權(quán)重衰減等超參數(shù)均不做調(diào)整。5組對比實驗采用的SAM優(yōu)化器及其特有參數(shù)取值匯總?cè)缦?。?yōu)化器SAM參數(shù)擾動半徑系數(shù)參數(shù)值0.05ASAM擾動半徑系數(shù)0.5自適應(yīng)率0.01GSAM擾動半徑系數(shù)垂直分量權(quán)重0.050.2GAM零階擾動半徑系數(shù)0.02一階擾動半徑系數(shù)0.2FSAM擾動半徑系數(shù)動量衰減系數(shù)動量分量權(quán)重0.05 0.90.01資料來源：華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。15本研究在GRU基線模型的基礎(chǔ)上，保持模型結(jié)構(gòu)、數(shù)據(jù)集不變，改變訓(xùn)練使用的優(yōu)化器共進(jìn)行6組對比實驗。以下分別從模型訓(xùn)練時的收斂性、損失函數(shù)地形、模型預(yù)測因子表現(xiàn)和基于模型構(gòu)建指數(shù)增強(qiáng)組合業(yè)績等方面展示實驗結(jié)果。模型訓(xùn)練過程中損失函數(shù)和評價指標(biāo)在驗證集上表現(xiàn)的變化趨勢是模型泛化性能最直觀的體現(xiàn)。若訓(xùn)練時隨著Epoch增加，驗證集的評價指標(biāo)短暫提升后迅速下降，則說明模型過擬合嚴(yán)重，泛化性能不佳；反之，若驗證集的評價指標(biāo)隨著Epoch增加穩(wěn)健提升，則說明模型泛化性能較好。本節(jié)選取相同種子點、相同數(shù)據(jù)集下的基線模型與SAM模型，對比訓(xùn)練過程中兩者在驗證集上IC、IR等指標(biāo)的變化趨勢?；€模型SAM模型15.5%15.0%14.5%14.0%13.5%13.0%12.5%12.0%資料來源：Wind，華泰研究基線模型SAM模型1234567891011資料來源：Wind，華泰研究結(jié)果表明，基線模型與SAM模型在驗證集上IC、IR指標(biāo)變化趨勢均為先上升后下降，但相較而言，SAM模型下降幅度較緩，且訓(xùn)練過程中指標(biāo)最大值均高于基線模型，證明SAM優(yōu)化器有效抑制了過擬合，提升了模型的泛化性能。SAM優(yōu)化器設(shè)計初衷是使模型訓(xùn)練時在權(quán)重空間中找到一條平緩的路徑進(jìn)行梯度下降，即每次權(quán)重更新時損失函數(shù)不劇烈變化，最終在權(quán)重空間中停留在一個平坦的極值點處。因此，本節(jié)嘗試對模型權(quán)重空間上的損失函數(shù)進(jìn)行可視化，以檢驗SAM優(yōu)化器的應(yīng)用效果。循環(huán)神經(jīng)網(wǎng)絡(luò)的權(quán)重通常包含數(shù)以萬計的參數(shù)，以GRU為例，輸入時序維度為30、隱藏層維度為64、特征數(shù)為6、層數(shù)為2的網(wǎng)絡(luò)共包含40000多個權(quán)重參數(shù)，每次梯度下降時，優(yōu)化器同時對所有參數(shù)迭代更新。因此，可視化一個數(shù)萬維度權(quán)重空間上的損失函數(shù)值并非易事。常見的解決方法為通過PCA、t-SNE等技術(shù)將高維空間的權(quán)重降維至二維或三維，從而繪制一幅損失函數(shù)“地形圖”。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。16本研究采用PCA方法，繪制損失函數(shù)“地形圖”，具體步驟如下：1、選取訓(xùn)練軌跡上驗證集最優(yōu)權(quán)重作為原點；2、對訓(xùn)練軌跡上的所有權(quán)重向量運(yùn)用主成分分析，從中提取出兩個主成分向量，分別作為二維圖像的兩個軸方向；3、生成一組二維離散點陣作為圖像每個像素點的坐標(biāo)，并對每個坐標(biāo)點對應(yīng)的神經(jīng)網(wǎng)絡(luò)權(quán)重在給定數(shù)據(jù)集上使用全部樣本進(jìn)行一次推理，計算損失函數(shù)值，作為該點的像素值。該步驟完成后即可繪制出一張二維的損失函數(shù)地形圖像；4、將模型訓(xùn)練時每個Epoch的模型權(quán)重投影至該二維平面，實現(xiàn)模型訓(xùn)練軌跡的可視化。依據(jù)該方法，本文選取基線模型與SAM模型，在相同數(shù)據(jù)集和相同的隨機(jī)數(shù)種子點的前提下，分別繪制損失函數(shù)地形圖。繪制時對兩組實驗分別選取主成分軸，并采用相同的損失函數(shù)等高線和相同的像素分辨率，分別繪制訓(xùn)練集和測試集上的損失函數(shù)地形，結(jié)果如下：資料來源：華泰研究資料來源：華泰研究資料來源：華泰研究資料來源：華泰研究對比以上結(jié)果發(fā)現(xiàn)：1、兩組實驗的第一主成分軸均達(dá)到80%左右的方差貢獻(xiàn)率，且兩個主成分軸的累計貢獻(xiàn)率均超過了90%，說明兩幅損失函數(shù)曲面圖均能很好的反映訓(xùn)練軌跡沿途損失函數(shù)的變化趨勢；2、訓(xùn)練集上基線模型損失函數(shù)地形圖等高線較為密集，而SAM模型損失函數(shù)地形圖等高線較為稀疏且分布均勻，說明SAM優(yōu)化器能有效改善損失地形的平坦度，符合預(yù)期；3、SAM模型在測試集上的損失函數(shù)地形與基線模型相比整體損失函數(shù)值較低，其中SAM模型早停處損失函數(shù)值小于-0.17，而基線模型早停處損失函數(shù)值大于-0.16，說明SAM模型泛化誤差較小，即在訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)上表現(xiàn)同樣良好，有效抑制了過擬合。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。17針對6組實驗，分別測試模型預(yù)測因子表現(xiàn)。單因子測試的細(xì)節(jié)如下：預(yù)測因子每組實驗pv1day與pv5day因子截面標(biāo)準(zhǔn)化后等權(quán)合成測試區(qū)間2016-12-30至2024-09-30測試范圍中證全指成分股IC值分析每個截面日預(yù)測因子與未來10日收益率間計算RankIC分層回測根據(jù)預(yù)測因子從高到低分為10組，回測時周頻調(diào)倉，不計交易費用資料來源：華泰研究測試結(jié)果如下，可得出如下結(jié)論：1、SAM模型與基線模型預(yù)測因子RankIC及RankICIR表現(xiàn)接近，表明將傳統(tǒng)優(yōu)化器改為SAM優(yōu)化器并未顯著提升模型預(yù)測因子的RankIC表現(xiàn)；2、5組SAM模型TOP組收益率均高于基線模型，其中GAM、GSAM、FSAM組提升較為明顯，F(xiàn)SAM模型表現(xiàn)最佳。證明應(yīng)用SAM優(yōu)化器能有效改善預(yù)測因子多頭端預(yù)測準(zhǔn)確性，提升多頭組表現(xiàn)；3、幾組實驗預(yù)測因子分層效果均較為優(yōu)異，多頭端收益5組SAM優(yōu)化器模型普遍高于基實驗名稱RankIC均值RankIC波動率RankICIRRankIC勝率TOP組收益率TOP組勝率TOP組信息比率基線13.62%10.40%1.3190.49%30.26%60.28%3.86SAM13.51%10.46%1.2990.39%30.50%60.38%3.81ASAM13.46%10.41%1.2990.39%30.61%59.75%3.86GAM13.59%10.41%1.3090.76%31.39%61.66%3.97GSAM13.59%10.41%1.3190.65%31.25%61.07%3.98FSAM13.56%10.35%1.3190.87%31.41%61.02%4.04注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；回測時周頻調(diào)倉，不計交易費用，分組收益為絕對收益，信息比率相對等權(quán)基準(zhǔn)計算。資料來源：Wind，華泰研究300250200150100500300250200150100500 基線SAMASAMGAMGSAMFSAM2016-12-302017-05-302017-10-302018-03-302018-08-302016-12-302017-05-302017-10-302018-03-302018-08-302019-01-302019-06-302020-04-302020-09-302021-02-282021-07-312021-12-312022-05-312022-10-312023-03-312023-08-312024-01-312024-06-30注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30。資料來源：Wind，華泰研究98765432109876543210基線GAMSAMASAM2016-12-302017-05-302017-10-302018-03-302018-08-30202016-12-302017-05-302017-10-302018-03-302018-08-302019-01-302019-06-302020-04-302020-09-302021-02-282021-07-312021-12-312022-05-312022-10-312023-03-312023-08-312024-01-312024-06-30注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；周頻調(diào)倉，不計交易費用。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。18基線SAMASAMGSAM.GAMFSAM9876543210Top組第二組第三組第四組第五組第六組第七組第八組第九組Bottom組注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；周頻調(diào)倉，不計交易費用，分組收益為絕對收益。資料來源：Wind，華泰研究將以上6組實驗得到的預(yù)測因子應(yīng)用于組合優(yōu)化，分別構(gòu)建滬深300、中證500及中證1000指數(shù)增強(qiáng)組合。組合優(yōu)化及回測細(xì)節(jié)如下。組合優(yōu)化成分股權(quán)重約束：不低于80%控制風(fēng)格：市值（Size）、非線性市值（NLS）風(fēng)格暴露約束：0.3行業(yè)暴露約束：0.02個股絕對權(quán)重上限：0.15個股權(quán)重偏離上限：0.01單邊換手率上限：0.2回測回測調(diào)倉頻率：周頻成交價格：vwap ·調(diào)倉費率：雙邊千分之三資料來源：華泰研究滬深300增強(qiáng)組合基于6組實驗預(yù)測因子構(gòu)建的滬深300指數(shù)增強(qiáng)組合回測結(jié)果如下。測試結(jié)果表明，SAM模型及4個改進(jìn)模型年化超額收益及信息比率相較于基線模型均有穩(wěn)定提升。其中GSAM模型表現(xiàn)最佳，年化超額收益、信息比率、超額收益Calmar比率及勝率在幾組實驗中均排名第一。實驗名稱年化收益率年化波動率夏普比率最大回撤年化超額收益率年化跟蹤誤信息比率超額收益最大回撤超額收益Calmar比率相對基準(zhǔn)月勝率年化雙邊換手率基線13.0%19.0%0.6826.0%9.9%5.8%1.7310.2%0.9872.0%20.23SAM13.8%0.7225.0%10.8%5.9%1.858.9%1.2272.0%20.24ASAM13.5%18.9%0.7125.5%10.5%5.7%1.828.8%1.1971.0%20.21GAM13.5%19.0%0.7126.6%10.5%5.8%1.818.6%1.2373.1%20.22GSAM13.9%0.7324.8%10.9%5.8%1.878.7%1.2473.1%20.22FSAM13.8%19.0%0.7226.0%10.8%5.8%1.8610.0%1.0769.9%20.23注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。19160%140%120%100%80%60%40%20% 0%-20%基線SAMASAMGAMGSAMFSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-30202016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-30注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究160%140%120%100%80%60%40%20% 0%-20%基線回撤（右軸）GSAM回撤（右軸）基線GSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-30202016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-300%-5%-10%-15%-20%-25%-30%注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究中證500增強(qiáng)組合基于6組實驗預(yù)測因子構(gòu)建的中證500指數(shù)增強(qiáng)組合回測結(jié)果如下。測試結(jié)論與滬深300類似，GSAM模型年化超額最高為15.1%，F(xiàn)SAM模型信息比率最高為2.29。另外，除了GAM模型外，其余模型在回撤控制和月度勝率方面相較于基線模型也同樣具有優(yōu)勢。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。20實驗名稱年化收益率年化波動率夏普比率最大回撤年化超額收益率年化跟蹤誤信息比率超額收益最大回撤超額收益Calmar比率相對基準(zhǔn)月勝率年化雙邊換手率基線12.8%21.6%0.5932.1%14.0%6.6%2.1210.2%1.3773.1%20.30SAM13.4%21.7%0.6232.9%14.6%6.7%2.178.4%1.7473.1%20.29ASAM13.0%21.5%0.6033.8%6.7%2.129.3%1.5177.4%20.26GAM13.7%21.7%0.6331.9%14.9%6.7%2.2210.3%1.4577.4%20.29GSAM14.0%21.6%0.6532.8%6.7%2.269.4%1.6077.4%20.30FSAM13.8%21.6%0.6432.7%15.0%6.6%2.299.5%1.5974.2%20.28注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究250%200%150%100%50%0%-50%基線SAMASAMGAMGSAMFSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-30202016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-30注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究250%200%150%100%50%0%-50%基線回撤（右軸）GSAM回撤（右軸）基線GSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-300%-5%-10%-15%-20%-25%-30%注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。21中證1000增強(qiáng)組合基于6組實驗預(yù)測因子構(gòu)建的中證1000指數(shù)增強(qiáng)組合回測結(jié)果如下。測試結(jié)果表明，SAM優(yōu)化器模型在年化超額收益和信息比率指標(biāo)上相對基線模型均有明顯優(yōu)勢，可將年化超額收益提升2%，信息比率提升0.2左右。其中從超額收益及信息比率角度看表現(xiàn)最好的模型為ASAM，可將年化超額收益從21.4%提升至24.6%，信息比率從2.87提升至3.25。實驗名稱年化收益率年化波動率夏普比率最大回撤年化超額收益率年化跟蹤誤信息比率超額收益最大回撤超額收益Calmar比率相對基準(zhǔn)月勝率年化雙邊換手率基線15.2%24.4%0.6234.5%21.4%7.5%2.878.8%2.4581.7%20.35SAM16.8%24.6%0.6834.9%23.2%7.6%3.068.1%2.8780.6%20.34ASAM18.3%24.3%0.7533.6%24.6%7.6%3.258.9%2.7682.8%20.33GAM16.9%24.5%0.6932.9%23.2%7.5%3.078.9%2.6182.8%20.31GSAM16.8%24.4%0.6934.2%23.1%7.4%3.129.4%2.4777.4%20.30FSAM16.5%24.4%0.6734.3%22.8%7.5%3.0410.3%2.2078.5%20.36注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究500%400%300%200%100%0%-100%基線SAMASAMGAMGSAMFSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-30202016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-30注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。22450%400%350%300%250%200%150%100% 50% 0%-50%基線回撤（右軸）GSAM回撤（右軸）基線GSAM2016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-30202016-12-302017-03-302017-06-302017-09-302017-12-312018-03-312018-06-302018-09-302018-12-312019-03-312019-06-302019-09-302019-12-312020-03-312020-06-302020-09-302020-12-312021-03-312021-06-302021-09-302021-12-312022-03-312022-06-302022-09-302022-12-312023-03-312023-06-302023-09-302023-12-312024-03-312024-06-302024-09-300%-5%-10%-15%-20%-25%-30%注：股票池：中證全指成分股；回測區(qū)間：2016-12-30至2024-09-30；交易費率雙邊3‰；周調(diào)倉單邊換手率上限20%；組合優(yōu)化約束條件：80%成分內(nèi)選股，行業(yè)偏離約束±2%，市值/非線性市值偏離約束±0.3。資料來源：Wind，華泰研究2024年業(yè)績表現(xiàn)統(tǒng)計各指增組合2024年以來業(yè)績表現(xiàn)如下。分析發(fā)現(xiàn)，各指增組合在2024年9月末的大幅波動下超額收益均迎來顯著回撤。但SAM模型及其改進(jìn)模型相對基線模型均具有穩(wěn)定優(yōu)勢。其中ASAM模型在2024年表現(xiàn)突出，三組指增業(yè)績均排名第一，且超額收益領(lǐng)先基線模型約5%。8%6%4%2%0%-2%-4%-6%-8%基線SAMASAMGAMGSAMFSAM2024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-05-072024-05-212024-06-042024-06-182024-07-022024-07-162024-07-302024-08-132024-08-272024-09-102024-09-24資料來源：Wind，華泰研究2月4月2024年1至9月基線1.02%3.33%0.98%-0.60%-2.48%-0.13%0.40%0.04%-7.10%-4.79%SAM-0.25%3.28%1.83%0.22%-1.44%0.03%1.63%0.37%-6.82%-1.48%ASAM0.76%3.45%1.00%0.92%-1.69%0.39%1.27%0.39%-7.09%-0.96%GAM0.73%3.32%1.45%-0.64%-2.46%0.22%0.79%0.67%-6.60%-2.81%GSAM-0.02%3.11%1.09%-0.63%-2.37%-0.08%1.19%0.83%-6.53%-3.66%FSAM0.11%2.90%1.25%-0.68%-2.77%0.19%0.32%-0.01%-6.55%-5.40%資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。2310%8%6%4%2%0%-2%-4%-6%-8%基線SAMASAMGAMGSAMFSAM2024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-05-072024-05-212024-06-042024-06-182024-07-022024-07-162024-07-302024-08-132024-08-272024-09-102024-09-24資料來源：Wind，華泰研究2月4月2024年1至9月基線3.51%0.54%0.85%-1.62%-1.93%0.82%0.42%-1.14%-6.49%-5.22%SAM3.88%0.78%1.72%-0.87%-1.31%1.19%0.74%-0.54%-6.78%-1.54%ASAM3.92%0.95%2.04%0.36%-0.11%1.32%0.30%-0.50%-7.39%0.50%GAM3.12%0.99%0.44%-1.71%-1.56%1.02%0.40%-0.87%-6.93%-5.29%GSAM3.09%1.46%0.73%-0.93%-2.34%0.95%1.60%0.01%-7.40%-3.18%FSAM2.89%0.96%0.84%-0.95%-2.49%1.34%2.07%-0.14%-7.35%-3.17%資料來源：Wind，華泰研究14%12%10%8%6%4%2%0%-2%-4%-6%基線SAMASAMGAMGSAMFSAM2024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-01-022024-01-162024-01-302024-02-132024-02-272024-03-122024-03-262024-04-092024-04-232024-05-072024-05-212024-06-042024-06-182024-07-022024-07-162024-07-302024-08-132024-08-272024-09-102024-09-24資料來源：Wind，華泰研究2月4月2024年1至9月基線1.58%3.25%-0.09%0.38%-1.64%-1.08%1.73%0.41%-6.87%-2.63%SAM1.39%2.49%0.62%0.78%-1.12%-1.10%1.84%0.31%-5.55%-0.57%ASAM2.24%3.52%2.30%2.46%0.19%-0.97%0.56%-0.75%-6.79%2.41%GAM2.20%3.03%0.84%0.25%-1.17%-1.10%1.88%-0.85%-6.72%-1.96%GSAM1.62%2.71%0.87%1.03%-2.05%-1.45%1.45%-0.47%-6.18%-2.72%FSAM1.49%2.66%0.98%0.70%-3.39%-1.45%2.23%-0.19%-6.64%-3.91%資料來源：Wind，華泰研究免責(zé)聲明和披露以及分析師聲明是報告的一部分，請