相對生成對抗網(wǎng)絡(luò)RGAN實證

1、正文目錄 HYPERLINK l _TOC_250034 SGAN 的缺陷 6 HYPERLINK l _TOC_250033 廣義 GAN 6 HYPERLINK l _TOC_250032 判別器的先驗知識 8 HYPERLINK l _TOC_250031 最小化 JS 散度 8 HYPERLINK l _TOC_250030 梯度分析 9 HYPERLINK l _TOC_250029 積分概率測度 IPM 及基于 IPM 的 GAN 9 HYPERLINK l _TOC_250028 損失函數(shù)梯度對比 10 HYPERLINK l _TOC_250027 相對生成對抗網(wǎng)絡(luò) RGAN

2、12 HYPERLINK l _TOC_250026 相對損失函數(shù)與相對判別器 12 HYPERLINK l _TOC_250025 RGAN 的定義 13 HYPERLINK l _TOC_250024 RGAN 的原理 13 HYPERLINK l _TOC_250023 RGAN 的算法偽代碼 14 HYPERLINK l _TOC_250022 RaGAN 的定義 14 HYPERLINK l _TOC_250021 RaGAN 的原理 14 HYPERLINK l _TOC_250020 RaGAN 的算法偽代碼 15 HYPERLINK l _TOC_250019 方法 16 HY

3、PERLINK l _TOC_250018 訓練數(shù)據(jù) 16 HYPERLINK l _TOC_250017 損失函數(shù) 16 HYPERLINK l _TOC_250016 網(wǎng)絡(luò)結(jié)構(gòu) 17 HYPERLINK l _TOC_250015 評價指標 18 HYPERLINK l _TOC_250014 RGAN 測試結(jié)果 19 HYPERLINK l _TOC_250013 RSGAN、RaSGAN 與 SGAN 對比結(jié)果 19 HYPERLINK l _TOC_250012 損失函數(shù)和真假序列展示 19 HYPERLINK l _TOC_250011 評價指標對比 20 HYPERLINK l

4、_TOC_250010 RaLSGAN 與 LSGAN、RaHingeGAN 與 HingeGAN 對比結(jié)果 23 HYPERLINK l _TOC_250009 損失函數(shù)和真假序列展示 23 HYPERLINK l _TOC_250008 評價指標對比 24 HYPERLINK l _TOC_250007 總結(jié)與討論 27 HYPERLINK l _TOC_250006 參考文獻 28 HYPERLINK l _TOC_250005 風險提示 28 HYPERLINK l _TOC_250004 附錄 29 HYPERLINK l _TOC_250003 基于 IPM 的 GAN 與 RGA

5、N 29 HYPERLINK l _TOC_250002 標普 500 月頻序列的結(jié)果展示 29 HYPERLINK l _TOC_250001 損失函數(shù)和真假序列展示 29 HYPERLINK l _TOC_250000 評價指標對比 31圖表目錄圖表 1： GAN 損失函數(shù)計算流程 6圖表 2： GAN 的分類 7圖表 3： SGAN 生成器理想訓練過程 8圖表 4： 真假樣本的判別器輸出隨網(wǎng)絡(luò)訓練時間的變化 9圖表 5： 真樣本判真概率不下降的缺陷 11圖表 6： 相對與絕對判別器輸出對比圖 12圖表 7： RGAN 算法偽代碼 14圖表 8： RaGAN 算法偽代碼 15圖表 9： G

6、AN 訓練數(shù)據(jù)集 16圖表 10： 各種 GAN 模型的區(qū)別 17圖表 11： 各種損失函數(shù)對比 17圖表 12： 生成器 G 網(wǎng)絡(luò)結(jié)構(gòu) 17圖表 13： 判別器 D 網(wǎng)絡(luò)結(jié)構(gòu) 18圖表 14： 9 項生成虛假序列評價指標 18圖表 15： 上證綜指日頻序列：RSGAN 損失函數(shù) 19圖表 16： 上證綜指日頻序列：RaSGAN 損失函數(shù) 19圖表 17： 上證綜指日頻序列：真實價格序列（2004/12/312020/08/31） 19圖表 18： 上證綜指日頻序列：RSGAN 生成價格序列范例 20圖表 19： 上證綜指日頻序列：RaSGAN 生成價格序列范例 20圖表 20： 上證綜指日頻

7、序列：真實序列 6 項評價指標 20圖表 21： 上證綜指日頻序列：SGAN 生成序列 6 項評價指標 20圖表 22： 上證綜指日頻序列：RSGAN 生成序列 6 項評價指標 21圖表 23： 上證綜指日頻序列：RaSGAN 生成序列 6 項評價指標 21圖表 24： 上證綜指日頻序列：SGAN、RSGAN、RaSGAN 生成數(shù)據(jù) 6 項評價指標對比.21圖表 25： 上證綜指日頻序列：SGAN、RSGAN、RaSGAN 生成序列方差比率指標 22圖表 26： 上證綜指日頻序列：SGAN、RSGAN、RaSGAN 生成序列 Hurst 值假設(shè)檢驗結(jié)果 22圖表 27： 上證綜指日頻序列：SG

8、AN、RSGAN 生成序列多樣性 22圖表 28： 上證綜指日頻序列：SGAN、RaSGAN 生成序列多樣性 22圖表 29： 上證綜指日頻序列：LSGAN 損失函數(shù) 23圖表 30： 上證綜指日頻序列：RaLSGAN 損失函數(shù) 23圖表 31： 上證綜指日頻序列：HingeGAN 損失函數(shù) 23圖表 32： 上證綜指日頻序列：RaHingeGAN 損失函數(shù) 23圖表 33： 上證綜指日頻序列：LSGAN 生成價格序列范例 23圖表 34： 上證綜指日頻序列：RaLSGAN 生成價格序列范例 23圖表 35： 上證綜指日頻序列：HingeGAN 生成價格序列范例 24圖表 36： 上證綜指日頻

9、序列：RaHingeGAN 生成價格序列范例 24圖表 37： 上證綜指日頻序列：LSGAN 生成序列 6 項評價指標 24圖表 38： 上證綜指日頻序列：RaLSGAN 生成序列 6 項評價指標 24圖表 39： 上證綜指日頻序列：HingeGAN 生成序列 6 項評價指標 25圖表 40： 上證綜指日頻序列：RaHingeGAN 生成序列 6 項評價指標 25圖表 41： 上證綜指日頻序列：LSGAN、RaLSGAN、HingeGAN、RaHingeGAN 生成序列 6 項評價指標對比 25圖表 42： 上證綜指日頻序列：LSGAN、RaLSGAN、HingeGAN、RaHingeGAN

10、生成序列方差比率指標 26圖表 43： 上證綜指日頻序列：LSGAN、RaLSGAN、HingeGAN、RaHingeGAN 生成序列 Hurst 值 26圖表 44： 上證綜指日頻序列：LS/RaLSGAN 生成序列多樣性 26圖表 45： 上證綜指日頻序列：Hinge/RaHingeGAN 生成序列多樣性 26圖表 46： 上證綜指日頻序列：各種 GAN 生成序列 8 項評價指標對比 27圖表 47： 標普 500 月頻序列：RSGAN 損失函數(shù) 29圖表 48： 標普 500 月頻序列：RaSGAN 損失函數(shù) 29圖表 49： 標普 500 月頻序列：LSGAN 損失函數(shù) 29圖表 50

11、： 標普 500 月頻序列：RaLSGAN 損失函數(shù) 29圖表 51： 標普 500 月頻序列：HingeGAN 損失函數(shù) 30圖表 52： 標普 500 月頻序列：RaHingeGAN 損失函數(shù) 30圖表 53： 標普 500 月頻序列：真實價格序列（1927/12/302020/08/31） 30圖表 54： 標普 500 月頻序列：RSGAN 生成價格序列范例 30圖表 55： 標普 500 月頻序列：RaSGAN 生成價格序列范例 30圖表 56： 標普 500 月頻序列：LSGAN 生成價格序列范例 31圖表 57： 標普 500 月頻序列：RaLSGAN 生成價格序列范例 31圖表

12、 58： 標普 500 月頻序列：HingeGAN 生成價格序列范例 31圖表 59： 標普 500 月頻序列：RaHingeGAN 生成價格序列范例 31圖表 60： 標普 500 月頻序列：真實序列 6 項評價指標 31圖表 61： 標普 500 月頻序列：SGAN 生成序列 6 項評價指標 32圖表 62： 標普 500 月頻序列：RSGAN 生成序列 6 項評價指標 32圖表 63： 標普 500 月頻序列：RaSGAN 生成序列 6 項評價指標 32圖表 64： 標普 500 月頻序列：LSGAN 生成序列 6 項評價指標 33圖表 65： 標普 500 月頻序列：RaLSGAN 生

13、成序列 6 項評價指標 33圖表 66： 標普 500 月頻序列：HingeGAN 生成序列 6 項評價指標 33圖表 67： 標普 500 月頻序列：RaHingeGAN 生成序列 6 項評價指標 34圖表 68： 標普 500 月頻序列：各種 GAN 生成序列 6 項評價指標對比 34圖表 69： 標普 500 月頻序列：SGAN、RSGAN、RaSGAN 生成序列方差比率指標 34圖表 70： 標普 500 月頻序列：LSGAN、RaLSGAN 生成序列方差比率指標 34圖表 71： 標普 500 月頻序列：HingeGAN、RaHingeGAN 生成序列方差比率指標 35圖表 72：

14、標普 500 月頻序列：各種 GAN 生成序列 Hurst 值假設(shè)檢驗結(jié)果 35圖表 73： 標普 500 月頻序列：SGAN、RSGAN 生成序列多樣性 35圖表 74： 標普 500 月頻序列：SGAN、RaSGAN 生成序列多樣性 35圖表 75： 標普 500 月頻序列：LS/RaLSGAN 生成序列多樣性 35圖表 76： 標普 500 月頻序列：Hinge/RaHingeGAN 生成序列多樣性 35本文研究導(dǎo)讀本文是華泰金工生成對抗網(wǎng)絡(luò)（GAN）系列的第三篇，關(guān)注 GAN 的重要變式相對生成對抗網(wǎng)絡(luò)（Relativistic GAN，簡稱 RGAN）。RGAN 將原始 GAN 中的

15、絕對判別器改成相對判別器，把絕對損失函數(shù)改成相對損失函數(shù)。這種“相對”的思想使 RGAN 在訓練過程中更穩(wěn)定，且 RGAN 對網(wǎng)絡(luò)結(jié)構(gòu)的要求相比 GAN 更不敏感，整體表現(xiàn)相比 GAN 更優(yōu)秀。本文將相對損失函數(shù)應(yīng)用于三種非相對 GAN，對比采用相對損失函數(shù)的 RGAN 和未采用相對損失函數(shù)的 GAN 在模擬金融數(shù)據(jù)方面的表現(xiàn)。原始 GAN 模型的生成器只能提高生成樣本被判別器判為真的概率，但不能改變真實樣本被判為真的概率。我們將證明“降低真實樣本被判定為真的概率”對于提升生成序列質(zhì)量十分重要。相比之下，引入相對損失函數(shù)的 RGAN 則充分利用真假樣本的信息，其生成器既可提高生成樣本被判為真的

16、概率，又可降低真實樣本被判為真的概率，彌補了 GAN的缺陷。RGAN 的相對損失函數(shù)以樣本點作為比較基準，存在較大隨機性。相對平均生成對抗網(wǎng)絡(luò)（Relativistic average GAN，簡稱 RaGAN）對 RGAN 進行改良，把樣本群體作為比較基準，能夠降低 RGAN 算法中的隨機性。同時，RaGAN 沒有增加算法的復(fù)雜度，因此實際操作中比 RGAN 更常用。本文分為理論和實踐兩部分。理論部分將分析經(jīng)典 GAN 模型絕對損失函數(shù)存在的缺陷，引出 RGAN 相對損失函數(shù)和相對判別器的概念，再進一步介紹其變體 RaGAN。實踐部分將三種非相對 GAN 的損失函數(shù)改成相對損失函數(shù)進行對比，

17、結(jié)果表明在網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)基本相同的情況下，RGAN 的表現(xiàn)優(yōu)于 GAN。SGAN 的缺陷廣義 GAN本文涉及 GAN 的較多變體，為便于區(qū)分，我們先給出廣義 GAN 的定義，再基于這一定義進行分類。在人工智能 31：生成對抗網(wǎng)絡(luò) GAN 初探（20200508）一文中，我們提到生成器和判別器分別最大化、最小化同一個目標函數(shù)。換言之，生成器和判別器訓練時各自試圖最小化的損失函數(shù)互為相反數(shù)。但在廣義 GAN 中，生成器和判別器可以有不同的損失函數(shù)。因此我們需要給出一組損失函數(shù)(, )，分別表示判別器和生成器各自試圖最小化的損失函數(shù)： = 1() + 2 ()r = 1() + 2 ()圖表1： G

18、AN 損失函數(shù)計算流程資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所上圖展示了 GAN 模型中損失函數(shù)的計算流程。關(guān)于損失函數(shù)表達式及其計算流程，我們進行如下 4 點說明：和分別表示真樣本和真樣本的分布，和分別表示隱變量和隱變量的分布。后續(xù)我們還會用來表示生成器生成的假樣本()，用來表示假樣本的分布。()為判別器，()為生成器。與之前不同的是，這里我們對判別器做進一步拆分：() = ()其中，()是判別器網(wǎng)絡(luò)的原始輸出，其數(shù)值范圍通常不受限制。(. )是用來限制判別器最終輸

19、出數(shù)值范圍的變換層，例如采用 Sigmoid 變換將輸出范圍從(, +)壓縮至0,1。某些損失函數(shù)可以沒有這一變換層，或者說(. )是恒等函數(shù)。這一類損失函數(shù)則需要在網(wǎng)絡(luò)訓練過程中進行其它條件限制，以防止判別器輸出爆炸而導(dǎo)致的損失函數(shù)爆炸。1，2，1，2是從標量到標量的函數(shù)，代表損失函數(shù)的類型。例如，若采用交叉熵損失函數(shù)，1() = ()，2() = (1 )；若采用最小二乘損失函數(shù)，1() =2() = ( )2。值得注意的是，1實際上不起任何作用，可以忽略。這是因為1只存在于生成器 G 的損失函數(shù)中，但它對應(yīng)的損失項1()不含生成器G，即1所在的損失項對生成器 G 參數(shù)的梯度為 0，也就無

20、法影響生成器訓練。根據(jù)1，2，1，2之間的關(guān)系，可以把 GAN 分為飽和、非飽和兩大類。當1 = 1，2 = 2時，這種損失函數(shù)稱為飽和損失函數(shù)（Saturating Loss）， 相應(yīng)的 GAN 稱為飽和 GAN（Saturating GAN）。此時，生成器和判別器的損失 函數(shù)互為相反數(shù)，也就是生成器和判別器分別在最小化和最大化同一個目標函數(shù)。例如，當判別器最后的輸出可以理解為概率時，判別器試圖降低假樣本被判定為 真的概率，生成器就試圖提高假樣本被判定為真的概率。其損失函數(shù)表達式如下： = 1() + 2 () = 1() + 2 ()當1 = 2，2 = 1時，這種損失函數(shù)稱為非飽和損失函

21、數(shù)（Non-saturating Loss）， 相應(yīng)的 GAN 稱為非飽和 GAN（Non-saturating GAN）。此時，生成器和判別器 也可以看成共用同一個目標函數(shù)，只是互換了真樣本和假樣本的位置。例如，當 判別器最后的輸出可以理解為概率時，判別器試圖提高真樣本被判定為真的概率，生成器就提高假樣本被判定為真的概率。其損失函數(shù)表達式如下： = 1() + 2 () = 2() + 1 ()圖表2： GAN 的分類資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所定義注解

22、的 2、3、4 項，分別規(guī)定了 GAN 的判別器變換層、損失函數(shù)類型、判別器和生成器損失函數(shù)之間的關(guān)系。如上圖所示，這些關(guān)系都可以作為分類的依據(jù)。例如，經(jīng)典的 SGAN（Standard GAN）規(guī)定了判別器變換層和損失函數(shù)的類型：1. 判別器變換層為 Sigmoid。因此，判別器的輸出在0, 1之間，可以理解為概率。例如，當真樣本的標簽為 1，假樣本的標簽為 0，判別器的輸出即代表“判別器判定該樣本為真樣本的概率”。2. 損失函數(shù)為交叉熵損失函數(shù)，即1() = ()，2() = (1 )。由上述兩點可知，SGAN 的損失函數(shù)表達式為（非飽和形式）： = () (1 () = (1 () ()

23、前文我們提到，GAN 損失函數(shù)中1可以忽略。在 SGAN 的概率框架下，這意味著判別器最大化損失函數(shù)，使得() 1，() 0，即最大化真樣本被判定為真實的概率，同時最小化假樣本被判定為真實的概率；但是生成器雖然最小化同樣的損失函數(shù)，卻只能使() 1，即只能最大化假樣本被判定為真實的概率，而不能改變真樣本被判定為真實的概率。SGAN 概率框架下的理想訓練過程如下圖所示。圖表3： SGAN 生成器理想訓練過程資料來源：華泰證券研究所簡言之，我們注意到 SGAN 在假樣本被判定為真實的概率上升的同時，真樣本被判定為真實的概率并不會下降。事實上，正如廣義 GAN 定義的第 3 點所提到的，所有非相對生

24、成對抗網(wǎng)絡(luò)的1都無關(guān)緊要，因此都存在類似問題。不失一般性地，我們以 SGAN 為例，從以下三方面論證“真樣本被判定為真實的概率下降”的重要性。SGAN 的判別器不具備“輸入樣本一半為假”的先驗知識。SGAN 的訓練軌跡不能直接最小化 JS 散度。真樣本對 SGAN 判別器梯度的影響隨著訓練的進行越來越小，判別器的學習趨于停滯。判別器的先驗知識假設(shè)我們不考慮生成器無法影響真樣本判別結(jié)果，在生成器訓練階段仍然向判別器輸入真樣本。那么無論在判別器還是生成器訓練階段，判別器的輸入均是一半真樣本，一半假樣本。因此，判別器理應(yīng)具備“輸入樣本一半為假”這一先驗知識。然而，在 SGAN 生成器訓練結(jié)束階段，理

25、想狀態(tài)下生成器生成的樣本能夠“蒙騙”判別器，因此判別器會把所有樣本都判定為真。這顯然違背了“輸入樣本一半為假”的先驗知識。這意味著在 SGAN 中，除非我們刻意增加判別器訓練的難度（例如降低學習速率、正則化），否則判別器不會做出合理的判定。如果時刻要求判別器具備這一先驗知識，自然的想法是讓判別器在真假樣本之間進行取舍，選取相對而言更真實的一半判定為真。為實現(xiàn)這種取舍，我們需要能夠在生成器訓練階段 降低真樣本被判定為真實的概率。進一步地說，理想狀態(tài)下當生成器越來越強時，生成器 應(yīng)能生成非常接近真實甚至更真實的數(shù)據(jù)。此時，判別器將混淆真假樣本，在提高假樣本 被判定為真的概率的同時，降低真樣本被判定

26、為真的概率。最小化 JS 散度在人工智能 31：生成對抗網(wǎng)絡(luò) GAN 初探（20200508）中我們證明過，如果采用飽和SGAN，在最優(yōu)化判別器的前提下（即理想狀態(tài)下判別器訓練結(jié)束后），生成器的損失函數(shù)等價于真樣本分布和假樣本分布之間的 Jensen-Shannon 散度。其數(shù)學表達如下： = 22 + 2(|)根據(jù) SGAN 生成器損失函數(shù)的定義，我們又有： = () + (1 ()其中 表示最優(yōu)化的判別器。代入 SGAN 生成器損失函數(shù)的表達式，我們可以得到(|)的表達式：(|) = 2 + 1 () + 1 (1 ()22進而，我們得到全局(|)的表達式為：(|) = 2 + :0,1

27、1 () + 1 (1 ()22= 2 + :0,1(/2)下面我們論證，雖然理論上 SGAN 的生成器應(yīng)該最小化JS 散度，從而模擬真實數(shù)據(jù)分布，但實際的訓練過程卻與之相悖。JS 散度的理論上界為 log2，為達到這一極值，必須使() = 1，() = 0；JS 散度的理論下界為 0，為達到這一極值，必須使：() = () = 0.5由于 JS 散度當且僅當真實數(shù)據(jù)分布和虛假數(shù)據(jù)分布完全相同時取 0，所以如果我們想要真實數(shù)據(jù)分布和虛假數(shù)據(jù)分布完全相同，必須使 JS 散度取 0，也就必須使生成器達到如下的極值：() = () = 0.5但在 SGAN 中，一旦判別器訓練結(jié)束后() 1，生成器就

28、無法改變()的值，即無論如何也達不到() = 0.5，也就無法最小化 JS 散度。我們可以用下圖來更直觀地表示：A. 理論上最小化 JS 散度的訓練路徑（圖 A）；B. 實際上 SGAN 的訓練路徑（圖 B）；C. 理想狀態(tài)下的訓練路徑（圖 C）。其中縱軸表示判別器輸出，橫軸表示迭代次數(shù)。想要實現(xiàn)圖 C，就必須能夠降低真樣本被判定為真實的概率。圖表4： 真假樣本的判別器輸出隨網(wǎng)絡(luò)訓練時間的變化資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所注：理想路徑（圖 C）的虛線部分是否

29、有必要是值得商榷的，因此用虛線標識。這部分訓練意味著使假樣本比真樣本“更真實”。梯度分析在訓練網(wǎng)絡(luò)過程中我們采用梯度下降方法，分析不同損失函數(shù)的梯度能夠更直觀地反映損失函數(shù)對網(wǎng)絡(luò)訓練的影響。飽和 SGAN 與非飽和 SGAN 在生成對抗的思想上是一致的，因此不失一般性地，我們將比較非飽和 SGAN 與基于 IPM 的 GAN 的損失函數(shù)梯度，分析降低真樣本被判定為真實的概率對損失函數(shù)梯度的影響。下一小節(jié)我們先介紹基于 IPM 的 GAN。積分概率測度 IPM 及基于 IPM 的 GAN與 KL 散度、JS 散度相似，積分概率測度（Integral probability metrics，簡稱

30、IPM）也是一種統(tǒng)計散度，其數(shù)學表達式為：(|) = () ()其中，為一類實函數(shù)。IPM 也可以用來衡量兩個分布和之間的距離：和之間的差距越大，IPM 就越大。因此，IPM 也可以被用作 GAN 的損失函數(shù)。我們給出過非飽和 GAN 的損失函數(shù)表達式如下： = 1() + 2 () = 2() + 1 ()若取1() = 2() = () = ()，即判別器變換層(. )是恒等函數(shù)，則可以得到基于 IPM 的 GAN 的損失函數(shù)表達式： = () () = () ()對比基于 IPM 的 GAN 的損失函數(shù)以及 IPM 的數(shù)學定義式可知，給定，則判別器損失函數(shù)的下界就是真實數(shù)據(jù)和虛假數(shù)據(jù)在下

31、的 IPM 散度的相反數(shù)。即： = () ()= () ()= (|)所以在最優(yōu)化判別器的前提下，即判別器達到損失函數(shù)下界，基于 IPM 的 GAN 的生成器損失函數(shù)等價于真實分布和虛假分布在下的 IPM 散度，而不是 SGAN 中的 JS 散度。由于基于 IPM 的 GAN 的判別器變換層 a(.)是恒等函數(shù)，無法限制判別器的輸出，損失函數(shù)可能很快趨于負無窮，梯度也隨之爆炸。所以在實踐中，我們希望 C 不易發(fā)散。事實上，我們在人工智能 35：WGAN 應(yīng)用于金融時間序列生成（20200828）中介紹的 WGAN和WGAN-GP 都屬于基于 IPM 的 GAN。WGAN 通過限制網(wǎng)絡(luò)參數(shù)變化范

32、圍，把限定為滿足 Lipschitz 條件的函數(shù)；而 WGAN-GP 通過增加梯度懲罰項，則把限定為梯度范數(shù)接近于 1 的函數(shù)。諸多研究（Arjovsky 等，2017；Gulrajani 等，2017；Mroueh 等，2017；Mroueh 和 Sercu，2017）表明，基于 IPM 的 GAN（如 WGAN 等）擁有優(yōu)于 GAN 的表現(xiàn)。下一小節(jié)我們將從損失函數(shù)梯度的角度分析基于 IPM 的 GAN 與 SGAN 有何不同。由于梯度是網(wǎng)絡(luò)訓練過程中的直接影響因素，如果可以模仿基于 IPM 的 GAN 的損失函數(shù)梯度，那么就有可能得到擁有相似優(yōu)良表現(xiàn)的 GAN。損失函數(shù)梯度對比本小節(jié)我們

33、將對比非飽和 SGAN 和基于 IPM 的 GAN 的損失函數(shù)梯度。已知非飽和 SGAN的損失函數(shù)如下： = () + (1 () = (1 () + ()可以求得其對網(wǎng)絡(luò)參數(shù) w 的梯度為： = (1 ()() + ()() = (1 () ()基于 IPM 的 GAN 的損失函數(shù)為： = () () = () ()可以求得其對網(wǎng)絡(luò)參數(shù) w 的梯度為： = () + () = ()對比二者梯度表達式可知，如果 SGAN 具備以下條件，則二者的損失函數(shù)梯度相同：1. 對而言，若在判別器訓練開始前（生成器訓練結(jié)束后），() = 0，() = 1，則變?yōu)橄嗤?。對而言，若在生成器訓練開始前（判別器訓

34、練結(jié)束后），() = 0，則變?yōu)橄嗤?。由于基?IPM 的 GAN 對 C 有限制，還要求 SGAN 的 。在理想狀態(tài)下，SGAN 判別器訓練結(jié)束后，() 1，() 0，因此第二個條件被近似滿足；生成器對()并沒有影響，因此生成器訓練結(jié)束后，() 1，() 1，第一個條件中的() = 0沒有被滿足。因此，二者的主要區(qū)別在于生成器結(jié)束后，()是否趨于 0。下面我們給出上述梯度差別的直覺解釋。在 SGAN 生成器訓練的過程中，我們沒有改變()，所以在判別器訓練的過程中，真實數(shù)據(jù)梯度()的“權(quán)重項”1 () 0，即真實數(shù)據(jù)的影響逐漸下降。這導(dǎo)致 SGAN 判別器過多關(guān)注虛假數(shù)據(jù)，不再注重學習真實數(shù)據(jù)

35、，進而導(dǎo)致學習的停滯。這也就是 SGAN 和基于 IPM 的 GAN 之間的差距所在。因此，如果損失函數(shù)能夠在()上升的同時讓()下降并趨近于 0，那么判別器訓練時就始終對真實數(shù)據(jù)保持更高比例的關(guān)注，就有助于提高算法的表現(xiàn)和穩(wěn)定性。下圖總結(jié)真樣本被判定為真實的概率不下降帶來的三個缺陷。圖表5： 真樣本判真概率不下降的缺陷資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所相對生成對抗網(wǎng)絡(luò) RGAN相對損失函數(shù)與相對判別器如前文所述，所有非相對生成對抗網(wǎng)絡(luò)的生成器都只能影響損失函數(shù)

36、的一半，無法影響真樣本的判別器輸出。因此，它們都缺乏讓真樣本的判別器輸出下降的特性，而這一特性又是十分重要的。相對生成對抗網(wǎng)絡(luò) RGAN（Relativistic GAN）將 GAN 的損失函數(shù)改為相對損失函數(shù)，判別器修改成相對判別器，使得生成器能夠影響整個損失函數(shù)。相對判別器需要將真樣本和假樣本相互比較，判定二者之間誰更加真實。例如，如果我們將 SGAN 損失函數(shù)改為相對損失函數(shù)，我們就得到了相對 SGAN（RSGAN），其判別器以一類樣本作為基準，輸出另一類樣本比基準更真實的概率。SGAN 中，判別器最大化真樣本被判定為真實的概率，最小化假樣本被判定為真實的概率；生成器最大化假樣本被判定為

37、真實的概率。但在 RSGAN 中，相對判別器最大化真樣本比假樣本更真實的概率，最小化假樣本比真樣本更真實的概率；生成器最小化真樣本比假樣本更真實的概率，最大化假樣本比真樣本更真實的概率。下圖將相對判別器與絕對判別器進行對比，清晰展示了相對判別器的比較優(yōu)勢。其中面包被設(shè)定為真樣本（判別器原始輸出趨于正），狗被設(shè)定為假樣本（判別器原始輸出趨于負）。圖表6： 相對與絕對判別器輸出對比圖資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所第一種情況下，真樣本很像面包（判別器原始輸出為 8

38、），假樣本很像狗（判別器原始輸出為5）。絕對判別器根據(jù)真樣本的原始輸出 8，直接判定真樣本 100%是面包；相對判別器考慮到假樣本的原始輸出是5，因此真樣本遠比假樣本更像面包，進而判定真樣本 100%是面包。兩個判別器表現(xiàn)相當。第二種情況下，真樣本很像面包（判別器原始輸出為 8），但假樣本也很像面包（判別器原始輸出為 7）。絕對判別器仍舊根據(jù)真樣本的原始輸出 8，直接判定真樣本 100%是面包；相對判別器考慮到假樣本的原始輸出是 7，因此真樣本僅比假樣本略微更像面包，進而判定真樣本有 73%的可能性是面包。雖然相對判別器的結(jié)論稍遜于絕對判別器，但并沒有徹底背離事實。第三種情況下，真樣本很像狗（

39、判別器原始輸出為3），但是假樣本更像狗（判別器原始輸出為5）。絕對判別器根據(jù)真樣本的原始輸出3，直接判定真樣本僅有 5%的可能性是面包；相對判別器考慮到假樣本的原始輸出是5，因此真樣本雖然不像面包，但是跟假樣本相比還是更像面包一些，進而判定真樣本有 88%的可能性是面包。此時，絕對判別器的判定明顯偏離事實，相對判別器則凸顯出優(yōu)勢。RGAN 的定義RGAN 的原理RGAN 的本質(zhì)是將原先的絕對損失函數(shù)改為相對損失函數(shù)，因此所有擁有相對損失函數(shù)的 GAN 都屬于 RGAN。換言之，如果將損失函數(shù)改為相對損失函數(shù)“有利可圖”，那么我們可以將其應(yīng)用于幾乎任何非相對損失函數(shù)，以賦予其某些相對損失函數(shù)的優(yōu)

40、秀性質(zhì)。 RGAN 的損失函數(shù)定義如下： = (,)(,)1 ( () ()+(,)(,) 2 ( () () = (,)(,)1 ( () ()+(,)(,) 2 ( () ()需要指出的是，原著中 RGAN 的定義中沒有(. )這一項。此處為使1，2，1，2的含義 與前文保持一致，故將(. )從1，2，1，2中獨立出來單列。下面我們對 RGAN 損失函數(shù)中與 GAN 損失函數(shù)不同的部分做進一步解釋：1. 最主要的變化是相對判別器 (, ) = () ()。相對判別器以一對樣本作為輸入，在輸出時先將二者的原始輸出相減，再對其結(jié)果進行變換(. )。例如，在 RSGAN 中，為了輸出真樣本比假樣

41、本更真的概率，我們以假樣本為基準，用真樣本的判別器原始輸出減去假樣本的判別器原始輸出，再用 Sigmoid 函數(shù)將這一輸出轉(zhuǎn)換為概率。2.1，2，1，2的含義與 GAN 中相同，同樣可以根據(jù)這四項之間的關(guān)系把 RGAN 劃分為飽和 RGAN 和非飽和 RGAN。但與 GAN 中不同的是，在 RGAN 中1不可省略，因為包含1的項(,)(,) 1 ( () ()里也包含，即()，在生成 器優(yōu)化的過程中這一項的梯度并不為 0。不少 GAN 的損失函數(shù)具有如下性質(zhì)1() = 2()，例如 SGAN。滿足這一性質(zhì)的 RGAN 損失函數(shù)可以進一步化簡，其中非飽和形式（1 = 2，2 = 1）的化簡結(jié)果如

42、下： = = (,)(,)(,)(,)1 ( () ()1 ( () ()此外，基于 IPM 的 GAN 實際上是一種特殊的 RGAN，具體介紹詳見附錄。RGAN 的算法偽代碼上文我們提到，不少 GAN 的損失函數(shù)滿足1() = 2()。我們給出滿足這一條件的 RGAN 算法偽代碼（非飽和形式）：圖表7： RGAN 算法偽代碼輸入：每輪判別器訓練次數(shù)（通常取 1），批量樣本數(shù)量 m，決定損失項的函數(shù) f隨機初始化判別器網(wǎng)絡(luò)參數(shù) w 和生成器網(wǎng)絡(luò)參數(shù)while 不收斂3For 1 to do # 訓練判別器 D從真實數(shù)據(jù)分布中采集m 個樣本從標準正態(tài)分布中采集m 個樣本用隨機梯度下降算法更新w，

43、梯度計算表達式為 ( ( () ( ()End# 訓練生成器 G = 從真實數(shù)據(jù)分布中采集m 個樣本從標準正態(tài)分布中采集m 個樣本用隨機梯度下降算法更新，梯度計算表達式為 ( ( ( () ()End輸出：生成器 G = 資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所RaGAN 的定義RaGAN 的原理RSGAN 設(shè)計判別器和生成器損失函數(shù)的初衷是衡量一類數(shù)據(jù)比另一類數(shù)據(jù)更真實的概率。然而在設(shè)計 RGAN 損失函數(shù)以及算法偽代碼的過程中，我們實際選取了多組數(shù)據(jù)對（偽代碼中的

44、(, ()對），衡量一類數(shù)據(jù)的單個樣本點比另一類數(shù)據(jù)的單個樣本點更真實的概率。事實上，理想的判別器損失函數(shù)應(yīng)該如下： = (, ) + (1 (, )其中：1.(, )表示某一真樣本比全體假樣本更真實的概率均值，(, )表示某一假樣本比全體真樣本更真實的概率均值。2. r(, )表示每一個真樣本比全體假樣本更真實的概率小于 1 時造成的交叉熵損失。(1 r(, ) 表示每一個假樣本比全體真樣本更真實的概率大于 0 時造成的交叉熵損失。雖然這種算法更符合 RGAN 的初衷，但是該算法需要遍歷所有樣本組合，復(fù)雜度為(2)，而原先 RSGAN 的算法復(fù)雜度為()。為降低算法復(fù)雜度，我們注意到，這一算

45、法是對更真實的概率進行平均，如果我們先對一類數(shù)據(jù)的判別器原始輸出()進行平均，再用另一類數(shù)據(jù)樣本點的判別器原始輸出，減去這類數(shù)據(jù)的判別器原始輸出的均值，來估計其相對更加真實的概率，我們就可以把算法復(fù)雜度改進到()。改進后的損失函數(shù)如下： = () ()r+ (1 () r()如果放松 SGAN 中對交叉熵損失函數(shù)和 Sigmoid 變換層的限制，我們可以給出廣義RaGAN（Relativistic average GAN）的定義： = 1 ( () ()r+ 2 ( () r() = 1 ( () ()r+ 2 ( () r()RaGAN 與 RGAN 的主要差別在于，判別器在計算一類樣本和另

46、一類樣本（基準樣本）的相對值時，RaGAN 會對基準樣本的原始輸出先進行平均，以衡量另一組樣本的整體水平，增加梯度下降的穩(wěn)定性。RaGAN 的算法偽代碼下面給出非飽和 RaGAN 的算法偽代碼：圖表8： RaGAN 算法偽代碼輸入：每輪判別器訓練次數(shù)（通常取 1），批量樣本數(shù)量 m，決定損失項的函數(shù)，。隨機初始化判別器網(wǎng)絡(luò)參數(shù) w 和生成器網(wǎng)絡(luò)參數(shù)while 不收斂3For 1 to do # 訓練判別器 D從真實數(shù)據(jù)分布中采集m 個樣本=從標準正態(tài)分布中采集m 個樣本6求判別器對真實數(shù)據(jù)輸出的“均值”() = ()/=7求判別器對虛假數(shù)據(jù)輸出的“均值”() = ()/用隨機梯度下降算法更新w

47、，梯度計算表達式為 ( ( () ( ) + ( ( ( () ( )End = # 訓練生成器 G從真實數(shù)據(jù)分布中采集m 個樣本=從標準正態(tài)分布中采集m 個樣本12求真實數(shù)據(jù)的“平均值”() = ()/=13求虛假數(shù)據(jù)的“平均值”() = ()/用隨機梯度下降算法更新，梯度計算表達式為 ( ( ( () ( ) + ( () ( )End輸出：生成器 G = 資料來源：The relativistic discriminator: a key element missing from standard GAN，華泰證券研究所從算法穩(wěn)定性的角度看，在 RGAN 中我們隨機選取 m 對真實和虛假

48、數(shù)據(jù)進行隨機梯度下降，算法的隨機性更強；而 RaGAN 則對一組數(shù)據(jù)取平均再計算相對值，算法相對更穩(wěn)定。盡管如此，二者孰優(yōu)孰劣并不能就此定論：RaGAN 的梯度計算經(jīng)過平均，因此更加準確；但是 RGAN 算法中的隨機性可能會使結(jié)果更加穩(wěn)健，正如隨機梯度下降 SGD 比一般梯度下降表現(xiàn)更好。方法訓練數(shù)據(jù)本文與 GAN 系列的前兩篇報告保持一致，仍選取上證綜指日頻數(shù)據(jù)和標普 500 月頻數(shù)據(jù)作為訓練集，同樣采用滑動窗口的方法取得真實樣本。感興趣的讀者可以參考人工智能35：WGAN 應(yīng)用于金融時間序列生成（20200828）。圖表9： GAN 訓練數(shù)據(jù)集標的頻率起止日期每條樣本長度上證綜指日頻200

49、4/12/312020/08/312520 個交易日（約 10 年）標普 500月頻1927/12/302020/08/31252 個交易月份（21 年）資料來源：Wind，Bloomberg，華泰證券研究所損失函數(shù)RGAN 和 RaGAN 的理念可以用于各種非相對 GAN，因此我們把 SGAN、LSGAN、HingeGAN 都修改成相應(yīng)的相對 GAN，再對比其結(jié)果，以體現(xiàn)相對損失函數(shù)的優(yōu)勢。 RaGAN 與 RGAN 效果相近，因此除了將 SGAN 與 RSGAN、RaSGAN 兩者對比外， LSGAN 和HingeGAN 只分別與RaLSGAN 和RaHingeGAN 對比。下面我們給出L

50、SGAN、 RaLSGAN、HingeGAN、RaHingeGAN 的損失函數(shù)。最小二乘 GAN（Least Square GAN，簡稱 LSGAN）的損失函數(shù)是預(yù)測值和標簽值的平方，也即1() = 2() = ( )2 ，() = 。因此 LSGAN 損失函數(shù)表達式為： = () 1)2 + 2() = RaLSGAN 損失函數(shù)表達式為：r( )2 + ( ) 1)2 = r() 2() 1)+ () r( ) + 1)2 = r() 2() + 1)+ ()r( ) 1)2HingeGAN 的損失函數(shù)對與標簽值同方向的預(yù)測值不給予損失，反方向的預(yù)測值給予線性 損失。例如，設(shè)預(yù)測值為，若標簽

51、值為 1，那么大于 1 的預(yù)測值損失為 0，小于 1 的預(yù)測 值損失為 1y。若標簽值為1，那么小于1 的預(yù)測值損失為 0，大于1 的預(yù)測值損失 為 1y。因為這種損失函數(shù)狀如鉸鏈（見圖表 11），因此得名 Hinge。取1() = (1 )，2() = ()，又有() = ，得到 HingeGAN 損失函數(shù)表達式： = (1 () + ()r = () + (1 ()rRaHingeGAN 損失函數(shù)表達式： = (1 () ()r+ (1 + () r() = (1 + () ()r+ (1 () r(), 0其中，() = 0, 0。下面兩張圖表分別總結(jié)測試階段所使用 GAN 模型的區(qū)別和

52、損失函數(shù)對比。圖表10： 各種 GAN 模型的區(qū)別GAN 類型判別器類型判別器變換層損失函數(shù)類型SGAN絕對判別器Sigmoid交叉熵損失函數(shù)RSGAN相對判別器Sigmoid交叉熵損失函數(shù)RaSGAN相對平均判別器Sigmoid交叉熵損失函數(shù)LSGAN絕對判別器恒等變換最小二乘損失函數(shù)RaLSGAN相對平均判別器恒等變換最小二乘損失函數(shù)HingeGAN絕對判別器恒等變換Hinge 損失函數(shù)RaHingeGAN相對平均判別器恒等變換Hinge 損失函數(shù)資料來源：華泰證券研究所圖表11： 各種損失函數(shù)對比3.02.5不同損失函數(shù)損失值2.01.51.00.5交叉熵真實數(shù)據(jù) 交叉熵虛假數(shù)據(jù) 最小二

53、乘真實數(shù)據(jù)最小二乘虛假數(shù)據(jù) Hinge真實數(shù)據(jù)Hinge虛假數(shù)據(jù)0.0(1)012判別器原始輸出C(x)資料來源：華泰證券研究所網(wǎng)絡(luò)結(jié)構(gòu)為比較相對損失函數(shù)的作用，本文測試保證網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)基本相同，及()保持一致，大體沿用人工智能 31：生成對抗網(wǎng)絡(luò) GAN 初探（20200508）中的網(wǎng)絡(luò)框架。理論部分提到，相對損失函數(shù)的判別器具備“輸入樣本一半為假”的先驗假設(shè)，不需要像非相對損失函數(shù)的判別器一樣進行過多限制。因此，本文 RSGAN 和 RaSGAN 模型中判別器學習速率提高為原先的 10 倍。實驗表明，當 SGAN 模型中判別器學習速率提高為原先的 10倍時，SGAN 模型表現(xiàn)不佳。因此

54、，提高判別器學習速率是最優(yōu)化相對 GAN 所要求的，而并非提高學習速率本身增強了模型表現(xiàn)。圖表12： 生成器 G 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)取值結(jié)構(gòu)含兩個隱藏層的全連接神經(jīng)網(wǎng)絡(luò)輸入噪音向量（隱變量）()標準正態(tài)分布輸入層神經(jīng)元數(shù)量 100第一隱藏層神經(jīng)元數(shù)量 128第一隱藏層激活函數(shù)Tanh第二隱藏層神經(jīng)元數(shù)量 2048第二隱藏層激活函數(shù)Tanh輸出層神經(jīng)元數(shù)量2520（約 10 年日頻）或 252（21 年月頻）是否標準化是優(yōu)化器Adam優(yōu)化器參數(shù)學習速率 2e-4，=(0.5,0.999)資料來源：Enriching Financial Datasets with Generative Adversar

55、ial Networks，華泰證券研究所圖表13： 判別器 D 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)取值結(jié)構(gòu)含三個卷積層和一個全連接層的卷積神經(jīng)網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)量2520（10 年日頻）或 252（21 年月頻）第一卷積層卷積核數(shù)量 64第二卷積層卷積核數(shù)量 128第三卷積層卷積核數(shù)量 128卷積核尺寸 9卷積層 Padding 4卷積層激活函數(shù)LeakyReLU(0.2)全連接層神經(jīng)元數(shù)量 32全連接層激活函數(shù)LeakyReLU(0.2)全連接層 Dropout 比例 0.5輸出層神經(jīng)元數(shù)量 1輸出層激活函數(shù)Sigmoid是否批標準化否優(yōu)化器Adam優(yōu)化器參數(shù)學習速率 1e-5，=(0.1,0.999)（RSGA

56、N、RaSGAN 學習速率 1e-4） Noise labeling：真樣本標簽范圍0.9,1.1Noise labeling：假樣本標簽范圍0.1,0.3資料來源：Enriching Financial Datasets with Generative Adversarial Networks，華泰證券研究所以上給出本文 GAN 的生成器和判別器網(wǎng)絡(luò)結(jié)構(gòu)。其中損失函數(shù)略去不寫，采取上述各種相對和非相對 GAN 的損失函數(shù)的非飽和形式。評價指標RGAN 和 RaGAN 彌補了生成器不能使真樣本被判定為真實的概率下降這一缺陷，在實踐中被證明有助于算法穩(wěn)定性的提高。例如，一般而言批歸一化層有助于提

57、高算法穩(wěn)定性，但是RGAN 即使去掉了批歸一化層也能表現(xiàn)很好。由于并沒有明確指向某個指標的改進，本文采用WGAN 文中的全部 9 項指標，以評價 RGAN 的總體表現(xiàn)。圖表14： 9 項生成虛假序列評價指標指標名稱計算方法真實序列特點自相關(guān)性計算收益率序列 1k 階自相關(guān)系數(shù)不相關(guān)厚尾分布統(tǒng)計收益率分布厚尾分布波動率聚集計算收益率絕對值和未來波動率的 1k 階自相關(guān)系數(shù)低階正相關(guān)，高階不相關(guān)杠桿效應(yīng)計算當前收益率和未來波動率的 1k 階相關(guān)度低階負相關(guān)，高階不相關(guān)粗細波動率相關(guān) 計算周頻收益率絕對值(粗波動率)和一周內(nèi)日頻收益率絕對值 不對稱，細能預(yù)測粗，粗不能預(yù)之和(細波動率)的-kk 階相

58、關(guān)系數(shù)測細盈虧不對稱性統(tǒng)計漲跌超過一定幅度所需最少交易日數(shù)的分布漲的慢，跌得快方差比率檢驗計算收益率序列若干階的方差比率統(tǒng)計量低階隨機游走，高階非隨機游走長時程相關(guān)計算收益率序列的 Hurst 指數(shù)Hurst 指數(shù)略大于 0.5多樣性統(tǒng)計序列間 DTW 值的分布-資料來源：Modeling financial time-series with generative adversarial networks，華泰證券研究所RGAN 測試結(jié)果本文測試 RGAN 和 RaGAN 在生成上證綜指日頻和標普 500 月頻收益率序列中的表現(xiàn)。由于 RGAN 和 RaGAN 在兩個數(shù)據(jù)集上表現(xiàn)接近，正文部分

59、僅展示上證綜指日頻的結(jié)果，標普 500 月頻的結(jié)果詳見附錄。總體而言，RGAN、RaGAN 在大部分指標上表現(xiàn)與 GAN接近，在 Hurst 指數(shù)上的表現(xiàn)明顯優(yōu)于 GAN。RSGAN、RaSGAN 與 SGAN 對比結(jié)果損失函數(shù)和真假序列展示下圖分別展示 RSGAN 和 RaSGAN 的損失函數(shù)值?？傮w而言，生成器損失函數(shù)比判別器損失函數(shù)的值更大。原因在于，與非相對損失函數(shù)不同，相對損失函數(shù)對生成器的要求尤其高。非相對損失函數(shù)的生成器只需要將假樣本被判定為真實的概率變成 1，損失函數(shù)就接近 0；但是擁有相對損失函數(shù)的生成器需要將假樣本比真樣本更真實的概率變成 1，損失函數(shù)才接近 0。因此，相對

60、損失函數(shù)的生成器損失值會更高。更通俗的解讀是，對生成器而言，擬真并不難（非相對損失），“比真實還要真”更難（相對損失）。圖表15： 上證綜指日頻序列：RSGAN 損失函數(shù)圖表16： 上證綜指日頻序列：RaSGAN 損失函數(shù) 判別器D生成器G 判別器D生成器G51048損失函數(shù)值 損失函數(shù)值 36 2412010020030040050060070080090010001100120013001400150016001700180019000100200300400500600700800900100011001200130014001500160017001800190000迭代次數(shù)迭代次數(shù)資