生成式對抗網(wǎng)絡(luò)課件

生成式對抗網(wǎng)絡(luò)課件生成式對抗網(wǎng)絡(luò)課件第10章

生成式對抗網(wǎng)絡(luò)1第10章

生成式對抗網(wǎng)絡(luò)110.1概述在人工神經(jīng)網(wǎng)絡(luò)中建模的好壞會直接影響生成式模型的性能，但是對實際案例進(jìn)行建模時需要大量先驗知識。另外，由于實際數(shù)據(jù)非常復(fù)雜，模型建立所需計算量也非常大，因此對計算資源和硬件的要求也很高。針對這些問題，2014年10月蒙特利爾大學(xué)的Goodfellow等人提出了一種基于生成式的對抗網(wǎng)絡(luò)——生成式對抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN)。在提出的對抗性網(wǎng)絡(luò)框架中，網(wǎng)絡(luò)的工作機理類似于一隊試圖制造假幣和使用它而不想被發(fā)現(xiàn)的造假者之間的對抗和博弈。生成模型類似于試圖制造假幣的一隊，而判別模型類似于警察，試圖檢測這些假幣，用于判斷和確定樣本是來自生成模型還是真實數(shù)據(jù)。在這個游戲中的對抗競爭促210.1概述在人工神經(jīng)網(wǎng)絡(luò)中建模的好壞會直接影響生成式模型使兩個團隊不斷改進(jìn)他們的方法，直到假冒偽劣品與真品無法區(qū)分。該算法是對抗訓(xùn)練機制進(jìn)行訓(xùn)練，并使用隨機梯度下降法實現(xiàn)極值搜索。由于不需分辨下限也不需近似推斷，所以避免了傳統(tǒng)上反復(fù)應(yīng)用馬爾可夫鏈學(xué)習(xí)機制帶來的配分函數(shù)計算問題，提高了網(wǎng)絡(luò)效率。生成式對抗網(wǎng)絡(luò)的核心思想是博弈論中的二元論和博弈，而這種博弈思想最早起源于奧地利小說家斯蒂芬?茨威格1941年寫的小說《象棋的故事》中。被囚禁在納粹集中營中小說的主人公意外得到一本國際象棋棋譜，他用牢房里的面包做成了國際象棋，然后自己與自己下棋，經(jīng)過一盤盤的左右手互相博弈之后，他的下棋水平有了很大的提高，最后他輕松地?fù)魯×水?dāng)時的世界象棋冠軍。一個生成式對抗網(wǎng)絡(luò)模型至少包含一個判別器和一個生成3使兩個團隊不斷改進(jìn)他們的方法，直到假冒偽劣品與真品無法區(qū)分器。其中，判別器是指對已經(jīng)觀測到的數(shù)據(jù)x與未觀測到的數(shù)據(jù)y之間的關(guān)系進(jìn)行建模，就是對條件概率建模。而深度學(xué)習(xí)的主要研究成果基本都屬于判別器模型，特別是反向傳播算法和Dropout算法的出現(xiàn)，使判別器的研究得到飛速發(fā)展。生成器的全稱為概率生成器，是一種用于隨機生成可觀測數(shù)據(jù)的模型。相比于判別器，會涉及最大似然估計、近似法等復(fù)雜計算，所以生成器的發(fā)展較慢，直到生成式對抗網(wǎng)絡(luò)的出現(xiàn)，才使生成器得到了廣泛應(yīng)用和發(fā)展。目前，GAN最主要的應(yīng)用是圖像生成和數(shù)據(jù)增強，就是通過對真實數(shù)據(jù)建模然后生成與真實圖像、數(shù)據(jù)分布一樣的樣本。同時，GAN還可以用于圖像和視頻的生成，如圖像修復(fù)、圖像的超分辨率、人臉圖像編輯、圖像上色4器。其中，判別器是指對已經(jīng)觀測到的數(shù)據(jù)x與未觀測到的數(shù)5等。圖像的修復(fù)已經(jīng)研究很多年了，一直都達(dá)不到理想的效果，直到GAN的出現(xiàn)，才可以用缺失部分周邊元素的圖像作為訓(xùn)練對象，生成完整的圖像，并經(jīng)過判別器對真實圖片和生成圖片進(jìn)行判別，達(dá)到最理想的效果。也可將原本分辨率較低的模糊圖片經(jīng)過一系列GAN的變換生成一張高分辨率的清晰圖像。另外，GAN與目前研究較熱的強化學(xué)習(xí)、模仿學(xué)習(xí)等技術(shù)巧妙結(jié)合，從而可以有力地推動人工智能的發(fā)展。從人工智能角度看，GAN使用神經(jīng)網(wǎng)絡(luò)來指導(dǎo)神經(jīng)網(wǎng)絡(luò)，思想非常奇特。仿佛兩個武術(shù)初學(xué)者，從零基礎(chǔ)開始，互相對決、相互討論、共同進(jìn)步，最后一同達(dá)到武學(xué)頂峰的勵志故事。這不僅是機器學(xué)習(xí)想達(dá)到的理想結(jié)果，也是人類想要達(dá)到的最終結(jié)果。5等。圖像的修復(fù)已經(jīng)研究很多年了，一直都達(dá)不到理想的效果，直另外，研究者為了提高GAN的性能，目前已經(jīng)提出了DCGAN、SGAN、InfoGAN、CGAN、AC-GAN等多種GAN改進(jìn)版本，并且在計算機視覺、語音、圖像處理等領(lǐng)域得到了廣泛的關(guān)注和應(yīng)用。美國《麻省理工科技評論》評選的2018年“全球十大突破性技術(shù)”中，生成式對抗網(wǎng)絡(luò)與人工智能、人造胚胎、傳感城市、量子材料、3D金屬打印等熱門技術(shù)榜上有名。66710.2生成式對抗網(wǎng)絡(luò)的結(jié)構(gòu)一個GAN主要包括一個生成器G和一個判別器D，其結(jié)構(gòu)如10-1所示。其中，生成器G是一個生成圖片的網(wǎng)絡(luò)，它接收一個隨機的噪聲z，并通過這個噪聲生成圖片G(z)；判別器D是一個判別網(wǎng)絡(luò)，用來判別一張圖片是不是“真實的”。它的輸入?yún)?shù)是真實數(shù)據(jù)x

，輸出D(x)代表x為真實圖片的概率，如果為1，就代表100%是真實的圖片，而輸出為0,就代表不可能是真實的圖片，即為假的圖片。710.2生成式對抗網(wǎng)絡(luò)的結(jié)構(gòu)一個GAN主要包括一個生成器7當(dāng)GAN輸入一個噪聲變量z，網(wǎng)絡(luò)首先將噪聲z在生成器G的多層感知器或者神經(jīng)網(wǎng)絡(luò)當(dāng)中映射到，得到一個新的數(shù)據(jù)G(z)，然后把真實數(shù)據(jù)x和生成的數(shù)據(jù)G(z)送入判別器D當(dāng)中。判別器D會根據(jù)實際輸入的數(shù)據(jù)x與生成的數(shù)據(jù)G(z)進(jìn)行判別，從而輸出判別真假的概率值。假如判別器的輸出和設(shè)定的答案方向不相同，即實際的輸入概率值趨近于0，生成數(shù)據(jù)的概率趨近于100%，則可以反映出生別器的準(zhǔn)確度很高。在GAN訓(xùn)練過程中，生成器G的目標(biāo)就是用生成的真實的圖片去欺騙判別器D，而判別器D的目標(biāo)就是盡量把生成器G生成的圖片和真實的圖片分別開來。這樣，生成器7當(dāng)GAN輸入一個噪聲變量z，網(wǎng)絡(luò)首先將噪聲z在生成器G的多8G和判別器D就形成了一個動態(tài)的“對抗或博弈”過程，對抗原理如圖10-2所示。具體來說，生成式對抗網(wǎng)絡(luò)學(xué)習(xí)的過程就是生成器G和判別器D的極大極小博弈的過程。判別器D是為了更準(zhǔn)確地區(qū)分G(z)和x，并且識別出生成數(shù)據(jù)和真實數(shù)據(jù)，把判別后的輸出概率二分化，就是讓判別器輸出的真實數(shù)據(jù)D(x)的概率盡可能最大，而判別器輸出的生成數(shù)據(jù)D(G(z))的概率盡可能最小。生成器G的作用就是使自己生成的數(shù)據(jù)盡可能與真實數(shù)據(jù)一致，讓判別器D無法區(qū)分。因此判別模型和生成模型的性能在它們互相競爭、互相對抗的過程中不斷提高，最理想的結(jié)果就是D(G(z))與真實數(shù)據(jù)的表現(xiàn)D(x)相同，此時G和D到最優(yōu)。8G和判別器D就形成了一個動態(tài)的“對抗或博弈”過程，對抗991010.3生成式對抗網(wǎng)絡(luò)算法為了了解生成器G對數(shù)據(jù)x上的分布pg第一，這里定義一個先驗輸入噪聲變量pz(z)，數(shù)據(jù)空間的映射為。其中，生成器G是由具有參數(shù)的多層感知器表示的微分函數(shù)。第二個是輸出單個標(biāo)量的多層知器。D(x)表示x來自數(shù)據(jù)而不是pg的概率。為了最大化將正確標(biāo)簽分配給來自生成器G的訓(xùn)練示例和樣本的概率，從而對判別器D進(jìn)行了訓(xùn)練。同時，為了最小化

，對生成器G進(jìn)行了訓(xùn)練。生成式對抗網(wǎng)絡(luò)的目標(biāo)函數(shù)可表述為1010.3生成式對抗網(wǎng)絡(luò)算法為了了解生成器G對數(shù)據(jù)x上的11式中，真實數(shù)據(jù)x采樣自真實數(shù)據(jù)分布，噪聲z服從先驗噪聲分布，E為期望值，判別器的數(shù)據(jù)來自和生成數(shù)據(jù)分布通常，要求判別模型D最大化，希望其能夠準(zhǔn)確的來判別數(shù)據(jù)是屬于真實的還是生成的。同時，還需要生成模型G最大化D(G(z))在優(yōu)化G和D是都是采用交替優(yōu)化方法，優(yōu)化判別器D時需要將生成器G固定，使判別器的判別準(zhǔn)確率最大化，優(yōu)化生成器G時需要將判別器D固定。當(dāng)真實數(shù)據(jù)分布pdata與生成數(shù)據(jù)分布pg相等時，達(dá)到最優(yōu)解。11式中，真實數(shù)據(jù)x采樣自真實數(shù)據(jù)分布，12生成對抗網(wǎng)絡(luò)訓(xùn)練方法采用的是小批量隨機梯度下降，迭代次數(shù)為k。第k次迭代時，從噪聲先驗分布為pg(z)中抽取m個小批量噪聲樣本，從數(shù)據(jù)生成布pdata(x)中抽取m

個小批量。更新判別器隨機梯度為從噪聲先驗分布為pg(z)中抽取m個小批量噪聲樣本

。12生成對抗網(wǎng)絡(luò)訓(xùn)練方法采用的是小批量隨機梯度下降，迭代次數(shù)此時，通過隨機梯度下降來更新判別器D和G的優(yōu)化過程實質(zhì)就是尋找極大極小值的過程，其目標(biāo)函數(shù)就是式（10-1）。當(dāng)真實數(shù)據(jù)分布pdata與生成數(shù)據(jù)分布pg相等時，達(dá)到全局最優(yōu)。優(yōu)化判別器時，首先將生成器G保持固定不變。此時，判別器D為13此時，通過隨機梯度下降來更新判別器13在生成器G為任意時，判別器D的訓(xùn)練條件為判別器的訓(xùn)練目標(biāo)函數(shù)最大化可以用條件概率來估計，其中，表示Y的x是來自pdata(y=1)或者pg(y=0)此時，目標(biāo)函數(shù)可寫為那么什么時候C(G)能達(dá)到全局最小呢？此時式(10-6)的值又為多少呢？當(dāng)pdata與pg相等時，有14在生成器G為任意時，判別器D的訓(xùn)練條件為14式(10-7)減去可得其中，KL為Kullback–Leibler散度。模型判別和數(shù)據(jù)生成過程之間的Jensen–Shannon偏差為因為兩個分布之間的Jensen–Shannon偏差總是非負(fù)性的，僅當(dāng)兩個分布相等時值才為零。所以，當(dāng)且僅當(dāng)真實數(shù)據(jù)分布pdata與生成數(shù)據(jù)分布pg相等時，能達(dá)到訓(xùn)練條件C(G)的全局最小，且此時式(10-6)的值為一log4。15式(10-7)減去可得判別器D優(yōu)化為優(yōu)化判別器D時，應(yīng)將生成器G固定。假設(shè)已經(jīng)得到生成樣本G(z)，這時只需要優(yōu)化真實樣本D(x)，就是希望真實樣本經(jīng)過判別器優(yōu)化后得到的結(jié)果越大越好，真實樣本預(yù)測的概率越接近1，證明優(yōu)化結(jié)果越好。對于假樣本，則是希望優(yōu)化后輸出的概率越小越好，即D(G(z))越小，越接近于0越好，但是這樣與題設(shè)中最大化相矛盾，所以將第二項中D(G(z))改為1一D(G(z))。16判別器D優(yōu)化為1617優(yōu)化生成器G為優(yōu)化生成器G時，判別器D固定，與判別模型無關(guān)，所以式中只有生成樣本，而且希望生成的樣本與真實的樣本一致，即希望D(G(z))越大越好，接近于1，但是為了形式的統(tǒng)一性，將其變形為1-D(G(z))，且希望它越小越好。將兩個優(yōu)化后的模型合并就變成生成式對抗網(wǎng)絡(luò)的目標(biāo)函數(shù)。那么博弈的最后期望結(jié)果是什么呢？在最理想的狀態(tài)下，生成器G可以生成足以“以假亂真”的圖片G(z)。但對于判別器D來說，它難以判定生成器G生成的圖片究竟是不是真實的，因此D(G(z))=0.5。此時，就得到了一個生成器的生G，并達(dá)到生成“亂真”圖片的目的。17優(yōu)化生成器G為10.4改進(jìn)的生成式對抗網(wǎng)絡(luò)

181.DCGAN深度卷積生成對抗網(wǎng)絡(luò)（DeepConvolutionalGAN，DCGAN)，是在生成模型和判別模型中添加了卷積神經(jīng)網(wǎng)絡(luò)，使得生成性能有了很大的提高。因為其改進(jìn)的方向比較好，所以許多生成式網(wǎng)絡(luò)的改進(jìn)都是參照DCGAN進(jìn)行了性能的優(yōu)化和改進(jìn)。圖10-3是DCGAN中的生成器G結(jié)構(gòu)圖。10.4改進(jìn)的生成式對抗網(wǎng)絡(luò)

181.DCGANDCGAN的形式主要有下列幾種情形(1)把深度卷積中的池化層用判別器和生成器替換。(2)移除網(wǎng)絡(luò)中的全連接層，提高了網(wǎng)絡(luò)的穩(wěn)定性。(3)在生成器G和判別器D中都用批量歸一化，有助于梯度傳遞到每一層網(wǎng)絡(luò)中，也預(yù)防生成器把所有樣本收斂到同一個點上。(4)在生成器G中，除了輸出層采用了tanh傳遞函數(shù)，其余層采用了ReLU傳遞函數(shù)。19DCGAN的形式主要有下列幾種情形1920(5)在判別器D中所有的網(wǎng)絡(luò)層都采用LeakyReLU傳遞函數(shù)，使得深度卷積生成對抗網(wǎng)絡(luò)相比于一般生成對抗網(wǎng)絡(luò)有更好的生成能力，網(wǎng)絡(luò)訓(xùn)練有更好的收斂速度和穩(wěn)定性，但也存在著生成圖像分辨率很低等問題。2.SGAN半監(jiān)督生成對抗網(wǎng)絡(luò)（Semi-supervisedGAN，SGAN)，原理結(jié)構(gòu)如10-4所示。它可以將真實數(shù)據(jù)x和它的類別信息同時輸入到判別器中，所以判別模型最終不僅可以判別圖像的來源，也可以判別圖像的類別。在這種情況下，整個對抗網(wǎng)絡(luò)判別器D有了更好的判別能力，同時加入了類別20(5)在判別器D中所有的網(wǎng)絡(luò)層都采用LeakyReLU21c之后，增強了生成器G圖片的生成質(zhì)量，相比于普通的生成式對抗網(wǎng)絡(luò)，半監(jiān)督生成對抗網(wǎng)絡(luò)的性能更好。3.InfoGAN互信息生成對抗網(wǎng)絡(luò)（InformationMaximizingGAN，InfoGAN)，其基本原理結(jié)構(gòu)如圖10-5所示。它是在GAN的基礎(chǔ)上引入了一個潛在代碼c，c可以包含多個變量。在對抗網(wǎng)絡(luò)生成器中為了避免網(wǎng)絡(luò)沒有監(jiān)督，所以使用了c，21c之后，增強了生成器G圖片的生成質(zhì)量，相比于普通的生成式22并在目標(biāo)函數(shù)中加了一項來表示互信息的程度。在InfoGAN中，可以通過調(diào)整c來改變生成圖片的屬性，例如調(diào)整數(shù)字的粗細(xì)和傾斜度。InfoGAN的目標(biāo)函數(shù)為22并在目標(biāo)函數(shù)中加了一項4.CGAN23條件生成式對抗網(wǎng)絡(luò)（ConditionalGan，CGAN)是針對GAN本身不可控的缺點，加入了監(jiān)督信息，指導(dǎo)GAN網(wǎng)絡(luò)，并把最基本的GAN的性能進(jìn)行了改進(jìn)，基本結(jié)構(gòu)如圖10-6所示。生成器G和判別器D都添加了條件變量c，其中c可以是類別信息，也可以是模態(tài)數(shù)據(jù)。將增添的信息c分別傳送給生成器G和判別器D，從而組成條件生成式對抗網(wǎng)絡(luò)CGAN。如果條件變量c

是類別信息，那么就是把無監(jiān)督的GAN模型改進(jìn)成有監(jiān)督的模型，即為條件生成式對抗網(wǎng)絡(luò)，且CGAN的生成模型G中，新的輸入是由pz(z)和c組成，但是CGAN的最終的目標(biāo)函數(shù)與基礎(chǔ)GAN相同都是極小極大值博弈。4.CGAN23條件生成式對抗網(wǎng)絡(luò)（Conditional24CGAN的目標(biāo)函數(shù)為5.AC-GAN有輔助分類器的生成式對抗網(wǎng)絡(luò)（AuxiliaryClassifierGAN，AC-GAN)，其基本原理結(jié)構(gòu)如圖10-7所示。相比24CGAN的目標(biāo)函數(shù)為5.AC-GAN有輔助分類器的生成25于其他的生成式網(wǎng)絡(luò)，其最大的特點在于，AC-GAN判別器不僅能判別真假，還可以將判別的信息進(jìn)行分類。在實際訓(xùn)練中，最終的目標(biāo)函數(shù)不僅有真實的數(shù)據(jù)來源的概率，還有正確的分類標(biāo)簽概率。AC-GAN可以將標(biāo)注信息輸入到生成器中，然后生成相應(yīng)的圖像標(biāo)簽，摒棄在判別器D中調(diào)節(jié)損失函數(shù)，讓分類圖片的正確率更高，這樣會使得AC-GAN的判