生成對(duì)抗網(wǎng)絡(luò)中譯版方法部分_第1頁
生成對(duì)抗網(wǎng)絡(luò)中譯版方法部分_第2頁
生成對(duì)抗網(wǎng)絡(luò)中譯版方法部分_第3頁
生成對(duì)抗網(wǎng)絡(luò)中譯版方法部分_第4頁
生成對(duì)抗網(wǎng)絡(luò)中譯版方法部分_第5頁
全文預(yù)覽已結(jié)束

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

一個(gè)可表達(dá)的生成器參數(shù)后驗(yàn)分布,BayesianGAN避免了模式崩潰問題,并產(chǎn)SVHN,CelebA,CIFAR-103GANs和DCGANensembles。成對(duì)抗網(wǎng)絡(luò)(generativeadversarialnetworks,GANs)(Goodfellowetal.,2014)和變分自編碼(variationalautoencoders)(KingmaandWelling,2013)算法已經(jīng)在該GANs通過一個(gè)深度神經(jīng)網(wǎng)絡(luò)將白噪聲轉(zhuǎn)化為一個(gè)從某一數(shù)據(jù)分布中產(chǎn)生的候compositionmetrics(此,使用了卷積神經(jīng)網(wǎng)絡(luò)的GANs反過來能夠在圖像上生成較好的隱含分布distribtionGANscollapse的可能性(原文:weachieveinfinitelikelihood(譯者注:意思可能是:能夠擬whichisnotusefulforageneralizabledensityestimate(譯者注:意思可能是:模型缺少泛化能力GANs的訓(xùn)練過程中需要很大程度的人為介入,包matchingsmoothingbatchdiscrimination)(Radfordetal.,2015;Salimansetal.,2016)。為了緩解這些實(shí)f散度(Nowozinetal.,2016)Wasserstein散度(Arjovskyetal.,我們也很難確定應(yīng)該用哪種散度指標(biāo)進(jìn)行GANs的訓(xùn)練。獲得改善。確實(shí),生成器的參數(shù)的后驗(yàn)分布可能是廣泛且高度多模態(tài)的(multimodal(optimization)GAN訓(xùn)練過程總是將網(wǎng)絡(luò)權(quán)重的整個(gè)后驗(yàn)分布都估計(jì)為以單一這一推斷出來的數(shù)據(jù)分布便可以用來實(shí)現(xiàn)準(zhǔn)確的,高數(shù)據(jù)效率(highlydata-(stochasticgradientHamiltonianMonteCarlo)方法實(shí)現(xiàn)生成器和判別器權(quán)重后驗(yàn)些基準(zhǔn)數(shù)據(jù)集包括:SVHNMNISTCIFAR-10,CelebA。該方法的一個(gè)最大優(yōu)Bayesian;dd式有無限種可能。生成器此刻是在表示數(shù)據(jù)分布上的分布(distributionoverdata(1從p(θg)中采樣θ(2從p(z)中采樣z(1),…,z(n)(3) 對(duì)于后驗(yàn)推斷,我們?cè)?.1-2.2節(jié)提出了無監(jiān)督和半監(jiān)督范式。Tranetal.(2017)中簡要地提到了使用Karaletsos(2016Tranetal.(2017)則在該后驗(yàn)θg,θd的后驗(yàn)分布上做推斷,我們可以分別從下面的條件后驗(yàn)分布中采和α。nn分別是判別器和生成器的小批量樣本數(shù)。我們定義:X={x(i)}nd p(z)zG(z;θg)θd方程(1)θg附近區(qū)域的后驗(yàn)概率p(θg|z,θd)的值會(huì)相應(yīng)增加(因此其他區(qū)域的值就會(huì)降低θd的后驗(yàn)分布,方程(2)的前兩項(xiàng)構(gòu)成了判別分類似然(discriminativeclassicationlikelihoodz:p(θd|z,X,θg)z的函數(shù)時(shí),有理由認(rèn)為它們的形式多種多樣,因whenviewedasafunctionofz,shouldbereasonablybroadoverzbyconstruction,procedure我們應(yīng)該注意的是,對(duì)于p(θd|θg)的近似會(huì)相對(duì)更差,這是因?yàn)樗囊蕾囉诜匠苔萪的樣本反過來會(huì)形成一個(gè)判別器聯(lián)盟,這增強(qiáng)了整體的對(duì)抗信號(hào),因此會(huì)檢查其對(duì)半監(jiān)督學(xué)習(xí)的影響,這是我們?cè)诘?節(jié)中試驗(yàn)的重點(diǎn)。GANK分類的半監(jiān)督學(xué)習(xí)設(shè)n個(gè)無標(biāo)簽的觀測樣本,{x{i}},同時(shí)(通常是很少的數(shù)量)structure目的是在新的發(fā)測樣本x*上獲得比僅使用有標(biāo)簽數(shù)據(jù)訓(xùn)練時(shí)更好的類別預(yù)測結(jié)nsns≤n2.1節(jié)中一樣,我們可以使用蒙特卡洛采樣實(shí)現(xiàn)近似邊緣化z的計(jì)算。GAN2.12.2節(jié)半監(jiān)督學(xué)習(xí)給出的公(SGHMC(Che3(1)SGHMCSGD方法很像,而后(2速率和動(dòng)量項(xiàng))SGHMC中;最重要的一點(diǎn)是(3)將貝葉斯方法引入GAN推斷的好處在于,它可以探索生成器權(quán)重的多模態(tài)分布,能做到這一點(diǎn)正是得益于SGHMC方法,它使得我們能夠完全捕獲數(shù)據(jù)分布的復(fù)雜性和熵(entropy(就能計(jì)算損失的梯度了。SGHMCHMC,使其能使用一種在大量批次中保證充分混合的方法利用這一梯度的噪聲估計(jì)(原文:SGHMCextendsHMCtothecasewhereweusenoisyestimatesofsuchgradientsinamannerwhichguarant

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論