對抗式神經(jīng)網(wǎng)絡(luò)

對抗式神經(jīng)網(wǎng)絡(luò)-2.訓(xùn)練GAN目錄1.了解GAN1.了解GANPART11.了解GAN對于GAN，一個簡單的理解是可以將其看做博弈的過程，我們可以將生成模型和判別模型看作博弈的雙方1.了解GAN1.比如在犯罪分子造假幣和警察識別假幣的過程中[1]生成模型G相當(dāng)于制造假幣的一方，其目的是根據(jù)看到的錢幣情況和警察的識別技術(shù)，去盡量生成更加真實的、警察識別不出的假幣[2]判別模型D相當(dāng)于識別假幣的一方，其目的是盡可能的識別出犯罪分子制造的假幣這樣通過造假者和識假者雙方的較量和朝目的的改進(jìn)，使得最后能達(dá)到生成模型能生成盡可能真的錢幣、識假者判斷不出真假的納什均衡效果(真假幣概率都為0.5)這意味著造假者做不出假幣2.訓(xùn)練GANPART22.訓(xùn)練GAN2.我們可以將上面的場景映射成圖片之間生成模型和判別模型之間的博弈過程博弈的簡單模式如下：生成模型生成一些圖片->判別模型學(xué)習(xí)區(qū)分生成的圖片和真實圖片->生成模型根據(jù)判別模型改進(jìn)自己，生成新的圖片->判別模型再學(xué)習(xí)區(qū)分生成的圖片和真實圖片.....上面的博弈場景會一直繼續(xù)下去，直到生成模型和判別模型別無法提升自己，這樣生成模型就會成為一個比較完美的模型2.訓(xùn)練GAN1)定義判別器與生成器對象定義一個判別器D和一個生成器G并設(shè)置為訓(xùn)練模式2)定義優(yōu)化器對象由于本項目的GAN在訓(xùn)練時每輪先更新兩次D(真假樣本各一次)再更新一次G，所以要定義兩個判別器優(yōu)化器對象(真假判別器各一個)。用Adam優(yōu)化策略，lr設(shè)為"迷之2e-4"2.訓(xùn)練GAN3)讀取上次保存的模型用于繼續(xù)訓(xùn)練4)訓(xùn)練判別器和生成器的epoch循環(huán)用一個batch的真數(shù)據(jù)和一個batch的假數(shù)據(jù)各更新一次判別器(判別器為同一個)，然后更新一次生成器loss使用的是帶"fluid.layers.sigmoid_cross_entropy_with_logits()"這部分代碼是模型的重要部分，做了詳細(xì)的注釋5)打印輸出、寫VisualDL的log用于監(jiān)視模型的訓(xùn)練進(jìn)程6)訓(xùn)練結(jié)束保存模型如果保存的模型只需要用于推理，只需保存模型參數(shù)如果模型也要要用于下次繼續(xù)訓(xùn)練，還需保存優(yōu)化器參數(shù)2.訓(xùn)練GAN本次實驗我們選用花卉數(shù)據(jù)集做圖像的生成插入圖片3.1訓(xùn)練判別器對于真圖片，輸出盡可能是1對于假圖片，輸出盡可能是02.訓(xùn)練GAN訓(xùn)練生成器對于假圖片，輸出盡可能是11、訓(xùn)練生成器時，無須調(diào)整判別器的參數(shù)訓(xùn)練判別器時，無須調(diào)整生成器的參數(shù)2、在訓(xùn)練判別器時，需要對生成器生成的圖片用detach操作進(jìn)行計算圖截斷，避免反向傳播將梯度傳到生成器中因為在訓(xùn)練判別器時我們不需要訓(xùn)練生成器，也就不需要生成器的梯度3、在訓(xùn)練判別器時，需要反向傳播兩次，一次是希望把真圖片判為1，一次是希望把假圖片判為0也可以將這兩者的數(shù)據(jù)放到一個batch中，進(jìn)行一次前向傳播和一次反向傳播即可4、對于假圖片，在訓(xùn)練判別器時，我們希望它輸出02.訓(xùn)練GAN而在訓(xùn)練生成器時，我們希望它輸出1.因此可以看到一對看似矛盾的代碼error_d_fake=criterion(output,fake_labels)和error_g=criterion(output,true_labels)判別器希望能夠把假圖片判別為fake_label，而生成器則希望能把他判別為true_label，判別器和生成器互相對抗提升2.訓(xùn)練GAN2.訓(xùn)練