計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：基于VGG-19的圖像風(fēng)格遷移

基于VGG-19的風(fēng)格遷移了解VGG-19的結(jié)構(gòu)01任務(wù)內(nèi)容層和風(fēng)格層的抽取02任務(wù)損失計(jì)算03任務(wù)學(xué)習(xí)目標(biāo)掌握總損失的計(jì)算方法掌握抽取內(nèi)容和風(fēng)格的方法1數(shù)據(jù)加載及預(yù)處理1數(shù)據(jù)加載及預(yù)處理數(shù)據(jù)這里的數(shù)據(jù)很簡(jiǎn)單，只有兩張圖片，一張是內(nèi)容圖片，一張是風(fēng)格圖片。1數(shù)據(jù)加載及預(yù)處理數(shù)據(jù)預(yù)處理規(guī)范大小img=img.resize((round(img.size[0]*scale),round(img.size[1]*scale)),Image.ANTIALIAS)歸一化標(biāo)準(zhǔn)化x[:,:,0]+=103.939x[:,:,1]+=116.779x[:,:,2]+=123.68x=x[...,::-1]#將BGR轉(zhuǎn)化為RGBx=np.clip(x,0,255).astype('uint8')2內(nèi)容和風(fēng)格抽取2內(nèi)容和風(fēng)格抽取內(nèi)容層和風(fēng)格層的選取VGG-19整體由五個(gè)卷積塊和和3個(gè)全連接層組成，每個(gè)卷積塊由3x3卷積核構(gòu)成。如何選取卷積層作為內(nèi)容和風(fēng)格的特征值？一般來說，越深的層越能更好的表示圖像的內(nèi)容（原有特征），而對(duì)于表示風(fēng)格的卷積層，我們分別從五個(gè)卷積塊中選取第一個(gè)卷積層作為風(fēng)格表示層。content_layers=['block5_conv2']style_layers=['block1_conv1','block2_conv1','block3_conv1','block4_conv1','block5_conv1']2內(nèi)容和風(fēng)格抽取模型定義defget_model():vgg=VGG19(include_top=False,weights='imagenet')vgg.trainable=Falsecontent_output=[vgg.get_layer(layer).outputforlayerincontent_layers]style_output=[vgg.get_layer(layer).outputforlayerinstyle_layers]output=content_output+style_outputreturnModel(inputs=vgg.inputs,outputs=output)2內(nèi)容和風(fēng)格抽取特征提取將內(nèi)容圖和風(fēng)格圖分別傳給我們的模型，得到內(nèi)容特征和風(fēng)格特征。content_features=[content_layer[0]forcontent_layerincontent_output[:len(style_layers)]]style_features=[style_layer[0]forstyle_layerinstyle_output[len(style_layers):]]3損失計(jì)算3損失計(jì)算內(nèi)容損失為了計(jì)算出總損失，我們需要分別計(jì)算出內(nèi)容損失和風(fēng)格損失。我們將真實(shí)的內(nèi)容特征與預(yù)測(cè)的內(nèi)容特征作均方誤差計(jì)算，得到內(nèi)容損失。defcontent_loss(content,base_img):returntf.reduce_mean(tf.square(content-base_img))3損失計(jì)算風(fēng)格損失我們將真實(shí)的風(fēng)格特征與預(yù)測(cè)的風(fēng)格特征分別作gram矩陣運(yùn)算，并求其均方誤差，得到風(fēng)格損失。defstyle_loss(style,base_img):gram_style=gram_matrix(style)gram_gen=gram_matrix(base_img)returntf.reduce_mean(tf.square(gram_style-gram_gen))3