計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：基于SRCNN的圖像超分辨率重建

基于SRCNN的圖像超分辨率重建案例描述01任務(wù)案例目標(biāo)02任務(wù)案例分析03任務(wù)案例實(shí)施04任務(wù)1案例描述1案例描述本案例基于SRCNN，在其基礎(chǔ)上增加卷積層，在T91數(shù)據(jù)集上訓(xùn)練，實(shí)現(xiàn)圖像的超分辨重建。2案例目標(biāo)案例目標(biāo)學(xué)會(huì)搭建SRCNN超分辨率重建網(wǎng)絡(luò)；對(duì)重建后的圖片進(jìn)行PSNR評(píng)價(jià)來訓(xùn)練SRCNN網(wǎng)絡(luò)以實(shí)現(xiàn)圖像的超分辨率重建。23案例分析案例分析T91數(shù)據(jù)集一共包含91張圖片，一般用于測試性能。如前面所述，SRCNN網(wǎng)絡(luò)需要將圖像特征映射到低分辨率字典中，為此除了原始圖像，需要手動(dòng)構(gòu)造低分辨率圖像。整個(gè)案例的流程如下：（1）加載數(shù)據(jù)集，進(jìn)行規(guī)范化；（2）構(gòu)造低分辨率圖像；（3）搭建SRCNN網(wǎng)絡(luò)；（4）編譯并訓(xùn)練；（5）預(yù)測并對(duì)比。34案例實(shí)施4案例實(shí)施 1.導(dǎo)庫導(dǎo)入一些圖像超分辨率重建使用到的一些網(wǎng)絡(luò)層：卷積層、池化層、上采樣層和特征融合fromkeras.layersimportInput,Conv2D,MaxPooling2D,UpSampling2D,Add2.預(yù)處理并加載數(shù)據(jù)image=load_images("data/T91/",image_path)defload_images(inputdir,inputpath):imglist=[]foriinrange(len(inputpath)):img=cv2.imread(inputdir+inputpath[i],cv2.IMREAD_COLOR)img=cv2.resize(img,(128,128))img=img[::-1]imglist.append(img)returnimglist4案例實(shí)施3.構(gòu)造低分辨率圖像將原圖像先縮小，再放大，這樣會(huì)使其分辨率降低，以此作為低分辨率圖像，傳給模型。temp=cv2.resize(image[i,:,:,:],(64,64))temp=cv2.resize(temp,(128,128))label[i,:,:,:]=temp4.模型搭建這里使用一個(gè)改良的SRCNN網(wǎng)絡(luò)。經(jīng)過兩次降采樣（低分辨率特征提?。?，經(jīng)過兩次上采樣（低分辨率映射到高分辨率），最后得到高分辨率特征進(jìn)行重建。4案例實(shí)施defnetwork_ddsrcnn():input_img=Input(shape=(128,128,3))enc1=Conv2D(64,kernel_size=3,activation="relu",padding="same")(input_img)enc1=Conv2D(64,kernel_size=3,activation="relu",padding="same")(enc1)down1=MaxPooling2D(pool_size=2)(enc1)enc2=Conv2D(128,kernel_size=3,activation="relu",padding="same")(down1)enc2=Conv2D(128,kernel_size=3,activation="relu",padding="same")(enc2)down2=MaxPooling2D(pool_size=2)(enc2)enc3=Conv2D(256,kernel_size=3,activation="relu",padding="same")(down2)up3=UpSampling2D(size=2)(enc3)dec3=Conv2D(128,kernel_size=3,activation="relu",padding="same")(up3)dec3=Conv2D(128,kernel_size=3,activation="relu",padding="same")(dec3)add2=Add()([dec3,enc2])up2=UpSampling2D(size=2)(add2)dec2=Conv2D(64,kernel_size=3,activation="relu",padding="same")(up2)dec2=Conv2D(64,kernel_size=3,activation="relu",padding="same")(dec2)add1=Add()([dec2,enc1])dec1=Conv2D(3,kernel_size=5,activation="linear",padding="same")(add1)model=Model(input_img,dec1)returnmodel4案例實(shí)施5.訓(xùn)練初始化一個(gè)學(xué)習(xí)率，并編寫了一個(gè)學(xué)習(xí)率回調(diào)函數(shù)，用于動(dòng)態(tài)調(diào)整學(xué)習(xí)率。ifepoch<500:returninitial_learningrateelse:returninitial_learningrate*0.99**epoch接下來計(jì)算評(píng)價(jià)指標(biāo)PSNR。return-10*K.log(K.mean(K.flatten((y_true-y_pred))**2))/np.log(10)編譯并訓(xùn)練。pile(loss="mean_squared_error",optimizer=adam_v2.Adam(learning_rate=initial_learningrate),metrics=[psnr])model.fit(label,image,epochs=100,batch_size=16,shuffle=True,verbose=1,callbacks=[LearningRateScheduler(lr_decay,verbose=1)])4案例實(shí)施6.預(yù)測并展示關(guān)于性能的提升，通?？梢詮囊韵聨追矫鎭碇郑?.增大卷積核的大?。和ㄟ^增大卷積核的大小，可以增強(qiáng)重建效果