計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：無監(jiān)督的圖像增強(qiáng)

無監(jiān)督的圖像增強(qiáng)基于GAN的圖像增強(qiáng)01任務(wù)Autoaugmentation02任務(wù)Randaugment03任務(wù)學(xué)習(xí)目標(biāo)了解基于GAN的圖像增強(qiáng)方法

掌握Autoaugmentation和Randaugment圖像增強(qiáng)的方法1基于GAN的圖像增強(qiáng)1基于GAN的圖像增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)(Generativeadversarialnetworks，簡(jiǎn)稱GANs)是一種無監(jiān)督生成模型，它隱含地學(xué)習(xí)底層分布。在GAN框架中，學(xué)習(xí)過程是兩個(gè)網(wǎng)絡(luò)之間的極大極小博弈，一個(gè)生成器，生成給定隨機(jī)噪聲向量的合成數(shù)據(jù)，一個(gè)鑒別器，區(qū)分真實(shí)數(shù)據(jù)和生成器的合成數(shù)據(jù)。在深度學(xué)習(xí)的圖像分類中使用GAN來進(jìn)行數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)使用GAN直接的數(shù)據(jù)增強(qiáng)不如其他增強(qiáng)策略有效。但是在少樣本學(xué)習(xí)中，這被證明是使用GANs進(jìn)行數(shù)據(jù)增強(qiáng)的一個(gè)更有前途的用例。下面還有很多基于GAN的變體來實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，例如ACGAN，DAGAN，BAGAN。盡管使用GAN進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)有時(shí)可以提高分類器的性能，特別是在非常小或有限的數(shù)據(jù)集的情況下，但使用GAN進(jìn)行增強(qiáng)的最有希望的情況似乎包括遷移學(xué)習(xí)或少量學(xué)習(xí)。隨著研究不斷提高GAN訓(xùn)練的穩(wěn)定性和可靠性，將GAN用于數(shù)據(jù)增強(qiáng)的快速進(jìn)展將不足為奇。1基于GAN的圖像增強(qiáng)UEGAN：基于GAN的無監(jiān)督圖像增強(qiáng)無監(jiān)督的圖像增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)（UEGAN），該網(wǎng)絡(luò)以無監(jiān)督的方式從一組具有所需特征的圖像中學(xué)習(xí)相應(yīng)的圖像到圖像的映射，而不是學(xué)習(xí)大量的成對(duì)圖像。模型基于單個(gè)深度GAN，它嵌入了調(diào)制和注意力機(jī)制以捕獲更豐富的全局和局部特征。基于該模型，引入了兩種損失來處理無監(jiān)督圖像增強(qiáng)：（1）保真度損失，其定義為預(yù)訓(xùn)練VGG網(wǎng)絡(luò)的特征域中的L2正則化，以確保增強(qiáng)圖像之間的內(nèi)容（2）質(zhì)量損失，它被定義為相對(duì)hingeadversarialloss，以賦予輸入圖像所需的特性。定量和定性結(jié)果均表明，該模型有效地提高了圖像的美學(xué)質(zhì)量。2AutoaugmentationAutoaugmentationAutoaugment是Google提出的自動(dòng)選擇最優(yōu)圖像增強(qiáng)方案的研究，這是無監(jiān)督圖像增強(qiáng)的重要研究方向。它的基本思路是使用增強(qiáng)學(xué)習(xí)從數(shù)據(jù)本身尋找最佳圖像變換策略，對(duì)于不同的任務(wù)學(xué)習(xí)不同的增強(qiáng)方法，流程如下：(1)準(zhǔn)備16個(gè)常用的數(shù)據(jù)增強(qiáng)操作。(2)從16個(gè)中選擇5個(gè)操作，隨機(jī)產(chǎn)生使用該操作的概率和相應(yīng)的幅度，將其稱為一個(gè)sub-policy，一共產(chǎn)生5個(gè)sub-polices。(3)對(duì)訓(xùn)練過程中每一個(gè)batch的圖片，隨機(jī)采用5個(gè)sub-polices操作中的一種。(4)通過模型在驗(yàn)證集上的泛化能力來反饋，使用的優(yōu)化方法是增強(qiáng)學(xué)習(xí)方法。(5)經(jīng)過80~100個(gè)epoch后網(wǎng)絡(luò)開始學(xué)習(xí)到有效的sub-policies。(6)之后串接這5個(gè)sub-policies，然后再進(jìn)行最后的訓(xùn)練。2Autoaugmentation這是Autoaugmentation在ImageNet上的圖像增強(qiáng)效果：23RandaugmentRandaugment考慮到以往數(shù)據(jù)增強(qiáng)方法都包含30多個(gè)參數(shù)，為了減少參數(shù)空間的同時(shí)保持圖像的多樣性，Randaugment用無參數(shù)過程替代了學(xué)習(xí)的策略和概率。這些策略和概率適用于每次變換(transformation)，該過程始終選擇均勻概率為1/k的變換。也就是說，給定訓(xùn)練圖像的N個(gè)變換，Randaugment就能表示kN個(gè)潛在策略。Randaugment方法為：1、設(shè)定一個(gè)操作集，操作集由14種操作構(gòu)成：Identity、AutoContrast、Equalize、Rotate、Solarize、Color、Posterize、Contrast、Brightness、Sharpness、ShearX、ShearY、TranslateX、TranslateY。2、Randaugment只有兩個(gè)參數(shù)：N和M。其中N是指在每次增強(qiáng)時(shí)使用N次操作（使用的這N個(gè)操作，都是從操作集中等概率抽取的，例如操作集中有14種操作，則每種操作被選中的概率為1/14，每張圖像的N次增強(qiáng)中，選到的操作可能是一樣的），M為正整數(shù)，表示所有操作在應(yīng)用時(shí)，幅度都為M。3、使用網(wǎng)格搜索，或者更為高端的方法（如反向傳播等）在完整數(shù)