計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：圖像增強(qiáng)

圖像增強(qiáng)圖像增強(qiáng)概述圖像增強(qiáng)的基本概念01任務(wù)圖像增強(qiáng)的意義02任務(wù)圖像增強(qiáng)的應(yīng)用場(chǎng)景03任務(wù)學(xué)習(xí)目標(biāo)了解圖像增強(qiáng)的基本概念

了解圖像增強(qiáng)的意義1圖像增強(qiáng)的基本概念1圖像增強(qiáng)的基本概念在工業(yè)場(chǎng)景中，因?yàn)楣に嚰夹g(shù)現(xiàn)在發(fā)展都比較好，所以很難收集到大量的缺陷數(shù)據(jù)用于深度學(xué)習(xí)的學(xué)習(xí)和訓(xùn)練，針對(duì)這種情況，可以利用數(shù)據(jù)增強(qiáng)來幫助深度學(xué)習(xí)算法更好學(xué)習(xí)小樣本中的特征。數(shù)據(jù)增強(qiáng)（DataAugmentation）是一種通過讓有限的數(shù)據(jù)產(chǎn)生更多的等價(jià)數(shù)據(jù)來人工擴(kuò)展訓(xùn)練數(shù)據(jù)集的技術(shù)。它是克服訓(xùn)練數(shù)據(jù)不足的有效手段，目前在深度學(xué)習(xí)的各個(gè)領(lǐng)域中應(yīng)用廣泛。數(shù)據(jù)增強(qiáng)樣本也有可能是引入片面噪聲，導(dǎo)致過擬合。此時(shí)需要考慮的是調(diào)整數(shù)據(jù)增強(qiáng)方法，或者通過算法(可借鑒Pu-Learning思路)選擇增強(qiáng)數(shù)據(jù)的最佳子集，以提高模型的泛化能力。2圖像增強(qiáng)的意義圖像增強(qiáng)的意義對(duì)于分類模型來說，有這樣一個(gè)結(jié)論：其中，N是訓(xùn)練樣本數(shù)量，

，h是分類模型的VCdimension(用于衡量布爾函數(shù)的復(fù)雜度)。

也叫modelcomplexitypenalty。從上式可以看出如果想要使得模型的泛化能力比較好，就要保證trainingerror和modelcomplexitypenalty都比較小，觀察modelcomplexitypenalty這一項(xiàng)可以看出，h越大，modelcomplexitypenalty就會(huì)越大。N越大，modelcomplexitypenalty就會(huì)越小。大致上來說，越復(fù)雜的模型有著越大的h（VCdimension），所以為了模型有著較好的generalization，需要有較大的N來壓低modelcomplexitypenalty。2

圖像增強(qiáng)的意義2數(shù)據(jù)增強(qiáng)的技術(shù)，可提高訓(xùn)練數(shù)據(jù)集的大小和質(zhì)量，以便可以使用它們來構(gòu)建更好的深度學(xué)習(xí)模型。數(shù)據(jù)增強(qiáng)的作用在于：1、避免過擬合。當(dāng)數(shù)據(jù)集具有某種明顯的特征，例如數(shù)據(jù)集中圖片基本在同一個(gè)場(chǎng)景中拍攝，使用Cutout方法和風(fēng)格遷移變化等相關(guān)方法可避免模型學(xué)到與目標(biāo)無關(guān)的信息。2、提升模型魯棒性，降低模型對(duì)圖像的敏感度。當(dāng)訓(xùn)練數(shù)據(jù)都屬于比較理想的狀態(tài)，碰到一些特殊情況，如遮擋，亮度，模糊等情況容易識(shí)別錯(cuò)誤，對(duì)訓(xùn)練數(shù)據(jù)加上噪聲，掩碼等方法可提升模型魯棒性。3、增加訓(xùn)練數(shù)據(jù)，提高模型泛化能力。4、避免樣本不均衡。在工業(yè)缺陷檢測(cè)方面，醫(yī)療疾病識(shí)別方面，容易出現(xiàn)正負(fù)樣本極度不平衡的情況，通過對(duì)少樣本進(jìn)行一些數(shù)據(jù)增強(qiáng)方法，降低樣本不均衡比例。3圖像增強(qiáng)的應(yīng)用場(chǎng)景圖像增強(qiáng)的應(yīng)用場(chǎng)景數(shù)字圖像處理在40多年的時(shí)間里，迅速發(fā)展成一門獨(dú)立的有強(qiáng)大生命力的學(xué)科，圖像增強(qiáng)技術(shù)已逐步涉及人類生活和社會(huì)生產(chǎn)的各個(gè)方面，下面我們僅就幾個(gè)方面的應(yīng)用舉些例子。航空航天領(lǐng)域早在60年代初期，第3代計(jì)算機(jī)的研制成功和快速傅里葉變換的提出，使圖像增強(qiáng)技術(shù)可以在計(jì)算機(jī)上實(shí)現(xiàn)。1964美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室(JPL)的科研人員使用IBM7094計(jì)算機(jī)以及其它設(shè)備，采用集合校正、灰度變換、去噪聲、傅里葉變換以及二維線性濾波等方法對(duì)航天探測(cè)器“徘徊者7號(hào)”發(fā)回的幾千張?jiān)虑蛘掌晒Φ倪M(jìn)行了處理。隨后他們又對(duì)“徘徊者8號(hào)”和“水手號(hào)”發(fā)回地球的幾萬張照片進(jìn)行了較為復(fù)雜地?cái)?shù)字圖像處理，使圖像質(zhì)量得到進(jìn)一步的提高，從此圖像增強(qiáng)技術(shù)進(jìn)入了航空航天領(lǐng)域的研究與應(yīng)用。同時(shí)圖像增強(qiáng)技術(shù)的發(fā)展也推動(dòng)了硬件設(shè)備的提高，比如1983年LANDSAT-4的分辨率為30m，而如今發(fā)射的衛(wèi)星分辨率可達(dá)到3-5m的范圍內(nèi)。圖像采集設(shè)備性能的提高，使采集圖像的質(zhì)量和數(shù)據(jù)的準(zhǔn)確性和清晰度得到了極大地提高。3圖像增強(qiáng)的應(yīng)用場(chǎng)景生物醫(yī)學(xué)領(lǐng)域圖像增強(qiáng)技術(shù)在生物醫(yī)學(xué)方面的應(yīng)用有兩類，其中一類是對(duì)生物醫(yī)學(xué)的顯微光學(xué)圖像進(jìn)行處理和分析，比如對(duì)紅細(xì)胞、白細(xì)胞、細(xì)菌、蟲卵的分類計(jì)數(shù)以及染色體的分析；另一類應(yīng)用是對(duì)X射線圖像的處理，其中最為成功的是計(jì)算機(jī)斷層成像。1973年英國(guó)的EMI公司在制造出第一臺(tái)X射線斷層成像裝置。由于人體的某些組織，比如心臟、乳腺等軟組織對(duì)X射線的衰減變化不大，導(dǎo)致圖像靈敏度不強(qiáng)。由此圖像增強(qiáng)技術(shù)在生物醫(yī)學(xué)圖像中得到廣泛的應(yīng)用。公共安全領(lǐng)域在社會(huì)安全管理方面，圖像增強(qiáng)技術(shù)的應(yīng)用也十分廣泛，如無損安全檢查、指紋、虹膜、掌紋、人臉等生物特征的增強(qiáng)處理等等。圖像增強(qiáng)處理也應(yīng)用到交通監(jiān)控中，通過電視跟蹤技術(shù)鎖定目標(biāo)位置，比如對(duì)有霧圖像、夜視紅外圖像、交通事故的分析等等。3ThankYOU!有監(jiān)督的圖像增強(qiáng)單樣本圖像增強(qiáng)01任務(wù)多樣本圖像增強(qiáng)02任務(wù)學(xué)習(xí)目標(biāo)掌握單樣本圖像增強(qiáng)的方法

掌握多樣本圖像增強(qiáng)的方法1單樣本圖像增強(qiáng)1單樣本圖像增強(qiáng)按照有無圖像作為參考依據(jù)，圖像增強(qiáng)也可分為有監(jiān)督的圖像增強(qiáng)和無監(jiān)督的圖像增強(qiáng)。有監(jiān)督圖像增強(qiáng)，即采用預(yù)設(shè)的圖像變換規(guī)則，在已有圖像的基礎(chǔ)上進(jìn)行圖像的擴(kuò)增，包含單樣本圖像增強(qiáng)和多樣本圖像增強(qiáng)。單樣本圖像增強(qiáng)主要有幾何操作、顏色變換、隨機(jī)擦除、添加噪聲等方法。1、裁剪裁剪有兩種擴(kuò)種方式，一種是對(duì)大尺寸的圖像直接按照需要送入網(wǎng)絡(luò)的尺寸進(jìn)行裁剪；另外一種是將隨機(jī)裁剪固定尺寸大小的圖片，然后再將圖像通過插值算法調(diào)整到網(wǎng)絡(luò)需要的尺寸大小。由于數(shù)據(jù)集中通常數(shù)據(jù)大小不一，后者通常使用的較多。使用OpenCV進(jìn)行圖像裁剪：img_crop=img[new_h:new_h+512,new_w:new_w+512,:]1單樣本圖像增強(qiáng)2、翻轉(zhuǎn)和旋轉(zhuǎn)翻轉(zhuǎn)和旋轉(zhuǎn)都是將原始的圖像像素在位置空間上做變換，圖像的翻轉(zhuǎn)是將原始的圖像進(jìn)行鏡像操作，主要包括水平鏡像翻轉(zhuǎn)，垂直鏡像翻轉(zhuǎn)和原點(diǎn)鏡像翻轉(zhuǎn)。角度旋轉(zhuǎn)操作和圖像鏡像相對(duì)，它主要是沿著畫面的中心進(jìn)行任意角度的變換，該變換是通過將原圖像和仿射變換矩陣相乘實(shí)現(xiàn)的。OpenCV實(shí)現(xiàn)圖片翻轉(zhuǎn)：h_flip=cv2.flip(img,1)#水平鏡像v_flip=cv2.flip(img,0)#垂直鏡像hv_flip=cv2.flip(img,-1)#水平垂直鏡像OpenCV實(shí)現(xiàn)圖片旋轉(zhuǎn)：M_rotation=cv2.getRotationMatrix2D((w/2,h/2),angle,1)#計(jì)算仿射變換矩陣img_rotated=cv2.warpAffine(img,M_rotation,(w,h))#得到旋轉(zhuǎn)后的圖像1單樣本圖像增強(qiáng)仿射變換矩陣是一個(gè)余弦矩陣，在OpenCV中有實(shí)現(xiàn)的庫(kù)cv2.getRotationMatrix2D(center,angle,scale)可以使用，該函數(shù)的center參數(shù)是旋轉(zhuǎn)中心，angle參數(shù)是逆時(shí)針旋轉(zhuǎn)角度，scale參數(shù)是縮放倍數(shù)，對(duì)于只是旋轉(zhuǎn)的情況參數(shù)值是1，返回的值就是做仿射變換的矩陣。然后通過cv2.warpAffine()將原圖像矩陣乘以旋轉(zhuǎn)矩陣得到最終的結(jié)果。通過上述的操作，旋轉(zhuǎn)的圖像會(huì)存在黑邊，如果想去除掉圖片的黑邊，需要將原始的圖像做出一些犧牲。對(duì)旋轉(zhuǎn)后的圖像取最大內(nèi)接矩陣，該矩陣的長(zhǎng)寬比和原始圖像相同，如圖中所示。要計(jì)算內(nèi)切矩陣的坐標(biāo)Q,需要通過旋轉(zhuǎn)角度和原始圖像矩陣的邊長(zhǎng)OP得到。1單樣本圖像增強(qiáng)3、縮放圖像可以向外或向內(nèi)縮放。向外縮放時(shí)，最終圖像尺寸將大于原始圖像尺寸，為了保持原始圖像的大小，通常需要結(jié)合裁剪，從縮放后的圖像中裁剪出和原始圖像大小一樣的圖像。另一種方法是向內(nèi)縮放，它會(huì)縮小圖像大小，縮小到預(yù)設(shè)的大小。OpenCV實(shí)現(xiàn)圖片縮放：img=cv2.resize(img,(512,512))4、移位移位只涉及沿X或Y方向（或兩者）移動(dòng)圖像，mat_shift代表移動(dòng)的坐標(biāo)，分別記錄沿X方向和Y方向移動(dòng)的距離。OpenCV實(shí)現(xiàn)圖片移位：mat_shift=np.float32([[1,0,100],[0,1,200]])img_1=cv2.warpAffine(img,mat_shift,(h,w))1單樣本圖像增強(qiáng)5、高斯噪聲基于噪聲的數(shù)據(jù)增強(qiáng)就是在原圖片的基礎(chǔ)上，隨機(jī)疊加一些噪聲，最常見的做法就是添加高斯噪聲。OpenCV實(shí)現(xiàn)圖片增加高斯噪聲：noise=np.random.normal(mean,var**0.5,image.shape)img=image+noise6、色彩抖動(dòng)色彩抖動(dòng)主要是在圖像的顏色方面做增強(qiáng)，主要調(diào)整的是圖像的亮度，飽和度和對(duì)比度。工程中不是任何數(shù)據(jù)集都適用，通常如果不同背景的圖像較多，加入色彩抖動(dòng)操作會(huì)有很好的提升。2多樣本圖像增強(qiáng)多樣本圖像增強(qiáng)多樣本增強(qiáng)是通過先驗(yàn)知識(shí)組合及轉(zhuǎn)換多個(gè)樣本，主要有Smote、SamplePairing、Mixup等方法在特征空間內(nèi)構(gòu)造已知樣本的鄰域值。1、Smote(SyntheticMinorityOver-samplingTechnique)Smote方法較常用于樣本均衡學(xué)習(xí)，核心思想是從訓(xùn)練集隨機(jī)同類的兩近鄰樣本合成一個(gè)新的樣本，其方法可以分為三步：1）對(duì)于各樣本

，計(jì)算與同類樣本的歐式距離，確定其同類的K個(gè)近鄰樣本；2）從該樣本k近鄰中隨機(jī)選擇一個(gè)樣本如近鄰

，生成新的樣本；3）重復(fù)2步驟迭代N次，可以合成N個(gè)新的樣本。2多樣本圖像增強(qiáng)Python程序中可以通過調(diào)用fromimblearn.over_samplingimportSMOTE來實(shí)現(xiàn)Smote數(shù)據(jù)增強(qiáng)。smote=SMOTE()x_train_res,y_train_res=smote.fit_resample(x_train,y_train)2多樣本圖像增強(qiáng)2、SamplePairingSamplePairing算法的核心思想是從訓(xùn)練集隨機(jī)抽取的兩幅圖像疊加合成一個(gè)新的樣本（像素取平均值），使用第一幅圖像的label作為合成圖像的正確label。2多樣本圖像增強(qiáng)3、mixupmixup算法的核心思想是按一定的比例隨機(jī)混合兩個(gè)訓(xùn)練樣本及其標(biāo)簽，這種混合方式不僅能夠增加樣本的多樣性，且能夠使決策邊界更加平滑，也增強(qiáng)了難例樣本的識(shí)別，模型的魯棒性得到提升。其方法可以分為兩步：1）從原始訓(xùn)練數(shù)據(jù)中隨機(jī)選取的兩個(gè)樣本()和()。其中y（原始label）用one-hot編碼。2）對(duì)兩個(gè)樣本按比例組合，形成新的樣本和帶權(quán)重的標(biāo)簽：最終的loss為各標(biāo)簽上分別計(jì)算cross-entropyloss，加權(quán)求和。2多樣本圖像增強(qiáng)4、cutmixcutmix作為mixup的改進(jìn)版數(shù)據(jù)增強(qiáng)工具，解決了mixup算法的一些短板。cutmix和mixup的區(qū)別是，混合位置是采用hard0-1掩碼，而不是soft操作，相當(dāng)于新合成的兩張圖是來自兩張圖片的hard結(jié)合，而不是mixup的線性組合。但是其label還是和mixup一樣是線性組合，結(jié)合操作可以定義為：M是與原圖大小相同的{0，1}掩碼矩陣，

用于控制標(biāo)簽融合的線性混合度。并且是通過

參數(shù)控制裁剪矩形大小，因?yàn)?/p>

本身就是權(quán)衡兩個(gè)圖像的比例參數(shù)，可以反應(yīng)到圖像的大小上。2ThankYOU!基于mixup和cutmix算法的圖像增強(qiáng)案例描述01任務(wù)案例目標(biāo)02任務(wù)案例分析03任務(wù)案例實(shí)施04任務(wù)1案例描述1案例描述本案例通過對(duì)手寫數(shù)字?jǐn)?shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，然后對(duì)數(shù)字進(jìn)行分類去對(duì)比兩種數(shù)據(jù)增強(qiáng)算法mixup和cutmix的效果。2案例目標(biāo)案例目標(biāo)熟悉mixup算法和cutmix算法基礎(chǔ)知識(shí)和操作流程；

分別利用mixup和cutmix增強(qiáng)算法對(duì)圖片進(jìn)行數(shù)據(jù)增強(qiáng)；對(duì)增強(qiáng)后的圖片進(jìn)行圖片分類。23案例分析案例分析在上一節(jié)中，已經(jīng)講解了兩種算法mixup和cutmix的原理以及方法步驟。在接下來的案例中，將使用代碼分別實(shí)現(xiàn)兩種算法的手寫數(shù)據(jù)圖像增強(qiáng)，利用分類網(wǎng)絡(luò)進(jìn)行分類對(duì)比兩種算法的優(yōu)劣。34案例實(shí)施4案例實(shí)施1.加載手寫數(shù)字?jǐn)?shù)據(jù)集(x_train,y_train),(x_test,y_test)=datasets.mnist.load_data()2.建立mixup算法的函數(shù)aug_mixup()

輸入圖片及標(biāo)簽(img_batch,label_batch)index=tf.random.shuffle(tf.range(batch_size,dtype=32))x1,x2=img_batch,tf.gather(img_batch,index)img_batch=x1*x_weight+x2*(1.-x_weight)y1,y2=label_batch,tf.gather(label_batch,index)label_batch=y1*y_weight+y2*(1.-y_weight)4案例實(shí)施3.定義cutmix算法的函數(shù)cutmix()輸入圖片及標(biāo)簽(img_batch,label_batch)img_weight=tf.math.logical_and(tf.math.logical_and(tf.reshape(xas,(-1,1,1))<=X,X<=tf.reshape(xbs,(-1,1,1))),tf.math.logical_and(tf.reshape(yas,(-1,1,1))<=Y,Y<=tf.reshape(ybs,(-1,1,1))))img_weight=tf.expand_dims(img_weight,axis=-1)#(BatchSize,img_h,img_w,1)img_batch=tf.where(img_weight,x2,x1)label_weight=tf.cast((ybs-yas)*(xbs-xas)/(img_h*img_w),tf.float32)#(BatchSize)label_weight=tf.expand_dims(label_weight,axis=-1)#(BatchSize,1)label_batch=(label_weight)*y2+(1-label_weight)*y1ThankYOU!無監(jiān)督的圖像增強(qiáng)基于GAN的圖像增強(qiáng)01任務(wù)Autoaugmentation02任務(wù)Randaugment03任務(wù)學(xué)習(xí)目標(biāo)了解基于GAN的圖像增強(qiáng)方法

掌握Autoaugmentation和Randaugment圖像增強(qiáng)的方法1基于GAN的圖像增強(qiáng)1基于GAN的圖像增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)(Generativeadversarialnetworks，簡(jiǎn)稱GANs)是一種無監(jiān)督生成模型，它隱含地學(xué)習(xí)底層分布。在GAN框架中，學(xué)習(xí)過程是兩個(gè)網(wǎng)絡(luò)之間的極大極小博弈，一個(gè)生成器，生成給定隨機(jī)噪聲向量的合成數(shù)據(jù)，一個(gè)鑒別器，區(qū)分真實(shí)數(shù)據(jù)和生成器的合成數(shù)據(jù)。在深度學(xué)習(xí)的圖像分類中使用GAN來進(jìn)行數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)使用GAN直接的數(shù)據(jù)增強(qiáng)不如其他增強(qiáng)策略有效。但是在少樣本學(xué)習(xí)中，這被證明是使用GANs進(jìn)行數(shù)據(jù)增強(qiáng)的一個(gè)更有前途的用例。下面還有很多基于GAN的變體來實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，例如ACGAN，DAGAN，BAGAN。盡管使用GAN進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)有時(shí)可以提高分類器的性能，特別是在非常小或有限的數(shù)據(jù)集的情況下，但使用GAN進(jìn)行增強(qiáng)的最有希望的情況似乎包括遷移學(xué)習(xí)或少量學(xué)習(xí)。隨著研究不斷提高GAN訓(xùn)練的穩(wěn)定性和可靠性，將GAN用于數(shù)據(jù)增強(qiáng)的快速進(jìn)展將不足為奇。1基于GAN的圖像增強(qiáng)UEGAN：基于GAN的無監(jiān)督圖像增強(qiáng)無監(jiān)督的圖像增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)（UEGAN），該網(wǎng)絡(luò)以無監(jiān)督的方式從一組具有所需特征的圖像中學(xué)習(xí)相應(yīng)的圖像到圖像的映射，而不是學(xué)習(xí)大量的成對(duì)圖像。模型基于單個(gè)深度GAN，它嵌入了調(diào)制和注意力機(jī)制以捕獲更豐富的全局和局部特征。基于該模型，引入了兩種損失來處理無監(jiān)督圖像增強(qiáng)：（1）保真度損失，其定義為預(yù)訓(xùn)練VGG網(wǎng)絡(luò)的特征域中的L2正則化，以確保增強(qiáng)圖像之間的內(nèi)容（2）質(zhì)量損失，它被定義為相對(duì)hingeadversarialloss，以賦予輸入圖像所需的特性。定量和定性結(jié)果均表明，該模型有效地提高了圖像的美學(xué)質(zhì)量。2AutoaugmentationAutoaugmentationAutoaugment是Google提出的自動(dòng)選擇最優(yōu)圖像增強(qiáng)方案的研究，這是無監(jiān)督圖像增強(qiáng)的重要研究方向。它的基本思路是使用增強(qiáng)學(xué)習(xí)從數(shù)據(jù)本身尋找最佳圖像變換策略，對(duì)于不同的任務(wù)學(xué)習(xí)不同的增強(qiáng)方法，流程如下：(1)準(zhǔn)備16個(gè)常用的數(shù)據(jù)增強(qiáng)操作。(2)從16個(gè)中選擇5個(gè)操作，隨機(jī)產(chǎn)生使用該操作的概率和相應(yīng)的幅度，將其稱為一個(gè)sub-policy，一共產(chǎn)生5個(gè)sub-polices。(3)對(duì)訓(xùn)練過程中每一個(gè)batch的圖片，隨機(jī)采用5個(gè)sub-polices操作中的一種。(4)通過模型在驗(yàn)證集上的泛化能力來反饋，使用的優(yōu)化方法是增強(qiáng)學(xué)