深度學(xué)習(xí)在圖像處理中的應(yīng)用

深度學(xué)習(xí)在圖像處理問題中的應(yīng)用目錄手寫數(shù)字識(shí)別的例子深度學(xué)習(xí)到底是什么卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)常見的圖像處理問題卷積神經(jīng)網(wǎng)絡(luò)的問題手寫數(shù)字識(shí)別的例子問題：對(duì)手寫郵政編碼的識(shí)別每張圖像是28*28的灰度圖像，常用784維的向量x表示。目的是設(shè)計(jì)一個(gè)算法（函數(shù)、機(jī)器…），輸入是上述向量x，輸出是數(shù)字y(0,1,2…9)。手寫數(shù)字識(shí)別的例子解決方法方案1：根據(jù)手寫數(shù)字圖像中筆畫的形狀、粗細(xì)的特點(diǎn)來人為的制定一些規(guī)則，基于這些規(guī)則判斷輸入圖像是哪個(gè)數(shù)字。方案2：通過訓(xùn)練集(xi,yi)i=1,2…N學(xué)習(xí)一個(gè)模型f的參數(shù)，使y=f(x)y=f(x)7941訓(xùn)練(Train)推斷(Inference)規(guī)則a.有且僅有一個(gè)中空的區(qū)域規(guī)則b.中空區(qū)域的下方有較大的連通區(qū)域數(shù)字9同時(shí)滿足規(guī)則a和規(guī)則b判定為目錄手寫數(shù)字識(shí)別的例子深度學(xué)習(xí)到底是什么卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)常見的圖像處理問題卷積神經(jīng)網(wǎng)絡(luò)的問題特征提取y=f(x)7941訓(xùn)練(Train)推斷(Inference)y=f(x)7941訓(xùn)練(Train)推斷(Inference)特征提取特征提取將原始圖像直接作為分類器的輸入，效果并不好。常用的分類器有LogisticRegression,DecisionTree,SupportVectorMachine等于是研究人員就根據(jù)圖像的特點(diǎn)，提出一些特征，把對(duì)圖像提取的特征輸入到分類器，效果提升了。常用的特征有直方圖，梯度直方圖，SIFT等。特征提取9?邊緣提取y=f(x)分類器9?邊緣提取直方圖y=f(x)分類器9?邊緣提取直方圖y=f(x)分類器稀疏編碼9?y=f(x)分類器1.不需要專業(yè)知識(shí)2.多層學(xué)習(xí)特征學(xué)習(xí)特征提取………………………………………………y=f(x)分類器9?1.圖像的二維結(jié)構(gòu)被破壞2.全連接網(wǎng)路權(quán)重（參數(shù)）數(shù)量太多，容易過擬合，需要大量訓(xùn)練樣本9?y=f(x)分類器特征學(xué)習(xí)深度學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)在圖像中應(yīng)用廣泛的最主要原因是：效果好！………………………………………………y=f(x)分類器9?目錄手寫數(shù)字識(shí)別的例子深度學(xué)習(xí)到底是什么卷積神經(jīng)網(wǎng)絡(luò)卷積激活池化生物學(xué)依據(jù)卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)常見的圖像處理問題卷積神經(jīng)網(wǎng)絡(luò)的問題卷積神經(jīng)網(wǎng)絡(luò)卷積卷積池化池化y=f(x)分類器特征學(xué)習(xí)向量化卷積操作卷積操作的特點(diǎn)二維（或多維）運(yùn)算，保持圖像的結(jié)構(gòu)關(guān)系………………向量化……全連接神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)輸入圖像向量化后再輸入到神經(jīng)網(wǎng)絡(luò)中，圖像的二維（或三維）結(jié)構(gòu)關(guān)系被打破。輸入圖像直接輸入卷積神經(jīng)網(wǎng)絡(luò)中，保持圖像的二維（或三維）結(jié)構(gòu)關(guān)系。卷積操作的特點(diǎn)局部感知，減少參數(shù)數(shù)量圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因此，每個(gè)神經(jīng)元其實(shí)沒有必要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。卷積操作的特點(diǎn)參數(shù)共享，減少參數(shù)數(shù)量采用局部感知后，參數(shù)依然非常多。由于卷積的操作是為了提取圖像特征，而圖像特征與位置無關(guān)，于是可以采用參數(shù)共享的策略。卷積操作的特點(diǎn)多卷積核一個(gè)卷積核只能學(xué)習(xí)一種特征多卷積核可以學(xué)習(xí)多種特征非線性激活操作非線性激活操作不是卷積網(wǎng)絡(luò)特有的，一般的神經(jīng)網(wǎng)絡(luò)也會(huì)有非線性激活操作。如果沒有非線性激活，神經(jīng)網(wǎng)絡(luò)只有線性表達(dá)，表達(dá)能力不夠強(qiáng)。x11x121x21x221x31w211w221b21x31=w311*x21+w321*x22+b31x21=w211*x11+w221*x12+b21x22=w212*x11+w222*x12+b22=w311*(w211*x11+w221*x12+b21)+w321*(w212*x11+w222*x12+b22)+b31=w’1*x11+w’2*x12+b’池化操作池化操作可以對(duì)輸入的特征圖進(jìn)行壓縮，一方面使特征圖變小，簡化網(wǎng)絡(luò)計(jì)算復(fù)雜度；另一方面進(jìn)行特征壓縮，提取主要特征。84182305092071408894卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)卷積卷積池化池化y=f(x)分類器向量化分類器全連接卷積神經(jīng)網(wǎng)絡(luò)與人類視覺卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)在圖像中應(yīng)用廣泛的最主要原因是：效果好！分類器全連接目錄手寫數(shù)字識(shí)別的例子深度學(xué)習(xí)到底是什么卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)常見的圖像處理問題卷積神經(jīng)網(wǎng)絡(luò)的問題卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)LeNetAlexNetVGGGoogleNetResNetDenseNetLeNet用于對(duì)10類問題的分類（MNIST）最早的卷積神經(jīng)網(wǎng)絡(luò)conv2的卷積實(shí)際上并不是5?5?6?16的，而是對(duì)6個(gè)featuremaps做了一些選取池化的方法與現(xiàn)在略有不同使用高斯分布進(jìn)行分類，而不是現(xiàn)在主流的softmax5*5conv,6,stride/1,pool/25*5conv,16,stride/1,pool/2fc,120fc,84fc,10INPUT:32*32AlexNet11*11conv,96,stride/4,pool/25*5conv,256,stride/1,pool/23*3conv,384,stride/13*3conv,384,stride/13*3conv,256,stride/1,pool/2INPUT:224*224*3fc,4096fc,4096fc,1000用于對(duì)1000類問題的分類（Imagenet）使用了ReLU的非線性激活使用了dropout使用了LRN對(duì)featuremaps進(jìn)行歸一化VGGGoogleNetResNetDenseNet目錄手寫數(shù)字識(shí)別的例子深度學(xué)習(xí)到底是什么卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)常見的圖像處理問題分類檢測(cè)分割視線估計(jì)卷積神經(jīng)網(wǎng)絡(luò)的問題分類分類器全連接…LeNet/AlexNet/VGG…檢測(cè)檢測(cè)分割I(lǐng)nference的加速方法ModelTheoreticallyExperiments#Parameters#FLOPModelSizeTimeBeforePruning16050096411648307260.18M37.22msAfterPruning17944563861636486.49M8.75msReduceReduce88.82%Reduce90.62%Reduce89.22%Reduce76.49%ThetimeistestonNVIDIATeslaK80.Andtheinputofthemodelis416*416.Theoretically,pruningreducesthenumberofparametersby10×andcomputationby10×.Infact,themodelcanbepruned1/10ofitsoriginalsizewithoutimpactingaccuracy,andspeedup4x.Afterpruningthetimeofthemodelis24millisecondtestonJetsonTX1.Input(float)Output(float)MinMaxQuantizeQuantizedReluDequantizeEightBitMinMaxE