深度學習與計算機視覺綜述

深度學習與計算機視覺綜述胡玉針170219模式識別施杰170236檢測本報告主要講述在計算機視覺領域深度學習如何逐漸占據(jù)主流以及傳統(tǒng)的識別算法的優(yōu)缺點，較為詳細的介紹了CNN卷積神經網絡的架構，簡單介紹了深度學習在視覺領域的應用范圍。希望讓大家了解這個領域的一些基本概念。水平有限，難免有錯誤的見解，希望不要誤導大家。概述

人工智能是人類一個非常美好的夢想，跟星際漫游和長生不老一樣。我們想制造出一種機器，使得它跟人一樣具有一定的對外界事物感知能力，比如看見世界。圖靈在1950年的論文里，提出圖靈測試的設想，即，隔墻對話，你將不知道與你談話的，是人還是電腦。這無疑給計算機，尤其是人工智能，預設了一個很高的期望值。但是半個世紀過去了，人工智能的進展，遠遠沒有達到圖靈試驗的標準。這不僅讓多年翹首以待的人們，心灰意冷，認為人工智能是忽悠，相關領域是―偽科學。50多年時間有無數(shù)科學家提出很多機器學習的算法，試圖讓計算機具有與人一樣的智力水平，但直到2006年深度學習算法的成功，才帶來了一絲解決的希望。眾星捧月的深度學習

深度學習在很多學術領域，比非深度學習算法往往有20-30%成績的提高。很多大公司也逐漸開始出手投資這種算法，并成立自己的深度學習團隊，其中投入最大的就是谷歌，2008年6月披露了谷歌腦項目。2014年1月谷歌收購DeepMind，然后2016年3月其開發(fā)的Alphago算法在圍棋挑戰(zhàn)賽中，戰(zhàn)勝了韓國九段棋手李世石，證明深度學習設計出的算法可以戰(zhàn)勝這個世界上最強的選手。在硬件方面，Nvidia最開始做顯示芯片，但從2006及2007年開始主推用GPU芯片進行通用計算，它特別適合深度學習中大量簡單重復的計算量。目前很多人選擇Nvidia的CUDA工具包進行深度學習軟件的開發(fā)。微軟從2012年開始，利用深度學習進行機器翻譯和中文語音合成工作，其人工智能小娜背后就是一套自然語言處理和語音識別的數(shù)據(jù)算法。

百度在2013年宣布成立百度研究院，其中最重要的就是百度深度學習研究所，當時招募了著名科學家余凱博士。不過后來余凱離開百度，創(chuàng)立了另一家從事深度學習算法開發(fā)的公司地平線。Facebook和Twitter也都各自進行了深度學習研究，其中前者攜手紐約大學教授YannLecun，建立了自己的深度學習算法實驗室；2015年10月，F(xiàn)acebook宣布開源其深度學習算法框架，即Torch框架。Twitter在2014年7月收購了Madbits，為用戶提供高精度的圖像檢索服務。機器學習需要解決的問題？傳統(tǒng)計算機視覺算法

特征感知

圖像預處理

特征提取

特征篩選

推理預測與識別。中間的特征提取，特征篩選主要是人工選取特征：傳統(tǒng)的計算機識別方法把特征提取和分類器設計分開來做，然后在應用時再合在一起，比如如果輸入是一個摩托車圖像的話，首先要有一個特征表達或者特征提取的過程，然后把表達出來的特征放到學習算法中進行分類的學習。最著名的SIFT算子，即所謂的對尺度旋轉保持不變的算子。它被廣泛地應用在圖像比對，特別是所謂的structure

frommotion這些應用中，有一些成功的應用例子。另一個是HoG算子，它可以提取物體，比較魯棒的物體邊緣，在物體檢測中扮演著重要的角色。這些算子還包括Textons，Spinimage，RIFT和GLOH，都是在深度學習誕生之前或者深度學習真正的流行起來之前，占領視覺算法的主流。幾個（半）成功例子

一是八九十年代的指紋識別算法，它已經非常成熟，一般是在指紋的圖案上面去尋找一些關鍵點，尋找具有特殊幾何特征的點，然后把兩個指紋的關鍵點進行比對，判斷是否匹配。然后是2001年基于Haar的人臉檢測算法，在當時的硬件條件下已經能夠達到實時人臉檢測，我們現(xiàn)在所有手機相機里的人臉檢測，都是基于它或者它的變種。第三個是基于HoG特征的物體檢測，它和所對應的SVM分類器組合起來的就是著名的DPM算法。DPM算法在物體檢測上超過了所有的算法，取得了比較不錯的成績。人工選擇特征存在的問題：大量的經驗，需要你對這個領域和數(shù)據(jù)特別了解大量的調試工作。說白了就是需要一點運氣另一個難點在于，你不只需要手工設計特征，還要在此基礎上有一個比較合適的分類器算法。同時設計特征然后選擇一個分類器，這兩者合并達到最優(yōu)的效果，幾乎是不可能完成的任務。是否可以自動的選擇特征？即輸入某一個模型的時候，輸入只是圖片，輸出就是它自己的標簽。比如輸入一個明星的頭像，出來的標簽就是一個50維的向量（如果要在50個人里識別的話），其中對應明星的向量是1，其他的位置是0。人類又是怎么識別物體的？1981年諾貝爾醫(yī)學生理學獎頒發(fā)給了DavidHubel，一位神經生物學家。他的主要研究成果是發(fā)現(xiàn)了視覺系統(tǒng)信息處理機制，證明大腦的可視皮層是分級的。他的貢獻主要有兩個，一是他認為人的視覺功能一個是抽象，一個是迭代。抽象就是把非常具體的形象的元素，即原始的光線像素等信息，抽象出來形成有意義的概念。這些有意義的概念又會往上迭代，變成更加抽象，人可以感知到的抽象概念。像素是沒有抽象意義的，但人腦可以把這些像素連接成邊緣，邊緣相對像素來說就變成了比較抽象的概念；邊緣進而形成球形，球形然后到氣球，又是一個抽象的過程，大腦最終就知道看到的是一個氣球。再談如何識別摩托車？看到圖片中的摩托車，我們可能在腦子里就幾微秒的時間，但是經過了大量的神經元抽象迭代。對計算機來說最開始看到的根本也不是摩托車，而是RGB圖像三個通道上不同的數(shù)字。所謂的特征或者視覺特征，就是把這些數(shù)值給綜合起來用統(tǒng)計或非統(tǒng)計的形式，把摩托車的部件或者整輛摩托車表現(xiàn)出來。深度學習的流行之前，大部分的設計圖像特征就是基于此，即把一個區(qū)域內的像素級別的信息綜合表現(xiàn)出來，利于后面的分類學習。如果要完全模擬人腦，我們也要模擬抽象和遞歸迭代的過程，把信息從最細瑣的像素級別，抽象到“種類”的概念，讓人能夠接受。CNN卷積神經網絡

概述典型的深度學習模型就是很深層的神經網絡，包含多個隱含層，多隱層的神經網絡很難直接使用BP算法進行直接訓練，因為反向傳播誤差時往往會發(fā)散，很難收斂CNN節(jié)省訓練開銷的方式是權值共享weightsharing，讓一組神經元使用相同的權值主要用于圖像識別領域卷積（Convolution）特征提取

卷積核（ConvolutionKernel），也叫過濾器filter，由對應的權值W和偏置b體現(xiàn)下圖是3x3的卷積核在5x5的圖像上做卷積的過程，就是矩陣做點乘之后的和

第i個隱含單元的輸入就是：

，其中

就是與過濾器filter過濾到的圖片另外上圖的步長stride為1，就是每個filter每次移動的距離卷積特征提取的原理卷積特征提取利用了自然圖像的統(tǒng)計平穩(wěn)性，這一部分學習的特征也能用在另一部分上，所以對于這個圖像上的所有位置，我們都能使用同樣的學習特征。當有多個filter時，我們就可以學到多個特征，例如：輪廓、顏色等多個過濾器filter（卷積核）池化（Pooling）也叫做下采樣Pooling過程把提取之后的特征看做一個矩陣，并在這個矩陣上劃分出幾個不重合的區(qū)域，然后在每個區(qū)域上計算該區(qū)域內特征的均值或最大值，然后用這些均值或最大值參與后續(xù)的訓練

最大Pooling的方法之后的結果Pooling的好處很明顯就是減少參數(shù)Pooling就有平移不變性（(translationinvariant）如圖featuremap是12x12大小的圖片，Pooling區(qū)域為6x6,所以池化后得到的featuremap為2x2,假設白色像素值為1，灰色像素值為0，若采用maxpooling之后，左上角窗口值為1Pooling的方法中average方法對背景保留更好，max對紋理提取更好深度學習可以進行多次卷積、池化操作激活層

在每次卷積操作之后一般都會經過一個非線性層，也是激活層現(xiàn)在一般選擇是ReLu,層次越深，相對于其他的函數(shù)效果較好，還有Sigmod,tanh函數(shù)等sigmod和tanh都存在飽和的問題，如上圖所示，當x軸上的值較大時，對應的梯度幾乎為0，若是利用BP反向傳播算法，可能造成梯度消失的情況，也就學不到東西了全連接層Fullyconnectedlayer

將多次卷積和池化后的圖像展開進行全連接，如右圖所示。接下來就可以通過BP反向傳播進行訓練了所以總結起來，結構可以是這樣的操作的實例：LeNet網絡

Le顧名思義就是指人工智能領域的大牛Lecun。這個網絡是深度學習網絡的最初原型，因為之前的網絡都比較淺，它較深的。LeNet在98年就發(fā)明出來了，當時Lecun在AT&T的實驗室，他用這一網絡進行字母識別，達到了非常好的效果。怎么構成呢？輸入圖像是32×32的灰度圖，第一層經過了一組卷積和，生成了6個28X28的featuremap，然后經過一個池化層，得到得到6個14X14的featuremap，然后再經過一個卷積層，生成了16個10X10的卷積層，再經過池化層生成16個5×5的featuremap。從最后16個5X5的featuremap開始，經過了3個全連接層，達到最后的輸出，輸出就是標簽空間的輸出。由于設計的是只要對0到9進行識別，所以輸出空間是10，如果要對10個數(shù)字再加上26個大小字母進行識別的話，輸出空間就是62。62維向量里，如果某一個維度上的值最大，它對應的那個字母和數(shù)字就是就是預測結果。壓在駱駝身上的最后一根稻草

從98年到本世紀初，深度學習興盛起來用了15年，但當時成果泛善可陳，一度被邊緣化。到2012年，深度學習算法在部分領域取得不錯的成績，而壓在駱駝身上最后一根稻草就是AlexNet。AlexNet由多倫多大學幾個科學家開發(fā)，在ImageNet比賽上做到了非常好的效果。當時AlexNet識別效果超過了所有淺層的方法。此后，大家認識到深度學習的時代終于來了，并有人用它做其它的應用，同時也有些人開始開發(fā)新的網絡結構。其實AlexNet的結構也很簡單，只是LeNet的放大版。輸入是一個224X224的圖片，是經過了若干個卷積層，若干個池化層，最后連接了兩個全連接層，達到了最后的標簽空間。去年，有些人研究出來怎么樣可視化深度學習出來的特征。那么，AlexNet學習出的特征是什么樣子？在第一層，都是一些填充的塊狀物和邊界等特征；中間的層開始學習一些紋理特征；更高接近分類器的層級，則可以明顯看到的物體形狀的特征。最后的一層，即分類層，完全是物體的不同的姿態(tài)，根據(jù)不同的物體展現(xiàn)出不同姿態(tài)的特征了?？梢哉f，不論是對人臉，車輛，大象或椅子進行識別，最開始學到的東西都是邊緣，繼而就是物體的部分，然后在更高層層級才能抽象到物體的整體。整個卷積神經網絡在模擬人的抽象和迭代的過程。為什么時隔20年卷土重來？

我們不禁要問：似乎卷積神經網絡設計也不是很復雜，98年就已經有一個比較像樣的雛形了。自由換算法和理論證明也沒有太多進展。那為什么時隔20年，卷積神經網絡才能卷土重來，占領主流？首先，卷積神經網絡的深度太淺的話，識別能力往往不如一般的淺層模型，比如SVM或者boosting。但如果做得很深，就需要大量數(shù)據(jù)進行訓練，否則機器學習中的過擬合將不可避免。而2006及2007年開始，正好是互聯(lián)網開始大量產生各種各樣的圖片數(shù)據(jù)的時候。另外一個條件是運算能力。卷積神經網絡對計算機的運算要求比較高，需要大量重復可并行化的計算，在當時CPU只有單核且運算能力比較低的情況下，不可能進行個很深的卷積神經網絡的訓練。隨著GPU計算能力的增長，卷積神經網絡結合大數(shù)據(jù)的訓練才成為可能。

最后一點就是人才。卷積神經網絡有一批一直在堅持的科學家（如Lecun）才沒有被沉默，才沒有被海量的淺層方法淹沒。然后最后終于看到卷積神經網絡占領主流的曙光。深度學習在視覺上的應用

計算機視覺中比較成功的深度學習的應用，包括人臉識別，圖像問答，物體檢測，物體跟蹤。人臉識別這里說人臉識別中的人臉比對，即得到一張人臉，與數(shù)據(jù)庫里的人臉進行比對；或同時給兩張人臉，判斷是不是同一個人。這方面比較超前的是湯曉鷗教授，他們提出的DeepID算法在LWF上做得比較好。他們也是用卷積神經網絡，但在做比對時，兩張人臉分別提取了不同位置特征，然后再進行互相比對，得到最后的比對結果。最新的DeepID-3算法，在LWF達到了99.53%準確度，與肉眼識別結果相差無幾。圖片問答問題這是2014年左右興起的課題，即給張圖片同時問個問題，然后讓計算機回答。比如有一個辦公室靠海的圖片，然后問“桌子后面有什么”，神經網絡輸出應該是“椅子和窗戶”。這一應用引入了LSTM網絡，這是一個專門設計出來具有一定記憶能力的神經單元。特點是，會把某一個時刻的輸出當作下一個時刻的輸入。可以認為它比較適合語言等，有時間序列關系的場景。因為我們在讀一篇文章和句子的時候，對句子后面的理解是基于前面對詞語的記憶。圖像問答問題是基于卷積神經網絡和LSTM單元的結合，來實現(xiàn)圖像問答。LSTM輸出就應該是想要的答案，而輸入的就是上一個時刻的輸入，以及圖像的特征，及問句的每個詞語。物體檢測問題RegionCNN深度學習在物體檢測方面也取得了非常好的成果。2014年的RegionCNN算法，基本思想是首先用一個非深度的方法，在圖像中提取可能是物體的圖形塊，然后深度學習算法根據(jù)這些圖像塊，判斷屬性和一個具體物體的位置。為什么要用非深度的方法