深度學習與卷積神經網絡基礎理論與實例分析課件

目錄010203概述與背景人腦視覺機理與特征表示卷積神經網絡04TensorFlow的相關介紹目錄010203概述與背景人腦視覺機理與特征表示卷積神經11.概述與背景1.1人工智能、機器學習、深度學習、數據挖掘之間的關系人工智能機器學習深度學習數據挖掘1.概述與背景1.1人工智能、機器學習、深度學習、數據挖21.概述與背景1.2神經網絡興衰史第一次興起（1958年）：感知機，由于沒有引入非線性，不能求解異或問題。第二次興起（1986年）：將BP(BackPropagation)神經網絡的提出。第三次興起（2012年）：深度學習的興起，一直到現(xiàn)在。發(fā)展基礎：數據爆炸：圖像數據、文本數據、語音數據、社交網絡數據、科學計算等計算性能大幅提高1.概述與背景1.2神經網絡興衰史第一次興起（1958年）3目錄020103人腦視覺機理與特征表示概述與背景卷積神經網絡04TensorFlow的相關介紹目錄020103人腦視覺機理與特征表示概述與背景卷積神經42.人腦視覺機理與特征表示2.1

人腦視覺機理---大腦神經元的信號傳輸神經元樹突輸入神經元接收信號隱含層輸入神經元激活軸突發(fā)出信號隱含層輸出人工神經網絡大腦神經元信號傳輸的模擬2.人腦視覺機理與特征表示2.1人腦視覺機理---大腦神經52.人腦視覺機理與特征表示2.1

人腦視覺機理---大腦識別物體過程

從原始信號攝入開始（瞳孔攝入像素Pixels）；接著做初步處理（大腦皮層某些細胞發(fā)現(xiàn)邊緣和方向）；然后抽象（大腦判定，眼前的物體的形狀）；然后進一步抽象（大腦進一步判定該物體）。Low-levelsensingPreprocessingFeatureextractionFeatureselectionInference:prediction,recognition2.人腦視覺機理與特征表示2.1人腦視覺機理---大腦識別62.人腦視覺機理與特征表示2.2特征表示手工地選取特征是一件非常費力、啟發(fā)式（需要專業(yè)知識）的方法，而且它的調節(jié)需要大量的時間。既然手工選取特征不太好，那么能不能自動地學習一些特征？學習出特征能否很好的表征目標？2.人腦視覺機理與特征表示2.2特征表示手工地選取特征是72.人腦視覺機理與特征表示2.2特征表示在不同對象上做訓練時，所得的邊緣基底是非常相似的，但對象部分和模型就會完全不同了。初級（淺層）特征表示結構性特征抽象層面越高，存在的可能猜測就越少，就越利于分類特征表示也可以分層2.人腦視覺機理與特征表示2.2特征表示在不同對象上做訓82.人腦視覺機理與特征表示神經元的模型分層處理信息特征的分層表達2.人腦視覺機理與特征表示神經元的模型分層處理信息9訓練:

duringthetrainingphase,aneuralnetworkisfedthousandsoflabeledimagesofvariousanimals,learningtoclassifythem輸入:

Anunlabeledimageisshowntothepre-trainednetworkFirstLayer:theneuronsrespondtodifferentsimpleshapes,likeedgesHighLayer:theneuronsrespondtomorecomplexstructuresTopLayer:theneuronsrespondtohighlycomplex,abstractconceptsthatwewouldidentifyasdifferentanimals輸出:Thenetworkpredictswhattheobjectmostlikelyis,basedonitstraining訓練:duringthetrainingphase,102.人腦視覺機理與特征表示2.3淺層學習和深度學習深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：1）強調了模型結構的深度，通常有5層、6層，甚至幾十層的隱層節(jié)點；2）明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。這種分層結構，是比較接近人類大腦的結構的。與人工規(guī)則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。2.人腦視覺機理與特征表示2.3淺層學習和深度學習深度學習的11目錄030201概述與背景人腦視覺機理與特征表示卷積神經網絡04TensorFlow的相關介紹目錄030201概述與背景人腦視覺機理與特征表示卷積神經123.卷積神經網絡-CNNLeCun1998年，LeCun提出LeNet，并成功應用于美國手寫數字識別。測試誤差小于1%。麻雀雖小，但五臟俱全，卷積層、pooling層、全連接層，這些都是現(xiàn)代CNN網絡的基本組件。卷積層--convolution池化層--pooling全連接層—fullyconnected3.1初探----LeNet框架3.卷積神經網絡-CNN卷積層--convolution池化133.卷積神經網絡-CNN3.1初探----完整的CNN輸入層卷積層+ReLU池化層卷積層+ReLU池化層全連接層全連接層輸出層把圖片分入四個類別：狗，貓，船，鳥當獲得一張船圖作為輸入的時候，網絡正確的給船的分類賦予了最高的概率(0.94)。輸出層的各個概率相加應為1.卷積神經網絡主要執(zhí)行了四個操作：卷積非線性(ReLU)池化或下采樣分類（全連接層）3.卷積神經網絡-CNN3.1初探----完整的CNN輸入143.卷積神經網絡-CNN

CNN的應用也很廣泛，其中包括圖像分類，目標檢測，目標識別，目標跟蹤，文本檢測和識別以及位置估計等。3.1初探----CNN結構演變3.卷積神經網絡-CNN

CNN的應用也很廣泛，其中包括圖像153.卷積神經網絡-CNN如上圖是LeNet-5，它的第一個卷積層含有6的featuremap，每一個featuremap對應一個卷積核，也就對應提取了圖像的一種特征。這里注意最終的featuremap并不是做完卷積后的結果，然后還要加一個非線性激活的操作，一般用ReLU函數，這個過程一般叫做detectorstage。3.2基本單元-----卷積層3.卷積神經網絡-CNN3.2基本單元-----卷積層163.卷積神經網絡-CNN3.2基本單元-----卷積層深度(Depth)

深度就是卷積操作中用到的濾波器個數。這里對圖片用了兩個不同的濾波器，從而產生了兩個特征映射。你可以認為這兩個特征映射也是堆疊的2d矩陣，所以這里特征映射的“深度”就是2。步幅(Stride)步幅是每次滑過的像素數。當Stride=2的時候每次就會滑過2個像素。步幅越大，特征映射越小。補零(Zero-padding)邊緣補零，對圖像矩陣的邊緣像素也施加濾波器。補零的好處是讓我們可以控制特征映射的尺寸。補零也叫寬卷積，不補零就叫窄卷積。3.卷積神經網絡-CNN3.2基本單元-----卷積層深度173.卷積神經網絡-CNN3.2基本單元-----非線性（激勵層）Sigmoid梯度消失問題激活函數一般用于卷積層和全連接層之后激活函數是深度網絡非線性的主要來源ReLU解決梯度消失問題收斂速度非?？焐窠浽劳鰡栴}3.卷積神經網絡-CNN3.2基本單元-----非線性（激183.卷積神經網絡-CNN3.2基本單元-----池化層空間池化，也叫亞采樣或下采樣降低了每個特征映射的維度，但是保留了最重要的信息?？臻g池化可以有很多種形式：最大(Max)，平均(Average)，求和(Sum)等等。最大池化成效最好。池化層的功能減少網絡中的參數計算數量，從而遏制過擬合增強網絡對輸入圖像中的小變形、扭曲、平移的魯棒性(輸入里的微小扭曲不會改變池化輸出——因為我們在局部鄰域已經取了最大值/平均值)。幫助我們獲得不因尺寸而改變的等效圖片表征。這非常有用，因為這樣我們就可以探測到圖片里的物體，不論那個物體在哪。3.卷積神經網絡-CNN3.2基本單元-----池化層空間193.卷積神經網絡-CNN3.2基本單元-----全連接層使用softmax激勵函數作為輸出層。全連接表示上一層的每一個神經元，都和下一層的每一個神經元是相互連接的。卷積層和池化層的輸出代表了輸入圖像的高級特征，全連接層的目的就是利用這些特征進行分類。3.卷積神經網絡-CNN3.2基本單元-----全連接層使203.卷積神經網絡-CNN3.3前向傳播與反向傳播卷積+池化=特征提取器全連接層=分類器前向傳播反向傳播3.卷積神經網絡-CNN3.3前向傳播與反向傳播卷積+池化213.卷積神經網絡-CNN3.3前向傳播與反向傳播幾個人站成一排，第一個人看一幅畫（輸入數據），描述給第二個人（隱層）……依此類推，到最后一個人（輸出）的時候，畫出來的畫肯定不能看了（誤差較大）。反向傳播就是，把畫拿給最后一個人看（求取誤差），然后最后一個人就會告訴前面的人下次描述時需要注意哪里（權值修正）。梯度下降法。3.卷積神經網絡-CNN3.3前向傳播與反向傳播幾個人站成223.卷積神經網絡-CNN3.4反向傳播訓練Step1:用隨機數初始化所有的濾波器和參數/權重Step2:網絡將訓練圖片作為輸入，執(zhí)行前向步驟（卷積，ReLU，池化以及全連接層的前向傳播）并計算每個類別的對應輸出概率。假設船圖的輸出概率是[0.2,0.4,0.1,0.3]因為第一個訓練樣本的權重都是隨機的，所以這個輸出概率也跟隨機的差不多Step3:計算輸出層的總誤差總誤差=1/2

∑(目標概率?輸出概率)^2Step4:反向傳播算法計算誤差相對于所有權重的梯度，并用梯度下降法更新所有的濾波器/權重和參數的值，以使輸出誤差最小化。

其中wj是要更新的權重，α稱為學習率，Etotal是總的誤差權重的調整程度與其對總誤差的貢獻成正比。如濾波器個數、濾波器尺寸、網絡架構這些參數，是在Step1之前就已經固定的，且不會在訓練過程中改變——只有濾波矩陣和神經元權重會更新。3.卷積神經網絡-CNN3.4反向傳播訓練Step1:23目錄040203概述與背景人腦視覺機理與特征表示卷積神經網絡01TensorFlow的相關介紹目錄040203概述與背景人腦視覺機理與特征表示卷積神經244.TensorFlow的相關介紹4.1深度學習框架TensorFlow具有最高的關注度和評分。Caffe在目標識別和目標分割領域應用最廣主流框架基本都支持Python4.TensorFlow的相關介紹4.1深度學習框架Ten254.TensorFlow的相關介紹4.1深度學習框架庫名學習材料豐富程度CNN建模能力RNN建模能力易用程度運行速度多GPU支持程度TensorFlow★★★★★★★★★★★★★★★Caffe★★★★★★★CNTK★★★★★★★★★★★MXNet★★★★★★★★★★★★Torch★★★★★★★★★★★★★Theano★★★★★★★★★★★Neon★★★★★★★★★4.TensorFlow的相關介紹4.1深度學習框架庫名學264.TensorFlow的相關介紹4.2TensorFlow的安裝step1.系統(tǒng)要求：Linux（Ubuntu14.04/16.04），Windows；step2.GPU驅動：在Linux系統(tǒng)最容易出現(xiàn)問題的地方；step3.CUDA：NVIDIA推出的通用并行計算架構（cuDNN

）；step4.安裝Python、依賴庫和TensorFlow：

sudopipinstalltensorflow-gpu。4.TensorFlow的相關介紹4.2TensorFlo274.TensorFlow的相關介紹4.3TensorFlow基礎TensorFlow的特點：

■將計算流程表示成圖；

■通過Sessions來執(zhí)行圖計算；

■將數據表示為tensors；

■分別使用feeds和fetches來填充數據和抓取任意的操作結果；

4.TensorFlow的相關介紹4.3TensorFlo284.TensorFlow的相關介紹數據流圖是描述有向圖中的數值計算過程。有向圖中的節(jié)點通常代表數學運算，但也可以表示數據的輸入、輸出和讀寫等操作；有向圖中的邊表示節(jié)點之間的某種聯(lián)系，它負責傳輸多維數據(Tensors)。圖中這些tensors的flow也就是TensorFlow的命名來源。一個Tensor是一個多維數組，例如，你可以將一批圖像表示為一個四維的數組[batch,height,width,channels]，數組中的值均為浮點數。

(第一維列，第二維行)

4.3TensorFlow基礎-數據流圖例如：計算a=(b+c)?(c+2)，我們可以將算式拆分成一下：d和e是不相關的，也就是可以并行計算。4.TensorFlow的相關介紹數據流圖是描述有向圖中的數294.TensorFlow的相關介紹

4.4TensorFlow的基礎語法1.定義數據：2.定義運算(也稱TensorFlowoperation)：Tensorflow可以自動進行數據類型檢測，比如：賦值2.0就默認為tf.float323.定義初始化operation用Tensorflow計算a=(b+c)?(c+2)4.TensorFlow的相關介紹4.4TensorFlo304.TensorFlow的相關介紹用Tensorflow計算a=(b+c)?(c+2)

4.4TensorFlow的基礎語法4.執(zhí)行圖5.站位符(placeholder)對上面例子的改進：使變量b可以接收任意值。TensorFlow中接收值的方式為占位符(placeholder)，通過tf.placeholder()創(chuàng)建。需要在運行過程中feed占位符b的值，具體為將a_out=sess.run(a)改為：4.TensorFlow的相關介紹用Tensorflow計算314.TensorFlow的相關介紹

4.5TensorFlow--mnist識別實例模型圖當使用tensorflow進行數據流圖構建時，大致可以分為以下幾個部分：

1、加載數據

2、為輸入X與輸出y定義placeholder；

3