深度卷積神經(jīng)網(wǎng)絡原理與實踐課件02卷積神經(jīng)網(wǎng)絡基本原理

《深度卷積神經(jīng)網(wǎng)絡原理與實踐》《深度卷積神經(jīng)網(wǎng)絡原理與實踐》卷積神經(jīng)網(wǎng)絡的發(fā)展大體上經(jīng)歷了三個階段，即：理論提出階段卷積神經(jīng)網(wǎng)絡的發(fā)展最早可追溯到20世紀60年代。模型實現(xiàn)階段1989年，Y.LeCun等人提出了最初的卷積神經(jīng)網(wǎng)絡模型。廣泛研究階段目前，卷積神經(jīng)網(wǎng)絡已經(jīng)廣泛應用于目標檢測、視頻分類、人臉識別、行人驗證、行為識別、姿態(tài)估計、語義分割、人群密度估計、圖像質(zhì)量評價等諸多領域。2.1卷積神經(jīng)網(wǎng)絡概述2.1.1卷積神經(jīng)網(wǎng)絡的發(fā)展卷積神經(jīng)網(wǎng)絡的發(fā)展大體上經(jīng)歷了三個階段，即：2.1卷積神經(jīng)卷積神經(jīng)網(wǎng)絡的本質(zhì)是映射。例如，一個用于目標分類的卷積神經(jīng)網(wǎng)絡，實現(xiàn)了從圖像到類別的映射；一個用于目標檢測的網(wǎng)絡，實現(xiàn)了從圖像到類別和空間位置信息的映射；一個風格遷移（styletransfer）網(wǎng)絡，實現(xiàn)了從圖像到藝術風格化的映射。2.1.2卷積神經(jīng)網(wǎng)絡的發(fā)展2.1卷積神經(jīng)網(wǎng)絡概述卷積神經(jīng)網(wǎng)絡的本質(zhì)是映射。例如，一個用于目標分類的卷積神經(jīng)網(wǎng)2.2.1基本卷積運算信號的卷積：卷積（convolution）是信號分析與處理中一種重要的運算，表征了函數(shù)f與g經(jīng)過翻轉(zhuǎn)和平移的重疊部分函數(shù)值乘積對重疊長度的積分。圖像的卷積：在圖像處理中，參與卷積的兩個信號一個稱為輸入圖像，另一個稱為卷積核（又叫濾波器，filter）。與一般信號卷積相比，圖像的卷積有兩點不同：一是運算時并不對信號進行翻轉(zhuǎn)（因此實際上是一種互相關運算）；二是只對卷積核與輸入圖像完全重疊的部分進行運算。2.2卷積層2.2.1基本卷積運算信號的卷積：卷積（convoluti2.2卷積層單通道卷積運算：設輸入為二維矩陣I，卷積核K的大小為m×n，則多通道卷積運算：假設輸入數(shù)據(jù)有c個通道，首先將卷積核的每個通道分別與相應的輸入數(shù)據(jù)通道進行卷積，然后將得到的特征圖對應元素相加，最終輸出一個單通道的特征圖。填充操作：一般通過在圖像的外圍填充一部分人為構建的像素，使得卷積核中心可以到達原始輸入圖像上的每一個坐標，從而輸出完整的特征圖。2.2.2卷積神經(jīng)網(wǎng)絡中的卷積運算2.2卷積層單通道卷積運算：設輸入為二維矩陣I，卷積核K的2.2卷積層在數(shù)字圖像處理中，利用卷積運算不僅可以用于圖像去噪、增強等問題，還可以用于提取圖像的邊緣、角點、線段等幾何特征。在卷積神經(jīng)網(wǎng)絡中，卷積層主要用來對圖像的某些二維視覺特征產(chǎn)生響應。卷積核的權重，決定了網(wǎng)絡對什么樣的特征進行響應。在卷積神經(jīng)網(wǎng)絡中，卷積核的權重與偏置是待學習的參數(shù)。通過在數(shù)據(jù)集上的訓練，卷積神經(jīng)網(wǎng)絡最終能夠?qū)W習出最適合表達圖像特征的一組卷積核。2.2.3卷積的作用2.2卷積層在數(shù)字圖像處理中，利用卷積運算不僅可以用于圖像2.2卷積層在實際中，卷積層的卷積核權重以及偏置是可學習的參數(shù)，最終通過網(wǎng)絡訓練來學習出最優(yōu)的參數(shù)。卷積層的關鍵參數(shù)如下：卷積核的通道數(shù)卷積核的尺寸卷積核的個數(shù)步長填充參數(shù)2.2.4卷積層及參數(shù)2.2卷積層在實際中，卷積層的卷積核權重以及偏置是可學習的2.2卷積層1×1卷積：顧名思義，1×1卷積的卷積核尺寸為1×1像素。這種特殊的卷積核并不能提取空間幾何特征?？斩淳矸e：空洞卷積（dilatedconvolution）是指在卷積核各權值之間插入不參與運算的“空洞”。全局卷積：如果將卷積核尺寸設置為與輸入數(shù)據(jù)尺寸相同，則卷積得到的結果為一個1×1的標量。反卷積：將最終的特征圖放大到原始圖像的尺寸，這種操作叫反卷積（transposedconvolution），也叫轉(zhuǎn)置卷積。2.2.5特殊卷積2.2卷積層1×1卷積：顧名思義，1×1卷積的卷積核尺寸為2.3激活層梯度爆炸/消失問題：卷積神經(jīng)網(wǎng)絡是利用反向傳播算法來實現(xiàn)參數(shù)更新的，其原理是根據(jù)復合函數(shù)求導的鏈式法則來實現(xiàn)梯度的傳遞。激活函數(shù)的飽和性激活函數(shù)的一般要求：非線性、良好的可導性、計算簡單等。2.3.1激活函數(shù)相關知識2.3激活層梯度爆炸/消失問題：2.3.1激活函數(shù)相關知2.3激活層Sigmoid函數(shù)：Sigmoid的輸出值域為(0,1)。Tanh函數(shù)：Tanh稱為雙曲正切函數(shù)。Tanh函數(shù)和Sigmoid函數(shù)非常相似，但是輸出值范圍由(0,1)變?yōu)榱?-1,1)。ReLU函數(shù)：ReLU（RectifiedLinearUnit）稱為修正線性單元或線性整流函數(shù)，是一個分段函數(shù)。2.3.2典型的激活函數(shù)2.3激活層Sigmoid函數(shù)：2.3.2典型的激活函數(shù)2.4池化層池化層（poolinglayer）對輸入的數(shù)據(jù)進行池化操作，縮減數(shù)據(jù)的尺寸，同時盡可能的保留數(shù)據(jù)信息。最大池化：選擇池化核覆蓋范圍內(nèi)的最大值輸出到下一層。平均池化：將最大池化中取最大值的操作改為求區(qū)域的平均值。2.4.1池化操作2.4池化層池化層（poolinglayer）對輸入的數(shù)2.4池化層感受野原指聽覺、視覺等神經(jīng)系統(tǒng)中一些神經(jīng)元的特性，即神經(jīng)元只接受其所支配的刺激區(qū)域內(nèi)的信號。在卷積神經(jīng)網(wǎng)絡中，感受野是網(wǎng)絡中每一層輸出的特征圖上的像素在輸入圖像上映射的區(qū)域大小。2.4.2感受野2.4池化層感受野原指聽覺、視覺等神經(jīng)系統(tǒng)中一些神經(jīng)元的特2.5全連接層全連接層一般在網(wǎng)絡的最后部分，其作用就是將二維的特征信息轉(zhuǎn)化為一維的分類信息。全連接層的有m個輸入和n個輸出，每個輸出都和所有的輸入相連，相連的權重w都是不一樣的，同時每個輸出還有一個偏置。2.5全連接層全連接層一般在網(wǎng)絡的最后部分，其作用就是將二2.6目標函數(shù)為了衡量學得的模型參數(shù)的好壞，可以用一個函數(shù)來度量模型預測值與真實值之間的差異，稱之為損失函數(shù)（lossfunction）或者代價函數(shù)（costfunction）。交叉熵損失函數(shù)均方誤差損失函數(shù)平均絕對誤差損失函數(shù)2.6.1常用的損失函數(shù)2.6目標函數(shù)為了衡量學得的模型參數(shù)的好壞，可以用一個函數(shù)2.6目標函數(shù)正則化是對學習算法的修改，目的是減少泛化誤差而不是訓練誤差。L1正則化：L1正則化是機器學習中一種常見的正則化方式，又被稱作LASSO回歸。L2正則化：L2正則化又被稱為嶺回歸（ridgeregression）或Tikhonov正則。L1/L2混合正則化中心損失正則化2.6.2正則化項2.6目標函數(shù)正則化是對學習算法的修改，目的是減少泛化誤差2.7卷積神經(jīng)網(wǎng)絡的反向傳播多個全連接層相連可以看作是一個多層感知機，這里對符號約定如下：①用代表網(wǎng)絡的第l層，l=L代表網(wǎng)絡的最后一層；②Wl、bl分別表示第l層的權重矩陣與偏置向量；③σ(·)表示激活函數(shù)；④表示第l層的輸出向量，其中；⑤J表示目標函數(shù)，其輸出為標量。反向傳播的目的就是要計算出J對于各層Wl、bl的偏導數(shù)和，進而更新網(wǎng)絡參數(shù)Wl、bl，使得模型的預測值更加接近真實值。2.7.1全連接層的反向傳播算法2.7卷積神經(jīng)網(wǎng)絡的反向傳播多個全連接層相連可以看作是一個2.7卷積神經(jīng)網(wǎng)絡的反向傳播由于池化層并沒有可學習的參數(shù)，因此不需要進行參數(shù)更新。池化層在反向傳播過程中，只需要將下一層傳遞過來的梯度按照一定的規(guī)則傳遞給上一層。平均池化的反向傳播最大池化的反向傳播2.7.2池化層的反向傳播算法2.7卷積神經(jīng)網(wǎng)絡的反向傳播由于池化層并沒有可學習的參數(shù)，2.7卷積神經(jīng)網(wǎng)絡的反向傳播卷積層可以看作是一種特殊的MLP神經(jīng)網(wǎng)絡，因此其反向傳播過程與前面討論的全連接層類似。2.7.3卷積層的反向傳播算法2.7.4反向傳播算法實例可根據(jù)所求出的每層導數(shù)值對網(wǎng)絡參數(shù)進行更新。2.7卷積神經(jīng)網(wǎng)絡的反向傳播卷積層可以看作是一種特殊的ML《深度卷積神經(jīng)網(wǎng)絡原理與實踐》《深度卷積神經(jīng)網(wǎng)絡原理與實踐》卷積神經(jīng)網(wǎng)絡的發(fā)展大體上經(jīng)歷了三個階段，即：理論提出階段卷積神經(jīng)網(wǎng)絡的發(fā)展最早可追溯到20世紀60年代。模型實現(xiàn)階段1989年，Y.LeCun等人提出了最初的卷積神經(jīng)網(wǎng)絡模型。廣泛研究階段目前，卷積神經(jīng)網(wǎng)絡已經(jīng)廣泛應用于目標檢測、視頻分類、人臉識別、行人驗證、行為識別、姿態(tài)估計、語義分割、人群密度估計、圖像質(zhì)量評價等諸多領域。2.1卷積神經(jīng)網(wǎng)絡概述2.1.1卷積神經(jīng)網(wǎng)絡的發(fā)展卷積神經(jīng)網(wǎng)絡的發(fā)展大體上經(jīng)歷了三個階段，即：2.1卷積神經(jīng)卷積神經(jīng)網(wǎng)絡的本質(zhì)是映射。例如，一個用于目標分類的卷積神經(jīng)網(wǎng)絡，實現(xiàn)了從圖像到類別的映射；一個用于目標檢測的網(wǎng)絡，實現(xiàn)了從圖像到類別和空間位置信息的映射；一個風格遷移（styletransfer）網(wǎng)絡，實現(xiàn)了從圖像到藝術風格化的映射。2.1.2卷積神經(jīng)網(wǎng)絡的發(fā)展2.1卷積神經(jīng)網(wǎng)絡概述卷積神經(jīng)網(wǎng)絡的本質(zhì)是映射。例如，一個用于目標分類的卷積神經(jīng)網(wǎng)2.2.1基本卷積運算信號的卷積：卷積（convolution）是信號分析與處理中一種重要的運算，表征了函數(shù)f與g經(jīng)過翻轉(zhuǎn)和平移的重疊部分函數(shù)值乘積對重疊長度的積分。圖像的卷積：在圖像處理中，參與卷積的兩個信號一個稱為輸入圖像，另一個稱為卷積核（又叫濾波器，filter）。與一般信號卷積相比，圖像的卷積有兩點不同：一是運算時并不對信號進行翻轉(zhuǎn)（因此實際上是一種互相關運算）；二是只對卷積核與輸入圖像完全重疊的部分進行運算。2.2卷積層2.2.1基本卷積運算信號的卷積：卷積（convoluti2.2卷積層單通道卷積運算：設輸入為二維矩陣I，卷積核K的大小為m×n，則多通道卷積運算：假設輸入數(shù)據(jù)有c個通道，首先將卷積核的每個通道分別與相應的輸入數(shù)據(jù)通道進行卷積，然后將得到的特征圖對應元素相加，最終輸出一個單通道的特征圖。填充操作：一般通過在圖像的外圍填充一部分人為構建的像素，使得卷積核中心可以到達原始輸入圖像上的每一個坐標，從而輸出完整的特征圖。2.2.2卷積神經(jīng)網(wǎng)絡中的卷積運算2.2卷積層單通道卷積運算：設輸入為二維矩陣I，卷積核K的2.2卷積層在數(shù)字圖像處理中，利用卷積運算不僅可以用于圖像去噪、增強等問題，還可以用于提取圖像的邊緣、角點、線段等幾何特征。在卷積神經(jīng)網(wǎng)絡中，卷積層主要用來對圖像的某些二維視覺特征產(chǎn)生響應。卷積核的權重，決定了網(wǎng)絡對什么樣的特征進行響應。在卷積神經(jīng)網(wǎng)絡中，卷積核的權重與偏置是待學習的參數(shù)。通過在數(shù)據(jù)集上的訓練，卷積神經(jīng)網(wǎng)絡最終能夠?qū)W習出最適合表達圖像特征的一組卷積核。2.2.3卷積的作用2.2卷積層在數(shù)字圖像處理中，利用卷積運算不僅可以用于圖像2.2卷積層在實際中，卷積層的卷積核權重以及偏置是可學習的參數(shù)，最終通過網(wǎng)絡訓練來學習出最優(yōu)的參數(shù)。卷積層的關鍵參數(shù)如下：卷積核的通道數(shù)卷積核的尺寸卷積核的個數(shù)步長填充參數(shù)2.2.4卷積層及參數(shù)2.2卷積層在實際中，卷積層的卷積核權重以及偏置是可學習的2.2卷積層1×1卷積：顧名思義，1×1卷積的卷積核尺寸為1×1像素。這種特殊的卷積核并不能提取空間幾何特征?？斩淳矸e：空洞卷積（dilatedconvolution）是指在卷積核各權值之間插入不參與運算的“空洞”。全局卷積：如果將卷積核尺寸設置為與輸入數(shù)據(jù)尺寸相同，則卷積得到的結果為一個1×1的標量。反卷積：將最終的特征圖放大到原始圖像的尺寸，這種操作叫反卷積（transposedconvolution），也叫轉(zhuǎn)置卷積。2.2.5特殊卷積2.2卷積層1×1卷積：顧名思義，1×1卷積的卷積核尺寸為2.3激活層梯度爆炸/消失問題：卷積神經(jīng)網(wǎng)絡是利用反向傳播算法來實現(xiàn)參數(shù)更新的，其原理是根據(jù)復合函數(shù)求導的鏈式法則來實現(xiàn)梯度的傳遞。激活函數(shù)的飽和性激活函數(shù)的一般要求：非線性、良好的可導性、計算簡單等。2.3.1激活函數(shù)相關知識2.3激活層梯度爆炸/消失問題：2.3.1激活函數(shù)相關知2.3激活層Sigmoid函數(shù)：Sigmoid的輸出值域為(0,1)。Tanh函數(shù)：Tanh稱為雙曲正切函數(shù)。Tanh函數(shù)和Sigmoid函數(shù)非常相似，但是輸出值范圍由(0,1)變?yōu)榱?-1,1)。ReLU函數(shù)：ReLU（RectifiedLinearUnit）稱為修正線性單元或線性整流函數(shù)，是一個分段函數(shù)。2.3.2典型的激活函數(shù)2.3激活層Sigmoid函數(shù)：2.3.2典型的激活函數(shù)2.4池化層池化層（poolinglayer）對輸入的數(shù)據(jù)進行池化操作，縮減數(shù)據(jù)的尺寸，同時盡可能的保留數(shù)據(jù)信息。最大池化：選擇池化核覆蓋范圍內(nèi)的最大值輸出到下一層。平均池化：將最大池化中取最大值的操作改為求區(qū)域的平均值。2.4.1池化操作2.4池化層池化層（poolinglayer）對輸入的數(shù)2.4池化層感受野原指聽覺、視覺等神經(jīng)系統(tǒng)中一些神經(jīng)元的特性，即神經(jīng)元只接受其所支配的刺激區(qū)域內(nèi)的信號。在卷積神經(jīng)網(wǎng)絡中，感受野是網(wǎng)絡中每一層輸出的特征圖上的像素在輸入圖像上映射的區(qū)域大小。2.4.2感受野2.4池化層感受野原指聽覺、視覺等神經(jīng)系統(tǒng)中一些神經(jīng)元的特2.5全連接層全連接層一般在網(wǎng)絡的最后部分，其作用就是將二維的特征信息轉(zhuǎn)化為一維的分類信息。全連接層的有m個輸入和n個輸出，每個輸出都和所有的輸入相連，相連的權重w都是不一樣的，同時每個輸出還有一個偏置。2.5全連接層全連接層一般在網(wǎng)絡的最后部分，其作用就是將二2.6目標函數(shù)為了衡量學得的模型參數(shù)的好壞，可以用一個函數(shù)來度量模型預測值與真實值之間的差異，稱之為損失函數(shù)（lossfunction）或者代價函數(shù)（costfunction）。交叉熵損失函數(shù)均方誤差損失函數(shù)平均絕對誤差損失函數(shù)2.6.1常用的損失函數(shù)2.6目標函數(shù)為了衡量學得的模型參數(shù)的好壞，可以用一個函數(shù)2.6目標函數(shù)正則化是對學習算法的修改，目的是減少泛化誤差而不是訓練誤差。L1正則化：L1正則化是機器學習中一種常見的正則化方式，又被稱作LASSO回歸。L2正則化：L2正則化又被稱為嶺回