數(shù)學(xué)建模算法設(shè)計(jì)簡介

1、算法設(shè)計(jì)簡介問題求解概述n 問題求解的一般步驟：問題求解的一般步驟：需求分析建模算法設(shè)計(jì)程序?qū)崿F(xiàn)測試應(yīng)用分析輸入輸出數(shù)據(jù)，設(shè)計(jì)合理的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)適當(dāng)?shù)乃惴?，確立輸入輸出之間的函數(shù)關(guān)系。比如，計(jì)算參數(shù)模型的函數(shù)參數(shù)，或者函數(shù)逼近（神經(jīng)網(wǎng)絡(luò)等方法）建模方法n 差分方程、差分方程組：差分方程、差分方程組：抵押貸款買房問題等抵押貸款買房問題等n 模型擬合：模型擬合：最小二乘法、三階樣條模型等最小二乘法、三階樣條模型等n 概率概率模型：模型：線性回歸，隨機(jī)行為模擬等線性回歸，隨機(jī)行為模擬等n 線性規(guī)劃：線性規(guī)劃：單純形法等單純形法等n 圖論建模：圖論建模：最短路徑問題、最大流問題等最短路徑問題、最大流問

2、題等n 決策論：決策論：決策樹、序列決策決策樹、序列決策n 博弈論：博弈論：囚徒困境問題囚徒困境問題n 微分方程、微分方程組建模：微分方程、微分方程組建模：人口增長模型、傳染病模型人口增長模型、傳染病模型n 模型的設(shè)計(jì)與實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)n 數(shù)據(jù)模型：數(shù)據(jù)模型：n數(shù)據(jù)對象數(shù)據(jù)對象，數(shù)據(jù)對象之間的關(guān)系數(shù)據(jù)對象之間的關(guān)系n 數(shù)據(jù)對象之間的關(guān)系：數(shù)據(jù)對象之間的關(guān)系：n邏輯結(jié)構(gòu)，物理結(jié)構(gòu)邏輯結(jié)構(gòu)，物理結(jié)構(gòu)n 邏輯結(jié)構(gòu)：邏輯結(jié)構(gòu)：n線性結(jié)構(gòu)，樹形結(jié)構(gòu)，圖形結(jié)構(gòu)，集合結(jié)構(gòu)線性結(jié)構(gòu)，樹形結(jié)構(gòu)，圖形結(jié)構(gòu)，集合結(jié)構(gòu)n 物理結(jié)構(gòu)：物理結(jié)構(gòu)：n順序存儲，鏈?zhǔn)酱鎯Γ饕鎯?，散列存儲順序存儲，鏈?zhǔn)酱鎯Γ饕鎯?，散列存儲?/p>

3、法設(shè)計(jì)算法：輸入數(shù)據(jù)算法模塊算法模塊 輸出結(jié)果對于用戶來講，對于用戶來講，算法模塊就是算法模塊就是黑匣子黑匣子算法設(shè)計(jì)方法算法確定的非確定的傳統(tǒng)算法：近似算法：隨機(jī)算法：智能算法：以100%成功概率求解問題的最優(yōu)解對解的質(zhì)量讓步對求解成功概率和解的質(zhì)量讓步遺傳算法，模擬退火算法，蟻群算法，神經(jīng)網(wǎng)絡(luò)算法等等算法設(shè)計(jì)思想也稱窮舉法。也就是通常的。類似歸納，競賽中的數(shù)學(xué)題常常需要遞推和歸納。遞歸分為和，很多問題都需要借助遞歸思想和方法求解，包括分治、DP的題目。也即試探法。迭代法是用于求方程或方程組近似根的一種常用的算法設(shè)計(jì)方法。迭代思想是很多問題求解或代碼實(shí)現(xiàn)的基本方法。從問題求解基本思路看，算法

4、設(shè)計(jì)思想有如下幾種：從問題求解基本思路看，算法設(shè)計(jì)思想有如下幾種：算法設(shè)計(jì)方法（1）貪心法算法設(shè)計(jì)方法（2）分治法算法設(shè)計(jì)方法（3）動態(tài)規(guī)劃算法設(shè)計(jì)方法（4）算法設(shè)計(jì)方法（5）分支定界算法設(shè)計(jì)方法（6）隨機(jī)算法在算法中引入隨機(jī)因素，即通過隨機(jī)因素選擇算法的下一步操作。在許多情況下，一般算法比較復(fù)雜，性能較差，很多具有很好平均運(yùn)行時(shí)間的算法，在最壞的情況下，卻具有很壞的性能。采用隨機(jī)算法可以實(shí)現(xiàn)“平均情況下的”良好業(yè)績的希望。隨機(jī)算法對所求解問題的同一個(gè)實(shí)例用同一隨機(jī)算法求解兩次可能得到完全不同的效果。這兩次求解所需要的時(shí)間，甚至所得到的結(jié)果都可能會有相當(dāng)大的差別。：數(shù)值概率算法蒙特卡羅（Mon

5、te Carlo）算法拉斯維加斯（Las Vegas）算法舍伍德（Sherwood）算法分治法分治法一、二基本都能滿足，三是關(guān)鍵一、二基本都能滿足，三是關(guān)鍵，能否利用分治法完全取決于問題是否具有第三條特征。 不具備第三條特征，則可以考慮用貪心法或動態(tài)規(guī)劃法。 第四條特征涉及到分治法的效率，不能滿足時(shí)采用動態(tài)規(guī)劃法比用分治法更好。分治法所能解決的問題一般具有以下幾個(gè)特征分治法所能解決的問題一般具有以下幾個(gè)特征：1.該問題的規(guī)?？s小到一定的程度就可以容易地解決；2.該問題可以分解為若干個(gè)規(guī)模較小的相同問題，即該問題具有最優(yōu)子結(jié)構(gòu)性質(zhì)；3.利用該問題分解出的子問題的解可以合并為該問題的解；4.該問題

6、所分解出的各個(gè)子問題是相互獨(dú)立的，即子問題之間不包含公共的子問題。分治法最近點(diǎn)對問題在二維平面上的n個(gè)點(diǎn)中，如何快速的找出最近的一對點(diǎn)。最簡單的想法是每兩個(gè)點(diǎn)，計(jì)算得出最小距離，需要計(jì)算n(n-1)/2次，時(shí)間復(fù)雜度為O(n2)分治法求最近點(diǎn)對問題分治法求最近點(diǎn)對問題貪心法能夠使用貪心算法的問題必須滿足下面 整體的最優(yōu)解可以通過局部的最優(yōu)解來求出； 一個(gè)整體能夠被分為多個(gè)局部，并且這些局部都能夠求出最優(yōu)解。貪心算法的 從問題的某個(gè)初始解出發(fā)； 當(dāng)可以向求解目標(biāo)前進(jìn)一步時(shí)，就根據(jù)局部最優(yōu)策略，得到一個(gè)部分解，縮小問題的范圍或規(guī)模； 將所有部分解綜合起來，得到問題的最終解。在一些情況下，即使貪心算

7、法不能得到整體最優(yōu)解，但其近似最優(yōu)解在許多情況下已經(jīng)能滿足某些問題的求解要求了。背包問題0-1背包問題多機(jī)調(diào)度問題多機(jī)調(diào)度問題：多機(jī)調(diào)度問題：某工廠有n個(gè)獨(dú)立的作業(yè)，由 m 臺相同的機(jī)器進(jìn)行加工處理。作業(yè) i 所需的加工時(shí)間為 ti，任何作業(yè)在被處理時(shí)不能中斷，也不能進(jìn)行拆分處理。要求算出 n 個(gè)作業(yè)由 m 臺機(jī)器加工處理的最短時(shí)間。這個(gè)問題是NP完全問題，到目前為止還沒有有效的解法。NP完全問題NP完全問題完全問題（多項(xiàng)式復(fù)雜程度的非確定性問題）：生成問題的一個(gè)解通常比驗(yàn)證一個(gè)給定的解時(shí)間花費(fèi)要多得多。在一個(gè)周六的晚上，你參加了一個(gè)盛大的晚會。由于感到局促不安，你想知道這一大廳中是否有你已經(jīng)

8、認(rèn)識的人。主人向你提議說，你一定認(rèn)識那位正在甜點(diǎn)盤附近角落的女士。不費(fèi)一秒鐘，你就能向那里掃視，并且發(fā)現(xiàn)你的主人是正確的。然而，如果沒有這樣的暗示，你就必須環(huán)顧整個(gè)大廳，一個(gè)個(gè)地審視每一個(gè)人，看是否有你認(rèn)識的人。多機(jī)調(diào)度問題的近似算法解題思路解題思路：（1）當(dāng)nm時(shí)，首先將n個(gè)作業(yè)從大到小排序。然后依此順序分步將作業(yè)分配給空閑的處理機(jī)，每步分配給一個(gè)機(jī)器，而且需要考慮分配哪一個(gè)作業(yè)。根據(jù)這種思想可利用如下貪心原則貪心原則：從剩下的作業(yè)中，選擇需要處理時(shí)間最長，然后依次選擇處理時(shí)間次長的作業(yè)，直到所有的作業(yè)全部處理完畢，或者機(jī)器不能再處理其他作業(yè)。采用最長處理時(shí)間作業(yè)優(yōu)先最長處理時(shí)間作業(yè)優(yōu)先的貪

9、心選擇策略，可以設(shè)計(jì)出解多機(jī)調(diào)度問題的較好的近似算法。貪心法很多情況下，貪心算法不能得到整體最優(yōu)解，盡管如此，貪心算法也是應(yīng)用最廣泛的算法之一。許多時(shí)候，其近似最優(yōu)解已經(jīng)能滿足問題的求解要求了。貪心算法在計(jì)算時(shí)最大的缺點(diǎn)是：在迭代時(shí)，很多時(shí)候會掉入到局部最優(yōu)解，從而無法得到整體最優(yōu)解。改進(jìn)：模擬退火算法、遺傳算法等回溯法回溯法實(shí)際上是基于窮舉的方法。 確定問題的可能解空間，相當(dāng)于找出進(jìn)行窮舉的搜索范圍。 以一種便于搜索的方式組織所有的可能解，一般是生成可能解空間樹。 以深度優(yōu)先搜索方式搜索可能的解空間樹（回溯技術(shù)）。 在搜索過程中利用判定函數(shù)，也稱為限界函數(shù)，通過“剪枝”來加速搜索過程?；厮莘?/p>

10、0-1背包問題n=3，w=16,15,15,p=45,25,25,c=30。解空間可以用完全二叉樹表示，葉子結(jié)點(diǎn)如下：(1,1,1),(1,1,0),(1,0,1),(1,0,0),(0,1,1),(0,1,0),(0,0,1),(0,0,0)求解過程相當(dāng)于在樹中搜索滿足條件的葉結(jié)點(diǎn)。當(dāng)所給問題是從n個(gè)元素的集合S中找出滿足某種性質(zhì)的子集時(shí)，相應(yīng)的解空間樹稱為子集樹?；厮莘眯猩虇栴}設(shè)G是帶權(quán)圖。圖中各邊的費(fèi)用（權(quán)）為一正數(shù)。一條周游路線是包括圖中每個(gè)頂點(diǎn)的一條回路。其費(fèi)用就是該路線上所有邊的費(fèi)用總和。對于該問題，每一個(gè)旅行可表示為頂點(diǎn)序列每一個(gè)旅行可表示為頂點(diǎn)序列的一個(gè)排列的一個(gè)排列。在解空

11、間樹中，每一個(gè)旅行都由樹中的一條從根到葉的路徑樹中的一條從根到葉的路徑來表示。當(dāng)所給問題時(shí)確定n個(gè)元素滿足某種性質(zhì)的排列時(shí)，相應(yīng)的解空間樹稱為排列樹?；厮莘ㄟf歸實(shí)現(xiàn)回溯法對解空間作深度優(yōu)先搜索，因此，在一般情況下用遞歸方法實(shí)現(xiàn)回溯法。void backtrack (int t) /t表示遞歸深度 if (tn) output(x); /n表示深度界限 else for (int i=f(n,t);i0) if (f(n,t)=g(n,t) for (int i=f(n,t);i=g(n,t);i+) xt=h(i); if (constraint(t)&bound(t) if (sol

12、ution(t) output(x); else t+; else t-; 八皇后問題八皇后八皇后問題：問題：在88格的國際象棋上擺放八個(gè)皇后，使其不能互相攻擊。例如，八皇后問題的一個(gè)解：可由八元組（4,6,8,2,7,1,3,5)來表示。是1到8共8個(gè)數(shù)字的全排列。四皇后問題為了簡化問題，我們討論四皇后問題。解空間樹是一個(gè)完全4叉樹，樹的根結(jié)點(diǎn)表示搜索的初始狀態(tài)，從根結(jié)點(diǎn)到第2層結(jié)點(diǎn)對應(yīng)皇后1在棋盤中第1行的可能擺放位置，從第2層結(jié)點(diǎn)到第3層結(jié)點(diǎn)對應(yīng)皇后2在棋盤中第2行的可能擺放位置，依此類推?；厮莘ㄇ蠼?皇后問題，是對完全4叉樹的搜索過程四皇后問題回溯過程 - 1四皇后問題的回溯算法的搜索

13、過程圖示 從結(jié)點(diǎn)1到結(jié)點(diǎn)2，滿足條件，放置皇后x1=1,繼續(xù)搜索四皇后問題回溯過程 - 2 結(jié)點(diǎn)3不滿足條件，回溯到結(jié)點(diǎn)2； 再向下搜索到結(jié)點(diǎn)8； 滿足條件，放置皇后x2=3,繼續(xù)搜索四皇后問題回溯過程 - 3 結(jié)點(diǎn)9不滿足條件， 回溯到結(jié)點(diǎn)11，仍不滿足條件； 這時(shí)經(jīng)結(jié)點(diǎn)8，回溯到結(jié)點(diǎn)2四皇后問題回溯過程 - 4 向下搜索到結(jié)點(diǎn)13，滿足條件，放置第二個(gè)皇后x2=4; 繼續(xù)向下搜索到結(jié)點(diǎn)14，滿足條件，放置第三個(gè)皇后x3=2;四皇后問題回溯過程 - 5 向前搜索到結(jié)點(diǎn)15，不滿足條件（只測試x4=3的情形）， 回溯搜索到結(jié)點(diǎn)16，仍不滿足條件四皇后問題回溯過程 - 6 回溯到結(jié)點(diǎn)1后，向下搜

14、索到結(jié)點(diǎn)18，x1=2四皇后問題回溯過程 - 7 結(jié)點(diǎn)19不滿足條件， 回溯到結(jié)點(diǎn)24后，也不滿足條件； 回溯到結(jié)點(diǎn)29之后滿足條件，x2=4四皇后問題回溯過程 - 8 結(jié)點(diǎn)30滿足條件，x3=1； 再向前搜索到結(jié)點(diǎn)31，滿足條件，x4=3； 此時(shí)，i=4，找到解0-1背包問題的回溯算法0-1背包問題：背包問題：以n=3，w=16,15,15,p=45,25,25,c=30。為例：解空間可以用完全二叉樹表示(1,1,1),(1,1,0),(1,0,1),(1,0,0),(0,1,1),(0,1,0),(0,0,1),(0,0,0)0-1背包問題的回溯算法E-結(jié)點(diǎn)和活結(jié)點(diǎn)死結(jié)點(diǎn)R=14V=45R

15、w2 x16 45R=30V=0R=15V=2530 50R 0 當(dāng)yi 0wT xi 0 當(dāng)yi 0 Rosenblatt 1958首次提出了感知器的學(xué)習(xí)算法。這個(gè)算法是錯(cuò)誤驅(qū)動的在線學(xué)習(xí)算法。先初始化一個(gè)權(quán)重向量w0（通常是全零向量），然后每次分錯(cuò)一個(gè)樣本時(shí)，就用這個(gè)樣本來更新權(quán)重。 二類感知器學(xué)習(xí)算法二類感知器學(xué)習(xí)算法單層感知器的局限n 感知器的輸出只能取0或1。n 單層感知器只能對線性可分的向量集合進(jìn)行分類。n明斯基（Minsky）于1969年發(fā)表了 Perceptron 一書。n書中指出感知器僅能解決一階謂詞邏輯問題，不能解決高階謂詞邏輯問題,并給出了一個(gè)簡單的例子，即XOR（異或）

16、問題g（x，y）y01x001110(0,1)(0,0)(1,0)(1,1)BP神經(jīng)網(wǎng)絡(luò) n BP網(wǎng)絡(luò)是在輸入層與輸出層之間增加若干層(一層或多層)神經(jīng)元，這些神經(jīng)元稱為隱單元n BP神經(jīng)網(wǎng)絡(luò)的計(jì)算過程由正向計(jì)算過程和反向計(jì)算過程組成。n正向傳播過程，輸入模式從輸入層經(jīng)隱單元層逐層處理，并轉(zhuǎn)向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。n如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各神經(jīng)元的權(quán)值，使得誤差信號最小。n BP網(wǎng)絡(luò)主要用于以下四個(gè)方面n1)函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。n2)模式識別：用一個(gè)待定的輸

17、出向量將它與輸入向量聯(lián)系起來。n3)分類：把輸入向量所定義的合適方式進(jìn)行分類。n4)數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。BP神經(jīng)網(wǎng)絡(luò) n 例: 一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)n訓(xùn)練樣本X = x1 ,x2 ,., xi饋入輸入層.每層之間存在加權(quán)連接; 其中, wij表示由某層的單元j到前一層的單元i的權(quán) 反向傳播算法反向傳播算法:例n 一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò) n第一個(gè)訓(xùn)練樣本第一個(gè)訓(xùn)練樣本X = 1,0,1（其類標(biāo)號為（其類標(biāo)號為1）反向傳播算法:例(續(xù))n 初始輸入、權(quán)值和偏差值初始輸入、權(quán)值和偏差值 n 凈輸入和輸出的計(jì)算凈輸入和輸出的計(jì)算 n 計(jì)算每個(gè)結(jié)點(diǎn)的誤差計(jì)算每個(gè)

18、結(jié)點(diǎn)的誤差 x1x2x3w14w15w24w25w34w35w46w56 4 5 61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1單元單元j凈輸入凈輸入Ij輸出輸出Oj4560.2+0 0.5 0.4 = 0.7 0.3+0+0.2+0.2 = 0.1(-0.3)(0.332)-(0.2)(0.525)+0.1 = -0.1051+(1+e0.7) = 0.331+(1+e-0.1) = 0.5251+(1+e-0.105) = 0.474單元單元j Errj 654(0.474)(1-0.474)(1-0.474) = 0.1311(0.525)(1-0.

19、525)(0.1311)(-0.2) = -0.0065(0.332)(1-0.332)(0.1311)(-0.3) = -0.02087 反向傳播算法:例(續(xù))n 計(jì)算權(quán)和偏置的更新計(jì)算權(quán)和偏置的更新 權(quán)或偏差權(quán)或偏差 新值新值 w46w56w14w15w24w25w34w35 6 5 4 -0.3 + (0.9)(0.1311)(0.332) = -0.261 -0.2 + (0.9)(0.1311)(0.525) = -0.138 0.2 + (0.9)(-0.0087)(1) = 0.192 -0.3 + (0.9)(0.0065)(1) = -0.306 0.4 + (0.9)(-0

20、.0087)(0) = 0.4 0.1+ (0.9)(-0.0065)(0) = 0.1 -0.5 + (0.9)(-0.0087)(1) = -0.508 0.1+ (0.9)(-0.0065)(1) = 0.194 0.1+(0.9)(0.1311) = 0.218 0.2+(0.9)(-0.0065) = 0.194 -0.4+(0.9)(-0.0087) = -0.408 BP神經(jīng)網(wǎng)絡(luò)的幾個(gè)問題 n 收斂速度問題nBP神經(jīng)網(wǎng)絡(luò)收斂速度相對是比較慢的。n訓(xùn)練ANN是一個(gè)很耗時(shí)的過程n 局部極小點(diǎn)問題 n使用的梯度下降方法經(jīng)常會收斂到局部最小值n逃離/避開局部極小點(diǎn)：修改W、V的初值并不是

21、總有效。n 網(wǎng)絡(luò)癱瘓問題 n在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。此時(shí)的訓(xùn)練步長會變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 BP算法中的梯度消失問題誤差從輸出層反向傳播時(shí)，在每一層都要乘以該層的激活函數(shù)的導(dǎo)數(shù)。 當(dāng)我們使用 sigmoid 型函數(shù)：logistic 函數(shù) (x) 或 tanh 函數(shù)時(shí)，其導(dǎo)數(shù)為：(x) = (x)(1 (x) 0, 0.25 tanh(x) = 1 (tanh(x)2 0, 1可以看到，sigmoid 型函數(shù)導(dǎo)數(shù)的值域都小于 1。這樣誤差經(jīng)過每一層傳遞都會衰減。當(dāng)網(wǎng)絡(luò)層數(shù)很

22、深時(shí)，梯度就會不停的衰減，甚至消失，使得整個(gè)網(wǎng)絡(luò)很難訓(xùn)練。這就是所謂的梯度消失問題（Vanishing Gradient Problem），也叫梯度彌散。深度神經(jīng)網(wǎng)絡(luò)n 2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton在科學(xué)上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：n1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；n2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。深度學(xué)習(xí) vs. 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) ：

23、深度學(xué)習(xí)深度學(xué)習(xí)：深度學(xué)習(xí)訓(xùn)練過程n 第一步：采用自下而上的無監(jiān)督學(xué)習(xí)1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。 這個(gè)過程可以看作是一個(gè)feature learning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。深度學(xué)習(xí)訓(xùn)練過程n wake-sleep算法:1）wake階段： 認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個(gè)重建信息（Reconstruction），計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder

24、）權(quán)重。也就是“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實(shí)一樣”。2）sleep階段： 生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個(gè)抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念”。深度學(xué)習(xí)訓(xùn)練過程EncoderDecoderInput ImageClass labelFeaturesEncoderDecoderFeaturesEncoder

25、DecoderAutoEncoder:深度學(xué)習(xí)訓(xùn)練過程n 第二步：自頂向下的監(jiān)督學(xué)習(xí) n這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），n而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)。n 深度學(xué)習(xí)的第一步實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。深度神經(jīng)網(wǎng)絡(luò) 卷積網(wǎng)絡(luò) 循環(huán)神經(jīng)網(wǎng)絡(luò) 無監(jiān)督卷積網(wǎng)絡(luò) 深度玻爾茲曼機(jī) 分布式自編碼器 回聲狀態(tài)網(wǎng)絡(luò) 深度信念網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)n CNN（卷積神經(jīng)網(wǎng)絡(luò)）的

26、核心出發(fā)點(diǎn)有三個(gè)n局部感受野局部感受野。n模仿眼睛看東西的時(shí)候，目光是聚焦在一個(gè)相對很小的局部。n在卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)隱層節(jié)點(diǎn)只連接到圖像某個(gè)足夠小局部的像素點(diǎn)上，從而大大減少需要訓(xùn)練的權(quán)值參數(shù)。n權(quán)值共享權(quán)值共享。n如同某個(gè)神經(jīng)中樞中的神經(jīng)細(xì)胞，它們的結(jié)構(gòu)、功能是相同的，甚至是可以互相替代的。n在卷積神經(jīng)網(wǎng)中，同一個(gè)卷積核內(nèi)，所有的神經(jīng)元的權(quán)值是相同的，從而大大減少需要訓(xùn)練的參數(shù)。n池化池化n如同人的視覺，先隨便看向遠(yuǎn)方，然后閉上眼睛，你仍然記得看到了些什么，但是你不會完全回憶起每一個(gè)細(xì)節(jié)？n在卷積神經(jīng)網(wǎng)絡(luò)中，沒有必要一定就要對原圖像做處理，而是可以使用某種“壓縮”方法，這就是池化，也就是

27、每次將原圖像卷積后，都通過一個(gè)下采樣的過程，來減小圖像的規(guī)模。卷積神經(jīng)網(wǎng)絡(luò)Feature extraction layerConvolution layerShift and distortion invariance orSubsampling layerCSFeature maps卷積神經(jīng)網(wǎng)絡(luò)n 卷積n假設(shè)有二維離散函數(shù) f(x, y), g(x, y) ， 那么它們的卷積定義為n圖中神經(jīng)元的卷積如下w13w12w11w23w22w21w33w32w31w13w12w11w23w22w21w33w32w31卷積神經(jīng)網(wǎng)絡(luò)n 卷積層卷積層n對數(shù)據(jù)進(jìn)行特征提取對數(shù)據(jù)進(jìn)行特征提取卷積神經(jīng)網(wǎng)絡(luò)n 下

28、采樣n下采樣，即池化，目的是減小特征圖，池化規(guī)模一般為22。常用的池化方法有：n最大池化（Max Pooling）。n取4個(gè)點(diǎn)的最大值。這是最常用的池化方法。n均值池化（Mean Pooling）。n取4個(gè)點(diǎn)的均值。n高斯池化。n借鑒高斯模糊的方法。不常用。n可訓(xùn)練池化。n訓(xùn)練函數(shù) f ，接受4個(gè)點(diǎn)為輸入，出入1個(gè)點(diǎn)。不常用。n由于特征圖的變長不一定是2的倍數(shù)，所以在邊緣處理上也有兩種方案：n忽略邊緣。即將多出來的邊緣直接省去。n保留邊緣。即將特征圖的變長用0填充為2的倍數(shù)，然后再池化。卷積神經(jīng)網(wǎng)絡(luò)n 下采樣下采樣減小特征圖規(guī)模卷積神經(jīng)網(wǎng)絡(luò)n LeNet5nC1,C3,C5 : 卷積層. n5 5 卷積核.nS2 , S4 : 下采樣層.n下采樣因子為2.nF6 : 全連接層.深度神經(jīng)網(wǎng)絡(luò)1.在圖像識別領(lǐng)域，對象識別網(wǎng)絡(luò)能處理豐富的高分辨率照片，并且不需要在被識別的對象附近進(jìn)行裁剪。甚至在交通標(biāo)志分類上取得了超越人類的表現(xiàn)。2.在語音識別方面，深度學(xué)習(xí)的引入 使得語音識別錯(cuò)誤率