人工神經(jīng)網(wǎng)絡-SVM-深度學習簡介-文檔資料

1、1神經(jīng)網(wǎng)絡及SVM簡介2 以馮以馮諾依曼型計算機為中心的信息處理技術的高速諾依曼型計算機為中心的信息處理技術的高速發(fā)展，使得計算機在當今的信息化社會中起著十分重要發(fā)展，使得計算機在當今的信息化社會中起著十分重要的作用。但是，當用它來解決某些人工智能問題時卻遇的作用。但是，當用它來解決某些人工智能問題時卻遇到了很大的困難。到了很大的困難。 例如，一個人可以很容易地識別他人的臉孔，但計例如，一個人可以很容易地識別他人的臉孔，但計算機則很難做到這一點。算機則很難做到這一點。 大腦是由生物神經(jīng)元構成的巨型網(wǎng)絡，它在本質上大腦是由生物神經(jīng)元構成的巨型網(wǎng)絡，它在本質上不同于計算機，是一種大規(guī)模的并行處理系

2、統(tǒng)，它具有不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學習、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方學習、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。法。 人工神經(jīng)網(wǎng)絡來源于對人腦實際神經(jīng)網(wǎng)絡的模擬人工神經(jīng)網(wǎng)絡來源于對人腦實際神經(jīng)網(wǎng)絡的模擬一、一、 神經(jīng)網(wǎng)絡發(fā)展歷史神經(jīng)網(wǎng)絡發(fā)展歷史背景知識背景知識3人腦和CPU4神經(jīng)細胞利用電-化學過程交換信號。輸入信號來自另一些神經(jīng)細胞。這些神經(jīng)細胞的軸突末梢（也就是終端）和本神經(jīng)細胞的樹突相遇形成突觸（synapse），信號就從樹突上的突觸進入本細胞。信號在大腦中實際怎樣傳輸是一個相當復雜的過程，但就我們而言，重要的是把它看成和現(xiàn)代的計算機一樣，利

3、用一系列的0和1來進行操作。就是說，大腦的神經(jīng)細胞也只有兩種狀態(tài)：興奮（fire）和不興奮（即抑制）。發(fā)射信號的強度不變，變化的僅僅是頻率。神經(jīng)細胞利用一種我們還不知道的方法,把所有從樹突上突觸進來的信號進行相加，如果全部信號的總和超過某個閥值，就會激發(fā)神經(jīng)細胞進入興奮（fire）狀態(tài)，這時就會有一個電信號通過軸突發(fā)送出去給其他神經(jīng)細胞。如果信號總和沒有達到閥值，神經(jīng)細胞就不會興奮起來。5人腦和CPU動 物神經(jīng)細胞的數(shù)目（數(shù)量級）蝸 牛10,000 （=104）蜜 蜂100,000 （=105）蜂 雀10,000,000 （=107）老 鼠100,000,000 （=108）人 類10,000

4、,000,000 （=1010）大 象100,000,000,000 （=1011）6人腦和CPUCPU 只具備一個功能 就是二進制加法運算7人腦的特點對損傷有冗余性對損傷有冗余性(tolerance)能實現(xiàn)無監(jiān)督的學習能實現(xiàn)無監(jiān)督的學習處理信息的效率極高處理信息的效率極高善于歸納推廣善于歸納推廣CPU i7 3.0 Ghz，4個核人腦 100hz，10G個核8人工神經(jīng)網(wǎng)絡一個人工神經(jīng)網(wǎng)絡(Artificial neural network,簡稱ANN)就是要在當代數(shù)字計算機現(xiàn)有規(guī)模的約束下，來模擬這種大量的并行性,并在實現(xiàn)這一工作時，使它能顯示許多和生物學大腦相類似的特性。9 人工神經(jīng)網(wǎng)絡（

5、人工神經(jīng)網(wǎng)絡（Artificial Neural Netwroks，簡稱，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。機程序來模擬，是人工智能研究的一種方法。 實際上它是由大量的、功能比較簡單的形式神經(jīng)元實際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構成的復雜網(wǎng)絡系統(tǒng)，用它可以模擬大腦的互相連接而構成的復雜網(wǎng)絡系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的許多基本功能和簡單

6、的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學習來獲取外部的知識完美元缺的模型，但它可以通過學習來獲取外部的知識并存貯在網(wǎng)絡內，可以解決計算機不易處理的難題，特并存貯在網(wǎng)絡內，可以解決計算機不易處理的難題，特別是別是語音和圖像的識別、理解、知識的處理、組合優(yōu)化語音和圖像的識別、理解、知識的處理、組合優(yōu)化計算和智能控制等計算和智能控制等一系列本質上是非計算的問題。一系列本質上是非計算的問題。 2什么是人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡10 1943年年,美國心理學家美國心理學家W.McCulloch和數(shù)學家和數(shù)學家W.Pitts在提出了一個簡單的神經(jīng)元模型，即在提出了一個簡單的神經(jīng)元模

7、型，即MP模型。模型。1958年，年，F(xiàn).Rosenblatt等研制出了等研制出了感知機感知機(Perceptron）。3幾個發(fā)展階段幾個發(fā)展階段q 第一次熱潮第一次熱潮(40-60年代未年代未) 1982年，美國物理學家年，美國物理學家J.J.Hopfield提出提出Hopfield模型模型，它是一個互聯(lián)的非線性動力學網(wǎng)絡他解決問題的，它是一個互聯(lián)的非線性動力學網(wǎng)絡他解決問題的方法是一種反復運算的動態(tài)過程方法是一種反復運算的動態(tài)過程,這是符號邏輯處理方法這是符號邏輯處理方法所不具備的性質所不具備的性質. 1987年首屆國際年首屆國際ANN大會在圣地亞哥大會在圣地亞哥召開，國際召開，國際ANN

8、聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。國際刊物。1990年年12月，北京召開首屆學術會議。月，北京召開首屆學術會議。q 低潮低潮(70-80年代初年代初)q 第二次熱潮第二次熱潮q 第三次熱潮第三次熱潮 GPU 大數(shù)據(jù)大數(shù)據(jù) 新方法新方法 深度學習理論深度學習理論11學習的類型12人工神經(jīng)網(wǎng)絡人工神經(jīng)元模型x1xn表示與該神經(jīng)元相連接的所有神經(jīng)元的輸入（出）w1wn表示與相連接神經(jīng)元的突觸強度（連接權） 表示神經(jīng)元的（電壓）閾值。f ( )表示激勵函數(shù),單調上升函數(shù)，且取有限值神經(jīng)元電位值：神經(jīng)元的輸出值：y =f(s)1x2xnx1w2wnwf ( ). .ysniii

9、txwfty1)()(13人工神經(jīng)網(wǎng)絡激勵函數(shù)的基本作用控制輸入對輸出的激活；對輸入、輸出進行函數(shù)轉換；將可能無限域的輸入變換成指定的有限范圍內的輸出。激勵函數(shù)類型閾值函數(shù)線性函數(shù)非線性函數(shù) Sigmoid函數(shù)14人工神經(jīng)網(wǎng)絡Sigmoid函數(shù)就是把神經(jīng)細胞原有的階躍式輸出曲線鈍化為一光滑曲線 S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出 對較大的輸入信號，放大系數(shù)較?。欢鴮^小的輸入信號，放大系數(shù)則較大 采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關系15BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡16BP神經(jīng)網(wǎng)絡計算神經(jīng)網(wǎng)絡計算17BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 Rumel

10、hart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(Back Propagation)學習算法 BP神經(jīng)網(wǎng)絡是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小。J. McClelland David Rumelhart 2022-3-618學習規(guī)則BP算法屬于算法，是一種監(jiān)督式的學習算法主要思想對于q個輸入學習樣本：P1,P2,Pq，已知與其對應的輸出樣本為：T1,T2,Tq使網(wǎng)絡輸出層的誤差平方和達到最小用網(wǎng)絡的實際輸出A1,A2,Aq, 與目標矢量

11、T1,T2,Tq之間的誤差修改其權值，使Am與期望的Tm,(ml,q)盡可能接近2022-3-619學習規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權值直至達到期望目標2021 一般認為，增加隱層數(shù)可以降低網(wǎng)絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡的訓練時間和出現(xiàn)“過擬合”現(xiàn)象。Hornik等早已證明：若輸入

12、層和輸出層采用線性轉換函數(shù)，隱層采用Sigmoid轉換函數(shù)，則含一個隱層的MLP網(wǎng)絡能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結論。在設計BP網(wǎng)絡時可參考這一點，應優(yōu)先考慮3層BP網(wǎng)絡（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。隱層數(shù)隱層數(shù)22 隱層節(jié)點數(shù)隱層節(jié)點數(shù)在BP 網(wǎng)絡中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡模型的性能影響很大，而且是訓練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓練樣本任意多的情況。事實上，各種計算公式得到的隱

13、層節(jié)點數(shù)有時相差幾倍甚至上百倍。確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關，更與需解決的問題的復雜程度和轉換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關。23應用實例應用實例24net = newff ( A, B, C, trainfun )q Matlab命令命令A是一個是一個 n 2的矩陣，第的矩陣，第 i 行元素為輸入信號行元素為輸入信號 x i 的的最最小值和最大值小值和最大值；q 參數(shù)說明參數(shù)說明B為一為一 k 維行向量，其元素為各維行向量，其元素為各隱層節(jié)點數(shù)隱層節(jié)點數(shù)；train

14、fun為學習規(guī)則采用的為學習規(guī)則采用的訓練函數(shù)訓練函數(shù)（常見訓練函數(shù)如下（常見訓練函數(shù)如下表）。表）。C為一為一k 維字符串行向量，每一分量為對應層神經(jīng)元的維字符串行向量，每一分量為對應層神經(jīng)元的激激勵函數(shù)勵函數(shù)；25函數(shù)名函數(shù)名功能功能函數(shù)名函數(shù)名traingd梯度下降法梯度下降法traincgftraingdm勢能修正法勢能修正法traincgptraingdx自調整學習效率法自調整學習效率法traincgbtrainrp恢復恢復BP法法trainscgFR共軛梯度法共軛梯度法trainbfgBFGS擬牛頓法擬牛頓法PR共軛梯度法共軛梯度法trainoss一步共軛一步共軛 + 擬牛頓擬牛頓

15、PB共軛梯度法共軛梯度法trainlmLM法法標量共軛梯度法標量共軛梯度法trainbrBayesian規(guī)范法規(guī)范法2. 常見訓練函數(shù)常見訓練函數(shù)26MATLAB中激勵函數(shù)為中激勵函數(shù)為1log( )1xsig xetan( )xxxxeesig xee( )purelin xx其字符串分別為：其字符串分別為：logsig，tansig，purelin3. 激勵函數(shù)激勵函數(shù)27 除了需要輸入除了需要輸入A,B,C,trainfun外，還有些默認的參數(shù)可外，還有些默認的參數(shù)可修改，如下表修改，如下表4. 可修改參數(shù)可修改參數(shù)參數(shù)名參數(shù)名功能功能缺省值缺省值net.trainParam.goal目

16、標函數(shù)設定值目標函數(shù)設定值0net.trainParam.epochs最大迭代次數(shù)最大迭代次數(shù)100net.trainParam.show顯示中間結果的周期顯示中間結果的周期25net.trainParam.lr整批學習的學習效率整批學習的學習效率0.01net.trainParam.mc勢能學習規(guī)則勢能學習規(guī)則traingdm的勢能率的勢能率0.9注：不同版本注：不同版本Matlab的可修改參數(shù)列表可能不同。的可修改參數(shù)列表可能不同。28 net, tr, Y1, E = train ( net, X, Y )5. BP網(wǎng)絡的訓練與泛化網(wǎng)絡的訓練與泛化q 網(wǎng)絡訓練網(wǎng)絡訓練訓訓練練跟跟蹤蹤信信

17、息息訓訓練練后后網(wǎng)網(wǎng)絡絡網(wǎng)網(wǎng)絡絡實實際際輸輸出出誤誤差差矩矩陣陣網(wǎng)網(wǎng)絡絡訓訓練練函函數(shù)數(shù)未未經(jīng)經(jīng)訓訓練練網(wǎng)網(wǎng)絡絡網(wǎng)網(wǎng)絡絡實實際際輸輸入入網(wǎng)網(wǎng)絡絡應應有有輸輸出出X為為nM矩陣，為輸入數(shù)據(jù)矩陣，矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。為樣本的組數(shù)。Y為為mM矩陣，為輸出數(shù)據(jù)矩陣。矩陣，為輸出數(shù)據(jù)矩陣。29 訓練結束后，對新的輸入點數(shù)據(jù)訓練結束后，對新的輸入點數(shù)據(jù)X2，調用，調用sim函數(shù)進行泛函數(shù)進行泛化，得出這些輸入點處的輸出矩陣化，得出這些輸入點處的輸出矩陣Y2. q 數(shù)據(jù)泛化數(shù)據(jù)泛化Y2=sim(net,X2) 用經(jīng)過訓練的網(wǎng)絡對于不是樣本集的輸入，計算出相應用經(jīng)過訓練的網(wǎng)絡對于不是樣本集的

18、輸入，計算出相應的輸出。的輸出。 什么是數(shù)據(jù)泛化？什么是數(shù)據(jù)泛化？30例例1 由下面的語句生成一組數(shù)據(jù)由下面的語句生成一組數(shù)據(jù) x 和和 y，用神經(jīng)網(wǎng)絡進，用神經(jīng)網(wǎng)絡進行數(shù)據(jù)擬合行數(shù)據(jù)擬合 x=0:.1:10; y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知可知(x, y)是曲線是曲線 上的點。上的點。0.2130.170.120.54sin(1.23 )xxyeexx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);net=newff(0,10,5,1,tan

19、sig,tansig);net.trainParam.epochs=1000;net=train(net,x,y);x0=0.05:.1:10;figure(1)y1=sim(net,x0);plot(x,y,o, x0,y1,r)0246810-0.4-0.200.20.40.631實例實例. 蠓蟲分類問題的神經(jīng)網(wǎng)絡方法蠓蟲分類問題的神經(jīng)網(wǎng)絡方法（1989年年MCM競賽題目競賽題目 ）生物學家試圖對兩種蠓蟲（生物學家試圖對兩種蠓蟲（Af與與Apf）進行）進行鑒別，依據(jù)的資料鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得是觸角和翅膀的長度，已經(jīng)測得9只只Af和和6只只Apf的數(shù)據(jù)如下：的數(shù)據(jù)如下

20、： 9只只Af觸角長：觸角長：1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56翅膀長：翅膀長：1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.086只只Apf觸角長：觸角長：1.14 1.18 1.20 1.26 1.28 1.30翅膀長：翅膀長：1.78 1.96 1.86 2.00 2.00 1.96問題：問題：（1）如何憑借原始資料）如何憑借原始資料(15 對數(shù)據(jù)對數(shù)據(jù),被稱之為學習樣本被稱之為學習樣本)制制 定一種方法定一種方法,正確區(qū)分兩類蠓蟲正確區(qū)分兩類蠓蟲; （2）依據(jù)確立的方法）依據(jù)確立的方法,對以下三

21、個樣本：對以下三個樣本： (1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識別加以識別 32解法一：解法一：建立建立兩層前向神經(jīng)網(wǎng)絡兩層前向神經(jīng)網(wǎng)絡如下：如下： 隱層節(jié)點可適量選?。]有具體標準）。隱層節(jié)點可適量選?。]有具體標準）。X= 為輸入矩陣，為輸入矩陣，x1對應于觸角長，對應于觸角長， x2對應于翅膀長。對應于翅膀長。Y= 為輸出矩陣為輸出矩陣規(guī)定規(guī)定Af對應的應有輸出為對應的應有輸出為 ， Apf對應的應有輸出為對應的應有輸出為 1x2x1y2y輸入層隱層輸出層21xx21yy100133以上神經(jīng)網(wǎng)絡模型的以上神經(jīng)網(wǎng)絡模型的MATLAB程序如下：程序如下：

22、 x=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96; %原始數(shù)據(jù)原始數(shù)據(jù)x=x-1.1; %數(shù)據(jù)標準化數(shù)據(jù)標準化y=0 0 0 0 0 0 0 0 0 1 1 1 1 1 1; 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0; %應有的輸出應有的輸出net=newff(0,1;0 1,5,2,tansig,tansig); %建立兩

23、層前向神經(jīng)網(wǎng)絡建立兩層前向神經(jīng)網(wǎng)絡%net.trainParam.goal=0.0000001; %設定訓練誤差設定訓練誤差net.trainParam.epochs=2000; %設定最大訓練步數(shù)設定最大訓練步數(shù)net=train(net,x,y); %訓練網(wǎng)絡訓練網(wǎng)絡y1=sim(net,x) %輸出數(shù)據(jù)輸出數(shù)據(jù)yy=sim(net,1.24 1.28 1.40;1.80 1.84 2.04) %數(shù)據(jù)泛化數(shù)據(jù)泛化34underfittingoverfittinggood fit神經(jīng)網(wǎng)絡的問題神經(jīng)網(wǎng)絡的問題1 需要大樣本需要大樣本2 隱層的個數(shù)無公式隱層的個數(shù)無公式3 整個計算過程過于模糊，

24、很容易陷入局整個計算過程過于模糊，很容易陷入局部最優(yōu)導致欠擬合或者過擬合部最優(yōu)導致欠擬合或者過擬合35SVM的理論基礎傳統(tǒng)的統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論的保證。統(tǒng)計學習理論（STL）研究有限樣本情況下的機器學習問題。SVM的理論基礎就是統(tǒng)計學習理論。傳統(tǒng)的統(tǒng)計模式識別方法在進行機器學習時，強調經(jīng)驗風險最小化。而單純的經(jīng)驗風險最小化會產(chǎn)生“過學習問題”，其推廣能力較差。推廣能力推廣能力是指: 將學習機器(即預測函數(shù),或稱學習函數(shù)、學習模型)對未來輸出進行正確預測的能力。36SVM根據(jù)統(tǒng)計學習理論，學習機器的實際風險由經(jīng)驗風險值和置信范圍值兩部分組成。而基于經(jīng)驗風險最小化

25、準則的學習方法只強調了訓練樣本的經(jīng)驗風險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik 提出的支持向量機（Support Vector Machine, SVM）以訓練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標，即SVM是一種基于結構風險最小化準則的學習方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學習方法。形成時期在19921995年。 37線性判別函數(shù)和判別面 一個線性判別函數(shù)(discriminant function)是指由x的各個分量的線性組合而成的函數(shù) 兩類情況:對于兩類問題的決策規(guī)則為 如果g(x)0，則判定x屬于C1， 如果g(x)0，則判定x屬于C2，

26、如果g(x)=0，則可以將x任意 分到某一類或者拒絕判定。 0( )Tg xw xw38最優(yōu)分類面 SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的, 基本思想可用圖2的兩維情況說明. 圖中, 方形點和圓形點代表兩類樣本, H 為分類線,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線, 它們之間的距離叫做分類間隔(margin)。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓練錯誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。 39分類超平面示意圖 最優(yōu)分類超平面圖2w兩類樣本中離分類面最近的點且平行于最優(yōu)分類超平面的樣本點叫做支持向量。 4

27、0非線性變換 基本思想： 選擇非線性映射(X)將x映射到高維特征空間Z，在Z中構造最優(yōu)超平面41SVM方法的特點非線性映射是SVM方法的理論基礎,SVM利用內積核函數(shù)代替向高維空間的非線性映射;對特征空間劃分的最優(yōu)超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量。 SVM 是一種有堅實理論基礎的新穎的小樣本學習方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計方法。從本質上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓練樣本到預報樣本的“轉導推理”(transductive inference)

28、 ,大大簡化了通常的分類和回歸等問題。42SVM方法的特點SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災難”。少數(shù)支持向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在: 增、刪非支持向量樣本對模型沒有影響; 支持向量樣本集具有一定的魯棒性; 有些成功的應用中,SVM 方法對核的選取不敏感。43深度學習深度學習44淺層學習是機器學習的第一次浪潮人工神經(jīng)網(wǎng)絡（BP算法）雖被稱作多層感知機，但實際是種只含有一層

29、隱層節(jié)點的淺層模型SVM、Boosting、最大熵方法（如LR，Logistic Regression）帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受限?；靖拍罨靖拍顪\層學習與深度學習淺層學習與深度學習452006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton在科學上發(fā)表論文提出深度學習主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡在訓練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化可通過無監(jiān)督學習實現(xiàn)的?；靖拍罨靖拍?6 深度學習：