數據分析與數據挖掘課件 【ch13】人工神經網絡

第十三章人工神經網絡數據分析與數據挖掘01激活函數與多層感知機常見激活函數人工神經元是完成輸入特征的加權映射，常指線性加權與非線性映射兩個步驟。例如，感知機中的神經元如式(13.1)和圖13.1(a)所示。多層感知機(MultiLayerPerceptron,MLP)是指由輸入層、若干個(≥1)隱藏層、輸出層構成的神經網絡，每層都由若干神經元構成，同一層神經元之間沒有連接，相鄰層神經元之間單向連接，即從前一層中的神經元有向連接到后一層中的神經元。多層感知機結構20%30%40%50%多層感知機中的四個主要要素是輸入/輸出、網絡拓撲結構、激活函數、權值與學習算法。多層感知機設計02BP神經網絡BP神經網絡就是應用反向傳播(BackPropagation,BP)算法進行訓練的多層感知機(MLP)。BP神經網絡經常用作分類器和函數擬合器，一般分為訓練過程和測試過程，屬于有監(jiān)督學習。BP神經網絡及BP算法BP網絡設計與訓練中應注意若干事項，包括局部尋優(yōu)算法、學習率設置、批量梯度訓練算法、訓練算法的擬合程度、網絡拓撲結構設計、欠擬合與過擬合、空間扭曲與超平面分類、訓練集收集。BP算法訓練中的注意事項克服BP算法局部尋優(yōu)的常見方法包括：①采用沖量技術。②采用restart技術，即多次進行BP算法訓練。③結合智能優(yōu)化求解技術。④完全應用智能優(yōu)化求解技術。03BP神經網絡應用異或問題是一個經典的線性不可分示例，它來自異或邏輯運算，如圖13.9(a)和圖13.9(b)所示。關于異或問題，感知機中沒有解決方案，而非線性支持向量機(SVM)通過非線性核函數映射可以求解。二分類問題應用BP網絡解決多分類問題時常用編碼技術。多分類問題與擬合問題BP網絡解決多分類問題時常用編碼技術。多分類問題與擬合問題04深度學習深度學習技術環(huán)境深度學習(Deeplearning)是一種概念性的描述，一般是指多層結構的網絡所構成的機器學習模型，網絡的層數沒有嚴格限定，具體的訓練方法也有多種。常用的深度學習模型包括卷積神經網絡(ConvolutionalNeuralNetwork,CNN)、循環(huán)神經網絡(RecurrentNeuralNetwork,RNN)、深度信念網絡(DeepBeliefNets,DBN)、深度玻耳茲曼機(DeepBoltzmannMachines,DBM)。深度學習技術環(huán)境隨著技術進步，卷積神經網絡的層數也逐步增多。如IⅡSVRC競賽，2012年和2013年使用8層，2014年22層，2015年152層。每層都經過精心設計，因此并不違背沒有免費午餐定理，只不過它的歸納偏置依賴大數據下的分類特點做出，故在這些應用中更適合。卷積神經網絡(ConvolutionalNeuralNetwork,CNN)是深度學習的重要代表，它一般由輸入層(Inputlayer)、卷積層(Convolutionlayer)、池化層(Poolinglayer)、全連接層、輸出層組成，如圖13.19(a)所示。卷積神經網絡如果以立方體形式表示，則以立方體做卷積核。矩陣形式更適合圖像類數據的輸入。圖13.20展示了矩陣形式輸入的卷積映射過程。卷積神經網絡卷積網絡中常用激活函數包括ReLU函數、sigmoid函數、tanh函數等。如圖13.20所示，一個卷積核可以生成一個特征圖。如果設計多個不同的卷積核，則可以生成多個特征圖，如圖13.21所示。卷積神經網絡循環(huán)神經網絡(RecurrentNeuralNetwork,RNN)用于處理序列的信息推理，它在語音識別、自然語言建模、機器翻譯等多個領域有著廣泛的應用。循環(huán)神經網絡基本循環(huán)神經網絡只有一個隱藏層，當具有兩個以上隱藏層時，稱為深度循環(huán)神經網絡，這時需要對圖13.29增加隱藏層。雙向循環(huán)神經網絡是一種擴展形式，如圖13.30所示。循環(huán)神經網絡其他深度學習技術深度信念網絡由Hinton等人提出，由玻耳茲曼機通過堆疊而成，如圖13.31(a)所示。它與多層神經網絡和卷積神經網絡有所不同；①它不包含輸出層；②采用逐層訓練方式，采用對比散度算法逐層調整連接權值和偏置權。對圖13.32(a)所示自編碼器的訓練，按評價標準①,重構后的輸出值應盡可能等于x,損失函數按照最小二乘的一般定義，如式(13.83)所示，這等價于2層BP網絡。其他深度學習技術棧式自編碼器(Stackedautocoder)如圖13.33(a)、(b)所示，它具有奇數層網絡結構。假設棧式自編碼器有L層，則L是奇數。記L為第i層，則L是輸入層，對應樣例x。其他深度學習技術05本章小結本章小結人工神經網絡(ArtificialNeuralNetwork,ANN)是指由許多神經元節(jié)點構成的網絡。目前常用的包括多層感知機、卷積網絡、循環(huán)網絡、徑向基網絡、Hopfield網絡等，在各種網絡應