數(shù)據(jù)分析與數(shù)據(jù)挖掘課件 【ch13】人工神經(jīng)網(wǎng)絡(luò)

第十三章人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)分析與數(shù)據(jù)挖掘01激活函數(shù)與多層感知機(jī)常見激活函數(shù)人工神經(jīng)元是完成輸入特征的加權(quán)映射，常指線性加權(quán)與非線性映射兩個(gè)步驟。例如，感知機(jī)中的神經(jīng)元如式(13.1)和圖13.1(a)所示。多層感知機(jī)(MultiLayerPerceptron,MLP)是指由輸入層、若干個(gè)(≥1)隱藏層、輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)，每層都由若干神經(jīng)元構(gòu)成，同一層神經(jīng)元之間沒有連接，相鄰層神經(jīng)元之間單向連接，即從前一層中的神經(jīng)元有向連接到后一層中的神經(jīng)元。多層感知機(jī)結(jié)構(gòu)20%30%40%50%多層感知機(jī)中的四個(gè)主要要素是輸入/輸出、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、激活函數(shù)、權(quán)值與學(xué)習(xí)算法。多層感知機(jī)設(shè)計(jì)02BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)就是應(yīng)用反向傳播(BackPropagation,BP)算法進(jìn)行訓(xùn)練的多層感知機(jī)(MLP)。BP神經(jīng)網(wǎng)絡(luò)經(jīng)常用作分類器和函數(shù)擬合器，一般分為訓(xùn)練過程和測試過程，屬于有監(jiān)督學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)及BP算法BP網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練中應(yīng)注意若干事項(xiàng)，包括局部尋優(yōu)算法、學(xué)習(xí)率設(shè)置、批量梯度訓(xùn)練算法、訓(xùn)練算法的擬合程度、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)、欠擬合與過擬合、空間扭曲與超平面分類、訓(xùn)練集收集。BP算法訓(xùn)練中的注意事項(xiàng)克服BP算法局部尋優(yōu)的常見方法包括：①采用沖量技術(shù)。②采用restart技術(shù)，即多次進(jìn)行BP算法訓(xùn)練。③結(jié)合智能優(yōu)化求解技術(shù)。④完全應(yīng)用智能優(yōu)化求解技術(shù)。03BP神經(jīng)網(wǎng)絡(luò)應(yīng)用異或問題是一個(gè)經(jīng)典的線性不可分示例，它來自異或邏輯運(yùn)算，如圖13.9(a)和圖13.9(b)所示。關(guān)于異或問題，感知機(jī)中沒有解決方案，而非線性支持向量機(jī)(SVM)通過非線性核函數(shù)映射可以求解。二分類問題應(yīng)用BP網(wǎng)絡(luò)解決多分類問題時(shí)常用編碼技術(shù)。多分類問題與擬合問題BP網(wǎng)絡(luò)解決多分類問題時(shí)常用編碼技術(shù)。多分類問題與擬合問題04深度學(xué)習(xí)深度學(xué)習(xí)技術(shù)環(huán)境深度學(xué)習(xí)(Deeplearning)是一種概念性的描述，一般是指多層結(jié)構(gòu)的網(wǎng)絡(luò)所構(gòu)成的機(jī)器學(xué)習(xí)模型，網(wǎng)絡(luò)的層數(shù)沒有嚴(yán)格限定，具體的訓(xùn)練方法也有多種。常用的深度學(xué)習(xí)模型包括卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)、深度信念網(wǎng)絡(luò)(DeepBeliefNets,DBN)、深度玻耳茲曼機(jī)(DeepBoltzmannMachines,DBM)。深度學(xué)習(xí)技術(shù)環(huán)境隨著技術(shù)進(jìn)步，卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)也逐步增多。如IⅡSVRC競賽，2012年和2013年使用8層，2014年22層，2015年152層。每層都經(jīng)過精心設(shè)計(jì)，因此并不違背沒有免費(fèi)午餐定理，只不過它的歸納偏置依賴大數(shù)據(jù)下的分類特點(diǎn)做出，故在這些應(yīng)用中更適合。卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)是深度學(xué)習(xí)的重要代表，它一般由輸入層(Inputlayer)、卷積層(Convolutionlayer)、池化層(Poolinglayer)、全連接層、輸出層組成，如圖13.19(a)所示。卷積神經(jīng)網(wǎng)絡(luò)如果以立方體形式表示，則以立方體做卷積核。矩陣形式更適合圖像類數(shù)據(jù)的輸入。圖13.20展示了矩陣形式輸入的卷積映射過程。卷積神經(jīng)網(wǎng)絡(luò)卷積網(wǎng)絡(luò)中常用激活函數(shù)包括ReLU函數(shù)、sigmoid函數(shù)、tanh函數(shù)等。如圖13.20所示，一個(gè)卷積核可以生成一個(gè)特征圖。如果設(shè)計(jì)多個(gè)不同的卷積核，則可以生成多個(gè)特征圖，如圖13.21所示。卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)用于處理序列的信息推理，它在語音識別、自然語言建模、機(jī)器翻譯等多個(gè)領(lǐng)域有著廣泛的應(yīng)用。循環(huán)神經(jīng)網(wǎng)絡(luò)基本循環(huán)神經(jīng)網(wǎng)絡(luò)只有一個(gè)隱藏層，當(dāng)具有兩個(gè)以上隱藏層時(shí)，稱為深度循環(huán)神經(jīng)網(wǎng)絡(luò)，這時(shí)需要對圖13.29增加隱藏層。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)是一種擴(kuò)展形式，如圖13.30所示。循環(huán)神經(jīng)網(wǎng)絡(luò)其他深度學(xué)習(xí)技術(shù)深度信念網(wǎng)絡(luò)由Hinton等人提出，由玻耳茲曼機(jī)通過堆疊而成，如圖13.31(a)所示。它與多層神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)有所不同；①它不包含輸出層；②采用逐層訓(xùn)練方式，采用對比散度算法逐層調(diào)整連接權(quán)值和偏置權(quán)。對圖13.32(a)所示自編碼器的訓(xùn)練，按評價(jià)標(biāo)準(zhǔn)①,重構(gòu)后的輸出值應(yīng)盡可能等于x,損失函數(shù)按照最小二乘的一般定義，如式(13.83)所示，這等價(jià)于2層BP網(wǎng)絡(luò)。其他深度學(xué)習(xí)技術(shù)棧式自編碼器(Stackedautocoder)如圖13.33(a)、(b)所示，它具有奇數(shù)層網(wǎng)絡(luò)結(jié)構(gòu)。假設(shè)棧式自編碼器有L層，則L是奇數(shù)。記L為第i層，則L是輸入層，對應(yīng)樣例x。其他深度學(xué)習(xí)技術(shù)05本章小結(jié)本章小結(jié)人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)是指由許多神經(jīng)元節(jié)點(diǎn)構(gòu)成的網(wǎng)絡(luò)。目前常用的包括多層感知機(jī)、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等，在各種網(wǎng)絡(luò)應(yīng)