類神經(jīng)網(wǎng)路重點(diǎn)課件

第23章類神經(jīng)網(wǎng)路

本章的學(xué)習(xí)主題

1.類神經(jīng)網(wǎng)路的基本概念 2.類神經(jīng)網(wǎng)路之應(yīng)用 3.倒傳遞類神經(jīng)網(wǎng)路 4.類神經(jīng)網(wǎng)路之運(yùn)算注意事項(xiàng) 5.類神經(jīng)網(wǎng)路STATISTICA軟體操作範(fàn)例說明1企業(yè)研究方法第23章第23章類神經(jīng)網(wǎng)路本章的學(xué)習(xí)主題1企業(yè)研究方法第23.1類神經(jīng)網(wǎng)路的基本概念 一種計(jì)算系統(tǒng)，包括軟體與硬體，它使用大量簡單的相連人工類神經(jīng)元來模仿生物神經(jīng)網(wǎng)路的能力。人工神經(jīng)元是生物神經(jīng)元的簡單模擬，它從外界環(huán)境或者其它人工類神經(jīng)元取得資訊，並加以運(yùn)算，再輸出其結(jié)果到外界環(huán)境或者其它人工神經(jīng)元。2企業(yè)研究方法第23章23.1類神經(jīng)網(wǎng)路的基本概念 一種計(jì)算系統(tǒng)，包括軟體與圖23-1生物神經(jīng)網(wǎng)路結(jié)構(gòu)圖23-2人工神經(jīng)元結(jié)構(gòu)3企業(yè)研究方法第23章圖23-1生物神經(jīng)網(wǎng)路結(jié)構(gòu)圖23-2人圖23-3簡單的類神經(jīng)網(wǎng)路4企業(yè)研究方法第23章圖23-3簡單的類神經(jīng)網(wǎng)路4企業(yè)研究方法第2一、類神經(jīng)網(wǎng)路的分類 (一)依學(xué)習(xí)策略分類

1.監(jiān)督式學(xué)習(xí)網(wǎng)路(supervisedlearningnetwork) 2.無監(jiān)督式學(xué)習(xí)網(wǎng)路(unsupervisedlearningnetwork) 3.聯(lián)想式學(xué)習(xí)網(wǎng)路(associatelearningnetwork) 4.最適化應(yīng)用網(wǎng)路(optimizationapplicationnetwork)5企業(yè)研究方法第23章一、類神經(jīng)網(wǎng)路的分類5企業(yè)研究方法第23章 (二)依網(wǎng)路架構(gòu)分類

1.向前式架構(gòu)：神經(jīng)網(wǎng)路由神經(jīng)元分層排列，形成輸入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構(gòu)。圖23-4前向式架構(gòu)6企業(yè)研究方法第23章 (二)依網(wǎng)路架構(gòu)分類圖23-4前向式架構(gòu)6企業(yè)研2.回饋式架構(gòu)：即輸出層神經(jīng)元的資訊回饋到輸入層，或?qū)觾?nèi)各神經(jīng)元間有連結(jié)者，或神經(jīng)元不分層排列，只有一層，各神經(jīng)元均可相互連結(jié)者稱回饋式架構(gòu)。

圖23-5回饋式架構(gòu)7企業(yè)研究方法第23章2.回饋式架構(gòu)：即輸出層神經(jīng)元的資訊回饋到輸入層，或?qū)觾?nèi)各二、類神經(jīng)網(wǎng)路運(yùn)作範(fàn)例類神經(jīng)網(wǎng)路的運(yùn)作範(fàn)例大致上分為三種：

(一)訓(xùn)練範(fàn)例

1.監(jiān)督式訓(xùn)練範(fàn)例：由代表範(fàn)例特徵的輸入變數(shù)資料，與代範(fàn)例預(yù)測或分類的目標(biāo)輸出變數(shù)資料共同組成。 2.無監(jiān)督式訓(xùn)練範(fàn)例：由代表範(fàn)例特徵的輸入變數(shù)資料組成。 3.聯(lián)想式訓(xùn)練範(fàn)例：由代表範(fàn)例特徵的狀態(tài)變數(shù)資料組成，該變數(shù)值既是輸入亦是輸出，以替代方式?jīng)Q定變數(shù)值。未學(xué)習(xí)網(wǎng)路+訓(xùn)練範(fàn)例+學(xué)習(xí)演算已學(xué)習(xí)網(wǎng)路加權(quán)值加權(quán)值8企業(yè)研究方法第23章二、類神經(jīng)網(wǎng)路運(yùn)作範(fàn)例未學(xué)習(xí)網(wǎng)路+訓(xùn)練範(fàn)例+學(xué)習(xí)演算已學(xué)習(xí)網(wǎng) (二)測試範(fàn)例 測試範(fàn)例為評(píng)估已學(xué)習(xí)網(wǎng)路之學(xué)習(xí)效果所使用的範(fàn)例，其形式與訓(xùn)練範(fàn)例相同。該範(fàn)例只使用回想演算法得到推論輸出值，之後與目標(biāo)輸出值比較，以評(píng)估網(wǎng)路學(xué)習(xí)的精確度。 (三)待推案例 網(wǎng)路學(xué)習(xí)完後，可用網(wǎng)路推論待推案例的結(jié)果。待推案例沒有目標(biāo)輸出變數(shù)資料。網(wǎng)路根據(jù)待推案例之輸入變數(shù)資料，透過回想演算法，推論出輸出值。已學(xué)習(xí)網(wǎng)路+測試範(fàn)例+回想演算法已學(xué)習(xí)網(wǎng)路評(píng)估精度已學(xué)習(xí)網(wǎng)路+待推案例+回想演算法待推案例推論推論輸出值9企業(yè)研究方法第23章 (二)測試範(fàn)例已學(xué)習(xí)網(wǎng)路+測試範(fàn)例+回想演算法已學(xué)習(xí)網(wǎng)路評(píng)三、類神經(jīng)網(wǎng)路的基本架構(gòu) 類神經(jīng)網(wǎng)路的基本架構(gòu)可分三個(gè)層次：

(一)處理單元的作用可用三個(gè)函數(shù)來說明 (二)層(layer) (三)網(wǎng)路(network)10企業(yè)研究方法第23章三、類神經(jīng)網(wǎng)路的基本架構(gòu)10企業(yè)研究方法第23章1.集成函數(shù)(summationfunction)：將輸入變數(shù)資料或前一層神經(jīng)元之輸出與連接加權(quán)值加以綜合，即I=f(W,X)。常用的函數(shù)包括加權(quán)乘積和與歐氏距離等。 2.作用函數(shù)(activityfunction)：將集成函數(shù)值與神經(jīng)元狀態(tài)加以綜合，通常是直接使用集成函數(shù)輸出，即netjn=Ijn(一)處理單元的作用可用三個(gè)函數(shù)來說明11企業(yè)研究方法第23章1.集成函數(shù)(summationfunctio3.轉(zhuǎn)換函數(shù)(transferfunction)：將作用函數(shù)輸出值轉(zhuǎn)換成處理單元輸出，即Yj=f(netj)。常用函數(shù)包括硬限函數(shù)、線性函數(shù)與非線性數(shù)函數(shù)。12企業(yè)研究方法第23章3.轉(zhuǎn)換函數(shù)(transferfunction)：將作用 (二)層(layer)

若干個(gè)具有相同作用的處理單元集合成「層」。層本身有三個(gè)作用：

1.正規(guī)化輸出：將同層中的處理單元的原始輸出值加以正規(guī)化，作為「層」的輸出。 2.競爭化輸出：在同層的所有處理單元之原始輸出值中，選擇一個(gè)或數(shù)個(gè)最強(qiáng)值的處理單元，令其值為1，其餘為0後，再作為「層」的輸出。 3.競爭化學(xué)習(xí)：在同層的所有處理單元之原始輸出值中，選擇一個(gè)或數(shù)個(gè)最強(qiáng)值的處理單元，網(wǎng)路將只調(diào)整與該單元相連的下層網(wǎng)路連結(jié)。13企業(yè)研究方法第23章 (二)層(layer)13企業(yè)研究方法第23章(三)網(wǎng)路(network) 網(wǎng)路本身有兩種作用：

1.學(xué)習(xí)過程(learning)：從範(fàn)例中學(xué)習(xí)，以調(diào)整網(wǎng)路連接加權(quán)值的過程。 2.回想過程(recalling)：以輸入資料決定網(wǎng)路輸出資料的過程。14企業(yè)研究方法第23章(三)網(wǎng)路(network)14企業(yè)研究方法第2323.2類神經(jīng)網(wǎng)路之應(yīng)用 類神經(jīng)網(wǎng)路的應(yīng)用極為廣泛，在工業(yè)與工程方面的應(yīng)用包含工業(yè)與工程資料分析、工業(yè)與工程故障診斷、工業(yè)與工程決策諮詢、工業(yè)與工程製程監(jiān)控、工業(yè)與工程最適化問題求解；在商業(yè)與金融方面的應(yīng)用包括商業(yè)決策、商業(yè)預(yù)測、商業(yè)分析；在科學(xué)與資訊方面的應(yīng)用包括醫(yī)學(xué)疾病診斷、醫(yī)學(xué)影像診斷、氣象預(yù)測、化學(xué)儀器分析解釋、複雜現(xiàn)象映射與模式化、感測資料分類、軍事目標(biāo)追蹤、犯罪行為聚類分析、性向測驗(yàn)分析、資料庫聯(lián)想搜尋、電腦輔助教學(xué)、電腦音樂、專家系統(tǒng)等。15企業(yè)研究方法第23章23.2類神經(jīng)網(wǎng)路之應(yīng)用 類神經(jīng)網(wǎng)路的應(yīng)用極為廣泛，在工表23-1類神經(jīng)網(wǎng)路架構(gòu)模式網(wǎng)路架構(gòu)學(xué)習(xí)策略向前式架構(gòu)回饋式架構(gòu)監(jiān)督式學(xué)習(xí)認(rèn)知機(jī)倒傳遞網(wǎng)路(BPN)機(jī)率神經(jīng)網(wǎng)路(PNN)學(xué)習(xí)向量量化網(wǎng)路(LVQ)反傳遞網(wǎng)路(CPN)波茲曼機(jī)(BM)時(shí)空樣本識(shí)別網(wǎng)路(STPR)新認(rèn)知機(jī)(也可作無監(jiān)督式學(xué)習(xí))無監(jiān)督式學(xué)習(xí)自組織映射圖(SOM)自適應(yīng)共振理論(ART)聯(lián)想式學(xué)習(xí)霍普菲爾網(wǎng)路(HNN)雙向聯(lián)想記憶網(wǎng)路(BAM)最適化應(yīng)用霍普菲爾—坦克網(wǎng)路(HTN)退火神經(jīng)網(wǎng)路(ANN)16企業(yè)研究方法第23章表23-1類神經(jīng)網(wǎng)路架構(gòu)模式網(wǎng)路架構(gòu)向前式架構(gòu)回饋23.3倒傳遞類神經(jīng)網(wǎng)路倒傳遞網(wǎng)路是應(yīng)用一個(gè)訓(xùn)練範(fàn)例的一輸入值向量X，與一目標(biāo)輸出向量T，修正網(wǎng)路加權(quán)值W，而達(dá)到學(xué)習(xí)的目的?；驹硎抢米疃钙陆捣ǖ挠^念，將誤差函數(shù)予以最小化。誤差函數(shù)

Tj=輸出層目標(biāo)輸出值A(chǔ)j=輸出層推論輸出值17企業(yè)研究方法第23章23.3倒傳遞類神經(jīng)網(wǎng)路倒傳遞網(wǎng)路是應(yīng)用一個(gè)訓(xùn)練範(fàn)例的一一、網(wǎng)路架構(gòu)輸入層：輸入變數(shù)資料，該層處理單元數(shù)目依問題而定。處理單元之轉(zhuǎn)換函數(shù)為線性函數(shù)，亦即f(x)=x。隱藏層：表現(xiàn)輸入層處理單元間的交互影響。處理單元之轉(zhuǎn)換函數(shù)為非線性函數(shù)。輸出層：輸出變數(shù)，該層處理單元數(shù)目依問題而定。處理單元之轉(zhuǎn)換函數(shù)為非線性函數(shù)。倒傳遞網(wǎng)路在隱藏層與輸出層之非線性轉(zhuǎn)換函數(shù)，最常使用雙彎曲函數(shù)，即18企業(yè)研究方法第23章一、網(wǎng)路架構(gòu)輸入層：輸入變數(shù)資料，該層處理單元數(shù)目依問題而定圖23-6倒傳遞類神經(jīng)網(wǎng)路模型19企業(yè)研究方法第23章圖23-6倒傳遞類神經(jīng)網(wǎng)路模型19企業(yè)研究方法23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)資料的準(zhǔn)備—樣本數(shù)

若樣本數(shù)接近所需估計(jì)的權(quán)重?cái)?shù)時(shí)，就會(huì)產(chǎn)生過度配適(over-fitting)的情形，使模型失去通則性(generalizability)。樣本數(shù)應(yīng)為五至10倍的連結(jié)權(quán)重?cái)?shù)。連結(jié)權(quán)重?cái)?shù)未知時(shí)：樣本數(shù)則為輸入變數(shù)數(shù)目的平方值樣本數(shù)≧c×(輸入變數(shù)數(shù)目×輸出變數(shù)數(shù)目)隨機(jī)分配樣本為訓(xùn)練樣本與測試樣本20企業(yè)研究方法第23章23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)資料的準(zhǔn)備—樣本數(shù)若樣本23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)資料的準(zhǔn)備—檢視資料輸入變數(shù)應(yīng)使用計(jì)量資料：對(duì)於非計(jì)量變數(shù)值應(yīng)重新編碼。極端值應(yīng)被仔細(xì)地考慮甚至刪除。變數(shù)標(biāo)準(zhǔn)化。21企業(yè)研究方法第23章23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)資料的準(zhǔn)備—檢視資料輸入定義模型架構(gòu)23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)隱藏層層數(shù)一般問題可取一層隱藏層，較複雜的問題則取二層隱藏層。隱藏層處理單元數(shù)目(輸入層單元數(shù)+輸出層單元數(shù))/2(輸入層單元數(shù)*輸出層單元數(shù))1/2

若問題複雜度較高，隱藏層單元數(shù)目宜多。若測試範(fàn)例之誤差值遠(yuǎn)高於訓(xùn)練範(fàn)例之誤差值，則隱藏層單元數(shù)目應(yīng)減少，反之，則應(yīng)增加。22企業(yè)研究方法第23章定義模型架構(gòu)23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)隱藏層層數(shù)2模型估計(jì)23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)在網(wǎng)路的訓(xùn)練過程中，訓(xùn)練範(fàn)例與測試範(fàn)例的誤差值均會(huì)逐漸降低，但若測試範(fàn)例的誤差停止下降，甚至開始上升時(shí)，則表示有過度訓(xùn)練的情形發(fā)生，因此研究者應(yīng)在測試範(fàn)例之誤差上升前即停止訓(xùn)練。23企業(yè)研究方法第23章模型估計(jì)23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)在網(wǎng)路的訓(xùn)練過程評(píng)估模型結(jié)果23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)評(píng)估模型包括評(píng)估輸出變數(shù)的預(yù)測或分類水準(zhǔn)。在預(yù)測的問題上，通常使用誤差均方根來評(píng)估模型；在分類的問題中，可利用分類矩陣(classificationmatrix)來計(jì)算出個(gè)案被正確分類的機(jī)率是多少。24企業(yè)研究方法第23章評(píng)估模型結(jié)果23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)評(píng)估模型包括模型效度23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)最後一步是要確認(rèn)所找到的解是整體最適且要盡可能的一般化。，研究者應(yīng)該使用不同的處理單元數(shù)目去測試，以確定不可能再達(dá)到更好的解。25企業(yè)研究方法第23章模型效度23.4類神經(jīng)網(wǎng)路運(yùn)算注意事項(xiàng)最後一步是要確模型之評(píng)估指標(biāo)誤差均方根(RMSE)

絕對(duì)誤差平均(MAD)

絕對(duì)百分比誤差平均(MAPE)

誤差平均(ME)

S.D.Ratio

R2

1－(S.D.Ratio)

26企業(yè)研究方法第23章模型之評(píng)估指標(biāo)誤差均方根(RMSE)絕對(duì)誤差平均(MA六、使用類神經(jīng)網(wǎng)路之優(yōu)缺點(diǎn)類神經(jīng)網(wǎng)路的能力可處理複雜的關(guān)係，特別是非線性的關(guān)係。預(yù)測及分類。無法針對(duì)輸入變數(shù)的相對(duì)重要性以及變數(shù)間的相關(guān)提供解釋。27企業(yè)研究方法第23章六、使用類神經(jīng)網(wǎng)路之優(yōu)缺點(diǎn)類神經(jīng)網(wǎng)路的能力可處理複雜的關(guān)係，範(fàn)例1.信任關(guān)係(SCF1)2.互惠關(guān)係(SCF2)3.互動(dòng)關(guān)係(SCF3)4.顧客資本(I