數(shù)據(jù)挖掘向后傳播算法

1、后向傳播分類?什么是后向傳播？后向傳播是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法?神經(jīng)網(wǎng)絡(luò)的定義神經(jīng)網(wǎng)絡(luò)是一組連接的輸入 / 輸岀單元， 其中每個(gè)連接都與一 個(gè) 權(quán)相相聯(lián)。在學(xué)習(xí)階段，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)，使得能夠預(yù) 測輸 入樣本的正確類標(biāo)號來學(xué)習(xí)，由于單元間的連接，神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)又 稱為連接者學(xué)習(xí)多向前饋神經(jīng)網(wǎng)絡(luò)定義網(wǎng)絡(luò)拓?fù)?對輸入值規(guī)格化，使他們落入 0.0 到1.0之間 ?離散值屬性可重新編碼， 是的每個(gè)閾值 一個(gè)輸入單元?一 個(gè)輸岀單元可以用來表示兩個(gè)類， 如 果多于兩個(gè)類，每個(gè)類使用一個(gè)輸岀單 元后向傳播JBAW ?播.唸中后劃傳提笄法花祥經(jīng)豹紹廿類學(xué)習(xí) . ?入-1:練豐羊本 心Jg于丄J辛h多呈 酣

2、箴M納nes4 ?出豊一亍訓(xùn)煉的、芯樣本竹契比祚經(jīng)阿絡(luò) .力i亂D初始立喚杓論肌權(quán)和臨畫？2j while錯(cuò)上條件不洪足13J far stoles中Rt毎個(gè)訓(xùn)練樣本 K 4) 句前傳播卷入5) far隱藏或鮭H1層每個(gè)單元丿1&廠二藝嚴(yán)*億一日門集對于時(shí)一層門計(jì)算單元的淨(jìng) 、7) ?./ 計(jì)=L/!-萍:出層毎個(gè)草元/I W Err . = O . 1A0 U . - fZ ) 8 / 計(jì)城瞑荃：fear由殘后一個(gè)到第一個(gè)隱藏層-茁于隱裁層毎個(gè)單沅/-£",?=。沁L-Q工上£“叭/計(jì)算芙于匚一個(gè)安心層比的課差for宓芒酚口 ？中毎個(gè)収兀;亠 '

3、 113 氐；二/I Err . O2 s / 權(quán)増值I宀叫=叫_5,"權(quán)更新4尸 j；二 fear山興毗丁中毎牛偽差&'. £=/) r£. :/ 偉差壇血召.=0 召心.：心偽址更新X S J后向傳播?初始化權(quán)?網(wǎng)絡(luò)的權(quán)初空臺化為很小的隨機(jī)數(shù)，每個(gè)單元有個(gè)偏置，偏置也類似地初女£化為小隨機(jī)數(shù)?向前傳播輸入?計(jì)算隱藏層和輸出層每個(gè)單元的凈輸入和輸出：?訓(xùn)練樣本提供應(yīng)網(wǎng)絡(luò)的輸入層；?隱藏層和輸出層的每個(gè)單元的凈輸入用其輸入的線性組合計(jì)算 W i 也tfiSH/輸入、v前一層的輸岀圖鑫10一盡澆藏或轍出單兀気 丿的藏入是耒口前一層的這些與對

4、應(yīng)的權(quán)相乘.以形成加權(quán)和:加權(quán)？和加到與單元丿相聯(lián)的偏置 he 一幾非線性的咽活函數(shù)用子凈輸入通過更新權(quán)和反映網(wǎng)絡(luò)預(yù)測誤差的偏置，向后傳播誤差。對于輸出層單元j,誤差Errjffl下式計(jì)算：旳=Oj1- oj r. -°更新權(quán)和偏差, 式更新：隱藏層單兀j的誤差是：E = 0 I :反E/T牡 以反映傳播的誤差，權(quán)由下啊=IErr.O； i6 : = 6 : + 40，JJJ毎止條件訓(xùn)爍俘止，颯-IH3 撕有酬淵太小，小于某飾定 5W 魚 或 fl# 1鹹I財(cái)分漏他或-超過預(yù)先扌靛的聯(lián)也 熾啊權(quán)購可幣要針方錮亂為D.乩該網(wǎng)塔的初始權(quán)值?7.5那立后向椅曲祛學(xué)習(xí)的樣本計(jì)算婁LIL給出了

5、一個(gè)多層加謖祎逢與絡(luò).設(shè)學(xué)習(xí)率 和備覽值次負(fù)第一個(gè)訓(xùn)媒祥本.r= 1汽：其類標(biāo)號為1柱碾工3中給出.圖7.11多層酣饋祥經(jīng)網(wǎng)塔的一個(gè)另子表二/初嬢艙入、權(quán)值和偏差值1+ (14fiD IQ.雞 1+(1A')=0.525 l+(l+e 怖)=號第-懶粗該碾祐勺觥棘？甘加Sftjm WSfOO獻(xiàn) 禰乩曲讎和.4札料耐艇齪葛將確擒囁齡齡口權(quán)繃 凱珊在斯卿Jiu>.讎入禰出曲計(jì)爍I 讎入 ijSSoj1略H =加-t3+MM2 = |耳馳般卜02血0.474權(quán)或筍柬-J. 3 i-j. 9: '?: A.mi:' VLL jj2 :'=WYi? 2 弓 L-0.

6、2 + 他的(4131)？. 525)= P. 138 Q2 t (fl. 9) (-ft M87) (1) = (J. 192a *-0. 3* 覘 giKI.CKI 茁)=T. 3朋:44 4 (0. ? H. ?87) (0) = <L4. ?1 1 +<006-5) (<05 = 0. 1勺.卜0.?卜0衛(wèi)俯7) (1)= T.泗r" 0.2 + (0.尋)(-0. -0065: (I? = 0. 1J :；?1 I + ?l.5: i 迫.打 II) = 0.213 a 2+彳 9)( 4 M65) = a i 事包片他 9: 1 t； P? (KBT)

7、= -a 4 -出業(yè)E捱岀了一些后向憐播懷法施支璀和瞽他用于補(bǔ)盤網(wǎng)絡(luò)分抵 寇些可儺誅凰網(wǎng)絡(luò)拓村耳學(xué) 習(xí)生戎莖三鑫甦姑嗽衣活？i，4tt用平匯帆決蔓函戲？后向傳播可解釋性?神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是其知識的表示，解決方法包括由網(wǎng)絡(luò)提取規(guī)那么和靈敏度分析?神經(jīng)網(wǎng)絡(luò)提取規(guī)那么第一步通常是網(wǎng)絡(luò)剪枝，該步通過剪去對訓(xùn)練網(wǎng)絡(luò)影響最小的加權(quán)鏈簡化網(wǎng)絡(luò)結(jié)構(gòu)? 一旦訓(xùn)練網(wǎng)絡(luò)已被剪枝，一些方法將進(jìn)行鏈、單元或活潑值的 聚類 ?分析每個(gè)隱藏單元的這些活潑值，導(dǎo)出涉及這些活潑值與對應(yīng)輸出單元值組合的規(guī)那么，類似的，研究輸入值和活潑值的集合 , 導(dǎo)出描 述輸入和隱藏單元層聯(lián)系的規(guī)那么?兩個(gè)規(guī)那么結(jié)合形成 IF-THEN 規(guī)那么或?qū)С銎渌问降囊?guī)那么，包括 M-OF-N 規(guī)那么，具有 M? OF?N 測試的判定樹、模糊規(guī)那么和有窮 自 動機(jī)后向傳播可解釋性