神經(jīng)網(wǎng)絡(luò)讀書(shū)筆記

神經(jīng)網(wǎng)絡(luò)部分知識(shí)點(diǎn)總結(jié)一、神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)概念神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單處理單元構(gòu)成的大規(guī)模并行分布式處理器，天然具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)在這兩方面與大腦相似：.神經(jīng)網(wǎng)絡(luò)是通過(guò)學(xué)習(xí)過(guò)程從外界環(huán)境中獲取知識(shí)的。.互連神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于存儲(chǔ)獲取的知識(shí)。神經(jīng)網(wǎng)絡(luò)性質(zhì)和能力神經(jīng)網(wǎng)絡(luò)具有以下有用的性質(zhì)和能力：.非線性：人工神經(jīng)網(wǎng)絡(luò)可以是線性或者非線性的。.輸入輸出映射：稱之為有教師學(xué)習(xí)(learningwithateacher)或監(jiān)督學(xué)習(xí)(supervisedlearning)的關(guān)于學(xué)習(xí)的流行方法。它使用帶標(biāo)號(hào)的的訓(xùn)練樣例(trainingexample)或任務(wù)樣例(taskexample)對(duì)神經(jīng)網(wǎng)絡(luò)的突觸權(quán)值進(jìn)行修改。.自適應(yīng)性：神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界環(huán)境變化的固有能力。.證據(jù)響應(yīng)(evidentialresponse)：在模式分類問(wèn)題中，神經(jīng)網(wǎng)絡(luò)可以設(shè)計(jì)成不僅能夠提供選擇哪一個(gè)特定模式的信息，還提供關(guān)于決策的置信度信息。后者可以用來(lái)拒判那些可能出現(xiàn)的過(guò)于模糊的模式，從而進(jìn)一步改善網(wǎng)絡(luò)的分類性能。.上下文信息(contextualinformation)：神經(jīng)網(wǎng)絡(luò)的特定結(jié)構(gòu)和激發(fā)狀態(tài)代表知識(shí)。網(wǎng)絡(luò)中每一個(gè)神經(jīng)元都受到所有其他神經(jīng)元全局活動(dòng)的潛在影響。.容錯(cuò)性：一個(gè)以硬件形式實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)具有天生的容錯(cuò)性，或者是魯棒性的計(jì)算能力。.VLSI實(shí)現(xiàn)：神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，很適合使用超大規(guī)模集成(VLSI)技術(shù)來(lái)實(shí)現(xiàn)。.分析和設(shè)計(jì)一致性。.神經(jīng)生物類比。神經(jīng)元模型的三個(gè)基本元素1、突觸或連接鏈集，每一個(gè)都由其權(quán)值或者強(qiáng)度作為特征。如在連到神經(jīng)元k的突觸j上的輸入信號(hào)弓被乘以k的突觸權(quán)值w^，第一個(gè)下標(biāo)指正在研究的這個(gè)神經(jīng)元，第二個(gè)下標(biāo)指權(quán)值所在突觸的輸入端。2、加法器，用于求輸入信號(hào)被神經(jīng)元相應(yīng)突觸加權(quán)的和。3、激活函數(shù)，用于限制神經(jīng)元輸出振幅。偏置偏置上圖為非線性神經(jīng)元模型，標(biāo)記為第k個(gè)神經(jīng)元。用數(shù)學(xué)方程描述神經(jīng)元：(1)uk是輸入信號(hào)的線性組合*=乎uk是輸入信號(hào)的線性組合其中笠.是輸入信號(hào)，卬句是神經(jīng)元k的突觸權(quán)值,器的輸出，4為偏置，激活函數(shù)為3（?），為為神經(jīng)元輸出信號(hào)。激活函數(shù)的類型1、閾值函數(shù)（Heavside函數(shù)）：如圖（a）所示手宣10如果V<02、sigmoid函數(shù)：sigmoid函數(shù)的一個(gè)例子是logistic函數(shù)：如圖（b）所示手⑺-1-Fexp（—civ）其中a是sigmoid函數(shù)的傾斜參數(shù)。網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分為三個(gè)基本結(jié)構(gòu)：1、單層前饋網(wǎng)絡(luò)：源節(jié)點(diǎn)構(gòu)成輸入層，直接投射到神經(jīng)元輸出節(jié)點(diǎn)上。2、多層前饋網(wǎng)絡(luò)：有一層或多層隱藏層，相應(yīng)的計(jì)算機(jī)節(jié)點(diǎn)稱為隱藏神經(jīng)元。隱藏是指神經(jīng)網(wǎng)絡(luò)的這一部分無(wú)論從網(wǎng)絡(luò)的輸入端或者輸出端都不能直接看到。3、遞歸網(wǎng)絡(luò)：和前饋網(wǎng)絡(luò)的區(qū)別在于它至少有一個(gè)反饋環(huán)。學(xué)習(xí)過(guò)程廣義上講，可以通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的功能來(lái)對(duì)其學(xué)習(xí)過(guò)程進(jìn)行分類：有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)。按同樣標(biāo)準(zhǔn)，后者又可以分為無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩個(gè)子類。1、有教師學(xué)習(xí)：也稱監(jiān)督學(xué)習(xí)。從概念上講，我們可以認(rèn)為教師具有對(duì)周圍環(huán)境的知識(shí)，這些知識(shí)被表達(dá)為一系列的輸入-輸出樣本。然而神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境一無(wú)所知。描述環(huán)境就忘的向埔IRpPH—期把南鹿 /班卜J弋空型-響悶⑥7]

瓦嘉導(dǎo)2、無(wú)教師學(xué)習(xí)：沒(méi)有任何帶標(biāo)號(hào)的樣例可以供神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。強(qiáng)化學(xué)習(xí)：輸入輸出映射的學(xué)習(xí)是通過(guò)與環(huán)境的不斷交互完成的，目的是使一個(gè)標(biāo)量性能指標(biāo)達(dá)到最小。如左下圖。無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有外部的教師或者評(píng)價(jià)來(lái)監(jiān)督的學(xué)習(xí)過(guò)程。如右下圖。二、感知器感知器模型感知器神經(jīng)元模型由一個(gè)線性組合器和隨后的硬限幅器（執(zhí)行一個(gè)符號(hào)函數(shù)）組成。如圖為感知器符號(hào)流圖。灼灼輸入VL硬限幅器輸入或神經(jīng)元的誘導(dǎo)局部域是：幅T7J— 犯Nr-十bL感知器的目的就是將外部作用激勵(lì)正確分為兩類。在最簡(jiǎn)單的感知器中存在被一個(gè)超平面分開(kāi)的兩個(gè)決策區(qū)域，此超平面定義為：然"-6=0感知器收斂定理偏置b（n）被當(dāng)作一個(gè)等于+1的固定輸入量所驅(qū)動(dòng)的突觸權(quán)重。定義輸入向量:=[TT,一門(mén)（制），山5）/，、工、5）Jn代表迭代步數(shù)，對(duì)應(yīng)的權(quán)值向量為：=[A,皿（開(kāi)）.叱（冗）皿制（打）],線性組合器輸出：-u（n）—X肛理）二wr（.n）x（rt）d7存在一個(gè)權(quán)值向量存在以下性質(zhì)：wrx>0對(duì)屬于美%的每個(gè)輸入向近父

對(duì)屬于類餐的先個(gè)較人向*X.假如訓(xùn)練集舍的第九個(gè)成員HQ根據(jù)算法中的第H次迭代的權(quán)值向趾能正確分類，那么感知器的權(quán)值向顯按下述規(guī)則不做修改：w(n4-1)=w(n)假如短近時(shí))>0且Jc3)屬于類%wCfl+1)=w(w)假如w“5)<。且x[j?)屬于桀國(guó).否則，感知器的權(quán)值向量根據(jù)以下規(guī)則進(jìn)行修改：w(n+1)=wCw)—^(n)x(ff) 假如wT(n)x(?t)>。且Mn〕屬于類/■w(m+1)=w(H>+^(n)x(n)假如wT(n)x(n)=0且x(打)居于類%這里學(xué)習(xí)率展敷孤⑴控制著第〃次迭代中作用于權(quán)值向量的調(diào)節(jié)。假如小心工爐>0,這里下是與迭代次數(shù)制無(wú)關(guān)的常數(shù)，我們有一個(gè)感知招的固定增量自適應(yīng)規(guī)則(fixed-incrementadaptationrule),感知器收斂定理的證明針對(duì)初始條件40)=0。假設(shè)對(duì)a=1,2,…，w/N)xG)<0,口輸人向量xCw)屬于子集簫D感知器不能正確對(duì)向量進(jìn)行分類，在常量〃(九)=1的情況下有：w(m+1)=w(rt)4-x(n)對(duì)x5)屬于類乜給定初始條件w(0)-0,可以迭代求解這個(gè)關(guān)干w加91)的方程而得到結(jié)果w(n+1)=火(】)+k(2)+…+x(ti)因?yàn)榧僭O(shè)類看和端為線性可分的，因此對(duì).屬于子集相的向量41)「，，蟲(chóng)外的不等式方程存在一個(gè)解以。對(duì)固定解也，可以定義一個(gè)正數(shù)。，a-minwjx(n)?SEW,兩邊同時(shí)乘以行向量w§,有w^'wCn41)=x<1>+*x(2)H +wjx(n)根據(jù)定義有W§w(n+1)>naCauchy-Schwarz不等式有：||w,r[|w(n+DV——加+DTII…1)||?舟對(duì)權(quán)值調(diào)整公式兩邊同取歐幾里得范數(shù)的平方，得到IIw(A+1)||2=IIwU)r+II工⑷H3+2wr(l)i(i)但是，wMk)x(k)<0,因此,||w(〃卜D||*-II||Y"㈤尸，R=J、#"+diiy史打尉IIy一"1這里B是一個(gè)正數(shù)，定義為B-max||x(ft)||'r籍*K比較發(fā)現(xiàn)一個(gè)是大于等于一個(gè)是小于等于相矛盾，故取相等求最大迭代次數(shù)。口_生4a2.3感知器收斂算法概述交趾和嬖數(shù)：x(n)=■ml】推輸入句量*[+1,jt] .x；(n)(Xjw(n)lTw(zf)=m4-t維極黃時(shí)電—[ftTU'i(?)tW*(n>t"'&=偏邕y(ft)=實(shí)際哂應(yīng)「量枇的)d(林)=期里也應(yīng)丁。學(xué)可率參數(shù)，一■個(gè)比1小的正常觸].初拮化.設(shè)M0)=0.對(duì)時(shí)間步用=1.2,…鐵行下列計(jì)算”.激需口在時(shí)間步m,通過(guò)娓供連城設(shè)輸入向吊蟲(chóng)嶗和期望響應(yīng)WG來(lái)激活感知器口.計(jì)算實(shí)號(hào)嘀應(yīng).計(jì)算感知器的實(shí)際響應(yīng)工y(n)—itfin"*7 ,這里Nin。)是符號(hào)函數(shù)。4,權(quán)值向量的自港點(diǎn).更新感知器的杖價(jià)向加：▼5+1)=wtn)+^[*/Cn)—>(rt)這里_j十I若xEJ騏于類&"5=11若空冷黑于突，.鍍鞋.時(shí)間步n贈(zèng)口[11,返回第2步.三、用于非線性模式識(shí)別的神經(jīng)網(wǎng)絡(luò)非線性模式識(shí)別的神經(jīng)網(wǎng)絡(luò)包括多層感知器(MLP)網(wǎng)絡(luò)、徑向基函數(shù)(RBF)網(wǎng)絡(luò)、支持向量基(SVM)、數(shù)據(jù)處理的通用模型(GMDH,也叫做多項(xiàng)式網(wǎng)絡(luò))、通用回歸神經(jīng)網(wǎng)絡(luò)(GRNN)和通用神經(jīng)網(wǎng)絡(luò)(GNN)。帶有一個(gè)隱含層的多層感知器模型：在預(yù)報(bào)應(yīng)用里(或函數(shù)逼近里)通常是單輸出，在分類應(yīng)用里是一個(gè)或多個(gè)輸出。用非線性多層感知器網(wǎng)絡(luò)為多維數(shù)據(jù)建模，通常情況下有n個(gè)輸入，m個(gè)隱含神經(jīng)元和k個(gè)輸出神經(jīng)元，MLP的中間處理構(gòu)成：第j個(gè)神經(jīng)元的隱含神經(jīng)元的輸入％.和輸出“是\=%。工、占以=2)i=i第k個(gè)神經(jīng)元的隱含神經(jīng)元的輸入外和輸出先是K. K,，飛十和卅卜二八九）

j=i四、神經(jīng)網(wǎng)絡(luò)對(duì)非線性模式的學(xué)習(xí)對(duì)于一個(gè)具有輸出神經(jīng)元的網(wǎng)絡(luò)的所有訓(xùn)練模式的預(yù)報(bào)最通用的誤差表示MSE可以寫(xiě)成：（式中，①分分別表示目標(biāo)輸出和預(yù)報(bào)輸出）EF*Lj）2i4.1梯度下降法梯度下降法提出將權(quán)值向誤差下降最快的方向改變。關(guān)于輸出神經(jīng)元權(quán)值的誤差梯度dE_dEdzdudbdzdvdb^dE假設(shè)輸出神經(jīng)元的激勵(lì)函數(shù)為1藝~1+e-tJz(t')=-=-1 -dm(1-He) (1十dz(1-Z)笈丁= …==(1一為，dvI/X口=出+力J，du—=ydh}1dv西=上dE福=(之L0^(1一節(jié)=PdE而=(2T-/)^(1-力了=用1關(guān)于隱含神經(jīng)元誤差梯度8E /dE dz 配、dy duda (ax di' dyj 8ti 8a

由于u=b0+%y，因此，真=%dy十=M]—y\OUdE-t-=pb}y(l—y)x=qx。笈]dE—=phAy(Y-y)=q*學(xué)習(xí)率和權(quán)值更新，對(duì)m+1次訓(xùn)練時(shí)間的新權(quán)值Wq+1可以表示為wm+1=wwm+1=w+Aw,Aw=—sd,dn=1dE]dwmn動(dòng)量法的思想就是利用所有以前權(quán)值的變化的指數(shù)平均導(dǎo)出當(dāng)前變化。Aw相=4"i-(1-四)“黑式中，〃是一個(gè)在0到1之間的動(dòng)量參數(shù)；AWm―1是前一個(gè)訓(xùn)練時(shí)間里的權(quán)值變化。因此〃表示過(guò)去權(quán)值變化對(duì)新的權(quán)值增量A%的相對(duì)重要性。動(dòng)量可以穩(wěn)定學(xué)習(xí)過(guò)程。多輸入、多隱含神經(jīng)元多輸出網(wǎng)絡(luò)岑：岑：網(wǎng)絡(luò)的總誤差是每一個(gè)輸出神經(jīng)元的MSE之和，可以表示為■曳+居+…+居=羨文文j八r=Jj=I輸出神經(jīng)元權(quán)值的導(dǎo)數(shù):dE=P5；…；與一=P?i

油]由

dE dE——=p=(z—t)z(1—z),^,——=P=(z,—t,)z,(1—z,)db1 1 11 1Obk'k kJkykJ01 0k隱含神經(jīng)元的權(quán)值導(dǎo)數(shù)：li哨■fli哨■f￡￡/0也EI一-_一71)川(1一城三—=3=ka瓦1+…+熱瓦*)1片。-ji)==七=KA^ri+…+PM展)】￥式1一=d。口wOE dE dE標(biāo)=1內(nèi)；玩=公孫…；西=心兩dE dE dE7一=的弱/豆丁=B莉-^-―=?？诔觯?。以總 日次nthdelta-bar-delta學(xué)習(xí)方法：對(duì)不同的權(quán)值有不同的學(xué)習(xí)率。如果由誤差梯度描述的當(dāng)前點(diǎn)的誤差減小方向和最近一直下降的方向一致，那么學(xué)習(xí)率增加；但是如果由誤差梯度描述的當(dāng)前點(diǎn)的誤差減小方向和最近一直下降的方向相反，那么學(xué)習(xí)率就要減小。第m次訓(xùn)練誤差一直減小的方向的最近歷史可以由爆表達(dá)成第=8fm_1+(1-^)dm_1。式中，6是過(guò)去導(dǎo)數(shù)指數(shù)平均的額外加權(quán)，1-8是最后導(dǎo)數(shù)的額外加權(quán)。最速下降法學(xué)習(xí)率￡以一個(gè)初始，在每一步都會(huì)倍增，產(chǎn)生一個(gè)權(quán)值的預(yù)更新。如果MSE沒(méi)有隨之減小，權(quán)值返回它的初始值，學(xué)習(xí)率減半然后繼續(xù)訓(xùn)練。如果MSE仍然沒(méi)有減小，￡就被再減半直到學(xué)習(xí)率使MSE減小為止。最后的權(quán)值調(diào)整只有在獲得使MSE減小的學(xué)習(xí)率才進(jìn)行。以此重復(fù)。終止條件為1T~z —匕而口誤差最小和權(quán)值最優(yōu)的二階方法4.4.1QuickProp學(xué)習(xí)的目標(biāo)就是在誤差導(dǎo)數(shù)為0處很快地找到最優(yōu)權(quán)值。假定最后一次訓(xùn)練m-1后的導(dǎo)數(shù)是d^，它導(dǎo)致權(quán)值的改變量為AWg。如果當(dāng)前m次訓(xùn)練的導(dǎo)數(shù)為dm，所需的導(dǎo)致導(dǎo)數(shù)為0的權(quán)值改變?yōu)锳%。l1一現(xiàn)機(jī)（dm1 dm）/Awmi項(xiàng)是曲率的近似值，它是誤差表面梯度在權(quán)值w