人工神經(jīng)網(wǎng)絡(luò)-算法推導(dǎo)

人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)

模仿人腦工作方式而設(shè)計(jì)的一種機(jī)器，它可以用電子或光電元件實(shí)現(xiàn)，也可用軟件在常規(guī)計(jì)算機(jī)上仿真；或者說(shuō)NN是一種具有大量連接的并行分布式處理器（但是該處理器與傳統(tǒng)計(jì)算機(jī)的處理器相比，極為簡(jiǎn)單，只是周期性的接受信號(hào)及周期性的發(fā)送信號(hào)到其他處理器），它具有通過(guò)學(xué)習(xí)獲取知識(shí)并解決問(wèn)題的能力，且知識(shí)是分布存儲(chǔ)在連接權(quán)（對(duì)應(yīng)于生物神經(jīng)元的突觸）中，而不是向常規(guī)計(jì)算機(jī)那樣按地址存在特定的存儲(chǔ)單元中。

生物神經(jīng)元的結(jié)構(gòu)神經(jīng)元的結(jié)構(gòu)模型感知器根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫(xiě)出第i個(gè)輸出神經(jīng)元的輸出，感知器中使用了符號(hào)閾值函數(shù)單元，因此使感知器能夠?qū)⑤斎胂蛄糠譃閮蓚€(gè)區(qū)域，則有

感知器學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則是用來(lái)計(jì)算網(wǎng)絡(luò)的新的權(quán)值和閾值的算法，感知器利用其學(xué)習(xí)規(guī)則來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使該網(wǎng)絡(luò)的輸出最終達(dá)到目標(biāo)的期望值。對(duì)于輸入向量P，輸出向量α，目標(biāo)矢量為t的感知器，該感知器的學(xué)習(xí)誤差為e，則e=t-α。此時(shí)感知器的權(quán)值與閾值修正公式為：感知器學(xué)習(xí)規(guī)則則更新的權(quán)值與閾值為:用矩陣來(lái)表示相應(yīng)的權(quán)值與閾值更新公式:感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

神經(jīng)網(wǎng)絡(luò)在應(yīng)用之前必須經(jīng)過(guò)訓(xùn)練，由此決定網(wǎng)絡(luò)的權(quán)值和閾值。感知器的訓(xùn)練過(guò)程為：對(duì)于給定的輸入向量P，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出為α，并于相應(yīng)的目標(biāo)向量t進(jìn)行比較，用得到的誤差e，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和閾值的調(diào)整；重新計(jì)算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過(guò)程，直到網(wǎng)絡(luò)的輸出與目標(biāo)值相等或者訓(xùn)練的次數(shù)達(dá)到預(yù)想設(shè)定的最大值時(shí)結(jié)束訓(xùn)練。

感知器學(xué)習(xí)規(guī)則對(duì)應(yīng)于線性判別函數(shù)對(duì)線性可分問(wèn)題，算法收斂，對(duì)線性不可分的數(shù)據(jù)，算法不收斂感知器的局限性

（1）由于感知器的激活函數(shù)是閾值函數(shù)，則感知器神經(jīng)網(wǎng)絡(luò)的輸出只能取0或1。因此感知器只能適用于簡(jiǎn)單的分類(lèi)問(wèn)題。（2）感知器神經(jīng)網(wǎng)絡(luò)只能對(duì)線性可分的向量集合進(jìn)行分類(lèi)。理論上已經(jīng)證明，只要輸入向量是線性可分的，感知器在有限的時(shí)間內(nèi)總能達(dá)到目標(biāo)向量。但是如何確定輸入向量是否線性可分，尤其當(dāng)輸入向量增多時(shí)，更難以確定?！阒挥性O(shè)置一定的循環(huán)次數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練而判定它是否能被線性可分。（3）當(dāng)感知器神經(jīng)網(wǎng)絡(luò)的所有輸入樣本中存在奇異的樣本，即該樣本向量同其他所有的樣本向量比較起來(lái)特別大或特別小時(shí)，網(wǎng)絡(luò)訓(xùn)練花費(fèi)的時(shí)間將很長(zhǎng)。解決這種問(wèn)題的方法可以采用標(biāo)準(zhǔn)化感知器學(xué)習(xí)規(guī)則。感知器計(jì)算說(shuō)明例1：蘋(píng)果和橘子的自動(dòng)分類(lèi)問(wèn)題用一組傳感器測(cè)量水果的三個(gè)特征：外形、質(zhì)地和重量。如果水果基本上是圓形的，外形傳感器輸出為1，若水果接近于橢圓，外形傳感器輸出為0；如果水果表面光滑，質(zhì)地傳感器輸出為1，若水果表面粗糙，質(zhì)地傳感器輸出為0；如果水果重量超過(guò)1磅，重量傳感器輸出為1，若水果輕于1磅，重量傳感器輸出為0；神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱(chēng)為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則(learningrule)：Hebb學(xué)習(xí)算法誤差糾正學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法監(jiān)督學(xué)習(xí)對(duì)訓(xùn)練樣本集中的每一組輸入能提供一組目標(biāo)輸出網(wǎng)絡(luò)根據(jù)目標(biāo)輸出與實(shí)際輸出的誤差信號(hào)來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)教師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實(shí)際輸出輸入期望輸出誤差信號(hào)p(n)t(n)a(n)e(n)學(xué)習(xí)

方法非監(jiān)督學(xué)習(xí)與再勵(lì)學(xué)習(xí)非監(jiān)督學(xué)習(xí)：不存在教師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性再勵(lì)學(xué)習(xí)：外部環(huán)境對(duì)網(wǎng)絡(luò)輸出只給出評(píng)價(jià)信息而非正確答案，網(wǎng)絡(luò)通過(guò)強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來(lái)改善自身的性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評(píng)價(jià)信息學(xué)習(xí)

方法Hebb學(xué)習(xí)Hebb學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)規(guī)則的物理解釋?zhuān)狠斎胼敵鐾瑫r(shí)興奮時(shí)，相應(yīng)的權(quán)值得到加強(qiáng)幾乎所有的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法可看成Hebb學(xué)習(xí)規(guī)則的變形學(xué)習(xí)

常數(shù)學(xué)習(xí)

方法第八章人工神經(jīng)網(wǎng)絡(luò)18誤差糾正學(xué)習(xí)對(duì)于輸出層第k個(gè)神經(jīng)元的

實(shí)際輸出:

ak(n)

目標(biāo)輸出:

tk(n)

誤差信號(hào):

ek(n)=

tk(n)-

ak(n)

目標(biāo)函數(shù)為基于誤差信號(hào)ek(n)的函數(shù)，如誤差平方和判據(jù)(sumsquarederror,SSE)，或均方誤差判據(jù)(meansquarederror,MSE,即SSE對(duì)所有樣本的期望)學(xué)習(xí)

方法SSEMSE誤差糾正學(xué)習(xí)梯度下降法：對(duì)于感知器和線性網(wǎng)絡(luò)：delta學(xué)習(xí)規(guī)則對(duì)于多層感知器網(wǎng)絡(luò)：擴(kuò)展的delta學(xué)習(xí)規(guī)則，bp算法學(xué)習(xí)

方法競(jìng)爭(zhēng)學(xué)習(xí)輸出神經(jīng)元之間有側(cè)向抑制性連接，較強(qiáng)單元獲勝并抑制其他單元，獨(dú)處激活狀態(tài)（Winnertakesall,WTA）wkjkj學(xué)習(xí)

方法離散感知器Hebb規(guī)則δ規(guī)則Widrow-hoff規(guī)則LMS最小二乘法無(wú)導(dǎo)師，初值為0有導(dǎo)師，初值任意有導(dǎo)師，初值任意有導(dǎo)師，初值任意學(xué)習(xí)規(guī)則比較BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)神經(jīng)元分層排列，分別組成輸入層、中間層（也叫隱含層，可以由若干層組成），和輸出層。每一層的神經(jīng)元只接受來(lái)自前一層神經(jīng)元的輸入，后面的層對(duì)前面的層沒(méi)有信號(hào)反饋。輸入模式經(jīng)過(guò)各層的順序傳播，最后在輸出層得到輸出。BP網(wǎng)絡(luò)學(xué)習(xí)算法1.BP網(wǎng)絡(luò)前向傳播計(jì)