我的人工神經(jīng)網(wǎng)絡(luò)2基礎(chǔ)

1、第第2章章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)主要內(nèi)容主要內(nèi)容n生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng) n人工神經(jīng)元人工神經(jīng)元 n單級(jí)單級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) n示例示例生物體的神經(jīng)系統(tǒng)生物體的神經(jīng)系統(tǒng)圖圖1 生物體的神經(jīng)元生物體的神經(jīng)元n根據(jù)一個(gè)簡(jiǎn)化的統(tǒng)計(jì)，人腦由百億條神經(jīng)組根據(jù)一個(gè)簡(jiǎn)化的統(tǒng)計(jì)，人腦由百億條神經(jīng)組成成 每條神經(jīng)平均連結(jié)到其它幾千條神經(jīng)。每條神經(jīng)平均連結(jié)到其它幾千條神經(jīng)。通過這種連結(jié)方式，神經(jīng)可以收發(fā)不同數(shù)量的通過這種連結(jié)方式，神經(jīng)可以收發(fā)不同數(shù)量的能量。能量。n神經(jīng)的一個(gè)非常重要的功能是它們對(duì)能量的接神經(jīng)的一個(gè)非常重要的功能是它們對(duì)能量的接受并不是立即作出響應(yīng)，而是將它們累加起來，受并不是立

2、即作出響應(yīng)，而是將它們累加起來，當(dāng)這個(gè)累加的總和達(dá)到某個(gè)臨界閾值時(shí)，它們當(dāng)這個(gè)累加的總和達(dá)到某個(gè)臨界閾值時(shí)，它們將它們自己的那部分能量發(fā)送給其它的神經(jīng)。將它們自己的那部分能量發(fā)送給其它的神經(jīng)。n大腦通過調(diào)節(jié)這些連結(jié)的數(shù)目和強(qiáng)度進(jìn)行學(xué)習(xí)。大腦通過調(diào)節(jié)這些連結(jié)的數(shù)目和強(qiáng)度進(jìn)行學(xué)習(xí)。盡管這是個(gè)生物行為的簡(jiǎn)化描述。但同樣可以盡管這是個(gè)生物行為的簡(jiǎn)化描述。但同樣可以充分有力地被看作是神經(jīng)網(wǎng)絡(luò)的模型。充分有力地被看作是神經(jīng)網(wǎng)絡(luò)的模型。n根據(jù)生物神經(jīng)系統(tǒng)的工作過程，我們可以大概根據(jù)生物神經(jīng)系統(tǒng)的工作過程，我們可以大概理解以下這個(gè)圖所要表達(dá)的含義：理解以下這個(gè)圖所要表達(dá)的含義： 圖圖2 生物體的神經(jīng)系統(tǒng)工作原

3、理生物體的神經(jīng)系統(tǒng)工作原理生活中的神經(jīng)網(wǎng)絡(luò)生活中的神經(jīng)網(wǎng)絡(luò)n大家可以想象這樣一種情形：寒冷的冬大家可以想象這樣一種情形：寒冷的冬天，我們伸手到火爐邊烤火，慢慢地，天，我們伸手到火爐邊烤火，慢慢地，你覺得自己快要睡著了，這個(gè)時(shí)候，突你覺得自己快要睡著了，這個(gè)時(shí)候，突然發(fā)現(xiàn)自己伸在火爐邊的手特別燙得疼，然發(fā)現(xiàn)自己伸在火爐邊的手特別燙得疼，然后馬上將手縮回去。然后馬上將手縮回去。生活中的神經(jīng)網(wǎng)絡(luò)生活中的神經(jīng)網(wǎng)絡(luò)n這就是一個(gè)神經(jīng)網(wǎng)絡(luò)的工作實(shí)例，火對(duì)這就是一個(gè)神經(jīng)網(wǎng)絡(luò)的工作實(shí)例，火對(duì)手產(chǎn)生的溫度就是圖手產(chǎn)生的溫度就是圖2的輸入層。的輸入層。（input），而縮手或不縮手就是圖），而縮手或不縮手就是圖2的

4、的輸出層（輸出層（output）。）。n但是縮手只有在手的溫度達(dá)到一定的程但是縮手只有在手的溫度達(dá)到一定的程度才發(fā)生的，比如說度才發(fā)生的，比如說40度。度。 數(shù)學(xué)解釋數(shù)學(xué)解釋n用圖用圖2來表示上面所說的情形：來表示上面所說的情形： nx1 = 火對(duì)手產(chǎn)生的溫度火對(duì)手產(chǎn)生的溫度 nw1 =火對(duì)手產(chǎn)生的溫度的權(quán)值（對(duì)火對(duì)火對(duì)手產(chǎn)生的溫度的權(quán)值（對(duì)火對(duì)手產(chǎn)生的溫度的放大或是縮小，我們讓手產(chǎn)生的溫度的放大或是縮小，我們讓這個(gè)值為這個(gè)值為1） n激活函數(shù)（激活函數(shù)（active function）= 如果如果 x1 * w1 40 激活（縮手），否則抑激活（縮手），否則抑制（不縮手）制（不縮手） n這是

5、單輸入的情況，如果有多個(gè)輸入，這是單輸入的情況，如果有多個(gè)輸入，則輸出為則輸出為 f(x1 * w1 + x2 * w2 + x3 * w3 ) n其中，其中，f(x)為激活函數(shù)。為激活函數(shù)。 示例示例nand運(yùn)算：運(yùn)算： 常用的求和運(yùn)算，如：常用的求和運(yùn)算，如：1 and 0 = 0 nor運(yùn)算：運(yùn)算： 常用的求并運(yùn)算，如：常用的求并運(yùn)算，如：1 or 0 = 1 2個(gè)（多）輸入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖個(gè)（多）輸入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖nand運(yùn)算運(yùn)算 其中其中f(x) = if (x = 2) return 1; else return 0; 閾值為閾值為2 。檢驗(yàn)檢驗(yàn)n我們可以利用這個(gè)結(jié)構(gòu)圖來檢驗(yàn)一下

6、是否正確：我們可以利用這個(gè)結(jié)構(gòu)圖來檢驗(yàn)一下是否正確： nx1 = 0, x2 = 0, x = x1*w1 + x2*w2 = 0 f(x) = 0;正確正確 nx1 = 0, x2 = 1, x = x1*w1 + x2*w2 = 1 f(x) = 0;正確正確 nx1 = 1, x2 = 0, x = x1*w1 + x2*w2 = 1 f(x) = 0;正確正確 nx1 = 1, x2 = 1, x = x1*w1 + x2*w2 = 2 f(x) = 1;正確正確 or運(yùn)算運(yùn)算 其中其中f(x) = if (x = 1) return 1; else return 0; 閾值為閾值為1

7、 。2個(gè)（多）輸入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖個(gè)（多）輸入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖n我們可以利用這個(gè)結(jié)構(gòu)圖來檢驗(yàn)一下是否正確：我們可以利用這個(gè)結(jié)構(gòu)圖來檢驗(yàn)一下是否正確： nx1 = 0, x2 = 0, x = x1*w1 + x2*w2 = 0 f(x) = 0;正確正確 nx1 = 0, x2 = 1, x = x1*w1 + x2*w2 = 1 f(x) = 1;正確正確 nx1 = 1, x2 = 0, x = x1*w1 + x2*w2 = 1 f(x) = 1;正確正確 nx1 = 1, x2 = 1, x = x1*w1 + x2*w2 = 2 f(x) = 1;正確正確生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng)/ /人

8、工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本特性的基本特性n六個(gè)基本特征：n1）神經(jīng)元及其聯(lián)接；n2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；n3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨學(xué)習(xí)改變的；n4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；n5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；n6) 每個(gè)神經(jīng)元可以有一個(gè)“閾值”。學(xué)習(xí)學(xué)習(xí)n上面上面2個(gè)實(shí)例，就是我們需要建立的一個(gè)個(gè)實(shí)例，就是我們需要建立的一個(gè)神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)模型。 n但是我們?nèi)绾未_定但是我們?nèi)绾未_定w1,w2和閾值呢？和閾值呢？ n這就需要通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)，從而確這就需要通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)，從而確定定w1,w2和閾值。和閾值。 學(xué)習(xí)

9、學(xué)習(xí)n拿計(jì)算拿計(jì)算and運(yùn)算的模型來說，需要運(yùn)算的模型來說，需要2個(gè)個(gè)輸入輸入1個(gè)輸出是肯定的。關(guān)鍵就是如何確個(gè)輸出是肯定的。關(guān)鍵就是如何確定定2個(gè)輸入的權(quán)值和激活函數(shù)的閾值。個(gè)輸入的權(quán)值和激活函數(shù)的閾值。 n為了計(jì)算激活函數(shù)的閾值，我們可以增為了計(jì)算激活函數(shù)的閾值，我們可以增加一個(gè)輸入層，變成這個(gè)樣子加一個(gè)輸入層，變成這個(gè)樣子 ：其中其中f(x) = if (x = 2) return 1; else return 0; 閾值讓閾值讓w3去定去定 。原先的問題就轉(zhuǎn)化成了求解原先的問題就轉(zhuǎn)化成了求解w1, w2 ,w3的大小的問題了。的大小的問題了。 學(xué)習(xí)律（規(guī)則）學(xué)習(xí)律（規(guī)則）n我們制定這樣

10、的學(xué)習(xí)規(guī)律：我們制定這樣的學(xué)習(xí)規(guī)律： nw(i) = w(i)+ (正確值正確值-實(shí)際計(jì)算實(shí)際計(jì)算的值的值)*x(i). 通過一定次數(shù)的訓(xùn)練，我們就可以讓通過一定次數(shù)的訓(xùn)練，我們就可以讓(正確值正確值-實(shí)際計(jì)算的值實(shí)際計(jì)算的值)變得相當(dāng)下，這樣最后的結(jié)果變得相當(dāng)下，這樣最后的結(jié)果也就穩(wěn)定了，同時(shí)求出了我們需要的也就穩(wěn)定了，同時(shí)求出了我們需要的w1, w2 ,w3的近似值。的近似值。實(shí)際執(zhí)行過程實(shí)際執(zhí)行過程n得到訓(xùn)練集合（合理的輸入和期望的輸?shù)玫接?xùn)練集合（合理的輸入和期望的輸出（如：輸入出（如：輸入x1=1，x2=1輸出輸出1） n隨機(jī)給隨機(jī)給w1, w2,w3賦值賦值 n執(zhí)行一定次數(shù)的訓(xùn)練執(zhí)行

11、一定次數(shù)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) n人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。n1962年，rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。n人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。n人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的學(xué)習(xí)過程人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) n確定的內(nèi)容 權(quán)值wi和n確定的方式 學(xué)習(xí)（訓(xùn)練） 有監(jiān)督的學(xué)習(xí)：已知一組正確的輸入輸出結(jié)果的條件下，神經(jīng)網(wǎng)絡(luò)依據(jù)這些數(shù)據(jù)，調(diào)整并確定權(quán)值； 無監(jiān)督的學(xué)習(xí)：只有輸入數(shù)據(jù)，沒有正確的輸出結(jié)果情況下，確定權(quán)值。無監(jiān)督學(xué)習(xí) n無監(jiān)督學(xué)習(xí)(unsupervised learning)與無監(jiān)督學(xué)習(xí)(un

12、supervised training)相對(duì)應(yīng) n抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)nhebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（competitive and cooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（randomly connected learning）等。nhebb算法算法d. o. hebb在在1961年年的核心的核心：n當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng)，否則被減弱。n數(shù)學(xué)表達(dá)式表示：nwij（t+1）=wij（t）+vi（t）vj（t）hebbhebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則n如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng) n

13、a為學(xué)習(xí)速率，vi, vj為神經(jīng)元i和j的輸出nhebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作hebb學(xué)習(xí)規(guī)則的變形 有監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí) n有監(jiān)督學(xué)習(xí)(supervised learning)與有監(jiān)督學(xué)習(xí)(supervised training)相對(duì)應(yīng)。n輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“學(xué)習(xí)對(duì)”。n有監(jiān)督學(xué)習(xí)的學(xué)習(xí)算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（ai，bi）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出o； 3） 求d=bi-o；4） 根據(jù)d調(diào)整權(quán)矩陣w； 5） 對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工

14、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) n學(xué)習(xí)與工作的關(guān)系 先學(xué)習(xí)再工作閾值邏輯單元（閾值邏輯單元（threshold logic unit，tlu）n理解神經(jīng)網(wǎng)絡(luò)的第一步是從對(duì)抽象生物神理解神經(jīng)網(wǎng)絡(luò)的第一步是從對(duì)抽象生物神經(jīng)開始，并把重點(diǎn)放在經(jīng)開始，并把重點(diǎn)放在閾值邏輯單元（閾值邏輯單元（tlu）這一特征上。一個(gè)這一特征上。一個(gè) tlu 是一個(gè)對(duì)象，它可是一個(gè)對(duì)象，它可以輸入一組加權(quán)系數(shù)的量，對(duì)它們進(jìn)行求以輸入一組加權(quán)系數(shù)的量，對(duì)它們進(jìn)行求和，如果這個(gè)和達(dá)到或者超過了某個(gè)閾值，和，如果這個(gè)和達(dá)到或者超過了某個(gè)閾值，輸出一個(gè)量。輸出一個(gè)量。閾值邏輯單元（閾值邏輯單元（threshold logic unit，tlu）

15、n用符號(hào)標(biāo)注這些功能：用符號(hào)標(biāo)注這些功能： 輸入值：輸入值： x1, x2, ., xn 權(quán)系數(shù)：權(quán)系數(shù)： w1, w2, ., wn激發(fā)層激發(fā)層 a：求和計(jì)算出的求和計(jì)算出的 xi*wi ，即：，即： a = (x1 * w1)+(x2 * w2)+.+(xi * wi)+.+ (xn * wn)閾值邏輯單元（閾值邏輯單元（threshold logic unit，tlu）n閾值：閾值： thetan輸出結(jié)果：輸出結(jié)果： y當(dāng)當(dāng) a =theta 時(shí)時(shí) y=1，反之，反之 y=0。n注意：注意：輸出可以是連續(xù)的，因?yàn)樗部梢暂敵隹梢允沁B續(xù)的，因?yàn)樗部梢杂梢粋€(gè)由一個(gè) squash 函數(shù)函數(shù)

16、s（或（或 sigma）判定，）判定，該函數(shù)的自變量是該函數(shù)的自變量是 a，函數(shù)值在，函數(shù)值在 0 和和 1 之之間，間，y=s(a)。 /初始化訓(xùn)練集合初始化訓(xùn)練集合trainsetsets=newtrainsetnewtrainset(0,0,0),newtrainset(0,1,0),newtrainset(1,0,0),newtrainset(1,1,1);/構(gòu)造單層神經(jīng)網(wǎng)絡(luò)構(gòu)造單層神經(jīng)網(wǎng)絡(luò)2個(gè)輸入節(jié)點(diǎn)個(gè)輸入節(jié)點(diǎn)1個(gè)輸出節(jié)點(diǎn)個(gè)輸出節(jié)點(diǎn)neuralnetworknn=newneuralnetwork(2,1);slnn=newsinglelayerneuralnetworks(nn,se

17、ts);/訓(xùn)練訓(xùn)練slnn.train();messagebox.show(and運(yùn)算訓(xùn)練結(jié)束運(yùn)算訓(xùn)練結(jié)束);this.button2.enabled=true;this.button3.enabled=true;this.button4.enabled=true;this.button1.enabled=true;this.text=and運(yùn)算運(yùn)算;and計(jì)算的總體運(yùn)行過程計(jì)算的總體運(yùn)行過程 n閾值邏輯單元，帶有 sigma 函數(shù)（頂部）和 cutoff 函數(shù)（底部） 激活函數(shù)(activation function) n激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化

18、函數(shù)： o=f（net） n1、線性函數(shù)（liner function） f（net）=k*net+c netooc非線性斜面函數(shù)(ramp function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 非線性斜面函數(shù)（ramp function） - - net o 閾值函數(shù)（threshold function）階躍函數(shù)if netf（net）=-if net 、均為非負(fù)實(shí)數(shù)，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if net 3、閾值函數(shù)（threshold fu

19、nction）階躍函數(shù) -onet04、s形函數(shù) 壓縮函數(shù)（squashing function）和邏輯斯特函數(shù)（logistic function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。最簡(jiǎn)單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。ns形函數(shù)有較好的增益控制 4、s形函數(shù) a+b o(0,c)netac=a+b/2n 這三個(gè)點(diǎn)正處在兩個(gè)區(qū)間的中間，數(shù)學(xué)方程式無法判斷。為此用人工神經(jīng)網(wǎng)絡(luò)判斷。輸入信號(hào)為x ，y。但要求取值都在0，1之間。由于x，y均在1.12.1，所有數(shù)都減去1.1，歸一化就完成了。n 處理的基本思路是：自15個(gè)已知樣品中找出規(guī)律，將此規(guī)律用于處理三個(gè)未確認(rèn)的樣本。n 解決實(shí)際問題時(shí)要根據(jù)具體情況確定隱含層的層