第4章(人工神經(jīng)網(wǎng)絡(luò)1-基礎(chǔ)知識(shí))

第4章人工神經(jīng)網(wǎng)絡(luò)內(nèi)容：教材109-119、191-200頁(yè)4.1基礎(chǔ)知識(shí)（補(bǔ)充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò)4.1基礎(chǔ)知識(shí)1最速下降法（梯度法）2Matlab程序設(shè)計(jì)語(yǔ)言與神經(jīng)網(wǎng)絡(luò)工具箱

1最速下降法最速下降法（又稱梯度法）是1847年Cauchy提出來(lái)的最優(yōu)化算法，用于求解非線性函數(shù)的局部最小值（最小點(diǎn)）回顧高等數(shù)學(xué)中一元函數(shù)的求極值問(wèn)題：極小點(diǎn)的條件是：n

元函數(shù)極小點(diǎn)的條件：矩陣是半正定的Hesse矩陣梯度自然而然想到的求極小值的方法令梯度為零，通過(guò)解非線性方程組，求出一組極值點(diǎn)根據(jù)每一個(gè)極值點(diǎn)處的矩陣是否為半正定，來(lái)判斷極小值點(diǎn)在實(shí)際中，這一方法是不可行的：變量的個(gè)數(shù)多不易求解非線性方程組不易判斷矩陣是否半正定在最優(yōu)化技術(shù)中，采用迭代的方法求出其中的一個(gè)解不同的初始值可能對(duì)應(yīng)于不同的解，并求出局部極值在最速下降法中，以負(fù)梯度方向作為極小化算法的下降方向迭代格式為梯度是迭代步長(zhǎng)，可以用一維搜索來(lái)確定

終止準(zhǔn)則：向量的2范數(shù)：最速下降法的計(jì)算步驟：1：給定初始點(diǎn)x1，允許誤差ε，置k=12：計(jì)算搜索方向g(xk)=

f(xk)3：如果||g(x)||2≤ε，則終止計(jì)算，算法找到解。否則，從xk

出發(fā)，沿-g(xk)

進(jìn)行一維搜索，求出αk，使得

f(xk-αkg(xk))=min

f(xk-α

g(xk))4：置xk+1=xk-αkg(xk)

，k=k+1，轉(zhuǎn)到步2

說(shuō)明：在編程時(shí)，還需要設(shè)置最大允許迭代次數(shù)，以提前終止迭代過(guò)程在人工神經(jīng)網(wǎng)絡(luò)的算法中經(jīng)常人為地設(shè)定迭代步長(zhǎng)（學(xué)習(xí)率）

（常量或者單調(diào)減?。┨荻确ǖ奶攸c(diǎn)：一般來(lái)說(shuō)，只能找到一個(gè)局部最小點(diǎn)（多解）收斂速度較慢算法結(jié)構(gòu)簡(jiǎn)單，易于用各種編程語(yǔ)言來(lái)實(shí)現(xiàn)2Matlab程序設(shè)計(jì)語(yǔ)言與神經(jīng)網(wǎng)絡(luò)工具箱

(1)Matlab簡(jiǎn)介

Matlab（MatrixLaboratory）是美國(guó)MathWorks公司的產(chǎn)品，是一種功能強(qiáng)大、效率高、便于進(jìn)行科學(xué)和工程計(jì)算的交互式軟件包。當(dāng)前使用的版本：Matlab6.1、Matlab6.5和Matlab7.0Matlab的特點(diǎn)：①高效方便的矩陣和數(shù)組運(yùn)算例如：求Ax=b，語(yǔ)句是x=A\b

求特征值，語(yǔ)句是e=eig(A)②編程效率高M(jìn)atlab語(yǔ)言簡(jiǎn)潔緊湊，使用靈活方便，程序書(shū)寫(xiě)形式自由。庫(kù)函數(shù)豐富③結(jié)構(gòu)化/面向?qū)ο螽?dāng)前Matlab版本采用C++編寫(xiě)的，既有結(jié)構(gòu)化的控制語(yǔ)句（for,while,break,continue,if），又有面向?qū)ο缶幊痰奶匦寓芊奖愕睦L圖功能能夠繪制各種二維、三維圖件⑤用戶使用方便使用方式有命令行和.m文件（腳本M文件、函數(shù)M文件）。后者作為編譯型語(yǔ)言使用：編輯-編譯-連接-執(zhí)行與調(diào)試⑥功能強(qiáng)大的工具箱近三十個(gè)工具箱⑦擴(kuò)充能力強(qiáng)用戶可以自己編寫(xiě)函數(shù)，建立新的庫(kù)函數(shù)和擴(kuò)充庫(kù)函數(shù)。核心文件和工具箱文件都是可讀可寫(xiě)的源文件，用戶可以修改?？梢耘cC，C++語(yǔ)言混合編程⑧計(jì)算速度比C語(yǔ)言慢，易學(xué)會(huì)難精通(2)Matlab語(yǔ)言的要點(diǎn)

注釋行注釋行的開(kāi)頭是“％”變量變量命名規(guī)則是：①區(qū)分大小寫(xiě)②長(zhǎng)度最多不能超過(guò)19個(gè)字符③變量名必須以字母開(kāi)頭，由字母、數(shù)字和下劃線組成數(shù)組數(shù)組是一系列數(shù)的有序排列，用方括號(hào)“[]”表示數(shù)組的下標(biāo)從1開(kāi)始元素之間用“空格”或“逗號(hào)”分開(kāi)例：x=[0,1,2,3,4,5,6];（行向量）x(1)：第一個(gè)元素x(1:5)：第一到第五個(gè)元素x(3:-1:1)：第三到第一個(gè)元素

注意：如果語(yǔ)句最后沒(méi)有“；”，則顯示x

的所有值有分號(hào)則不顯示矩陣矩陣用“方括號(hào)”來(lái)表示同一行的數(shù)據(jù)用“空格”或“逗號(hào)”隔開(kāi)不同行的數(shù)據(jù)用“分號(hào)”隔開(kāi)例：A=[1,0,0;0,1,0;0,0,1];引用一個(gè)元素可以用兩個(gè)下標(biāo)來(lái)表示例A(i,j)引用多個(gè)元素可以用冒號(hào)來(lái)表示例A（：，j）：第

j列的所有元素4.1.2.3神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱包含了人工神經(jīng)網(wǎng)絡(luò)中的主要模型與算法，具體有：①感知器神經(jīng)網(wǎng)絡(luò)（Perceptron，Rosenblatt，1957）②線性神經(jīng)網(wǎng)路（Adaline,Widrow和Hoff，1960）③BP神經(jīng)網(wǎng)絡(luò)（BP，Rumelhart和McCelland，1986）④自組織網(wǎng)絡(luò)（SOM，Kohonen，1980）⑤離散的Hopfield網(wǎng)絡(luò)（Hopfield，1986）第4章人工神經(jīng)網(wǎng)絡(luò)4.1基礎(chǔ)知識(shí)（補(bǔ)充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò)4.2.1生理神經(jīng)元4.2.2人工神經(jīng)元4.2.3神經(jīng)網(wǎng)絡(luò)4.2.1生理神經(jīng)元1

生理神經(jīng)元的結(jié)構(gòu)

2生理神經(jīng)元的工作原理典型的神經(jīng)元分成：細(xì)胞體(cellbody)突(process)1生理神經(jīng)元的結(jié)構(gòu)軸突(axon)樹(shù)突(dendrite)生理神經(jīng)元的組成軸突是個(gè)突出部分，長(zhǎng)度可達(dá)lm，把本神經(jīng)元的輸出發(fā)送到與其相連接的其它神經(jīng)元生理神經(jīng)元的組成輸出端樹(shù)突是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來(lái)自其它神經(jīng)元的生物信號(hào)

生理神經(jīng)元的組成輸入端輸出端突觸是軸突的末端與樹(shù)突進(jìn)行信號(hào)傳遞的界面生理神經(jīng)元的組成接口輸出端輸入端輸入端2神經(jīng)元的工作原理只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平后，神經(jīng)元才會(huì)產(chǎn)生一個(gè)全強(qiáng)度的輸出窄脈沖，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。此時(shí)，稱為神經(jīng)元的觸發(fā)（抑制轉(zhuǎn)化為興奮）神經(jīng)元通過(guò)突觸形成的網(wǎng)絡(luò)，傳遞神經(jīng)元間的興奮與抑制；大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實(shí)現(xiàn)記憶與思維4.2.2人工神經(jīng)元人工神經(jīng)元是生理神經(jīng)元的數(shù)學(xué)模型，由McCulloch

與Pitts

在1943年首先建立的，現(xiàn)在的模型經(jīng)過(guò)后人適當(dāng)?shù)母倪M(jìn)與完善在人