人工神經(jīng)網(wǎng)絡(luò)實(shí)用教程人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)實(shí)用教程人工神經(jīng)網(wǎng)絡(luò)第一頁(yè)，共三十六頁(yè)，編輯于2023年，星期六6/15/20231

主講：蔣世忠

信息工程圖像處理教研室

Blog1:/jiangkeke

Blog2:/blog/blog.php?uid=7

6/15/20232第二頁(yè)，共三十六頁(yè)，編輯于2023年，星期六教材書(shū)名：《神經(jīng)網(wǎng)絡(luò)實(shí)用教程》出版社：機(jī)械工業(yè)出版社出版日期：2008年2月作者：張良均曹晶蔣世忠6/15/20233第三頁(yè)，共三十六頁(yè)，編輯于2023年，星期六6/15/20234第四頁(yè)，共三十六頁(yè)，編輯于2023年，星期六課件、實(shí)驗(yàn)及學(xué)習(xí)支持網(wǎng)站1、智能中國(guó)網(wǎng)：

2、神經(jīng)網(wǎng)絡(luò)在線：

/6/15/20235第五頁(yè)，共三十六頁(yè)，編輯于2023年，星期六課件、實(shí)驗(yàn)及學(xué)習(xí)支持網(wǎng)站神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)站智能中國(guó)網(wǎng)論壇我的教學(xué)博客我的專業(yè)博客MATLAB中文論壇神經(jīng)網(wǎng)絡(luò)參考書(shū)籍：神經(jīng)網(wǎng)絡(luò)入門教程/blog/article.php?type=blog&itemid=236/15/20236第六頁(yè)，共三十六頁(yè)，編輯于2023年，星期六課程目的和基本要求熟悉人工神經(jīng)網(wǎng)絡(luò)的基本理論，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)解決實(shí)際應(yīng)用中的問(wèn)題。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)先行者們的問(wèn)題求解方法。通過(guò)仿真實(shí)驗(yàn)進(jìn)一步體會(huì)有關(guān)模型的用法和性能，能將其應(yīng)用到讀者各自的領(lǐng)域。掌握混合編程方法，能應(yīng)用此方法編寫實(shí)際問(wèn)題的解決方案。6/15/20237第七頁(yè)，共三十六頁(yè)，編輯于2023年，星期六第1章人工神經(jīng)網(wǎng)絡(luò)第八頁(yè)，共三十六頁(yè)，編輯于2023年，星期六6/15/20238第1章人工神經(jīng)網(wǎng)絡(luò)1.1神經(jīng)網(wǎng)絡(luò)的基本概念1.2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及應(yīng)用6/15/20239第九頁(yè)，共三十六頁(yè)，編輯于2023年，星期六

1.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特點(diǎn)

生物神經(jīng)元在結(jié)構(gòu)上由四部分組成:細(xì)胞體(Cellbody)樹(shù)突(Dendrite)軸突(Axon)突觸(Synapse)用來(lái)完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有100億個(gè)神經(jīng)元，60億個(gè)神經(jīng)突觸以及它們的連接體6/15/202310第十頁(yè)，共三十六頁(yè)，編輯于2023年，星期六6/15/202311第十一頁(yè)，共三十六頁(yè)，編輯于2023年，星期六神經(jīng)纖維傳導(dǎo)演示神經(jīng)纖維上的傳導(dǎo)突觸間的傳導(dǎo)6/15/202312第十二頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特點(diǎn)人腦與計(jì)算機(jī)信息處理比較：記憶與聯(lián)想能力學(xué)習(xí)與認(rèn)知能力信息加工能力信息綜合能力信息處理速度

6/15/202313第十三頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位,是神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基礎(chǔ)。人工神經(jīng)元模型可以看成是由三種基本元素組成：(1)一組連接連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負(fù)值，權(quán)值為正表示激活，權(quán)值為負(fù)表示抑制。(2)一個(gè)加法器用于求輸入信號(hào)對(duì)神經(jīng)元的相應(yīng)突觸加權(quán)之和。(3)一個(gè)激活函數(shù)用來(lái)限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因?yàn)樗鼘⑤斎胄盘?hào)壓制(限制)到允許范圍之內(nèi)的一定值。另外，可以給一個(gè)神經(jīng)元模型加一個(gè)外部偏置，其作用是增加或降低激活函數(shù)的網(wǎng)絡(luò)輸入。

6/15/202314第十四頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型x1x2xmwi1wmkwi2...∑...

f()bk輸入信號(hào)連接權(quán)求和uk輸出激活函數(shù)閾值k6/15/202315第十五頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型一個(gè)神經(jīng)元可以用以下公式表示：6/15/202316第十六頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型激活函數(shù)主要的三種形式：階梯函數(shù)f(u)u16/15/202317第十七頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型分段線性函數(shù)f(u)u1-16/15/202318第十八頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.2人工神經(jīng)元模型非線性函數(shù)單極S型函數(shù)雙極S型函數(shù)6/15/202319第十九頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)網(wǎng)絡(luò)分為兩大類：分層網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)6/15/202320第二十頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)單純的前向網(wǎng)絡(luò)6/15/202321第二十一頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)具有反饋的前向網(wǎng)絡(luò)6/15/202322第二十二頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)6/15/202323第二十三頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式相互連接型網(wǎng)絡(luò)6/15/202324第二十四頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）無(wú)導(dǎo)師學(xué)習(xí)（無(wú)監(jiān)督學(xué)習(xí)）再勵(lì)學(xué)習(xí)6/15/202325第二十五頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)算法：學(xué)習(xí)算法是指針對(duì)學(xué)習(xí)問(wèn)題的明確規(guī)則，不同的學(xué)習(xí)算法對(duì)神經(jīng)元的權(quán)值調(diào)整的表達(dá)式是不同的。算法分類Hebb學(xué)習(xí)算法學(xué)習(xí)算法隨機(jī)學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法6/15/202326第二十六頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)Hebb學(xué)習(xí)算法由DonaldO.Hebb提出。如果兩個(gè)神經(jīng)元同時(shí)興奮，則它們之間的突觸連接加強(qiáng)。如果神經(jīng)元是神經(jīng)元的上層結(jié)點(diǎn)，用分別表示兩神經(jīng)元的激活值(輸出)，表示兩個(gè)神經(jīng)元之間的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則可以表示為:

式中表示學(xué)習(xí)速率Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形6/15/202327第二十七頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)算法誤差校正學(xué)習(xí)算法是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出誤差對(duì)神經(jīng)元的連接強(qiáng)度進(jìn)行修正，屬于有導(dǎo)師學(xué)習(xí)權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使下述公式所表達(dá)的誤差為最小6/15/202328第二十八頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)隨機(jī)學(xué)習(xí)算法誤差學(xué)習(xí)算法通常采用梯度下降法，因此存在局部最小問(wèn)題，隨機(jī)學(xué)習(xí)算法通過(guò)引入不穩(wěn)定因子來(lái)處理這種情況。經(jīng)典隨機(jī)學(xué)習(xí)算法模擬退化算法遺傳算法。6/15/202329第二十九頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)屬于無(wú)導(dǎo)師算法神經(jīng)元通過(guò)互相競(jìng)爭(zhēng)來(lái)做出不同的響應(yīng)競(jìng)爭(zhēng)獲勝的神經(jīng)元按規(guī)則修正權(quán)值經(jīng)典競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)(Self-OrganizationMap，SOM)自適應(yīng)共振網(wǎng)絡(luò)(AdaptiveResonaceTheory，ART)

6/15/202330第三十頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的特點(diǎn)不確定、模糊及數(shù)學(xué)建模困難并行分布式處理非線性處理具有自學(xué)習(xí)功能神經(jīng)網(wǎng)絡(luò)可采用硬件實(shí)現(xiàn)6/15/202331第三十一頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域語(yǔ)音識(shí)別語(yǔ)音識(shí)別娃娃圖像識(shí)別與理解人臉檢測(cè)6/15/202332第三十二頁(yè)，共三十六頁(yè)，編輯于2023年，星期六1.2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域機(jī)器人智能故障檢測(cè)醫(yī)學(xué)應(yīng)用醫(yī)學(xué)圖像處理6/15/202333第三十三頁(yè)，共三十六頁(yè)，編輯于2023年，星期六神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域國(guó)防軍事應(yīng)用航天器姿態(tài)