神經(jīng)網(wǎng)絡(luò)講義

神經(jīng)網(wǎng)絡(luò)講義第1頁，共17頁，2023年，2月20日，星期六4/23/2023內(nèi)容安排一、生物神經(jīng)元結(jié)構(gòu)二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第2頁，共17頁，2023年，2月20日，星期六4/23/2023一生物神經(jīng)元結(jié)構(gòu)Whatyouseeinthepicture?第3頁，共17頁，2023年，2月20日，星期六4/23/2023生物神經(jīng)元示意圖一生物神經(jīng)元第4頁，共17頁，2023年，2月20日，星期六4/23/2023神經(jīng)元的相互連接第5頁，共17頁，2023年，2月20日，星期六4/23/2023生物神經(jīng)網(wǎng)絡(luò)的模型化——人工神經(jīng)網(wǎng)絡(luò)

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)?！?/p>

第6頁，共17頁，2023年，2月20日，星期六4/23/2023二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)第7頁，共17頁，2023年，2月20日，星期六4/23/2023通用模型求和操作響應(yīng)函數(shù)人工神經(jīng)元模型

第8頁，共17頁，2023年，2月20日，星期六4/23/2023人工神經(jīng)元模型

響應(yīng)函數(shù)的基本作用控制輸入對輸出的激活作用對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出第9頁，共17頁，2023年，2月20日，星期六4/23/2023(a)閾值單元(b)線性單元(c)(d)非線性單元：Sigmoid函數(shù)

常見神經(jīng)元響應(yīng)函數(shù)第10頁，共17頁，2023年，2月20日，星期六4/23/2023常見神經(jīng)元響應(yīng)函數(shù)人工神經(jīng)元的響應(yīng)函數(shù)第11頁，共17頁，2023年，2月20日，星期六4/23/2023人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)大腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)之所以具有思維認(rèn)識等高級功能，是由于它是由無數(shù)個神經(jīng)元相互連接而構(gòu)成的一個極為龐大而復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)也是一樣，單個神經(jīng)元的功能是很有限的，只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。第12頁，共17頁，2023年，2月20日，星期六4/23/20231．前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖a所示。網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。最上一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類型。2．從輸出到輸入有反饋的前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖b所示。網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成第13頁，共17頁，2023年，2月20日，星期六4/23/2023第14頁，共17頁，2023年，2月20日，星期六4/23/2023人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成3．層內(nèi)互連前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖c所示。通過層內(nèi)神經(jīng)元之間的相互連接，可以實現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時動作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個整體來動作。一些自組織競爭型神經(jīng)網(wǎng)絡(luò)就屬于這種類型。第15頁，共17頁，2023年，2月20日，星期六4/23/2023人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成4．互連網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖d所示?；ミB網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬