數(shù)學(xué)建模-校內(nèi)培訓(xùn)神經(jīng)網(wǎng)絡(luò)

2022/12/20周仲禮什么是神經(jīng)網(wǎng)絡(luò)？人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，簡稱NN)所謂NN就是為模仿人腦工作方式而設(shè)計(jì)的一種機(jī)器，它可以用電子或光電元件實(shí)現(xiàn)，也可以用軟件在常規(guī)計(jì)算機(jī)上仿真。是一種具有大量連接的并行分布式處理器，具有通過學(xué)習(xí)獲取知識并解決問題的能力，且知識是分布存儲于連接權(quán)（對應(yīng)于生物神經(jīng)元的突觸）中，而不是象常規(guī)計(jì)算機(jī)那樣按地址存在特定的存儲單元中。下面一個(gè)例子示意：2022/12/20周仲禮dogdag動(dòng)物知識dog輸入輸出字符識別器什么是神經(jīng)網(wǎng)絡(luò)？2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述1、人工神經(jīng)網(wǎng)絡(luò)的研究歷史人工神經(jīng)網(wǎng)絡(luò)研究發(fā)展歷程經(jīng)過三個(gè)時(shí)期：第一次研究高潮：二十世紀(jì)五十至六十年代1943年心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出M-P模型。1949年D.O.Hebb從心理學(xué)的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。1961年E.Rosenblatt提出了感知機(jī)模型(perceptron)。1962年Widrow提出了主要適用于自適應(yīng)系統(tǒng)的自適廣線性元件Adaline網(wǎng)絡(luò)。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述1、人工神經(jīng)網(wǎng)絡(luò)的研究歷史低潮時(shí)期：二十世紀(jì)六十年代末至七十年代

由于受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)的理論研究水平所限及應(yīng)用前景不明朗，加之受到馮·諾依曼式計(jì)算機(jī)大發(fā)展的沖擊等因素的影響，對神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。特別是M.Minsky等仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點(diǎn)極大地影響了神經(jīng)網(wǎng)絡(luò)的研究，加之當(dāng)時(shí)串行計(jì)算機(jī)和人工智能所取得的成就，掩蓋了發(fā)展新型計(jì)算機(jī)和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論（ART網(wǎng)）、自組織映射、認(rèn)知機(jī)網(wǎng)絡(luò)，同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述1、人工神經(jīng)網(wǎng)絡(luò)的研究歷史低潮時(shí)期：二十世紀(jì)六十年代末至七十年代

以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。特別是在美、日等國有少數(shù)學(xué)者扎扎實(shí)實(shí)地繼續(xù)著網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法：如Arbib的競爭模型、1977年Kohonen提出的自組織映射模型、Grossberg的自適應(yīng)諧振模型、Fukushima的新認(rèn)知機(jī)等。有的學(xué)者還提出了連接機(jī)制(Connectionism)和并行分布處理概念(ParallelDis-tributedProcessing)。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述1、人工神經(jīng)網(wǎng)絡(luò)的研究歷史第二次研究高潮：二十世紀(jì)八十年代初至現(xiàn)在1982年生物物理學(xué)家J.Hoppield教授提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，引入了能量函數(shù)概念，這一成果的取得使神經(jīng)網(wǎng)絡(luò)研究取得突破性進(jìn)展。84年他用此模型成功解決了旅行商問題(TSP)。1987年6月在美國加州舉行了第一屆神經(jīng)網(wǎng)絡(luò)國際會(huì)議。有一千多名學(xué)者參加，并成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)。后確定為每年召開兩次國際聯(lián)合神經(jīng)網(wǎng)絡(luò)大會(huì)。1990年我國的863高技術(shù)研究計(jì)劃批準(zhǔn)了關(guān)于人工神經(jīng)網(wǎng)絡(luò)的三項(xiàng)課題，自然科學(xué)基金與國防科技預(yù)研基金也都把神經(jīng)網(wǎng)絡(luò)的研究列入選題指南。2022/12/20周仲禮1940s1947Cybernetics1943McCulloch-Pitts1950s1956人工智能1957感知器1960sLisp語言1960sAdalineMadaline1965模糊集合1970smid-1970s知識工程專家系統(tǒng)1974反傳算法誕生1975識別神經(jīng)識別1974模糊控制器1970s遺傳算法1980s1980自組織映射1982Hopfield網(wǎng)絡(luò)1983波爾茲曼機(jī)1986反傳算法蓬勃發(fā)展1985模糊建模(TSK模型)80年代中期人工生命免疫建模1990s1990s神經(jīng)-模糊建模1991ANFIS1994CANFIS1990遺傳編程第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述幾種新型的神經(jīng)網(wǎng)絡(luò)(1)小波神經(jīng)網(wǎng)絡(luò)小波神經(jīng)網(wǎng)絡(luò)是20世紀(jì)90年代初結(jié)合小波分析理論和神經(jīng)網(wǎng)絡(luò)兩者的優(yōu)點(diǎn)而提出的一種前饋型神經(jīng)網(wǎng)絡(luò)。其基本思想是用小波元代替神經(jīng)元，通過仿射變換建立起小波變換與網(wǎng)絡(luò)系數(shù)之間的連接，并應(yīng)用于逼近L(Rn)中的函數(shù)f(x)。(2)模糊神經(jīng)網(wǎng)絡(luò)模糊神經(jīng)網(wǎng)絡(luò)這一新興領(lǐng)域的開拓者應(yīng)該歸功為美國南加利福尼亞大學(xué)信號和圖像處理研究所長B.kosko教授。1987年，B.kosko率先將模糊數(shù)學(xué)與神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了模糊神經(jīng)網(wǎng)絡(luò)的概念。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述幾種新型的神經(jīng)網(wǎng)絡(luò)(3)進(jìn)化神經(jīng)網(wǎng)絡(luò)近年來，越來越多的研究人員正在從事神經(jīng)網(wǎng)絡(luò)(NN)與進(jìn)化算法(EA)相結(jié)合的研究工作，從而開辟了新的進(jìn)化神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域，并且這一主題已成為人工生命領(lǐng)域中十分活躍的課題。(4)細(xì)胞神經(jīng)網(wǎng)絡(luò)CNN(細(xì)胞神經(jīng)網(wǎng)絡(luò))是由美國加州大學(xué)伯克利分校蔡少棠(L.O.Chua)教授于1988年提出的一種神經(jīng)網(wǎng)絡(luò)。它與HNN有相似之處，但又有不同的特點(diǎn)。CNN的輸出電壓的穩(wěn)態(tài)值只可能是+1v或-1v兩種情況，所以CNN的邏輯關(guān)系類似數(shù)字電路的0、1邏輯關(guān)系，因此在黑白圖像處理中得到廣泛應(yīng)用。

2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述幾種新型的神經(jīng)網(wǎng)絡(luò)(5)混沌神經(jīng)網(wǎng)絡(luò)代表性模型有三大類，即：由Aihara根據(jù)動(dòng)物實(shí)驗(yàn)提出的混沌神經(jīng)網(wǎng)絡(luò)模型；由Lnoue以及Kaneko等提出的耦合混沌神經(jīng)元網(wǎng)絡(luò)模型；由Chen和Aihara、Wang和Smith以及Hayakwa等提出的將傳統(tǒng)的Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行適當(dāng)變換后得到的一些具有混沌特性的模型。研究主要集中在三個(gè)方面，即時(shí)理論研究、應(yīng)用研究和實(shí)現(xiàn)研究。主要有：提出具有混沌特性的新型神經(jīng)元；對現(xiàn)在混沌神經(jīng)網(wǎng)絡(luò)特性進(jìn)行分析并加以改進(jìn)；對混沌神經(jīng)網(wǎng)絡(luò)中的混沌加以控制；小尺寸混沌神經(jīng)網(wǎng)絡(luò)特性分析等。應(yīng)用包括：用于模式識別和圖像處理；用于優(yōu)化控制；用于通信及語音處理；其實(shí)現(xiàn)主要是電路的方式來實(shí)現(xiàn)2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述關(guān)于神經(jīng)網(wǎng)絡(luò)的主要國際性雜志有：(1)NeuralNetworks(國際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)會(huì)刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)puting(6)NeuralComputation(7)InternationalJournalofNeuralSystems2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述2、人工神經(jīng)網(wǎng)絡(luò)的研究意義馮·諾依曼（VonNeumann）計(jì)算機(jī)的產(chǎn)生為世界的發(fā)展發(fā)揮了巨大的作用，現(xiàn)代計(jì)算機(jī)發(fā)展到今天，其運(yùn)算速度可達(dá)到每秒鐘數(shù)千億次以上，存儲量和計(jì)算機(jī)精度成倍地?cái)U(kuò)大和提高，但隨著社會(huì)的需求和時(shí)代的進(jìn)步，其自身的局限性顯得越來越突出。（1）計(jì)算機(jī)本身無主動(dòng)學(xué)習(xí)和自適應(yīng)能力；（2）處理信息方式是集中、串行的；（3）存儲內(nèi)容和存儲地址是不相關(guān)的。由于現(xiàn)行計(jì)算機(jī)的上述特點(diǎn)(亦可認(rèn)為局限性)，雖然在數(shù)值計(jì)算、邏輯運(yùn)算等串行信息處理中表現(xiàn)出遠(yuǎn)非人所能及的速度，但是在智能(如圖象、語言識別)計(jì)算方面卻相當(dāng)?shù)湍埽∶鎸B續(xù)的、模糊的和隨機(jī)的信息處理問題。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述2、人工神經(jīng)網(wǎng)絡(luò)的研究意義如：模式識別、圖像處理、決策判斷等方面卻顯得非常的遲鈍。而對同樣的問題，人腦卻能在瞬間得出答案。這是因?yàn)槿四X善于處理形象思維領(lǐng)域非結(jié)構(gòu)化問題。它通過學(xué)習(xí)、自適應(yīng)來求解，并行處理的方法為它贏來快速的反應(yīng)！人類大腦具有強(qiáng)大的功能：人的聽力神經(jīng)網(wǎng)絡(luò)能在喧鬧的環(huán)境中清楚的識別對方的聲音，人的視覺神經(jīng)網(wǎng)絡(luò)能在不到一秒鐘的時(shí)間里認(rèn)出多年未見的老朋友；人的智能神經(jīng)網(wǎng)絡(luò)能夠歸納出一長篇文章的中心思想；另外，人腦的學(xué)習(xí)能力和創(chuàng)造能力，它能從環(huán)境中學(xué)習(xí)，從書本中學(xué)習(xí)，從經(jīng)歷中學(xué)習(xí)，并能利用所學(xué)的知識創(chuàng)造新的知識，這所有的一切都是目前任何一種人造的機(jī)器所望塵莫及的。2022/12/20周仲禮2、人工神經(jīng)網(wǎng)絡(luò)的研究意義

神經(jīng)元是腦組織的基本單元，由三部分構(gòu)成：細(xì)胞體，樹突和軸突；每一部分雖具有各自的功能，但相互之間是互補(bǔ)的。樹突是細(xì)胞輸入端，通過細(xì)胞體間聯(lián)結(jié)的節(jié)點(diǎn)“突觸”接受四周細(xì)胞傳出的神經(jīng)沖動(dòng)；軸突相當(dāng)于細(xì)胞的輸出端，端部的眾多神經(jīng)未梢為信號的輸出端子，用于傳出神經(jīng)沖動(dòng)。神經(jīng)元具有興奮和抑制的兩種工作狀態(tài)。當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高到閥值(約為40mV)時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出。相反，若傳入的神經(jīng)沖動(dòng)，使細(xì)胞膜電位下降到低于閥值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無神經(jīng)沖動(dòng)輸出。（數(shù)學(xué)函數(shù)思想）第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述2、人工神經(jīng)網(wǎng)絡(luò)的研究意義人工神經(jīng)網(wǎng)絡(luò)便是以計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)模擬生物神經(jīng)網(wǎng)絡(luò)的智能計(jì)算系統(tǒng)，是對人腦或生物神經(jīng)網(wǎng)絡(luò)的若干基本特性的抽象和模擬。網(wǎng)絡(luò)上的每個(gè)結(jié)點(diǎn)相當(dāng)于一個(gè)神經(jīng)元，可以記憶（存儲）、處理一定的信息，并與其它結(jié)點(diǎn)并行工作。求解一個(gè)問題是向人工神經(jīng)網(wǎng)絡(luò)的某些結(jié)點(diǎn)輸入信息，各結(jié)點(diǎn)處理后向其它結(jié)點(diǎn)輸出，其它結(jié)點(diǎn)接受并處理后再輸出，直到整個(gè)神經(jīng)網(wǎng)工作完畢，輸出最后結(jié)果。如同生物的神經(jīng)網(wǎng)絡(luò)，并非所有神經(jīng)元每次都一樣地工作。如視、聽、摸、想不同的事件（輸入不同），各神經(jīng)元參與工作的程度不同。當(dāng)有聲音時(shí)，處理聲音的聽覺神經(jīng)元便全力工作，視覺、觸覺神經(jīng)元基本不工作，2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述2、人工神經(jīng)網(wǎng)絡(luò)的研究意義主管思維的神經(jīng)元部分參與工作；閱讀時(shí)，聽覺神經(jīng)元基本不工作。在人工神經(jīng)網(wǎng)絡(luò)中以加權(quán)值控制結(jié)點(diǎn)參與工作的程度。正權(quán)值相當(dāng)于神經(jīng)元突觸受到刺激而興奮，負(fù)權(quán)值相當(dāng)于受到抑制而使神經(jīng)元麻痹直到完全不工作。如果通過一個(gè)樣板問題“教會(huì)”網(wǎng)絡(luò)處理這個(gè)問題，即通過“學(xué)習(xí)”而使各結(jié)點(diǎn)的權(quán)值得到肯定，那么，這一類的問題它都可以解。好的學(xué)習(xí)算法會(huì)使它不斷積累知識，根據(jù)不同的問題自動(dòng)調(diào)整一組權(quán)值，使它具有良好的自適應(yīng)性。此外，它本來就是部分結(jié)點(diǎn)參與工作。當(dāng)某結(jié)點(diǎn)出故障就讓功能相近的其它結(jié)點(diǎn)頂替參與工作，使系統(tǒng)不致中斷。故而有很強(qiáng)容錯(cuò)能力。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述3、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性第一，具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識別時(shí)，只需把許多不同的圖像樣板和對應(yīng)的應(yīng)識別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過自學(xué)習(xí)功能，慢慢學(xué)會(huì)識別類似的圖像。自學(xué)習(xí)功能對于預(yù)測有特別重要的意義。人工神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測、市場預(yù)測、效益預(yù)測，其前途是很遠(yuǎn)大的。第二，具有聯(lián)想存儲功能。人的大腦是具有聯(lián)想功能的。如果有人和你提起你幼年的同學(xué)張某某，你就會(huì)聯(lián)想起張某某的許多事情。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述3、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性第三，具有高速尋找最優(yōu)解的能力。尋找一個(gè)復(fù)雜問題的最優(yōu)解，往往需要很大的計(jì)算量，利用一個(gè)針對某問題而設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到最優(yōu)解。人工神經(jīng)網(wǎng)絡(luò)是未來微電子技術(shù)應(yīng)用的新領(lǐng)域，智能計(jì)算機(jī)的構(gòu)成就是作為主機(jī)的馮·諾依曼計(jì)算機(jī)與作為智能外圍機(jī)的人工神經(jīng)網(wǎng)絡(luò)的結(jié)合。2022/12/20周仲禮第一章神經(jīng)網(wǎng)絡(luò)概述4、人工神經(jīng)元模型人工神經(jīng)元模型是以大腦神經(jīng)細(xì)胞的活動(dòng)規(guī)律為原理的，反映了大腦神經(jīng)細(xì)胞的某些基本特征，但不是也不可能是人腦細(xì)胞的真實(shí)再現(xiàn)，從數(shù)學(xué)角度而言，它是對人腦細(xì)胞的高度抽象和簡化的結(jié)構(gòu)模型。雖然人工神經(jīng)網(wǎng)絡(luò)有許多種類型，但其基本單元—人工神經(jīng)元是基本相同的。如圖是一個(gè)典型的人工神經(jīng)元模型。神經(jīng)元模型相當(dāng)于一個(gè)多輸入單輸出非線性閥值元件，x1,x2,…,xn表示神經(jīng)元的n個(gè)輸入，w1,w2,…,wn表示神經(jīng)元之間的連接強(qiáng)度，稱為連接權(quán)，∑wixi

稱為神經(jīng)元的激活值，O表示這個(gè)神經(jīng)元的輸出，每個(gè)神經(jīng)元有一個(gè)閥值θ，如果神經(jīng)元輸入信號的加權(quán)和超過θ，神經(jīng)元就處于興奮狀態(tài)。以數(shù)學(xué)表達(dá)式描述為：2022/12/20周仲禮(1)單輸入神經(jīng)元

(2)多輸入神經(jīng)元∑fxwθ1uv∑fx1w11θ1uvx2xRwR1第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮激勵(lì)函數(shù)的類型（1）閥值型輸入輸出關(guān)系圖標(biāo)

MATLAB函數(shù)hardlim第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮激勵(lì)函數(shù)的類型（2）對稱閥值型輸入輸出關(guān)系圖標(biāo)

MATLAB函數(shù)hardlims第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮激勵(lì)函數(shù)的類型（3）線性型輸入輸出關(guān)系圖標(biāo)

MATLAB函數(shù)purelin第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮激勵(lì)函數(shù)的類型（4）分段線性型輸入輸出關(guān)系圖標(biāo)

MATLAB函數(shù)satlin第一章神經(jīng)網(wǎng)絡(luò)概述2022/12/20周仲禮激勵(lì)函數(shù)的類型（5）對稱分段線性型輸入輸出關(guān)系圖標(biāo)

MATLAB函數(shù)