人工智能與神經(jīng)網(wǎng)絡(luò)-神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)與遺傳算法神經(jīng)網(wǎng)絡(luò)基礎(chǔ)一序言二神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀三神經(jīng)元數(shù)學(xué)模型四神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理五神經(jīng)網(wǎng)絡(luò)的功能及特點第一節(jié)

序言

智能控制是控制科學(xué)發(fā)展的高級階段，是一門新興的交叉學(xué)科，具有廣泛的應(yīng)用領(lǐng)域。按照智能控制創(chuàng)始人K.S.Fu的觀點，智能控制（IC）是自動控制（AC）、人工智能（AI）和運籌學(xué)（OR）的交集。20世紀末，研究智能控制的學(xué)者把智能控制的內(nèi)容分為三大分支，即神經(jīng)網(wǎng)絡(luò)、模糊控制和專家系統(tǒng)。隨著對不確定性系統(tǒng)處理的要求，適應(yīng)于全局尋優(yōu)的遺傳算法、處理海量數(shù)據(jù)的粗糙集理論、處理小樣本數(shù)據(jù)的支持向量機等理論為智能控制的發(fā)展增加了新的研究方法。

第一節(jié)

序言

以馮·諾依曼型計算機為中心的信息處理技術(shù)的高速發(fā)展，使得計算機在當(dāng)今的信息化社會中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇到了很大的困難。大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。人工神經(jīng)網(wǎng)絡(luò)(簡稱神經(jīng)網(wǎng)絡(luò))也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。

第一節(jié)

序言

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks,簡記作ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單的講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。神經(jīng)網(wǎng)絡(luò)主要用于非線性系統(tǒng)的辨識建模、非線性過程的預(yù)測、神經(jīng)網(wǎng)絡(luò)控制及故障診斷等。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀

2．1萌芽期（20世紀40年代）對大腦神經(jīng)元的研究表明，當(dāng)其處于興奮狀態(tài)時，輸出側(cè)的軸突就會發(fā)出脈沖信號，每個神經(jīng)元的樹狀突起與來自其它神經(jīng)元軸突的互相結(jié)合部(此結(jié)合部稱為Synapse，即突觸)接收由軸突傳來的信號。如果—神經(jīng)元所接收到的信號的總和超過了它本身的“閾值”，則該神經(jīng)元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。

1943年，心理學(xué)家W.S.McCulloch和W.Pitts根據(jù)上述研究發(fā)表了他們的神經(jīng)元模型，通常稱為MP模型。

1949年，D.O.Hebb提出了神經(jīng)元的學(xué)習(xí)法則，即Hebb法則。直到現(xiàn)在也是重要的學(xué)習(xí)法則。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀2．2第一次神經(jīng)網(wǎng)絡(luò)研究高潮（1950~1968）

50年代末，F(xiàn).Rosenblatt基于上述原理提出了一種模式識別機，即感知機(Perceptron)模型。感知機是現(xiàn)代神經(jīng)計算的出發(fā)點。Block于1962年用解析法證明了感知機的學(xué)習(xí)收斂定理。正是由于這一定理的存在，才使得感知機的理論具有實際的意義，并引發(fā)了60年代以感知機為代表的第一次神經(jīng)網(wǎng)絡(luò)研究發(fā)展的高潮。

M.Minsky和S.Papert進一步發(fā)展了感知機的理論，他們把感知機定義為一種邏輯函數(shù)的學(xué)習(xí)機。

1960年，B.Widraw在稍后于感知機一些時候提出了自適應(yīng)線性單元Adaline分類學(xué)習(xí)機。它在結(jié)構(gòu)上與感知機相似，但在學(xué)習(xí)法則上采用了最小二乘平均誤差法。

第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀

1961年，E.R.Caianiello提出了能實現(xiàn)記憶和識別的神經(jīng)網(wǎng)絡(luò)模型，它由學(xué)習(xí)方程式和記憶方程式兩部分組成。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。

2．3反思期（1969~1982）

1969年，MIT的AI專家M.L.Minsky和S.Papert共同出版《Perceptron》（MITPress，1969年）,遺憾地指出單層感知器只能用于線性問題的求解，而對于像XOR（異或）這樣簡單的非線性問題都無法求解。并指出能夠求解非線性問題的網(wǎng)絡(luò)，應(yīng)該是具有隱層的多層神經(jīng)網(wǎng)絡(luò)，而將感知器模型擴展到多層網(wǎng)絡(luò)是否有意義，還不能從理論上得到有力的證明。這個悲觀的結(jié)論對當(dāng)時神經(jīng)網(wǎng)絡(luò)的研究是一個沉重的打擊。二十世紀70年代和80年代早期的研究結(jié)果，表明了認識規(guī)律：認識——實踐——再認識。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀2．4第二次神經(jīng)網(wǎng)絡(luò)研究高潮（1982~1990）

以Rumelhart為首的PDP(ParallelDistributedProcessing)并行分布處理研究集團對聯(lián)結(jié)機制(connectionist)進行了研究。具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)又重新受到人們的重視。

1982年，美國物理學(xué)家Hopfield對神經(jīng)網(wǎng)絡(luò)的動態(tài)特性進行了研究，提出了所謂Hopfield神經(jīng)網(wǎng)絡(luò)模型。

T．J．Sejnowski等人還研究了神經(jīng)網(wǎng)絡(luò)語音信息處理裝置。這些成功的研究對第二次神經(jīng)網(wǎng)絡(luò)研究高潮的形成起了決定性的作用。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀Hopfield模型的動作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間的結(jié)合強度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個必定減小的能量函數(shù)達到極小值時，狀態(tài)才達到穩(wěn)定而不再變化。

1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推銷商問題(TravelingSalesmanProblem)，簡稱TSP問題。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀

1983年，S.E.Farmann和Hiton提出了波爾茲曼機BM(BoltzmannMachine)，該神經(jīng)網(wǎng)絡(luò)模型中使用了概率動作的神經(jīng)元，把神經(jīng)元的輸出函數(shù)與統(tǒng)計力學(xué)中的波爾茲曼分布聯(lián)系起來。

1985年，W.O.Hillis發(fā)表了稱為聯(lián)結(jié)機(connection)的超級并行計算機。他把65536個lbit的微處理機排列成起立方體的互連形式，每個微處理機還帶有4kbit的存貯器。誤差反向傳播神經(jīng)網(wǎng)絡(luò)BP(ErrorBackPropagationNeuralNetwork)是1986年由Rumelhart和Hinton提出的，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題。是目前影響最大、應(yīng)用最廣的一種網(wǎng)絡(luò)學(xué)習(xí)算法。

第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀2．5

再認識與應(yīng)用研究期（1991~）1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度。2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法。3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀2．6存在的問題神經(jīng)網(wǎng)絡(luò)識別機的原型是感知機，而BP只是學(xué)習(xí)方法改進了的感知機，所以把它當(dāng)作識別機械時，可能存在著中間層神經(jīng)元的個數(shù)會很龐大、學(xué)習(xí)時間太長、結(jié)合系數(shù)的范圍太寬等嚴重缺點。當(dāng)把Hopfield神經(jīng)網(wǎng)絡(luò)模型和波爾茲曼機用作最優(yōu)解的求解機時，還需要弄清楚該模型對具體的對象是否適用。當(dāng)把神經(jīng)網(wǎng)絡(luò)用于運動控制裝置時，另一個重要的問題是如何獲得自組織的運動模式。綜上所述，神經(jīng)網(wǎng)絡(luò)的研究雖然時有起伏，出現(xiàn)了研究的高潮與低潮，但總的方向無疑還是正確的。

第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀2．7研究現(xiàn)狀日本通產(chǎn)省早在1988年也提出了所謂人類尖端科學(xué)計劃(HumanFrontierScienceProgram)，即所謂的第六代計算機計劃，研制能模擬人類智能行為的計算機系統(tǒng)。第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀第二節(jié)

神經(jīng)網(wǎng)絡(luò)的發(fā)展史及研究現(xiàn)狀

1987年6月21至24日在美國加州圣地亞哥(SanDiego)召開的第一屆神經(jīng)網(wǎng)絡(luò)國際會議;1988年，我國在北京召開了神經(jīng)網(wǎng)絡(luò)的國際研究工作會議，并出版了論文集。關(guān)于神經(jīng)網(wǎng)絡(luò)的主要國際性雜志有：(1)NeuralNetworks(國際神經(jīng)網(wǎng)絡(luò)協(xié)會會刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)Neurocomputing(6)NeuralComputation(7)InternationalJournalofNeuralSystems第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）一神經(jīng)網(wǎng)絡(luò)定義：基于模仿生物大腦的結(jié)構(gòu)或功能構(gòu)成的信息處理系統(tǒng)或計算機。

80年代美國的H.Nidsen定義：神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元（神經(jīng)元）彼此以某種方式相聯(lián)接而形成的計算機系統(tǒng)。該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）二生物神經(jīng)元的結(jié)構(gòu)和動作原理以及功能

1.生物神經(jīng)元的結(jié)構(gòu)

人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。細胞體樹突軸突軸突末梢細胞核圖1-1a神經(jīng)元的解剖圖1-1b神經(jīng)元的解剖第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）細胞體：細胞體是由很多分子形成的綜合體,內(nèi)部含有一個細胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等,它是神經(jīng)元活動的能量供應(yīng)地,在這里進行新陳代謝等各種生化過程。包括細胞核，細胞膜和細胞質(zhì)。軸突：細胞體突起的最長的外伸管狀纖維稱為軸突，軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。樹突：細胞體的伸延部分產(chǎn)生的一至多個突起，呈放射狀的分枝稱為樹突,它是細胞體向外伸出的許多較短的樹狀分支,相當(dāng)于細胞的輸入。樹突具有接受刺激并將沖動傳入細胞體的功能，樹突與其樹突末梢是接受從其它神經(jīng)元傳入的信息的入口。每個神經(jīng)元有大約10000個樹突連接。第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）突觸：突觸是神經(jīng)元的樹突末梢連接另一神經(jīng)元的突觸后膜(postsynapticmembrane)的部分。它是神經(jīng)元之間相聯(lián)系并進行信息傳送的結(jié)構(gòu),是神經(jīng)元之間連接的接口。兩個神經(jīng)元的細胞質(zhì)并不直接連通,兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。膜電位：神經(jīng)元細胞膜內(nèi)外之間存在電位差，稱為膜電位。膜外為正，膜內(nèi)為負。膜電壓接受神經(jīng)其它神經(jīng)元的輸入后,電位上升或下降。當(dāng)傳入沖動的時空整合結(jié)果，使膜電位上升，而且當(dāng)超過叫做動作電位的閾值時,細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出，這個過程稱為興奮。第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）2突觸傳遞信息動作原理興奮期,大于動作閾值絕對不應(yīng)期：不響應(yīng)任何刺激相對不應(yīng)期：很難響應(yīng)根據(jù)突觸傳遞信息的動作過程可以分為兩種類型：興奮型和抑制型。神經(jīng)沖動使得細胞膜電壓升高超過動作電壓進入興奮狀態(tài)產(chǎn)生神經(jīng)沖動，若使膜電壓下降，低于閾值細胞膜進入抑制狀態(tài)，無神經(jīng)沖動輸出。t(ms)膜電位（mv）-70-553ms1ms1ms123動作閾值圖1-2生物神經(jīng)元動作原理第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）

第j路輸入信號，從第j路與第i個神經(jīng)元的連接權(quán)，第i個神經(jīng)元的閾值，

第i個神經(jīng)元的輸出。xNwiNx1wi1x2wi2…...直接刺激三神經(jīng)元的數(shù)學(xué)模型圖1-3神經(jīng)元數(shù)學(xué)模型第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）數(shù)學(xué)模型MP模型：1943年由美國心理學(xué)家Mcloch和數(shù)學(xué)家Pitts提出的。

其中常用的有閾值型，sgnx為符號函數(shù)。式中涉及的符號如1-3圖所示。第三節(jié)神經(jīng)元數(shù)學(xué)模型（ANN）四人工神經(jīng)元與生物神經(jīng)元區(qū)別（1）模型傳遞的是模擬信號，生物輸入輸出均為電脈沖（2）沒有考慮其不應(yīng)期，時滯，疲勞現(xiàn)象。（3）只考慮空間疊加性，沒有考慮時間迭加。第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理本節(jié)主要從構(gòu)成神經(jīng)網(wǎng)絡(luò)的一些規(guī)則和算法來介紹神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理！包括五個方面：一：傳播規(guī)則:用來描述從外部輸入到凈輸入的產(chǎn)生規(guī)則。二：激活規(guī)則：由本時刻的激活狀態(tài)（內(nèi)部狀態(tài)），決定下一時刻激活狀態(tài)的規(guī)則。三：神經(jīng)網(wǎng)絡(luò)的輸出函數(shù)四：神經(jīng)網(wǎng)絡(luò)的連接方式五：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理PDP模型：1986年由Rumelhart提出PDP分布式并行處理神經(jīng)網(wǎng)絡(luò)模型，有8條原則。主要介紹核心的5條。一：傳播規(guī)則:用來描述從外部輸入到凈輸入的產(chǎn)生規(guī)則。

1線性規(guī)則：

2多項式函數(shù):第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理二：激活規(guī)則：由本時刻的激活狀態(tài)（內(nèi)部狀態(tài)），決定下一時刻激活狀態(tài)的規(guī)則。在MP模型中三：神經(jīng)元的輸出函數(shù)（3種類型）

1靜態(tài)映射關(guān)系模型在MP模型中表示為

第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理2動態(tài)系統(tǒng)模型：差分方程的形式3概率統(tǒng)計模型：如隨機網(wǎng)絡(luò)，輸出按Beltzmann分布另外從輸出與輸入靜特性上又分為3類線性函數(shù)：第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理硬限幅函數(shù)（閾值函數(shù)）階躍函數(shù)1（.）符號函數(shù)sgn（.）非線性函數(shù)：值在兩個有限值之間取值，連續(xù)非遞減函數(shù)

sigmoid函數(shù)雙曲正切函數(shù)10.5-11第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理響應(yīng)函數(shù)的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理四：連接方式（一）前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）……輸出層輸入節(jié)點隱蔽層計算層第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理（二）反饋網(wǎng)絡(luò)，只要存在反饋。單層反饋網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）(a)。從輸出到輸入有反饋的前向網(wǎng)絡(luò)(b）。a）反饋網(wǎng)絡(luò)b)輸入到輸出反饋的前向網(wǎng)絡(luò)第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)（c）全互聯(lián)網(wǎng)絡(luò)（d）第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理五：學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力，學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。

1.分類：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對應(yīng)。輸入向量與其對應(yīng)的輸出向量構(gòu)成一個“訓(xùn)練對”。概念：拿出足夠多的樣本對，就可以得到一組基本不變的連接權(quán)，一次學(xué)習(xí)過程完畢。存儲和運算都是在連接權(quán)上，知識存儲在連接權(quán)上。第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1）

從樣本集合中取一個樣本（Ai，Bi）；2）計算出網(wǎng)絡(luò)的實際輸出O；3）

求D=Bi-O；4）根據(jù)D調(diào)整權(quán)矩陣W；5）對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。

誤差神經(jīng)網(wǎng)絡(luò)輸入期望輸出

輸出調(diào)整連接權(quán)第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對應(yīng)抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。如：Hebb學(xué)習(xí)規(guī)則2算法應(yīng)具備的條件有一定的準(zhǔn)確性：連接權(quán)要穩(wěn)定在唯一的一組解上，按照誤差規(guī)則或者按照目標(biāo)函數(shù)極小等原則。第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理自適應(yīng)性收斂性以及收斂速度可推性，對目標(biāo)樣本能完成所要求的任務(wù)，對非目標(biāo)樣本也能完成相應(yīng)的任務(wù)！3兩種學(xué)習(xí)算法D.O.Hebb在1961年提出的Hebb學(xué)習(xí)規(guī)則，核心為當(dāng)兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。數(shù)學(xué)表達式表示，即a>0稱為學(xué)習(xí)因子，無導(dǎo)師學(xué)習(xí)第四節(jié)神經(jīng)網(wǎng)絡(luò)的構(gòu)成原理Delta規(guī)則（算法，誤差修正算法）對于給定一組訓(xùn)練樣本期望輸出為d，則：其中誤差：a>0稱為學(xué)習(xí)因子第五節(jié)網(wǎng)絡(luò)的功能以及特點一網(wǎng)絡(luò)功能分為三類，一一介紹。聯(lián)想記憶（AM）從一種事物聯(lián)想到與其相關(guān)