神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析

1、神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析摘要復(fù)雜網(wǎng)絡(luò)在現(xiàn)實(shí)生活中是無處不在的， 生物網(wǎng)絡(luò)是它的一個(gè)分類。 神經(jīng)網(wǎng)絡(luò) 是很重要的生物網(wǎng)絡(luò)。利用神經(jīng)網(wǎng)絡(luò)是可以研究一些其他的方向，如網(wǎng)絡(luò)安全、 人工智能等。 而神經(jīng)網(wǎng)絡(luò)又可以因?yàn)樗菑?fù)雜的網(wǎng)絡(luò)， 可以利用復(fù)雜網(wǎng)絡(luò)的部分 性質(zhì)里進(jìn)行研究，比如小世界效應(yīng)的。本文只要介紹了幾篇應(yīng)用復(fù)雜網(wǎng)絡(luò)的研究，并進(jìn)行簡(jiǎn)單的介紹和分析。關(guān)鍵詞： 復(fù)雜網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)AbstractThe Complex network is in everywhere in real life, while Biological network is one of kinds of it. And neu

2、ral network is one of the most important of biological network. The neural network could be used to research other subjects such as network security, artificial intelligence and so on. However we also use some properties of complex network to study neural network. Foe example we could use small-worl

3、d to study it.This paper introduces and analysis five articles that use complex network.Key word： complex network、 neural network神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析在神經(jīng)網(wǎng)絡(luò)的研究中， 除了根據(jù)神經(jīng)生物學(xué)實(shí)驗(yàn)得到基本組成單元的數(shù)學(xué)模 型以及使用動(dòng)力學(xué)對(duì)于模型系統(tǒng)的活動(dòng)進(jìn)行認(rèn)識(shí)以外， 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也是一個(gè) 重要的方面。 網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)于大多數(shù)復(fù)雜系統(tǒng)整體的動(dòng)力學(xué)具有重要的影響， 這 已經(jīng)是一個(gè)被普遍接受的觀點(diǎn)。復(fù)雜網(wǎng)絡(luò)一開始就是一個(gè)交叉學(xué)科研究。 在復(fù)雜網(wǎng)絡(luò)研究興起之前， 網(wǎng)絡(luò)概

4、 念就已經(jīng)在幾個(gè)研究領(lǐng)域出現(xiàn)并發(fā)揮著重要的作用， 例如社會(huì)學(xué)研究， 計(jì)算機(jī)網(wǎng) 絡(luò)和互聯(lián)網(wǎng)， 數(shù)學(xué)中的一個(gè)分支圖論， 以及神經(jīng)系統(tǒng)活動(dòng)。 在現(xiàn)實(shí)世界中復(fù)雜網(wǎng) 絡(luò)是無處不在的。在現(xiàn)實(shí)社會(huì)中復(fù)雜網(wǎng)絡(luò)主要分為四類：社交網(wǎng)絡(luò)、生物網(wǎng)絡(luò)、 技術(shù)網(wǎng)絡(luò)和信息網(wǎng)絡(luò)。在現(xiàn)實(shí)生活中很多生物系統(tǒng)都可以被表示成網(wǎng)絡(luò)的形式， 并利用這種形成的網(wǎng)絡(luò)結(jié)構(gòu)來研究相應(yīng)的生物系統(tǒng)。 生物網(wǎng)絡(luò)的典型例子可能是 代謝路徑網(wǎng)絡(luò)， 它是代謝基質(zhì)和代謝產(chǎn)物的刻畫， 如果一已知代謝反應(yīng)存在， 其 作用于給定基質(zhì)并產(chǎn)生指定產(chǎn)物， 兩者之間由有向邊連接。 如一個(gè)不同的網(wǎng)絡(luò)是 蛋白質(zhì)之間的力學(xué)物理相互作用網(wǎng)絡(luò)（與代謝物中的化學(xué)反應(yīng)相對(duì)） ，它經(jīng)常被

5、 指為蛋白質(zhì)相互作用網(wǎng)絡(luò)。 而在生物網(wǎng)絡(luò)中還有幾個(gè)重要的應(yīng)用如： 基因調(diào)節(jié)網(wǎng) 絡(luò)、食物鏈網(wǎng)、血管網(wǎng)絡(luò)等。在其中還有一個(gè)相當(dāng)重要的生物網(wǎng)絡(luò)就是神經(jīng)網(wǎng)絡(luò)。 就是對(duì)現(xiàn)實(shí)中的神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬， 但是對(duì)現(xiàn)實(shí)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行測(cè)度極 為困難，但在一些案?jìng)€(gè)別的案例中得到成功實(shí)施。人工神經(jīng)網(wǎng)絡(luò)也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型， 它是一種模范動(dòng)物神經(jīng)網(wǎng) 絡(luò)行為特征， 進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。 這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù) 雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系， 從而達(dá)到處理信息的目的。 人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué) 模型。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)

6、網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)是一種 運(yùn)算模型， 由大量的節(jié)點(diǎn) （或稱神經(jīng)元） 和之間相互聯(lián)接構(gòu)成。 每個(gè)節(jié)點(diǎn)代表一 種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)（activation function）。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都 代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值， 稱之為權(quán)重， 這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的 記憶。 網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式， 權(quán)重值和激勵(lì)函數(shù)的不同而不同。 而網(wǎng) 絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近， 也可能是對(duì)一種邏輯策略的 表達(dá)。在研究神經(jīng)網(wǎng)絡(luò)時(shí)， 有幾個(gè)重要的研究方向。 可以研究復(fù)雜網(wǎng)絡(luò)的拓?fù)鋵傩?來研究神經(jīng)網(wǎng)絡(luò)。在王勝軍 1 的論文復(fù)雜網(wǎng)絡(luò)上神經(jīng)動(dòng)力學(xué)研究中主要是研究了復(fù)雜網(wǎng)

7、絡(luò)的拓?fù)鋵傩詫?duì)神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的影響， 神經(jīng)網(wǎng)絡(luò)中限制同步性的一種動(dòng)力學(xué)機(jī) 制，并且使用神經(jīng)網(wǎng)絡(luò)研究了復(fù)雜網(wǎng)絡(luò)本身的一個(gè)普遍性問題： 稀疏性特征的意 義。他是分為幾個(gè)方面來進(jìn)行研究的。 一、研究了復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于兩層神經(jīng)網(wǎng) 絡(luò)之間的同步的影響。 二、研究了神經(jīng)元之間突觸耦合的效能對(duì)于興奮性神經(jīng)網(wǎng) 絡(luò)中放電同步的影響。三、研究了度關(guān)聯(lián)無標(biāo)度吸引子網(wǎng)絡(luò)對(duì)刺激的響應(yīng)。四、 使用吸引子網(wǎng)絡(luò)模型作為例子研究復(fù)雜網(wǎng)絡(luò)稀疏特征的功能意義。 從這幾個(gè)方面 來研究神經(jīng)網(wǎng)絡(luò)，和理解一個(gè)稀疏的連接密度上網(wǎng)絡(luò)的拓?fù)鋵傩詫?duì)于網(wǎng)絡(luò)上動(dòng)力 學(xué)的影響最明顯。 使用信噪比分析， 我們證明非單調(diào)的差異是由網(wǎng)絡(luò)度分布的差 異性和信號(hào)

8、強(qiáng)度的競(jìng)爭(zhēng)導(dǎo)致的。 此工作有助于深刻理解具有網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜系統(tǒng) 往往是稀疏的這一普遍現(xiàn)象。在研究神經(jīng)網(wǎng)絡(luò)時(shí)， 并不一定是從網(wǎng)絡(luò)的結(jié)構(gòu)來研究的， 也可以從小世界的 方向進(jìn)行對(duì)神經(jīng)網(wǎng)絡(luò)的研。 小世界效應(yīng)是復(fù)雜網(wǎng)絡(luò)的一個(gè)性質(zhì)。 在主要是指在一 個(gè)網(wǎng)絡(luò)中的任意兩個(gè)節(jié)點(diǎn)之間的距離是很短的。 著名的六度分割的實(shí)驗(yàn)就表明了 在真實(shí)世界存在一種小世界效應(yīng)的。 而神經(jīng)網(wǎng)絡(luò)是屬于生物網(wǎng)絡(luò)的， 而生物網(wǎng)絡(luò) 是復(fù)雜網(wǎng)絡(luò)在現(xiàn)實(shí)世界中的一個(gè)重要的分類， 所以神經(jīng)網(wǎng)絡(luò)也應(yīng)該具有小世界效 應(yīng)的。但是真是的神經(jīng)網(wǎng)絡(luò)是不容易進(jìn)行研究的， 所以通過研究人工神經(jīng)網(wǎng)絡(luò)來 進(jìn)行對(duì)真實(shí)的神經(jīng)網(wǎng)絡(luò)的研究。而 LI Shou-wei 3 在

9、Analysis of Contrasting Neural Network with Small-world Network 文章，對(duì)三類網(wǎng)絡(luò)進(jìn)行比較，即比較人 工神經(jīng)網(wǎng)絡(luò)、 腦神經(jīng)網(wǎng)絡(luò)和小世界網(wǎng)絡(luò)。 根據(jù)和腦神經(jīng)網(wǎng)絡(luò)進(jìn)行比較分析， 可以 觀測(cè)到典型的人工神經(jīng)網(wǎng)絡(luò)時(shí)規(guī)則的， 它的功能有很對(duì)缺陷和限制； 腦神經(jīng)網(wǎng)絡(luò) 是一個(gè)小世界網(wǎng)絡(luò)； 人工神經(jīng)網(wǎng)絡(luò)和小世界網(wǎng)絡(luò)的不同組成它們復(fù)雜性的三個(gè)等 級(jí)：點(diǎn)、邊和行為。 還討論了如何重構(gòu)人工神經(jīng)網(wǎng)絡(luò)到小世界網(wǎng)絡(luò)。 小世界神經(jīng) 網(wǎng)絡(luò)可以通過以一定概率 p 進(jìn)行重連，而對(duì)于最好的模擬是這個(gè)重連的概率是滿 足 0<p<0.1 的。對(duì)小世界網(wǎng)絡(luò)和神經(jīng)網(wǎng)

10、絡(luò)的關(guān)系的研究不止這樣， 還有很多人是基于小世界神經(jīng)網(wǎng)絡(luò)進(jìn)行研究的。在王小虎等人2 的文章多層前向小世界神經(jīng)網(wǎng)絡(luò)的逼近與容錯(cuò)性能 中就是借助了小世界效應(yīng)來研究神經(jīng)網(wǎng)絡(luò)的。 他們的 基本思想是基于 Watts Strogatz網(wǎng)絡(luò)模型的構(gòu)造思想，對(duì)多層前向神經(jīng)網(wǎng)絡(luò)中的 規(guī)則連接依重連概率進(jìn)行重連， 構(gòu)建了一種多層前向小世界神經(jīng)網(wǎng)絡(luò)模型 對(duì)該 網(wǎng)絡(luò)模型進(jìn)行簡(jiǎn)要的數(shù)學(xué)描述， 并以函數(shù)逼近和網(wǎng)絡(luò)容錯(cuò)仿真考察了構(gòu)建的小世 界神經(jīng)網(wǎng)絡(luò)的性能。神經(jīng)網(wǎng)絡(luò)是一個(gè)大的領(lǐng)域， 在其中聯(lián)想記憶是一個(gè)重要的組成部分， 也是神 經(jīng)網(wǎng)絡(luò)用于智能控制、 模式識(shí)別與人工智能等領(lǐng)域的一個(gè)重要功能。 它主要利用 神經(jīng)網(wǎng)絡(luò)的良好容錯(cuò)

11、性 能使不完整的、 污損的、畸變的輸入樣本恢復(fù)成完整的 原型，適于識(shí)別、分類等用途。在徐志 4的基于復(fù)雜網(wǎng)絡(luò)的聯(lián)想記憶網(wǎng)絡(luò)研 究中就是應(yīng)用復(fù)雜網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)來研究神經(jīng)網(wǎng)絡(luò)中的聯(lián)想記憶網(wǎng)絡(luò)。 他們是 建立一個(gè)具有稀疏拓?fù)溥B接結(jié)構(gòu)的網(wǎng)絡(luò)來完成聯(lián)想記憶的功能。 他們首先對(duì)傳統(tǒng) 的研究方法進(jìn)行里總結(jié)，如：離散 Hopfield 網(wǎng)絡(luò)和連續(xù) Hopfield 網(wǎng)絡(luò)進(jìn)行了分 析?；趶?fù)雜網(wǎng)絡(luò)的新型聯(lián)想記憶網(wǎng)絡(luò)。 即出于降低連接復(fù)雜度的目的， 同時(shí)根 據(jù)生物學(xué)中神經(jīng)系統(tǒng)中的復(fù)雜網(wǎng)絡(luò)的特性的發(fā)現(xiàn)， 基于小世界模型建立具有復(fù)雜 網(wǎng)絡(luò)特性的新型聯(lián)想記憶網(wǎng)絡(luò)， 是該新型網(wǎng)絡(luò)能再整體中連接較少的情況下仍使 得網(wǎng)絡(luò)具有

12、良好的記憶回想功能， 同時(shí)減少連邊數(shù)。 結(jié)果這種情況下， 即連邊數(shù) 數(shù)很小的情況下，能夠完成聯(lián)想記憶功能，并與其它的相比，具有一定的優(yōu)勢(shì)。不同的人在研究時(shí)有著不同的思路和方向的。 而在研究不同的理論時(shí)可以是 相互利用的。 所以可以用復(fù)雜網(wǎng)絡(luò)的理論來進(jìn)行對(duì)神經(jīng)網(wǎng)絡(luò)的研究， 同樣也可以 用神經(jīng)網(wǎng)絡(luò)的理論來研究復(fù)雜網(wǎng)絡(luò)。張?zhí)m華等人 通過應(yīng)用BP網(wǎng)絡(luò)來進(jìn)行對(duì)社團(tuán)分類的研究。BP網(wǎng)絡(luò)是向后傳播網(wǎng)絡(luò)是在 1986年由Rumelhart和McCelland 為首的科學(xué)家小組提出， 是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)， 是目前 應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映 射

13、關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。 它的學(xué)習(xí)規(guī)則是使用最 速下降法， 通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值， 使網(wǎng)絡(luò)的誤差平方和最 小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(in put)、隱層(hide layer)和輸出層 (output layer)0在張?zhí)m華等人的文章是將神經(jīng)網(wǎng)絡(luò)分類特性應(yīng)用到社團(tuán)結(jié)構(gòu)的分 類之中的，以BP網(wǎng)絡(luò)為模型，用社團(tuán)節(jié)點(diǎn)與神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的相似性來模擬社團(tuán) 分類結(jié)果，構(gòu)建成員關(guān)系圖的鄰接矩陣，利用鄰接矩陣來進(jìn)行實(shí)驗(yàn)設(shè)計(jì)建立 BP 神經(jīng)網(wǎng)絡(luò) ,通過已知樣本學(xué)習(xí)和檢驗(yàn)樣本檢驗(yàn) ,實(shí)現(xiàn)成員關(guān)系網(wǎng)絡(luò)的分類模擬。在進(jìn)行神經(jīng)網(wǎng)絡(luò)和復(fù)雜網(wǎng)絡(luò)的研究時(shí)，有著大量的研究?？偨Y(jié)在這短短幾周的時(shí)間的學(xué)習(xí)， 了解到了神經(jīng)網(wǎng)絡(luò)的一些知識(shí)， 對(duì)此，感謝蒲老師的教導(dǎo)。并對(duì)為完成這篇文章給予幫助的同學(xué)表示感謝參考文獻(xiàn)1 . 王勝軍 . 復(fù)雜網(wǎng)絡(luò)上神經(jīng)動(dòng)力學(xué)研究 . 20092 . 王小虎 . 多層前向小世界神經(jīng)網(wǎng)絡(luò)的逼近與容錯(cuò)性能 . 西安交通大學(xué)學(xué)報(bào)第 44 卷第 7 期.20103 . LI Shou-wei. Analysis of Contrasting Neural Network with Small-world Network. DOI 10.