現(xiàn)代電路理論與設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)放映

1、本章介紹本章介紹 人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)的工作機(jī)理、模仿人腦某些學(xué)習(xí)功能的一種計(jì)算結(jié)構(gòu)，它也是一種自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)模型。 經(jīng)過近60多年的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)有了很大的進(jìn)展并在各個(gè)領(lǐng)域顯示了巨大應(yīng)用潛力。 基于各種人工神經(jīng)網(wǎng)絡(luò)原理的硬件電路實(shí)現(xiàn)是人工神經(jīng)網(wǎng)絡(luò)得以應(yīng)用的非常重要的前提之一。 本章介紹本章介紹 本章首先介紹傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的基本概念，闡述神經(jīng)元電路實(shí)現(xiàn)的一些方案。 接著，結(jié)合細(xì)胞神經(jīng)網(wǎng)絡(luò)（Cell Neural NetworkCNN）分析人工神經(jīng)網(wǎng)絡(luò)的混沌特性和CNN的電路仿真實(shí)現(xiàn)，根據(jù)最新人工神經(jīng)網(wǎng)絡(luò)發(fā)展，以脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural

2、NetworkPCNN）為例，從等效電路解釋和模型基本原理出發(fā)，詳細(xì)介紹PCNN的基本工作原理，分析PCNN的基本混沌特性，再介紹PCNN模型的一種硬件電路實(shí)現(xiàn)方案，最后介紹人工神經(jīng)網(wǎng)絡(luò)在旅行商問題中的應(yīng)用。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述9.1.1.人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述（1）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展大致經(jīng)歷了三個(gè)階段： 第一階段，1943年精神病學(xué)家和神經(jīng)解剖學(xué)家Warren S McCulloch與數(shù)學(xué)家Walter H Pitts總結(jié)了生物神經(jīng)元的一些基本生理特性，提出了MP神經(jīng)元數(shù)學(xué)模型，1949年D.O.Hebb提出Hebb學(xué)習(xí)規(guī)則，1957年 F.R

3、osenblatt提出感知器，1960年Bernand Widrow和 Marcian Hoff提出自適應(yīng)線性元件網(wǎng)絡(luò)，使得人工神經(jīng)網(wǎng)絡(luò)第一次從理論研究轉(zhuǎn)入工程實(shí)現(xiàn)階段，從而掀起了人工神經(jīng)網(wǎng)絡(luò)研究的高潮。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 第二階段，1969年M.Minsky和S.Parpert對(duì)感知器的悲觀理論使神經(jīng)網(wǎng)絡(luò)研究陷入低谷。 他們分析了若干種簡單感知器，并總結(jié)說明：簡單感知器只能完成線性分類，對(duì)非線性分類無能為力，加上他們在人工智能領(lǐng)域的威望，他們這種悲觀理論對(duì)當(dāng)時(shí)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展來說負(fù)面影響很大；而另一方面，當(dāng)時(shí)計(jì)算機(jī)技術(shù)的發(fā)展使得傳統(tǒng)人工智能理論在基于Von Neuma

4、nn計(jì)算機(jī)平臺(tái)上的發(fā)展趨勢非常樂觀；同時(shí)人們對(duì)當(dāng)時(shí)人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練沒有得到一種普適的學(xué)習(xí)算法；這樣，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展轉(zhuǎn)入緩慢發(fā)展的低潮期。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 第三階段，1982年生物物理學(xué)家J.J.Hopfield提出Hopfield網(wǎng)絡(luò)模型，并將其成功應(yīng)用于NP完全性的著名旅行商問題。 1986年David E.和Runmelhart等的并行分布式處理(PDP)研究組完善了多層神經(jīng)網(wǎng)絡(luò)感知誤差反向傳播算法Error Back Propagation(簡稱BP算法，最早由Werbo于1974年提出)，特別是有效解決了網(wǎng)絡(luò)權(quán)值在學(xué)習(xí)過程中自動(dòng)調(diào)整的問題，人工神經(jīng)網(wǎng)絡(luò)的發(fā)

5、展再次掀起研究高潮；1987年6月21日在美國圣地亞哥召開了第一屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，宣告國際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)成立。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 20世紀(jì)80年代末期，蔡紹堂(L.O.Chane)等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)模型。值得一提的是20世紀(jì)90年代初，PCNN應(yīng)運(yùn)而生，由于PCNN在圖像處理領(lǐng)域的良好表現(xiàn)，又將其稱為第三代人工神經(jīng)網(wǎng)絡(luò)發(fā)展的主要標(biāo)志。 常見的傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)有：Hopfield、Adline、BP、Kohonen等。另外，還有一些特殊人工神經(jīng)網(wǎng)絡(luò)模型如：協(xié)同神經(jīng)網(wǎng)絡(luò)、廣義同余神經(jīng)網(wǎng)絡(luò)、自組織映射神經(jīng)網(wǎng)絡(luò)、細(xì)胞神經(jīng)網(wǎng)絡(luò)，更有目前正在研究中的脈沖耦合神

6、經(jīng)網(wǎng)絡(luò)。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述（2）Hopfield神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)是一個(gè)具有自反饋的簡單人工神經(jīng)網(wǎng)絡(luò)，如下圖所示。該網(wǎng)絡(luò)由John Hopfield在1982年提出而得名。 霍普菲爾德網(wǎng)絡(luò)的連線示意圖 Hopfield網(wǎng)絡(luò)的每個(gè)神經(jīng)元有多個(gè)輸入，但只能有兩種輸出：1(表示抑制)或+1(表示興奮)，神經(jīng)元之間的每個(gè)連接均被指派一個(gè)特定的連接強(qiáng)度，網(wǎng)絡(luò)中的每個(gè)神經(jīng)元在某一時(shí)刻總是對(duì)來自其周圍的全部連接進(jìn)行求和。如果這個(gè)總和大于0，則該單元的輸出為+1，否則輸出為-1。計(jì)算多次反復(fù)進(jìn)行，直到所有單元的輸出都穩(wěn)定為止。所有單元的狀態(tài)并不是同時(shí)改變的，而是按隨機(jī)次序一個(gè)

7、接一個(gè)地進(jìn)行的。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 Hopfield 從理論上證明，如果對(duì)Hopfield網(wǎng)絡(luò)給定一組連接權(quán)值和任何輸入，該網(wǎng)絡(luò)將不會(huì)無限制地處于漫游狀態(tài)，也不會(huì)進(jìn)入振蕩狀態(tài)，而是迅速收斂到一個(gè)穩(wěn)定狀態(tài)。 Hopfield 網(wǎng)絡(luò)用“赫布規(guī)則”調(diào)節(jié)神經(jīng)元之間連接權(quán)值：如果兩個(gè)神經(jīng)元具有相同的輸出，則它們之間的相互連接權(quán)值都設(shè)為+1，反之，如果它們具有相反的輸出，則個(gè)權(quán)值均設(shè)為-1。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 特別值得注意的是，如果僅僅給出正確輸入模式的部分作為“線索”輸入到該網(wǎng)絡(luò)，它將經(jīng)過短暫演化、不斷調(diào)節(jié)各單元輸出后

8、，會(huì)穩(wěn)定在正確輸出模式（也即整個(gè)模式）上，于是，網(wǎng)絡(luò)反映出各個(gè)神經(jīng)元活動(dòng)的穩(wěn)定關(guān)系。最終Hopfield 網(wǎng)絡(luò)將從某些僅僅與其存貯的“記憶”接近的信息中恢復(fù)出整個(gè)記憶，這已經(jīng)與人們的記憶比較相似了。 當(dāng)Hopfield 網(wǎng)絡(luò)輸入正確的神經(jīng)元活動(dòng)模式時(shí)，由于此刻它將反映我們所期望的正確答案，所以它的輸出將為整個(gè)輸出的正確模式，網(wǎng)絡(luò)將穩(wěn)定在該狀態(tài)。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述（3）Adaline神經(jīng)網(wǎng)絡(luò) Adaline網(wǎng)絡(luò)是一個(gè)單輸出的單層前饋網(wǎng)絡(luò)、一個(gè)自適應(yīng)線性神經(jīng)元模型，也是有教師監(jiān)督學(xué)習(xí)的一個(gè)較早的神經(jīng)網(wǎng)絡(luò)。 該網(wǎng)絡(luò)由Bernard Widrow和M.E.Hoff于1960年提

9、出，又稱為WidrowHoff規(guī)則（也稱為-律）。該規(guī)則使得在每一步修正中總誤差總是下降，這意味著隨著訓(xùn)練過程網(wǎng)絡(luò)最終會(huì)達(dá)到一個(gè)誤差的極小值。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述對(duì)于該神經(jīng)網(wǎng)絡(luò)，當(dāng)訓(xùn)練集的一個(gè)信號(hào)被輸入到網(wǎng)絡(luò)中時(shí)，網(wǎng)絡(luò)就會(huì)產(chǎn)生一個(gè)輸出，于是教師用此規(guī)則告訴每個(gè)輸出神經(jīng)元的誤差，即它的輸出與正確輸出之間的差異，利用其來調(diào)整網(wǎng)絡(luò)單元之間的連接權(quán)值，以改進(jìn)網(wǎng)絡(luò)性能。這個(gè)名稱便來源于這種差異的含義。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述（4）BP神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò)采用反傳算法而得名，該網(wǎng)絡(luò)也采用教師監(jiān)督學(xué)習(xí)機(jī)制。BP網(wǎng)絡(luò)的每個(gè)神經(jīng)元輸出不一定是二值的，通常其取值在0到+1之間，這

10、對(duì)應(yīng)于神經(jīng)元的平均發(fā)放率(取最大發(fā)放率為+1)。每個(gè)單元對(duì)輸入加權(quán)求和，但此時(shí)不再有一個(gè)真實(shí)的閾值，而是采用如圖教材9.2所示的S形閾值函數(shù)(sigmoid函數(shù))來體現(xiàn)其輸入與輸出間的典型關(guān)系。由該函數(shù)定性分析，如果神經(jīng)元所收到的所有的輸入總和很小，其輸出也很?。豢偤蜕源髸r(shí)，其輸出便增加；當(dāng)總和很大時(shí)，輸出接近最大值+1。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 這種特性有點(diǎn)類似于真實(shí)神經(jīng)元平均發(fā)放率。因?yàn)樵撉€本身是非線性的，其上任意一點(diǎn)的斜率是有限的。又很類似于真實(shí)神經(jīng)元的活動(dòng)。因此，這種特性使得BP網(wǎng)絡(luò)的非線性特性進(jìn)一步體現(xiàn)，能處理比嚴(yán)格線性系統(tǒng)更廣泛問題。神經(jīng)網(wǎng)絡(luò)典型輸入/輸出曲線

11、9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 一個(gè)典型的BP網(wǎng)絡(luò)由輸入層、隱含層、輸出層三部分共同組成，如下圖所示。由圖中所示的網(wǎng)絡(luò)連接關(guān)系可以看出，隱含層介于輸入層和輸出層之間，整個(gè)網(wǎng)絡(luò)無側(cè)向連接，而只有前向連接。一個(gè)簡化的多層神經(jīng)網(wǎng)絡(luò) 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 BP網(wǎng)絡(luò)也要經(jīng)過訓(xùn)練才能使用，其“訓(xùn)練集”必須是網(wǎng)絡(luò)在訓(xùn)練后可能遇到的輸入中合適樣本。同樣，通常需要進(jìn)行多次輸入訓(xùn)練，BP網(wǎng)絡(luò)開始訓(xùn)練時(shí)，權(quán)值都被賦隨機(jī)數(shù)值，然后，給定訓(xùn)練輸入，產(chǎn)生輸出并按反傳訓(xùn)練規(guī)則調(diào)節(jié)各個(gè)神經(jīng)元連接權(quán)值。 也就是說，求出每個(gè)神經(jīng)元的輸出與期望輸出之差異，利用該信息逐步調(diào)整每個(gè)從低層神經(jīng)元達(dá)到該神經(jīng)元

12、的權(quán)值，不斷調(diào)節(jié)以減小誤差。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 BP網(wǎng)絡(luò)的成功之處在于使用了一個(gè)由輸出層到輸入層、再到隱含層逐層逆向傳播偏差的誤差校正公式，用來修改神經(jīng)元突觸的連接強(qiáng)度也即連接權(quán)值。這種算法的普適性較好，可用于三層以上前向網(wǎng)絡(luò)，這也就是BP網(wǎng)絡(luò)能夠大量應(yīng)用的重要原因。 BP網(wǎng)絡(luò)最適合于處理那種規(guī)律隱含在一大堆數(shù)據(jù)中的映像逼近問題，特別是處理那種通過學(xué)習(xí)自適應(yīng)可調(diào)的實(shí)時(shí)性問題，如模式識(shí)別、圖像分割、自適應(yīng)模糊控制等。BP算法是當(dāng)前人工神經(jīng)網(wǎng)絡(luò)技術(shù)中最成功的學(xué)習(xí)算法之一，也是應(yīng)用最為廣泛的學(xué)習(xí)算法。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述(5) Kohonen神經(jīng)網(wǎng)絡(luò) Koh

13、onen網(wǎng)絡(luò)是一種無監(jiān)督、自學(xué)習(xí)、自組織人工神經(jīng)網(wǎng)絡(luò)。 由生物神經(jīng)系統(tǒng)理論知，大腦通過感官所接受到的視覺、聽覺等外界信息，是通過大腦皮層上的拓?fù)浔硐髞韺?shí)現(xiàn)認(rèn)知過程的。例如，在聽覺皮層上就可以分辨出對(duì)不同頻率產(chǎn)生響應(yīng)的神經(jīng)元空間配置，這種空間配置按頻率對(duì)數(shù)方式安排，低頻使皮層一端的神經(jīng)元響應(yīng)，高頻則使另一端的神經(jīng)元響應(yīng)。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 Kohonen將腦神經(jīng)的這種空間結(jié)構(gòu)映像外部復(fù)雜數(shù)據(jù)結(jié)構(gòu)的方式進(jìn)行矢量量化以壓縮數(shù)據(jù)。因?yàn)榇竽X皮層的二維互聯(lián)神經(jīng)網(wǎng)絡(luò)能表征外部世界高維信息，如下圖所示，Kohonen網(wǎng)絡(luò)就用一個(gè)格狀平面網(wǎng)絡(luò)表征輸入信息，所有輸入都和網(wǎng)格上的每一節(jié)點(diǎn)相連，

14、每一個(gè)網(wǎng)格節(jié)點(diǎn)都是輸出節(jié)點(diǎn)，它們只和相鄰的其他節(jié)點(diǎn)相連。 Kohonen特征映像網(wǎng)絡(luò) 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 通過學(xué)習(xí)算法，使相鄰近的節(jié)點(diǎn)表征出輸入的不同類別特性，稱之為特征映像。通過反復(fù)將輸入圖樣和存儲(chǔ)在每一個(gè)節(jié)點(diǎn)上的矢量進(jìn)行比較，如果輸入與節(jié)點(diǎn)矢量相匹配，則用該節(jié)點(diǎn)處的映像區(qū)域來優(yōu)先表征該類訓(xùn)練數(shù)據(jù)的特征。 Kohonen網(wǎng)絡(luò)適合圖像分割、圖像分類或其他各種數(shù)據(jù)信息的分類分析。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 前面簡單介紹了一些傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的概念和特點(diǎn)，顯然，它們是根據(jù)生物神經(jīng)網(wǎng)絡(luò)主要特性而模擬產(chǎn)生的人工神經(jīng)元模型所構(gòu)成的各種人工神經(jīng)網(wǎng)絡(luò)模型，它們與實(shí)際神經(jīng)網(wǎng)絡(luò)還

15、有很大的距離，而且處理信息之前都要經(jīng)過樣本學(xué)習(xí)或訓(xùn)練的預(yù)處理階段，盡管如此，仍能顯示出驚人的信息處理能力。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述9.1.2 人工神經(jīng)元電路實(shí)現(xiàn)模型簡介人工神經(jīng)元電路實(shí)現(xiàn)模型簡介 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)電路實(shí)現(xiàn)的基本單元，線性突觸神經(jīng)元是傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用最廣泛、研究最多的一種神經(jīng)元電路實(shí)現(xiàn)模型，它的模型框圖如下圖所示，它的數(shù)學(xué)表達(dá)式為：)(1NiiiXWfyXW11XW22XWnn閾值函數(shù)f( )-y其中，y為神經(jīng)元的輸出，X i 是神經(jīng)元的輸入，W i是權(quán)值，是神經(jīng)元的激活閾值， f是閾值函數(shù)(或稱激活函數(shù)) 。線性突觸神經(jīng)元模型 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人

16、工神經(jīng)網(wǎng)絡(luò)概述 由公式和框圖可知，該神經(jīng)元模型的電路實(shí)現(xiàn)需要分成3個(gè)功能單元，分別是：權(quán)值存儲(chǔ)單元、突觸求和單元和閾值單元。其中，權(quán)值存儲(chǔ)單元實(shí)現(xiàn)神經(jīng)元權(quán)值的存儲(chǔ)，突觸求和單元實(shí)現(xiàn)周圍神經(jīng)元對(duì)本神經(jīng)元所有輸入的加權(quán)求和，輸出單元實(shí)現(xiàn)本神經(jīng)元對(duì)所有周圍神經(jīng)元對(duì)其影響的響應(yīng)。)(1NiiiXWfyXW11XW22XWnn閾值函數(shù)f( )-y（1）權(quán)值存儲(chǔ)單元的電路實(shí)現(xiàn) 人工神經(jīng)網(wǎng)絡(luò)通過加權(quán)求和方式描述周圍神經(jīng)元對(duì)本神經(jīng)元的影響，權(quán)值的大小反映對(duì)本神經(jīng)元影響的強(qiáng)度，為此電路實(shí)現(xiàn)中需要存儲(chǔ)很多權(quán)值。下圖所示為一個(gè)用固定電阻表示神經(jīng)元互聯(lián)權(quán)值的電路實(shí)現(xiàn)。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述V1V2

17、VnGi2iGinCiGi1UinUiVi固定電阻加權(quán)求和神經(jīng)元電路模型9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述8:14:12:11:18:14:12:11:1B7B6B5B4B3B2B1B01:11:11:116:1VsignWsignIoutVin 大規(guī)模集成電路技術(shù)的發(fā)展，使得數(shù)字式權(quán)值存儲(chǔ)電路實(shí)現(xiàn)方便，且具有精度高、可靠、不易丟失和設(shè)計(jì)簡便等特點(diǎn)。下圖所示為清華大學(xué)微電子所設(shè)計(jì)的數(shù)字式權(quán)值存儲(chǔ)的突觸電路。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 這是一種具有8位數(shù)字權(quán)值和符號(hào)運(yùn)算功能的突觸電路，通過數(shù)字權(quán)值實(shí)現(xiàn)神經(jīng)元加權(quán)求和。其中B0B7表示8位數(shù)字權(quán)值，Wsign和Vsign為1 b

18、it數(shù)字量，分別表示權(quán)值和輸入電壓符號(hào)，1表示正，0表示負(fù)。這里Wsign和Vsign進(jìn)行邏輯同或運(yùn)算，當(dāng)Wsign 為1時(shí)，表示輸出結(jié)果為正，輸出電流流入I+ ，當(dāng)Wsign為0時(shí)，輸出結(jié)果為負(fù)，電流流入I- ，然后由后面電流加減和比例電路實(shí)現(xiàn)Iout= I + - I -。9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述(2) 突觸求和單元的電路實(shí)現(xiàn) 現(xiàn)在最常用的神經(jīng)元突觸主要是線性突觸和平方突觸。突觸電路是人工神經(jīng)網(wǎng)絡(luò)模型電路實(shí)現(xiàn)中數(shù)量最多、也是最基本的單元電路，因此，在設(shè)計(jì)模擬網(wǎng)絡(luò)突觸電路時(shí)除了要考慮電路的速度、精度等指標(biāo)外，更重要的是要求突觸電路結(jié)構(gòu)簡單、占用芯片面積小、功耗低等要求。 9.

19、1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 下圖所示為電壓型MOS 向量模擬乘法器構(gòu)成的突觸電路，乘法器的輸出電壓值Vo 公式為：(/ )oOXVCW L R XYY1Y2Y3Y4X1X2X2M3X1IfRRV+I1oV-VM4M2M1A電壓型MOS向量乘法器突觸電路 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 把左圖電路擴(kuò)展為多路數(shù)據(jù)的電壓型加權(quán)求和突觸電路，如右圖所示，圖中分別用兩個(gè)MOS管代替如左圖中的電阻R，輸出級(jí)帶有由運(yùn)放A 2、R1、Rf 組成的反相比例輸出級(jí)。A1A2RfR1VoVc1Vc2Vc1Vc2Xn1Xn2X21X22X11X12Xn2Xn1X22X21X12X11Yn1Yn2Y

20、21Y22Y11Y12Y11Y22Y21Yn2Yn1Y12Y1Y2Y3Y4X1X2X2M3X1IfRRV+I1oV-VM4M2M1A電壓型MOS向量乘法器突觸電路 電壓型加權(quán)求和的突觸電路9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述該電壓型加權(quán)求和突觸電路的輸出電壓為：01120()nfoutiiiiccRWVXYWLRVVLA1A2RfR1VoVc1Vc2Vc1Vc2Xn1Xn2X21X22X11X12Xn2Xn1X22X21X12X11Yn1Yn2Y21Y22Y11Y12Y11Y22Y21Yn2Yn1Y12電壓型加權(quán)求和的突觸電路9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述（3）閾值單元電路實(shí)現(xiàn)

21、相對(duì)于數(shù)字電路，模擬電路利用器件的非線性特性，完成限幅函數(shù)、Sigmoid 函數(shù)、雙正切函數(shù)等非線性函數(shù)等電路實(shí)現(xiàn)，無論從電路的簡單程度還是運(yùn)算速度上都有很大優(yōu)勢。 現(xiàn)在常用閾值函數(shù)主要有三種：線性閾值函數(shù)、硬限幅函數(shù)和Sigmoid 函數(shù)。其中Sigmoid函數(shù)電路較容易實(shí)現(xiàn)，為人工神經(jīng)網(wǎng)絡(luò)最常用閾值函數(shù)。它可以用一個(gè)高增益倒相放大器和一個(gè)普通倒相放大器級(jí)聯(lián)實(shí)現(xiàn)。 9.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 在某些神經(jīng)網(wǎng)絡(luò)中，為了能集成大量神經(jīng)元，采用如下圖所示3管電路。盡管該電路運(yùn)算精度較低，但卻只用3只場效應(yīng)管就能同時(shí)實(shí)現(xiàn)電流與電壓的轉(zhuǎn)換和Sigmoid 函數(shù)轉(zhuǎn)換功能，運(yùn)算速度快，其中前級(jí)

22、為電流信號(hào)，便于進(jìn)行求和運(yùn)算。GNDinVddMnVoutVssMp2Mp1I三管Sigmoid 函數(shù)電路9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 1988年蔡少棠等首創(chuàng)細(xì)胞神經(jīng)網(wǎng)絡(luò)（Cellular Neural Networks-CNN）模型。 細(xì)胞神經(jīng)網(wǎng)絡(luò)是一種能實(shí)時(shí)、高速并行處理信號(hào)的大規(guī)模非線性模擬電路模型，易于VLSI實(shí)現(xiàn)，用它可描述三階以上動(dòng)力學(xué)行為，因此得到廣泛應(yīng)用。9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 CNN基本單元如下圖所示，網(wǎng)絡(luò)的每個(gè)細(xì)胞都是由一個(gè)線性電阻、一個(gè)線性電容和一組壓控電流源共同構(gòu)成的非線性一階電路。圖中，ui

23、j 為基本細(xì)胞神經(jīng)網(wǎng)絡(luò)單元的輸入，yij為其輸出，xij為其狀態(tài)。 9.2.1細(xì)胞神經(jīng)網(wǎng)絡(luò)簡介細(xì)胞神經(jīng)網(wǎng)絡(luò)簡介 +-EijuijICRxxijyijIxu(i,j;k,l)Ixy(i,j;k,l)IyxRy 基本細(xì)胞神經(jīng)網(wǎng)絡(luò)單元 9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 一個(gè)簡單二維CNN結(jié)構(gòu)模型如下圖所示。圖為這樣的基本細(xì)胞神經(jīng)網(wǎng)絡(luò)單元構(gòu)成的細(xì)胞神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型。 c(1,1)c(1,2)c(1,3)c(2,1)c(2,2)c(2,3)c(3,1)c(3,2)c(3,3) 細(xì)胞神經(jīng)網(wǎng)絡(luò)的一種基本結(jié)構(gòu)模型 9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性

24、 如果一個(gè)NM的CNN模型中，細(xì)胞 cij只與鄰近的細(xì)胞ckl通過壓控電流源Ixy(i,j;k,l)和Ixu(i,j;k,l)相連接，并且細(xì)胞ckl位于細(xì)胞cij鄰域Nr(ij)中，那么可以對(duì)鄰域Nr(ij)定義如下：( ) :max( - , - ),1;1, 0,( , ; , )( , ; , )( , ; , )( , ; ,)0.5(1-1)() rijxuklxyklyxyijijijN ijck i l jrkNlMrrZIi j k lB i j k l uIi j k lA i j k lyIRxxf x這樣)()(),;,(),;,()1(ijNrcklijNrcklijx

25、ijklklulkjiBylkjiAIxRdtdxc此式為每個(gè)細(xì)胞的狀態(tài)方程。9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 特別地，當(dāng)CNN模型中的細(xì)胞的個(gè)數(shù)超過2個(gè)以上時(shí)，用下式來一般性表示CNN模型中一個(gè)神經(jīng)細(xì)胞的狀態(tài)方程：jsojjjjiGGyaxdtdx上式中，xj、yj分別為細(xì)胞的狀態(tài)變量、細(xì)胞的輸出；Go和Gs分別為鄰域內(nèi)連接細(xì)胞的輸出和狀態(tài)變量的狀態(tài)組合；j為細(xì)胞的標(biāo)號(hào)，aj為常數(shù)，ij是門限值，且有)11(5.0jjjxxy9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 三階CNN動(dòng)態(tài)模型的狀態(tài)方程為：3311,j=1,3jjjjjkkjk

26、kjkkkjdxxa ya ys xidt 其中x1、x2和x3表示狀態(tài)變量， y1、y2和y3為相應(yīng)的輸出。9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性9.2.2細(xì)胞神經(jīng)網(wǎng)絡(luò)細(xì)胞神經(jīng)網(wǎng)絡(luò)CNN的混沌輸出的混沌輸出 本節(jié)分析三階細(xì)胞神經(jīng)網(wǎng)絡(luò)的混沌特性，如將下式參數(shù)a12、a13、a2、a21、a23、a3、a31、a32、s13、s31、s22置為0，并將門限值i1、i2、i3也設(shè)為0。3311,j=1,3jjjjjkkjkkjkkkjdxxa ya ys xidt 則上式變?yōu)?3323233323121222121111111xsxsxdtdxxsxsxdtdxxsxsy

27、axdtdx9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 同時(shí)在實(shí)驗(yàn)中選擇：s33、s21、s23為1，且步長為0.005， 通過設(shè)置：(a) a1=3.875，s11=-1.57，s12=9，s32=-14.286； (b) a1=4.0279，s11=-1.6856，s12=9.4，s32=-16； (c)a1=-3.6805，s11=2.2179，s12=8.342，s32=-11.925； (d) a1=-7.717，s11=1.3443，s12=-4.925，s32=3.649，則下式對(duì)應(yīng)的四個(gè)方程如下頁所示：33323233323121222121111111x

28、sxsxdtdxxsxsxdtdxxsxsyaxdtdx9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性11122123322.68564.02799.416xxyxxxxxxx11122123321.21793.68058.34211.925xxyxxxxxxx 11122123320.34437.7174.9253.649xxyxxxxxxx 11122123322.573.875914.286xxyxxxxxxx 分別求解方程組，得到如下圖所示的吸引子相圖。-0 .4-0 .2-2 .5-1 .5-0 .50 .51 .50 .40 .2-2-10122 .50-0 .8

29、-0 .40-101230 .80 .4(a) a1=4，s11=-2.78，s12=10，s32=-14.7； (b) a1=0.667，s11=-2.78，s12=10，s32=-21.3；9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性-0 .8-0 .40-4-20240 .80 .4-1 0-50-8 0-4 004 08 01 05-6 0-2 02 06 0(c)a1=-3.70，s11=1.25，s12=0.87，s32=-12.5； (d) a1=-7.7，s11=0.34，s12=-5，s32=3.6-0 .4-0 .2-2 .5-1 .5-0 .50 .5

30、1 .50 .40 .2-2-10122 .50-0 .8-0 .40-101230 .80 .4(a) a1=4，s11=-2.78，s12=10，s32=-14.7； (b) a1=0.667，s11=-2.78，s12=10，s32=-21.3； 圖 (a)為典型的雙渦旋混沌吸引子，而圖 (d)則為典型的雙螺旋吸引子。9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 同樣，對(duì)全互連四階細(xì)胞神經(jīng)網(wǎng)絡(luò)分析其混沌特性，設(shè)四階細(xì)胞神經(jīng)網(wǎng)絡(luò)狀態(tài)方程的各個(gè)參數(shù)分別為1221243442431123331314223132441440(1,2,3),0( ,1,.,4()0,0(1,.

31、,4)1,1,314,14,200,100,99kjkjakaj kjkssssssijssssssssass 則四階細(xì)胞神經(jīng)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)方程可寫為： )11(1001001001414244414213322431xxxxxxxxxxxxxx9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 求解方程組，得到x1x4的波形如下圖所示。 -4-203 05 07 09 042tx14 06 08 01 00-4-203 05 07 09 042tx24 06 08 01 00-1 0-503 05 07 09 01 05tx34 06 08 01 00-51 0008 06 0

32、4 04x3 0t5 07 059 0 (a) x1波形圖 (b) x2波形圖 (c) x3波形圖 (d) x4波形圖9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性四階細(xì)胞神經(jīng)網(wǎng)絡(luò)系統(tǒng)的二維相圖-2-4-2024420-2-4-2024420(a) x1-x2平面相圖 (b) x1-x4平面相圖9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性四階細(xì)胞神經(jīng)網(wǎng)絡(luò)系統(tǒng)三維相圖(c) x1-x2-x3三維相圖 (d) x2-x3-x4三維相圖觀察圖可見，四階細(xì)胞神經(jīng)網(wǎng)絡(luò)有著較復(fù)雜的系統(tǒng)動(dòng)態(tài)行為，是一個(gè)超混沌系統(tǒng)。如將其用于保密通信中，將增強(qiáng)保密通信系統(tǒng)的抗破譯能力。9

33、.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性9.2.3細(xì)胞神經(jīng)網(wǎng)絡(luò)的電路實(shí)現(xiàn) 和其他典型神經(jīng)網(wǎng)絡(luò)的電路實(shí)現(xiàn)方法一樣，用運(yùn)算放大器可以方便地設(shè)計(jì)出硬件電路實(shí)現(xiàn)的細(xì)胞神經(jīng)網(wǎng)絡(luò)模型。如圖所示電路為運(yùn)算放大器實(shí)現(xiàn)的細(xì)胞神經(jīng)網(wǎng)絡(luò)中的一個(gè)簡化細(xì)胞電路模型。ICxvy ijRvx ijx yIy xRy(i,j;k ,l)細(xì)胞神經(jīng)網(wǎng)絡(luò)中的簡化細(xì)胞電路模型實(shí)現(xiàn) 9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性R2R1R4R3R5RxCR6R7R8R9vx ijvy ijvy ijIx y(i,j;k ,l)A1A2運(yùn)算放大器實(shí)現(xiàn)的細(xì)胞神經(jīng)網(wǎng)絡(luò)中的簡化細(xì)胞電路模型 如圖所示電路

34、為運(yùn)算放大器實(shí)現(xiàn)的細(xì)胞神經(jīng)網(wǎng)絡(luò)中的一個(gè)簡化細(xì)胞電路模型。9.2 細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性細(xì)胞神經(jīng)網(wǎng)絡(luò)模型及其混沌特性 下圖所示為一個(gè)細(xì)胞神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)電路原理的結(jié)構(gòu)框圖。反相限幅放大器反相放大器反相放大器反相放大器反相放大器反相放大器反相放大器反相放大器反相放大器xzK1K2K3K4J1J2J3J4J5J6J7J8J9J10J11J12J13J14J15J16Y細(xì)胞神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)電路原理的結(jié)構(gòu)框圖9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 20世紀(jì)90年代開始研究的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）模型是目前正在發(fā)展中的新型、應(yīng)用廣泛、研究非常熱的一種人工神經(jīng)網(wǎng)絡(luò)。 它是基于對(duì)貓猴等哺乳動(dòng)物視

35、覺皮層神經(jīng)元脈沖同步振蕩現(xiàn)象研究而產(chǎn)生的一種人工神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型。 由于PCNN考慮了神經(jīng)元的非線性特性，具有特殊生物學(xué)背景，對(duì)于計(jì)算機(jī)視覺技術(shù)發(fā)展來說，向視神經(jīng)網(wǎng)絡(luò)中真實(shí)神經(jīng)元模型靠進(jìn)了一大步。 該模型能對(duì)圖像二維空間相鄰、灰度相似像素進(jìn)行分組，并能減小圖像局部像素灰度值差，故而，非常適合圖形、圖像處理等方面的應(yīng)用，主要用于圖形、圖像特征提取、邊緣檢測、目標(biāo)分割、目標(biāo)識(shí)別，其應(yīng)用研究正在逐步深入。 目前已經(jīng)將PCNN應(yīng)用于醫(yī)療圖像診斷系統(tǒng)、軍事目標(biāo)識(shí)別系統(tǒng)和航空航天等領(lǐng)域。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型9.3.1. PCNN模

36、型基本原理模型基本原理（1）神經(jīng)元非線性特性等效電路分析 傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型利用生物神經(jīng)元的有限屬性。由此所建立的神經(jīng)元模型工作于興奮與抑制兩種狀態(tài)，同時(shí)還具有多輸入、單輸出以及突觸部分的連接強(qiáng)度可以調(diào)節(jié)等特點(diǎn)。 在這種模型中，當(dāng)神經(jīng)元細(xì)胞膜的靜止電位超過閾值點(diǎn)時(shí)，神經(jīng)元就處于興奮狀態(tài)，否則就處于抑制狀態(tài)。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)元胞體上各種樹突的突觸后接受周圍與之相連的神經(jīng)元軸突的突觸前電脈沖信息，并在空間和時(shí)間上按迭加方式作用，經(jīng)過內(nèi)部復(fù)雜的求和處理后由本神經(jīng)元的軸突傳送到其他神經(jīng)元。 實(shí)際的生物神經(jīng)系統(tǒng)中的神經(jīng)元除了前面所述的特點(diǎn)之外，其輸入和輸出之間還具

37、有明顯的非線性效應(yīng)： 所有神經(jīng)元樹突上突觸后的輸入并不是簡單的以求和方式影響本神經(jīng)元的脈沖發(fā)放，而具有非線性相乘的調(diào)制耦合特性，這些非線性特性都在生物神經(jīng)系統(tǒng)試驗(yàn)研究中得到了進(jìn)一步驗(yàn)證，是一種普遍存在現(xiàn)象。 若用電路理論來解釋，就會(huì)發(fā)現(xiàn)神經(jīng)元突觸上離子通道的等效電導(dǎo)相互影響，并具有神經(jīng)元電壓依賴特性，也即壓控特性。 9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 下圖為一個(gè)神經(jīng)元胞體和相鄰神經(jīng)元樹突之間突觸連接的簡單模型，為了簡化分析，忽略了軸突的功能。 細(xì)胞體樹突FL一個(gè)神經(jīng)元胞體和相鄰神經(jīng)元樹突之間突觸連接簡單模型9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 下圖為神經(jīng)元胞體和相鄰神

38、經(jīng)元樹突之間突觸連接簡單模型的等效電路模型框圖。其中，Em為神經(jīng)細(xì)胞的固有電位，一般約為-70mV左右，Y(t)為神經(jīng)元產(chǎn)生的脈沖，Es為突觸后固有電位，一般約為+20mV左右，gm1、gm2分別為細(xì)胞膜本身的固有漏電導(dǎo)。YV1V2g12gm1gs1=FC1C2gm2gs2=LEmEsEmEs(t)9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型gs1=F、gs2=L分別為本神經(jīng)元軸突的突觸前、相鄰神經(jīng)元樹突的突觸后輸入電導(dǎo)（離子通道傳輸電導(dǎo)），g12為連接距離（長度）電導(dǎo)。所有電阻（電導(dǎo)的倒數(shù)）在兆歐數(shù)量級(jí)，且g12遠(yuǎn)遠(yuǎn)大于gm1、gm2。C1、C2分別為各自細(xì)胞膜等效電容，數(shù)量在納法數(shù)量級(jí)

39、。YV1V2g12gm1gs1=FC1C2gm2gs2=LEmEsEmEs(t)神經(jīng)元胞體和相鄰神經(jīng)元樹突之間突觸連接的等效電路模型框圖9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型對(duì)下圖電路寫出它的電壓脈沖表達(dá)式如下：YV1V2g12gm1gs1=FC1C2gm2gs2=LEmEsEmEs(t)VM VR其中， 21vvV11121212122121/()/1/()mmC ggFgMgCC ggL)(/1)(/12211LEEgCtYFEEgCRsmmsmm9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 V1、V2為各自神經(jīng)元細(xì)胞膜電位。這個(gè)表達(dá)式說明輸出脈沖信號(hào)不僅與突觸之間的傳輸電導(dǎo)

40、F、L有關(guān)，還與神經(jīng)元本身的等效電容、固有電位、細(xì)胞膜本身的等效漏電導(dǎo)有關(guān)。 這進(jìn)一步說明神經(jīng)元能否激活除了取決于外部相鄰神經(jīng)元的輸入之外，還與其本身的內(nèi)部活動(dòng)狀態(tài)有關(guān)。 當(dāng)神經(jīng)元電位V1大于其激發(fā)閾值電位Vmax時(shí)，就會(huì)處于激發(fā)狀態(tài)產(chǎn)生脈沖電壓信號(hào)Y(t)，否則處于抑制狀態(tài)，或者處于靜態(tài)。靜態(tài)的神經(jīng)元細(xì)胞內(nèi)部活動(dòng)達(dá)到平衡狀態(tài)，無脈沖信號(hào)輸出，也即電位微分為零。 9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型由式可得：1abFcLdFLVab Fc Ld FLVM VR其中：21211212212112,mmmmmmmssmmssaggEgg Eg EbgEg EcgEg EdE121121

41、22212112;1mmmmmmaggggg gbggcggd 上式實(shí)際上是神經(jīng)元內(nèi)部平衡時(shí)神經(jīng)元細(xì)胞膜電位函數(shù)關(guān)系。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型上式是神經(jīng)元內(nèi)部平衡時(shí)神經(jīng)元細(xì)胞膜電位函數(shù)關(guān)系。式中a為本身固有漏電導(dǎo)影響部分，(bF+cL)為突觸傳輸電導(dǎo)線性影響部分，bF為輸入電導(dǎo)影響，cL為反饋傳輸電導(dǎo)影響，dFL為非線性效應(yīng)的影響。這里最后一項(xiàng)說明前面所述非線性相乘調(diào)制耦合特性是由本神經(jīng)元突觸前與相鄰神經(jīng)元樹突突觸后之間的輸入電導(dǎo)電流傳導(dǎo)作用而引起的，而這些輸入電導(dǎo)本身受神經(jīng)元脈沖電壓的控制，這就使得本神經(jīng)元信息借助突觸電導(dǎo)的這種壓控特性傳送到相鄰神經(jīng)元。1abFcLd

42、FLVab Fc Ld FL9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（2） 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型Y.EEULYij偏置F輸入連接脈沖產(chǎn)生W 脈沖耦合神經(jīng)網(wǎng)絡(luò)的一個(gè)神經(jīng)元模型框圖如下圖所示，它由樹突部分、非線性連接調(diào)制部分、脈沖產(chǎn)生三部分構(gòu)成。樹突部分的作用是接收來自相鄰神經(jīng)元的輸入信息，它由線性連接輸入通道和反饋輸入通道兩部分組成；脈沖耦合神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 線性連接輸入通道接收來自局部相鄰神經(jīng)元突觸輸入信息，而反饋輸入通道除了接收這種局部輸入信息外，還直接接收來自外部的刺激信息輸入。每個(gè)通道狀態(tài)的變化由其本身狀態(tài)和接收輸入信息共同決定；

43、 非線性連接調(diào)制部分也即神經(jīng)元內(nèi)部活動(dòng)項(xiàng)，它由加有偏置的線性連接部分與反饋輸入兩部分相乘獲得；脈沖產(chǎn)生取決于內(nèi)部活動(dòng)項(xiàng)大小能否超過其激發(fā)動(dòng)態(tài)門限，而此門限值隨著該神經(jīng)元輸出狀態(tài)的變化相應(yīng)發(fā)生變化。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 整個(gè)脈沖耦合神經(jīng)網(wǎng)絡(luò)的工作過程是這樣的：如果神經(jīng)元有脈沖輸出，則其動(dòng)態(tài)門限突然增加。因?yàn)殚T限增大使得第二次不可能產(chǎn)生脈沖輸出，然后門限又開始指數(shù)衰減，當(dāng)門限值衰減到小于其內(nèi)部活動(dòng)項(xiàng)值時(shí)，脈沖又再次產(chǎn)生，如此周而復(fù)始。顯然這些脈沖串輸出又輸入到與之相連的其他神經(jīng)元的樹突上，從而又影響這些神經(jīng)元的激發(fā)狀態(tài)。 顯然，比起前面反傳BP神經(jīng)網(wǎng)絡(luò)模型，PCNN網(wǎng)絡(luò)

44、模型同時(shí)利用了生物神經(jīng)元特有的線性相加、非線性相乘調(diào)制耦合兩種特性。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 PCNN網(wǎng)絡(luò)模型還考慮了生物電脈沖傳輸離子通道特性，考慮了哺乳動(dòng)物視神經(jīng)系統(tǒng)視野受到適當(dāng)刺激時(shí)，相鄰連接神經(jīng)元（甚至在貓視覺皮層相鄰7mm范圍內(nèi)）同步激發(fā)產(chǎn)生35Hz70Hz振蕩脈沖串特性。 內(nèi)部活動(dòng)項(xiàng)中偏置一項(xiàng)為神經(jīng)元處于抑制狀態(tài)時(shí)，內(nèi)部活動(dòng)平衡態(tài)的一種等效表示，這樣PCNN模型更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)。因此，它對(duì)輸入信息的處理能力更強(qiáng)、性能更好。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 右下圖就是應(yīng)用于圖像處理的PCNN模型框圖，這里樹突的反饋輸入為Fijn、線性

45、連接輸入為Lijn，非線性連接調(diào)制構(gòu)成的內(nèi)部活動(dòng)項(xiàng)為Uijn、PCNN脈沖輸出為Yijn，它們滿足如下的數(shù)學(xué)關(guān)系式：Y.EEULYij偏置F輸入連接脈沖產(chǎn)生W脈沖耦合神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型 11FijijklFijklijnennVmSFFY 1,0,ijijijijnifnnnotherwiseUYEY 11LijijklLijklnennVwLLY 1ijijijnnnUFL 11EijijklEnennVEEY9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 式中Fijn就是第（i，j）個(gè)神經(jīng)元的n次反饋輸入、Sij為外部輸入刺激信號(hào)（這里為圖像像素構(gòu)成的矩陣中第(i，j)個(gè)像素的灰度值）、

46、為突觸之間連接強(qiáng)度常數(shù)、同樣L為線性輸入項(xiàng)Lijn、Eijn為為神經(jīng)元內(nèi)部活動(dòng)項(xiàng)U能否激發(fā)脈沖產(chǎn)生的指數(shù)衰減動(dòng)態(tài)門限、Yijn是PCNN脈沖輸出、Uijn為神經(jīng)元內(nèi)部活動(dòng)項(xiàng)。 其中內(nèi)部連接矩陣M、W（一般W=M）的mijkl、wijkl分別為Fijn、Lijn中Ykln的加權(quán)系數(shù)，VF、VL、VE分別為Fijn、Lijn、Eijn中的固有電勢，F(xiàn)、L、E分別為Fijn、Lijn、Eijn的衰減時(shí)間常數(shù)，它們之間滿足：FEL。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 PCNN神經(jīng)元接受反饋輸入Fijn和連接輸入Lijn，然后在其內(nèi)部神經(jīng)元活動(dòng)系統(tǒng)形成內(nèi)部活動(dòng)項(xiàng)Uijn，當(dāng)Uijn大于動(dòng)態(tài)

47、門限Eijn時(shí)，PCNN產(chǎn)生輸出時(shí)序脈沖序列Yijn。 若在PCNN的一個(gè)神經(jīng)元數(shù)學(xué)模型Ni中輸入一個(gè)恒定反饋Fi=Si（歸一化像素灰度值）且無連接輸入L（或者為零），則可以證明PCNN能產(chǎn)生穩(wěn)定周期的脈沖序列Yin。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 若此時(shí)還有其W領(lǐng)域內(nèi)其他神經(jīng)元Nj與Ni互聯(lián)，且FiFj。如果在t=0時(shí)Nj、Ni被復(fù)位，也即除了輸入Si、Sj外，門限E、連接輸入L等都為零，則第一次兩個(gè)神經(jīng)元都被激活，Nj、Ni都有脈動(dòng)輸出Yi、Yj，然后動(dòng)態(tài)門限Ej、Ei指數(shù)衰減，而在某個(gè)t時(shí)刻，Ni已經(jīng)激發(fā)脈沖輸出Yin，則Nj活動(dòng)項(xiàng)Uj就會(huì)因?yàn)閅in的作用而增加，若此時(shí)

48、UjEj，那么Nj將會(huì)與Ni一樣激發(fā)脈沖輸出，就說神經(jīng)元Nj捕獲了神經(jīng)元Ni的振蕩頻率，與它一起同步振蕩了。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 顯然，PCNN為單層模型神經(jīng)網(wǎng)絡(luò)，不需要訓(xùn)練過程即可實(shí)現(xiàn)模式識(shí)別、圖像分割、目標(biāo)分類，這是有別于傳統(tǒng)多層網(wǎng)絡(luò)的顯著特點(diǎn)之一，同時(shí)，對(duì)于二維矩陣形式輸入的圖像信號(hào)來說，PCNN輸出一維的二值脈沖串，也即實(shí)現(xiàn)了空間降維，將二維空間變量轉(zhuǎn)化為一維時(shí)間脈沖序列了。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型9.3.2 混沌混沌PCNN模型原理分析模型原理分析（1）基本模型 有文獻(xiàn)分析和證明了積分點(diǎn)火型神經(jīng)元在其復(fù)位電壓為振蕩時(shí)可表現(xiàn)出混沌行為

49、，并且還分析了連續(xù)時(shí)間變化情況下脈沖耦合神經(jīng)網(wǎng)絡(luò)的一些混沌特性，以下我們就離散Eckhorn的PCNN模型，分析其在圖像處理中表現(xiàn)的一些混沌特性。 首先，我們將該P(yáng)CNN模型的動(dòng)態(tài)閾值指數(shù)衰減公式中，動(dòng)態(tài)閾值初值也即其復(fù)位電壓變?yōu)檎袷幨綇?fù)位電壓，我們就得到離散混沌PCNN模型，以下簡稱混沌PCNN。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 基本離散PCNN模型的數(shù)學(xué)描述如上式所示，VE為神經(jīng)元點(diǎn)火時(shí)動(dòng)態(tài)閾值的初始值，在Eckhorn的PCNN模型中是一個(gè)常數(shù)，而混沌PCNN中設(shè)為一個(gè)正弦振蕩信號(hào)，即：00( )(1+ sin(2), / EEmsVnVaf ttn f 11Fijijk

50、lFijklijnennVmSFFY 1,0,ijijijijnifnnnotherwiseUYEY 11LijijklLijklnennVwLLY 1ijijijnnnUFL 11EijijklEnennVEEY9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型00( )(1+ sin(2), / EEmsVnVaf ttn f其中，0a00分別為正弦振蕩的振幅和頻率, fs是正弦信號(hào)的采樣頻率。顯然，當(dāng)振幅a0=0 和f0=0時(shí)，模型即為基本PCNN模型。 設(shè)VE(n)對(duì)于網(wǎng)絡(luò)中所有神經(jīng)元都是一樣的，因此稱其為“背景振蕩”，改變a0和f0可使模型神經(jīng)元的點(diǎn)火時(shí)間從周期變?yōu)榛煦纭?9.3 脈沖

51、耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（2）基本PCNN模型在無耦合連接時(shí)的點(diǎn)火周期 在無耦合連接情況下，耦合系數(shù)=0，反饋輸入域中放大系數(shù)VF=0，PCNN的運(yùn)行行為是各神經(jīng)元相互獨(dú)立運(yùn)行的組合。此式左式化簡為右式 11FijijklFijklijnennVmSFFY 1,0,ijijijijnifnnnotherwiseUYEY 11LijijklLijklnennVwLLY 1ijijijnnnUFL 11EijijklEnennVEEYF-( )=(1)ijijF neF nS( )=( )ijijUnF n其他) 1()(, 0, 1)(nEnUnYijijij( )(1)( )Eij

52、ijEijE neE nV Y n9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 一般給定VE值比較大，而反饋輸入F與動(dòng)態(tài)門限E初值均為零，假設(shè)在n=0時(shí)刻，這里要注意的是時(shí)間n已經(jīng)離散化，神經(jīng)元ij點(diǎn)火。 (0)(0)ijijijUFS(0)1,0ijijYS 把式 代入式 有， ( )=( )ijijUnF n( )(1)( )EijijEijEneEnV Y n( 0 )ijEEV因?yàn)樯窠?jīng)元?jiǎng)討B(tài)門限閾值由原來的ij=0突然升高到VESij，神經(jīng)元不能立刻再次興奮而輸出脈沖，Y始終為零，所以，動(dòng)態(tài)門限ij再次從n=1，2，3繼續(xù)按指數(shù)規(guī)律衰減，具體地：9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合

53、神經(jīng)網(wǎng)絡(luò)模型(1)(1)(0)(1)(0)FFFijijijijijijijijEUFeFSeSSSeEV而(1)=0ijY把下面兩式 其他) 1()(, 0, 1)(nEnUnYijijij(0)(0)ijijijUFS代入 ( )(1)( )EijijEijE neE nV Y n有 (1)(0)(1)EFijijEijEEeEV YV e9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型同理，n=1，2時(shí)，可以遞推出通式：( )(1)FFnijijUnSee(1)( )=0,( )(1)(1)FFEnnijijijijEY nUnSeeE nV e( )EnijEE nV e 上式反映了P

54、CNN的動(dòng)態(tài)閾值指數(shù)衰減性，如果n=n1時(shí)刻，滿足1(1)11()(1)EnijijEUnEnV e11(1)1()(1)(1) (1)FFFFnnijijijijUnSeeSeecS其中，1(1)(1) (1)FFncee9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型則神經(jīng)元恰好在n= n1時(shí)刻第二次點(diǎn)火，也即：1()=1,ijY n1(1)1()EnijijEUncSV e1(1)1()EnijEEEnV eV則由上式得， 1(1)1()EnijEUnV e有激勵(lì)Sij而無耦合時(shí) 1111ln()1ln()EEEijEijVVnUcS9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 同樣

55、此后，神經(jīng)元不會(huì)馬上興奮點(diǎn)火，因?yàn)椋溟撝瞪叩搅?1(1)1( )EnijEEijEE nV eVcSV 然后，在n=(n1+1)，(n1+2)，(n1+3)時(shí)刻，動(dòng)態(tài)門限ij再次從(cS+VE)按指數(shù)規(guī)律衰減，此時(shí)，通式將變?yōu)椋?(1)(n)=0,( )(1)(1)FFEnn nijijijijEYUnSeeEnV e直到n=n2時(shí)刻，滿足 21(1)22()(1)()EnnijijijEUnE ncSVe9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型則神經(jīng)元恰好在n2時(shí)刻第三次點(diǎn)火即 22(1)2( )(1)(1) (1)FFFFnnijijijijU nSeeSeecS2()=1ij

56、Y n21(1)2()()EnnijijEEijEE ncSVeVc SV其中2(1)(1) (1) FFncee21(1)22()(1)()EnnijijijEUnE ncSVe由下式得21(1)2( )()EnnijijEU ncSV e 9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型則n2為 211()11ln()()11ln()()111ln()ln()ijEEijijEEijijEEEijEijcSVnnUcSVnc ScSVVcSc S此后，又遵循式教材式(9.40)式(9.46)所示的規(guī)律，周而復(fù)始地循環(huán)，神經(jīng)元周期性發(fā)放脈沖。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型

57、綜上分析，可以得出，PCNN神經(jīng)元周期性輸出脈沖，并且輸出脈沖的離散時(shí)間為 12()11( )11ln()ln(),0,1,ijEEEijEijcSVVn mnmnmmNcSc S m是在n1時(shí)刻PCNN神經(jīng)元點(diǎn)火后，以n2為間隔的第m次點(diǎn)火。 PCNN神經(jīng)元點(diǎn)火周期為 11( )(1)ln()ln()ijEijEijEijEijcSVcSVTn mn mUcS 此后，在無耦合情況下，神經(jīng)元周而復(fù)始的循環(huán)工作，興奮產(chǎn)生輸出脈沖。顯然離散模型中的自然周期為Tij，是該神經(jīng)元ij在沒有受到別的神經(jīng)元影響時(shí)的獨(dú)立點(diǎn)火周期，也稱神經(jīng)元穩(wěn)定點(diǎn)火周期。9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 上式

58、表明，外部刺激Sij越大，該神經(jīng)元點(diǎn)火周期越小，點(diǎn)火頻率越高，意味著不同灰度值像素，在沒有受到別的神經(jīng)元影響時(shí)，其獨(dú)立點(diǎn)火頻率依賴于該像素灰度值。 或者說，在圖像中，多個(gè)相近灰度值神經(jīng)元將在相同時(shí)刻點(diǎn)火，這也從一個(gè)方面解釋了PCNN同步脈沖發(fā)放現(xiàn)象的內(nèi)在機(jī)理。11( )(1)ln()ln()ijEijEijEijEijcSVcSVTn mn mUc S9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 當(dāng)外部輸入為常數(shù)Sij=S時(shí)，可認(rèn)為在經(jīng)過足夠長迭代次數(shù)n后 Uij(n)=cS ij接近于一個(gè)常數(shù)，如下圖所示。01020304050607080901000.511.522.533.544.5

59、55.5nu(n)u(n)=CSij=(1-e-(n+1)*af)/(1-e-af)*sijU(n)值(參數(shù)： aF=0.1， Sij=5， 迭代次數(shù)n從1到100)9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型 由下圖可見，在無耦合連接PCNN中，當(dāng)n大于某一數(shù)值以后，U(n)幾乎保持不變，這可解釋神經(jīng)元的周期性脈沖發(fā)放，當(dāng)脈沖產(chǎn)生時(shí)，E=U+VE不變，又因?yàn)閁不變，故E=(U+VE)e-(n2-n1-1)*aE衰減到U而產(chǎn)生下一次脈沖所用的時(shí)間間隔n2n1總是固定的。但從圖也可見，在n較小時(shí)，U是遞增的，此時(shí)脈沖發(fā)放應(yīng)不滿足周期性。01020304050607080901000.511.

60、522.533.544.555.5nu(n)u(n)=CSij=(1-e-(n+1)*af)/(1-e-af)*sij9.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(3) 無耦合混沌PCNN的圓周映射特性 由上分析可知，在無耦合情況下PCNN神經(jīng)元將周期性輸出脈沖，周期為Tij。11( )(1)ln()ln()ijEijEijEijEijcSVcSVTn mn mUc S將式 00( )(1+ sin(2), / EEmsVnVaf ttn f代入上式得 00(1+ sin(2(1)/)11( )(1)ln()ln()ijEijEmsEijEijcSVcSVaf n mfn mn mUcS將