基于DSP的BP神經網絡實時實現(xiàn)(

1、基于DSP的BP神經網絡實時實現(xiàn) 基金項目：福建省教育廳科技項目（基于數(shù)字信號處理器的人工神經網絡算法實時實現(xiàn)的研究，JA05329） 作者簡介：陳麗安(1966-)，女，福建省龍巖市人，副教授，博士。本科及碩士畢業(yè)于西安交通大學，博士畢業(yè)于福州大學，主要研究方向為智能電器。陳麗安（廈門理工學院電子工程系，福建 廈門 361005）摘要 本文研究了基于數(shù)字信號處理器(DSP)的BP神經網絡算法實時實現(xiàn)的技術。內容主要包括BP神經網絡訓練的MATLAB仿真計算、基于TI TMS320F2812 DSP的BP神經網絡實時實現(xiàn)的硬件系統(tǒng)以及軟件設計關鍵性技術等。實驗結果證實了BP神經網絡算法在DSP

2、硬件上實現(xiàn)的可行性及實時性。關鍵詞：神經網絡；數(shù)字信號處理器(DSP)；實時實現(xiàn)中圖分類號 TP332, O24文獻標識碼 A文章編號Real-time Implementation of BP ANN Based on DSPCHEN Li-an(Electronic Engineering Department, Xiamen University of Technology, Xiamen 361005, P.R.China)Abstract：A novel technology of the real-time implementation of Back Propagation(BP

3、) Artificial Neural Network(ANN) based on Digital Signal Processor(DSP) is proposed in this paper. The research mainly includes as follows: MATLAB simulation of the BP ANN training, the key technique of the hardware system and software design of the real-time implementation of BP ANN based on TI TMS

4、320F2812 DSP. The validity and the real-time implementation of the proposed scheme have been successfully demonstrated by the experiments.Key words：ANN (Artificial Neural Network), Digital Signal Processor (DSP), Real-time implementation1. 引言人工神經網絡具有高度非線性映射、自組織結構、高度并行處理方式及無需預先建模等優(yōu)點，使之在處理非線性系統(tǒng)模型方面具備明

5、顯優(yōu)勢，已廣泛應用于模式識別、系統(tǒng)辨識、故障檢測等領域1-3。神經網絡算法從一出現(xiàn)開始，便掀起了一股股研究熱潮，可以說它的理論研究已相當成熟，但到目前為止，從國內到國外，它卻較少能夠成功地應用于工程實際中。究其原因，主要有兩方面因素：神經網絡算法的運算量較大，尤其是當神經網絡的層數(shù)及各層神經元個數(shù)較多時，用軟件編程方法在通用型的基于馮·諾依曼結構的處理器上實現(xiàn)是很難滿足工程的實時性要求的；雖然目前各大芯片生產廠商正積極研制各種專用的神經網絡芯片，這些專用芯片比用軟件方法在一般的處理器上實現(xiàn)速度快得多，但專用芯片價格較高，且研制尚處于起步階段，距實際應用還有一定的距離。隨著微電子技術的

6、發(fā)展，出現(xiàn)了非馮·諾依曼結構微處理器，給人工智能信息處理技術帶來了新的生機和活力，DSP是其中的代表產品。DSP是一種功能強大的微處理器，與通用型微處理器不同，它放棄了馮·諾依曼結構，而采用哈佛結構，即將程序指令與數(shù)據(jù)的存儲空間分開，各有自己的數(shù)據(jù)與地址總線，使得處理數(shù)據(jù)和指令可以同時進行，大大提高了運行速度，在那些因受傳統(tǒng)微處理器速度和結構限制而難以實現(xiàn)復雜算法及難以達到要求速度的場合，可由DSP實現(xiàn)。本文便研究了基于DSP的BP神經網絡實時實現(xiàn)的技術。2. BP神經網絡2.2神經網絡模型 神經網絡是由多個神經元組成，而神經元是多輸入單輸出的基本信息處理單元，其模型的輸入

7、輸出關系為：，其中稱為閾值，稱為權值，稱為激活函數(shù)。常用的激活函數(shù)有線性、符號、飽和、雙曲正切、階躍、sigmoid等六種類型。神經網絡的拓撲結構及連接形式種類很多，主要有前饋型網絡和反饋型網絡。BP(Back Propagation)網絡是一種多層前饋神經網絡，其神經元的激活函數(shù)是S型函數(shù)。因此輸出量為0到1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意的非線性映射，由于權值的調整采用反向傳播的學習算法，因此稱BP網絡。在確定了BP網絡結構之后，利用輸入輸出樣本集對其進行訓練，也即對網絡的權值和閾值進行學習和調整，以使網絡實現(xiàn)給定的輸入輸出的映射關系。2.2神經網絡的應用以故障檢測為例，具體應用

8、神經網絡時可分三步：第一步：數(shù)據(jù)預處理。對傳感器（如CT、PT）采樣得來的數(shù)據(jù)進行預處理。第二步：神經網絡訓練。確定適當?shù)纳窠浘W絡結構及規(guī)模（隱含層的數(shù)目及各層的神經元個數(shù)），采用一定的學習算法，將預處理后的數(shù)據(jù)作為神經網絡的輸入，以故障的狀態(tài)編碼為期望輸出，構成輸入/輸出樣本對，對神經網絡進行訓練，當學習收斂后記錄神經網絡的權值和閾值；第三步：神經網絡計算（故障檢測）。使訓練好的神經網絡處于回想狀態(tài)，對于一個給定的經過預處理后的輸入，便產生一個相應的輸出，由輸出與故障編碼進行比較即可確定故障發(fā)生與否。以上三步中，第二步是離線進行的，第一、第三步是在線進行的。由于神經網絡的訓練往往需花費較長時

9、間，而一旦網絡的權值及閾值確定下來以后，求解一個網絡還是很快的。因此，當處理器的速度夠快時，第一、第三步的實時實現(xiàn)是可以做到的。圖1BP神經網絡結構圖圖1為本文所選四層BP神經網絡結構圖。其中為權重矩陣；為閾值矩陣；為激活函數(shù)，其中為tansig型函數(shù)，為purelin型函數(shù)；為每層神經網絡輸入，為每層神經網絡輸出。由此可見，對多層神經網絡，上一層的輸出為下一層的輸入。，為1或0，分別表示故障或正常狀態(tài)。利用樣本數(shù)據(jù)訓練該神經網絡，便可確定權重矩陣及閾值矩陣。當神經網絡經離線訓練好后（如用MATLAB計算），神經網絡各層的權重、閾值便確定下來。在線在DSP上可進行計算，實現(xiàn)故障檢測。由神經網絡

10、的輸入矢量input求解輸出矢量output的步驟如下：，其中: ；。DSP因其高速的運算能力而使神經網絡算法作為實時檢測診斷手段成為可能，但在確定神經網絡的結構及規(guī)模時，必須考慮在DSP中實現(xiàn)的實時性要求，即隱含層的數(shù)目及各層神經元個數(shù)的選擇要適當。2.3神經網絡訓練的MATLAB計算多層前向網絡的學習算法有多種，在研究中使用了MATLAB的人工神經網絡工具箱。MATLAB人工神經網絡工具箱提供了多種算法，包括傳統(tǒng)的BP學習算法、BP慣量算法(動量BP算法)、動量學習率調整算法、以及建立在優(yōu)化方法基礎上的Levenberg-Marquardt算法（最小二乘優(yōu)化算法）等。實踐證明，在用BP算法

11、處理離線問題時，動量學習率調整算法是一種較好的算法，該算法采用了動量法和學習率自調整兩種策略，通過動量學習算法，降低了網絡對于局部誤差細節(jié)的敏感性，有效地抑制了迭代計算過程中陷于局部極小點的問題；而通過自適應調整學習率，可以縮短學習時間。MATLAB人工神經網絡工具箱中的函數(shù)trainbp、trainbpx、trainlm可用來訓練BP神經網絡，其中函數(shù)trainlm使用了Levenberg-Marquardt優(yōu)化方法，該算法經過測試比較可靠、穩(wěn)定，且學習速度較快。本文程序采用trainlm訓練函數(shù)。3基于DSP的BP神經網絡實時實現(xiàn)硬件系統(tǒng)DSP芯片是一種具有特殊結構的適合進行數(shù)字信號處理運

12、算的微處理器。為了實時快速地實現(xiàn)各種數(shù)字信號處理算法，DSP芯片一般采用特殊的軟硬件資源，如具有程序和數(shù)據(jù)分開的總線結構、流水線操作功能、單周期完成乘法運算的乘法器及一套適合數(shù)字信號處理的指令集等。DSP芯片的這些特點再加上集成電路的優(yōu)化設計，使得它能夠實現(xiàn)實時數(shù)據(jù)的采集與處理。高速DSP芯片已被認為是模擬神經特性的理想工具，并可直接用在將來的神經網絡計算機系統(tǒng)中，本文所研究的神經網絡實時實現(xiàn)算法以F2812 DSP 為核心，配以少量外圍器件。3.1F2812 DSP芯片簡介F2812芯片的主要功能特性如下4：主頻：150MHz；片內存儲器：128K×16位 FLASH、18K

13、15;16位SRAM、4K×16位ROM；外部存儲空間接口：最多可擴展1M×16位外部存儲空間；A/D轉換器：采樣率12.5 MSPS、12位、16通道、雙采樣/保持、2×8多路切換器；56個獨立可編程、復用型、通用I/O口；多種標準串口外設：1個SPI同步串口、2個UART異步串口(SCI)、1個增強型CAN總線接口、1個McBSP同步串口。3.2硬件系統(tǒng)由于DSP芯片不僅運算功能強大，并且片內集成了豐富的外圍設備，因此僅需添加少量外圍器件便可實現(xiàn)所需功能，由此提高了系統(tǒng)的可靠性，且降低成本。實驗結果證明，該硬件系統(tǒng)能夠滿足基于DSP的神經網絡算法實時

14、實現(xiàn)的功能要求。4. 基于DSP的BP神經網絡算法實現(xiàn)4.1神經網絡算法軟件設計關鍵性技術本文利用MATLAB神經網絡工具箱對神經網絡進行離線訓練，將訓練好了的神經網絡參數(shù)，包括輸入層及隱含層的權重值wi及閾值bi(在MATLAB中由net.b、net.IW、net.LW獲得)存入DSP，并在線進行故障檢測。應用神經網絡（如用神經網絡算法對故障進行檢測），實質是將信號輸入給一個已知結構的神經網絡，對該神經網絡進行求解。求解主要是乘加運算(w*input+b)，這種運算是DSP最擅長的。另外，當激活傳遞函數(shù)選為非線性的雙曲正切S型函數(shù)時，這對定點DSP是個考驗。雖然TMS320F2812具有獨特

15、的虛擬數(shù)學函數(shù)庫，但目前庫中僅有三角函數(shù)等，沒有雙曲正切函數(shù)，或雙曲正切函數(shù)所需的指數(shù)函數(shù)。當然可用泰勒級數(shù)編程求解，但為了確保實時性，本文采用查表的方法求解該非線性函數(shù)值，即采用以空間換時間的策略。由雙曲正切函數(shù)表達式及曲線可知，當自變量時，雙曲正切函數(shù)值為，十分接近（僅相差0.49%），因此對雙曲正切函數(shù)的求解可近似地分三段進行：這樣在列表時僅需列出部分，可在保證精度的前提下節(jié)省DSP存儲空間。4.2實驗結果用C語言編寫TMS320F2812 DSP程序以實現(xiàn)神經網絡算法。本文采用帶兩層隱含層的前饋神經網絡，采用反向傳播BP的方法進行訓練。輸入層含有5個節(jié)點，中間兩隱含層各帶有5個及10個

16、節(jié)點，輸出為單輸出，即神經網絡的結構為四層網絡，輸入層、兩隱含層及輸出層神經元個數(shù)分別為：5、5、10、1。本文采用雙曲正切S型函數(shù)作為兩隱含層的激活函數(shù)，而輸出層則采用線性激活函數(shù)。經過編譯后匯編代碼長度、計算一個采樣點所需指令周期數(shù)及DSP 的CPU運行時間等指標如表1所示。表1 用DSP求解神經網絡實時性指標(CPU工作頻率為150MHz)優(yōu)化否編譯后匯編代碼長度指令周期數(shù)CPU運行時間(us)優(yōu)化前337517934.53優(yōu)化后14013488.99由表1，對結構為5×5×10×1神經網絡，用TMS320F2812 DSP求解，經優(yōu)化后僅需1348個指令周

17、期便可完成一個采樣點的神經網絡值的計算，若DSP的工作頻率選為150MHz，則約需8.99us便可完成一個采樣點的計算，滿足大多數(shù)實際應用場合（如故障檢測）的實時性的要求。5結論本文通過實例介紹了基于數(shù)字信號處理器的BP神經網絡實時實現(xiàn)的技術，通過實驗驗證了BP神經網絡在TI TMS320F2812 DSP上實時實現(xiàn)的可行性及有效性，說明基于DSP的BP神經網絡實時實現(xiàn)在故障檢測等實際應用領域具有廣闊的前景。參考文獻1 ，Vol.27，No.12，Dec.1999:134313542 J.Pihler, B.Grear, and D.DolinarImproved Operation of Power Transformer Protection Using ANNIEEE Trans. on Power Delivery，Vol.12，No.3，1997:11283 Chen Lian, Zhang Peiming. Improved Operation of Motor Protection Using Artificial Neural Network. Proceedi