神經(jīng)網(wǎng)絡硬件方面的調(diào)查研究

神經(jīng)網(wǎng)絡硬件方面的調(diào)查研究第1頁/共36頁文獻摘要

在過去的十年中，并行人工神經(jīng)網(wǎng)絡模型的硬件開發(fā)設計很多。本文旨在對人工神經(jīng)網(wǎng)絡硬件進行回顧述。介紹硬件規(guī)格、執(zhí)行評價等神經(jīng)網(wǎng)絡的基礎技術，介紹人工神經(jīng)網(wǎng)絡主要結構類型。詳細描述了CNAPS（連接網(wǎng)絡的自適應處理器）和SYNAPSE-1（神經(jīng)算法在并行脈動陣列中的合成）兩種神經(jīng)硬件以及一些神經(jīng)網(wǎng)絡硬件的應用。討論了神經(jīng)網(wǎng)絡硬件的未來發(fā)展與挑戰(zhàn)。第2頁/共36頁一、介紹在過去十年，神經(jīng)網(wǎng)絡的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡硬件設備被認為在一些領域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡硬件通常被認為是實施神經(jīng)網(wǎng)絡結構和學習算法的設備，特別是那些具有神經(jīng)網(wǎng)絡所固有并列屬性的設備。第3頁/共36頁一、介紹在過去十年，神經(jīng)網(wǎng)絡的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡硬件設備被認為在一些領域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡硬件通常被認為是實施神經(jīng)網(wǎng)絡結構和學習算法的設備，特別是那些具有神經(jīng)網(wǎng)絡所固有并列屬性的設備。本文概述了神經(jīng)網(wǎng)絡硬件結構的發(fā)展現(xiàn)狀，介紹了神經(jīng)網(wǎng)絡的硬件規(guī)格、分類、結構種類、設計方法以及最新的發(fā)展狀況以及實際應用。對神經(jīng)網(wǎng)絡硬件的發(fā)展趨勢進行了討論。第4頁/共36頁二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡

的結構人工神經(jīng)元模型輸入權值判定神經(jīng)元是否被激發(fā)輸出第5頁/共36頁二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡

結構人工神經(jīng)網(wǎng)絡結構圖2：(a)多層饋送神經(jīng)網(wǎng)絡(b)遞歸神經(jīng)網(wǎng)絡第一層神經(jīng)元是從前一層得到的輸入，其輸出會作為下一層的輸入。連接神經(jīng)元到同一層或前一層的結構成為遞歸神經(jīng)網(wǎng)絡。第6頁/共36頁三、神經(jīng)網(wǎng)絡的硬件與軟件神經(jīng)網(wǎng)絡軟件當所處理的任務不需要非?？斓倪\行速度時，大多數(shù)神經(jīng)網(wǎng)絡設計師的解決方案，是采用軟件應用于電腦或工作站上，而不是尋求特殊附加硬件去解決。即使是最快的串行處理器也無法提供實時響應和對大量的神經(jīng)元、突觸的網(wǎng)絡學習。第7頁/共36頁三、神經(jīng)網(wǎng)絡的硬件與軟件神經(jīng)網(wǎng)絡硬件多個簡單處理單元并行處理，可以提供巨大加速。當硬件實現(xiàn)時，神經(jīng)網(wǎng)絡可以充分利用其固有的并行性，并且其運行量級遠遠大于軟件模擬。一般來說，神經(jīng)網(wǎng)絡硬件設計人員所采用的方法有兩種。一種方法是建立一個普通但較貴的系統(tǒng)上，這個系統(tǒng)可根據(jù)不同任務重新編程，如自適應解決方案CNAPS[15]。另一個辦法是建立一個專門的廉價芯片迅速有效的處理一件事，如IBMZISC[16]。第8頁/共36頁四、模塊表示法及其規(guī)范第9頁/共36頁四、模塊表示法及其規(guī)范激活模塊，是執(zhí)行wj、xj相乘并且對各相乘組求和，它是位于在神經(jīng)元芯片（或神經(jīng)元計算機的處理單元）。其他模塊，即神經(jīng)元狀態(tài)塊，權值模塊和傳輸功能模塊均可以設在芯片上或芯片外，其中一些功能可以由主機執(zhí)行。這些模塊之間的數(shù)據(jù)傳輸是通過芯片上的控制單元控制著。而控制參數(shù)是主機用來控制硬件的。第10頁/共36頁四、模塊表示法及其規(guī)范數(shù)據(jù)流是權值模塊中的權值，外部的輸入或從相乘后的輸出結果作為的輸入，在激活模塊概括出結果，并通過轉換、總和以上結果在神經(jīng)狀態(tài)模塊中得到輸出。第11頁/共36頁四、模塊表示法及其規(guī)范傳遞函數(shù)對于多層感知器和Hopfield(霍普菲爾)神經(jīng)網(wǎng)絡（例如[18]）的傳遞函數(shù)可能是一個閾值，線性，斜坡和雙彎曲函數(shù)。Kohonen網(wǎng)絡（例如[19]），通過激活模塊計算要符合輸入和權重向量的歐式距離。第12頁/共36頁四、模塊表示法及其規(guī)范規(guī)范對于量化神經(jīng)網(wǎng)絡硬件性能傳統(tǒng)的方法是在單位時間測量乘法和累加計算數(shù)目和權值更新率。這兩種測量方法有些符合MIPS或傳統(tǒng)系統(tǒng)中的MFLOPS測量。他們只是提供一種指示，必須對不同精度和尺寸進行細心比較。由于缺乏有效的、便攜的軟件，因而沒有盡力去做出一個與神經(jīng)網(wǎng)絡硬件相適應的綜合基準。第13頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類分類標準：神經(jīng)網(wǎng)絡硬件根據(jù)不同屬性對神經(jīng)網(wǎng)絡的硬件進行分類，如系統(tǒng)結構、并行度、處理器間通信網(wǎng)絡、通用或?qū)Ｓ迷O備、芯片上運算或不在芯片上運算等等。基于并行度，神經(jīng)網(wǎng)絡硬件可分為4類：粗粒子，中粒子，細粒度和大規(guī)模并行處理[24]。第14頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類對文獻[5]所提出的方案進行分析，將神經(jīng)網(wǎng)絡硬件為四大類，如圖所示?；诩呻娐窐藴?，神經(jīng)元計算機首先分為兩大部分。一部分主要加速器板和并行多處理器系統(tǒng)組成的。加速器板，可以加快傳統(tǒng)電腦如個人電腦或工作站；并行多處理器系統(tǒng)，可以單獨運行，也可通過計算機主機對其監(jiān)控。另一部分是建立在專用神經(jīng)元ASIC（專用集成電路）上的神經(jīng)元芯片。這些神經(jīng)元芯片可以是數(shù)字，模擬，或混合。第15頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類加速器板介紹加速器板是最常用于神經(jīng)元的商業(yè)硬件，因為他們是相對便宜的，應用廣泛，連接到電腦或工作站較為簡單，并且可以提供用戶友好的軟件工具。它們插在擴展插槽，用于加快神經(jīng)網(wǎng)絡計算?？蓪崿F(xiàn)的加速，是一個數(shù)量級與連續(xù)實現(xiàn)的比較。加速器板通常是采用神經(jīng)網(wǎng)絡芯片，但有些只是使用高速數(shù)字信號處理器（數(shù)字信號處理器），它們可很快處理多重累積的操作。加速器板的一個缺點是他們?yōu)槟硞€具體任務設定的，因而缺乏靈活性、不適應其他新范例。第16頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類加速器板實例加速器板的一個很好實例就是IBMZISCISA和PCI卡。ZISC036芯片是IBMessonnes實驗室開發(fā)處理的[16]。一個單ZISC036擁有36個神經(jīng)元，或原機，通過RCE（或ROI）算法訓練實現(xiàn)。ISA卡包含16ZISC036芯片，提供576個原機神經(jīng)元。PCI卡可容納19芯片，684個原型。PCI卡每秒可以處理165000種模式，每種個模式是64個8位的元向量。其他加速器系統(tǒng)，包括SAICSIGMA-1[25],NeuroTurbo[26],HNC[27]等。第17頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類對通用處理器的神經(jīng)元計算機的建立通用處理器為神經(jīng)元功能可通過編程實現(xiàn)。由于其廣泛的可用性和相對低廉的價格，許多神經(jīng)元計算機用通用芯片進行組裝。從簡單結構，低成本單元（例如在BSP400[28]和COKOS[29]）到像晶體計算機那樣相當復雜處理結構的實現(xiàn)，它們的并行輸入/輸出線[30]、數(shù)字信號處理器是獨特的。對于許多處理器而言尋找好的一個互聯(lián)策略被證明是一個復雜的問題。然而，許多關于這些大規(guī)模、并行計算機結構的知識可以于神經(jīng)元結構的設計。第18頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類對通用處理器的神經(jīng)元計算機的建立（實例）

RAP（環(huán)陣列處理器）[33]是由通用處理器構造出神經(jīng)元處理器的一個例實例。它是在ICSI（國際計算機科學研究所，伯克利，加利福尼亞州）研發(fā)出的，并且自1990以來它是作為開發(fā)語音識別中的連接算法的一個重要部分。RAP是由一個4MB的動態(tài)隨機存取存儲器和4—40個具有256千字節(jié)快速靜態(tài)存儲器的定點數(shù)字信號處理器TITMS320C30組成。這些芯片通過Xilinx公司的可編程門陣列（PGAs）進行連接。這些芯片是通過一個連接環(huán)連接成可編程門陣列，每個芯片執(zhí)行一個簡單的數(shù)據(jù)管道。此外，每板有一個虛擬機環(huán)境總線的邏輯接口，允許它連接到主機上。RAP的軟件支持需要一個具有命令解釋器的工作站，C標準環(huán)境的工具和一個矩陣、向量庫。在前處理中計算一個多層感知器網(wǎng)絡，一個簡單的板就可以每秒運行57兆周，而處理反向訓練可以每秒運行13.2兆周。第19頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類神經(jīng)元芯片實現(xiàn)神經(jīng)元功能采用的專用芯片需設計專用的電路。通過比較通用處理器執(zhí)行的2階幅度，神經(jīng)元芯片提高了神經(jīng)元交互時間。設計神經(jīng)元芯片可以選擇一些應用技術。其主要區(qū)別在于選擇了一個全數(shù)字化，完全模擬，或混合的設計。一些實例表明直接在電路中執(zhí)行改變了原始計算機單元（模擬或分析）確切功能。這主要是由于精度的有限。有限的精度對原始模式的運作具有非常大的影響。為構造出大規(guī)模的執(zhí)行機構，許多神經(jīng)元芯片就必須互聯(lián)。因此一些芯片就用于專門的通信通道。其他的神經(jīng)元芯片就被專用通信元件互聯(lián)了。第20頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類數(shù)字神經(jīng)元芯片數(shù)字神經(jīng)元專用集成電路（ASIC）是強大和成熟的神經(jīng)元芯片。數(shù)字技術提供的高精度，高可靠性，高可編程性。此外，強大的設計工具對數(shù)據(jù)全、半定制設計是有效的。缺點是與模擬實現(xiàn)相比，具有相對較大的電路尺寸。突觸權重可以存在芯片上也可不存在芯片上。這是權衡速度和大小來選擇的。第21頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類模擬神經(jīng)元芯片模擬電子技術有一些特性是可以直接用于神經(jīng)網(wǎng)絡的實現(xiàn)。例如，運算放大器，可以很容易用晶體管構建，可以自動運行神經(jīng)功能，如集成與雙彎曲線轉換。這些密集型計算，可以通過物理過程自動執(zhí)行，如集合電流或電荷。模擬電子技術是非常緊湊，且可在低能耗條件下提供高速運轉。根據(jù)目前最先進的微電子技術，一個簡單的神經(jīng)元可以把1000多個神經(jīng)元聯(lián)想記憶芯片和100多個輸入集成到一個100GCPS的芯片上。第22頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類模擬神經(jīng)元芯片（優(yōu)缺點）模擬技術的缺點是對噪音和工藝參數(shù)變化容易產(chǎn)生變化，從而限制了計算精度。除了設計模擬電路的困難，如何表示可適用的權重問題也限制了模擬電路的應用。盡管模擬芯片不能達到數(shù)字芯片的靈活性，但其速度和緊湊，使模擬芯片在神經(jīng)網(wǎng)絡的研究中占有一席之位，特別原神經(jīng)網(wǎng)絡模式自適應特性的模擬芯片。最后一個有價值的優(yōu)勢是可以與真實的模擬世界直接接口，而數(shù)字實現(xiàn)將需要一個快速模擬數(shù)字轉換器讀取世界信息，和一個數(shù)字模擬轉換器把數(shù)據(jù)轉換回世界信息。第23頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類合成神經(jīng)元芯片數(shù)字和模擬技術具有獨特的優(yōu)勢，但他們也存在缺點，主要是關于神經(jīng)網(wǎng)絡實現(xiàn)中的適應性。數(shù)字技術的主要缺點是相對計算緩慢、硅的使用量大和倍增電路的大功率。模擬技術的缺陷是對噪聲的敏感性、對干擾和過程變化具有易變性。對這些過程的執(zhí)行采用正確的模擬和數(shù)字技術混合是非常有利的。為了獲得兩種技術的優(yōu)點，并避免主要缺陷，一些研究小組已經(jīng)實施了混合系統(tǒng)。第24頁/共36頁五、神經(jīng)網(wǎng)絡硬件分類合成神經(jīng)元芯片（舉例）

ANN（模擬神經(jīng)網(wǎng)絡的算術和邏輯單元）芯片。

Epsilon[42]芯片是一個種混合型神經(jīng)元芯片，用于脈沖編碼技術。最近用于脈沖流技術的神經(jīng)元芯片是PDM（脈沖密度調(diào)制）數(shù)字神經(jīng)網(wǎng)絡系統(tǒng)[43]。第25頁/共36頁六、案例分析CNAPS

最廣為人知的商用神經(jīng)元計算機CNAPS（連接網(wǎng)絡的自適應處理器）[15]是自適求解。CNAPS系統(tǒng)基本構造模塊是神經(jīng)元芯片N6400。如圖所示，該N6400本身由64處理單元（簡稱處理節(jié)點）組成，它們通過在一個SIMD（單指令多數(shù)據(jù)）模型中的傳播總線相連接。雙8位總線可以將輸入輸出數(shù)據(jù)傳到所有的PN中。

CNAPS結構的一大優(yōu)勢是系統(tǒng)的可擴展性：由于傳播總線，處理器間通信和SIMD模式，和N6400芯片均可以很容易地添加。第26頁/共36頁六、案例分析SYNAPSE-1SYNAPSE-1是由8個MA-16芯片連接到兩根并行環(huán)上，通過2個摩托羅拉MC68040處理器控制。權值是存儲在一個外芯片DRAM，它總計達到128M字節(jié)并且通過擴展可達到512M字節(jié)。神經(jīng)網(wǎng)絡是映射到前一階段的SP-并行，和學習階段的NP-并行。神經(jīng)元傳遞函數(shù)是用查表法在外芯片上計算。特別是高容量的在線權值存儲器可以作為SYNAPSE-1來處理復雜的應用。不同于CNAPS中的簡單SIMD結構，編寫SYNAPSE-1程序是困難的。雖然有神經(jīng)算法程序設計語言可用，但相當復雜的處理單元和脈動陣列二維結構對直接編程造成影響。第27頁/共36頁七、神經(jīng)網(wǎng)絡硬件的應用

神經(jīng)網(wǎng)絡的硬件應用于實際和獲利已經(jīng)越來越多了。本節(jié)說明其在光學字符識別（OCR），語音識別，神經(jīng)形態(tài)系統(tǒng)和高能物理的應用。第28頁/共36頁七、神經(jīng)網(wǎng)絡硬件的應用光學字符識別光學字符識別已成為一個神經(jīng)網(wǎng)絡最大的商業(yè)應用?，F(xiàn)在購買一個新的掃描儀通常包括商業(yè)光學字符識別程序。把圖片文本轉換到文本文件，很多或更多的步驟必須通過光學字符識別程序完成，包括清理圖像，分割字符，特征提取，分類和校驗字符等等。大多數(shù)的光學字符識別程序通過ANN選擇完成一個或多個光學字符識別步驟，而其他步驟中所使用的技術有傳統(tǒng)的人工智能（IF-THEN規(guī)則），統(tǒng)計模型，隱馬爾可夫模型等等。光學字符識別的神經(jīng)網(wǎng)絡硬件闡明了兩點：高通量，需要高性能專用硬件；消費產(chǎn)品，必須采用廉價的專用芯片。第29頁/共36頁七、神經(jīng)網(wǎng)絡硬件的應用語音識別傳感系統(tǒng)元件在語音識別神經(jīng)元芯片中是很專業(yè)化的[46]。芯片的成本只有幾美元。芯片可識別有限的詞匯，例如10-100個單詞。其目的是便于為消費者應用，如手機、玩具等。它們涉及原聲信號變成頻率和送入神經(jīng)網(wǎng)絡的單獨變換表示。神經(jīng)網(wǎng)絡的結構進行非線性貝葉斯分類。訓練數(shù)據(jù)包括一個300–600個聲音的潛在用戶樣本語言庫。第30頁/共36頁七、神經(jīng)網(wǎng)絡硬件的應用神經(jīng)形態(tài)硬件神經(jīng)形態(tài)是指與生物神經(jīng)系統(tǒng)的結構和功能密切相關的系統(tǒng)，如：硅視網(wǎng)膜和模擬耳蝸[47]。這種裝置主要是模擬，特別是在前端傳感器階段。一個成功的商業(yè)產(chǎn)品是突觸觸摸板[48]。它是一個很小但非常靈敏的觸點，可以感察到人手在其屏幕導航、光標移動、互動的輸入板上的移動位置。突觸觸摸板就是用了在視網(wǎng)膜和觸摸研究的思路，尤其神經(jīng)元的輸出是受其連接到其他附近神經(jīng)元的影響。該觸摸板可以用在多種應用，其應用是需要一個薄，穩(wěn)健，準確，易于使用輸入和導航設備。神經(jīng)形態(tài)設備和觸摸板一樣，在轉換成數(shù)字信號前，要做很多前端處理擬電路，因而具有低帶寬要求。第31頁/共36頁七、神經(jīng)網(wǎng)絡硬件的應用高能物理在線過濾器高能物理實驗涉及亞原子粒子碰撞，如質(zhì)子與電子，粒子