神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究課件

神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究智能計算作業(yè)姓名：張可新學號：神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究文獻摘要

在過去的十年中，并行人工神經(jīng)網(wǎng)絡(luò)模型的硬件開發(fā)設(shè)計很多。本文旨在對人工神經(jīng)網(wǎng)絡(luò)硬件進行回顧述。介紹硬件規(guī)格、執(zhí)行評價等神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)技術(shù)，介紹人工神經(jīng)網(wǎng)絡(luò)主要結(jié)構(gòu)類型。詳細描述了CNAPS（連接網(wǎng)絡(luò)的自適應(yīng)處理器）和SYNAPSE-1（神經(jīng)算法在并行脈動陣列中的合成）兩種神經(jīng)硬件以及一些神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用。討論了神經(jīng)網(wǎng)絡(luò)硬件的未來發(fā)展與挑戰(zhàn)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究一、介紹在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡(luò)硬件設(shè)備被認為在一些領(lǐng)域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡(luò)硬件通常被認為是實施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學習算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò)所固有并列屬性的設(shè)備。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究一、介紹在過去十年，神經(jīng)網(wǎng)絡(luò)的硬件有了迅速的發(fā)展。神經(jīng)網(wǎng)絡(luò)硬件設(shè)備被認為在一些領(lǐng)域中上具有發(fā)展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經(jīng)網(wǎng)絡(luò)硬件通常被認為是實施神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學習算法的設(shè)備，特別是那些具有神經(jīng)網(wǎng)絡(luò)所固有并列屬性的設(shè)備。本文概述了神經(jīng)網(wǎng)絡(luò)硬件結(jié)構(gòu)的發(fā)展現(xiàn)狀，介紹了神經(jīng)網(wǎng)絡(luò)的硬件規(guī)格、分類、結(jié)構(gòu)種類、設(shè)計方法以及最新的發(fā)展狀況以及實際應(yīng)用。對神經(jīng)網(wǎng)絡(luò)硬件的發(fā)展趨勢進行了討論。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)

的結(jié)構(gòu)人工神經(jīng)元模型輸入權(quán)值判定神經(jīng)元是否被激發(fā)輸出神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究二、人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)

結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2：(a)多層饋送神經(jīng)網(wǎng)絡(luò)(b)遞歸神經(jīng)網(wǎng)絡(luò)第一層神經(jīng)元是從前一層得到的輸入，其輸出會作為下一層的輸入。連接神經(jīng)元到同一層或前一層的結(jié)構(gòu)成為遞歸神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件神經(jīng)網(wǎng)絡(luò)軟件當所處理的任務(wù)不需要非常快的運行速度時，大多數(shù)神經(jīng)網(wǎng)絡(luò)設(shè)計師的解決方案，是采用軟件應(yīng)用于電腦或工作站上，而不是尋求特殊附加硬件去解決。即使是最快的串行處理器也無法提供實時響應(yīng)和對大量的神經(jīng)元、突觸的網(wǎng)絡(luò)學習。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究三、神經(jīng)網(wǎng)絡(luò)的硬件與軟件神經(jīng)網(wǎng)絡(luò)硬件多個簡單處理單元并行處理，可以提供巨大加速。當硬件實現(xiàn)時，神經(jīng)網(wǎng)絡(luò)可以充分利用其固有的并行性，并且其運行量級遠遠大于軟件模擬。一般來說，神經(jīng)網(wǎng)絡(luò)硬件設(shè)計人員所采用的方法有兩種。一種方法是建立一個普通但較貴的系統(tǒng)上，這個系統(tǒng)可根據(jù)不同任務(wù)重新編程，如自適應(yīng)解決方案CNAPS[15]。另一個辦法是建立一個專門的廉價芯片迅速有效的處理一件事，如IBMZISC[16]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范激活模塊，是執(zhí)行wj、xj相乘并且對各相乘組求和，它是位于在神經(jīng)元芯片（或神經(jīng)元計算機的處理單元）。其他模塊，即神經(jīng)元狀態(tài)塊，權(quán)值模塊和傳輸功能模塊均可以設(shè)在芯片上或芯片外，其中一些功能可以由主機執(zhí)行。這些模塊之間的數(shù)據(jù)傳輸是通過芯片上的控制單元控制著。而控制參數(shù)是主機用來控制硬件的。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范數(shù)據(jù)流是權(quán)值模塊中的權(quán)值，外部的輸入或從相乘后的輸出結(jié)果作為的輸入，在激活模塊概括出結(jié)果，并通過轉(zhuǎn)換、總和以上結(jié)果在神經(jīng)狀態(tài)模塊中得到輸出。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范傳遞函數(shù)對于多層感知器和Hopfield(霍普菲爾)神經(jīng)網(wǎng)絡(luò)（例如[18]）的傳遞函數(shù)可能是一個閾值，線性，斜坡和雙彎曲函數(shù)。Kohonen網(wǎng)絡(luò)（例如[19]），通過激活模塊計算要符合輸入和權(quán)重向量的歐式距離。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究四、模塊表示法及其規(guī)范規(guī)范對于量化神經(jīng)網(wǎng)絡(luò)硬件性能傳統(tǒng)的方法是在單位時間測量乘法和累加計算數(shù)目和權(quán)值更新率。這兩種測量方法有些符合MIPS或傳統(tǒng)系統(tǒng)中的MFLOPS測量。他們只是提供一種指示，必須對不同精度和尺寸進行細心比較。由于缺乏有效的、便攜的軟件，因而沒有盡力去做出一個與神經(jīng)網(wǎng)絡(luò)硬件相適應(yīng)的綜合基準。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類分類標準：神經(jīng)網(wǎng)絡(luò)硬件根據(jù)不同屬性對神經(jīng)網(wǎng)絡(luò)的硬件進行分類，如系統(tǒng)結(jié)構(gòu)、并行度、處理器間通信網(wǎng)絡(luò)、通用或?qū)Ｓ迷O(shè)備、芯片上運算或不在芯片上運算等等?；诓⑿卸?，神經(jīng)網(wǎng)絡(luò)硬件可分為4類：粗粒子，中粒子，細粒度和大規(guī)模并行處理[24]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對文獻[5]所提出的方案進行分析，將神經(jīng)網(wǎng)絡(luò)硬件為四大類，如圖所示?；诩呻娐窐藴剩窠?jīng)元計算機首先分為兩大部分。一部分主要加速器板和并行多處理器系統(tǒng)組成的。加速器板，可以加快傳統(tǒng)電腦如個人電腦或工作站；并行多處理器系統(tǒng)，可以單獨運行，也可通過計算機主機對其監(jiān)控。另一部分是建立在專用神經(jīng)元ASIC（專用集成電路）上的神經(jīng)元芯片。這些神經(jīng)元芯片可以是數(shù)字，模擬，或混合。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類加速器板介紹加速器板是最常用于神經(jīng)元的商業(yè)硬件，因為他們是相對便宜的，應(yīng)用廣泛，連接到電腦或工作站較為簡單，并且可以提供用戶友好的軟件工具。它們插在擴展插槽，用于加快神經(jīng)網(wǎng)絡(luò)計算?？蓪崿F(xiàn)的加速，是一個數(shù)量級與連續(xù)實現(xiàn)的比較。加速器板通常是采用神經(jīng)網(wǎng)絡(luò)芯片，但有些只是使用高速數(shù)字信號處理器（數(shù)字信號處理器），它們可很快處理多重累積的操作。加速器板的一個缺點是他們?yōu)槟硞€具體任務(wù)設(shè)定的，因而缺乏靈活性、不適應(yīng)其他新范例。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類加速器板實例加速器板的一個很好實例就是IBMZISCISA和PCI卡。ZISC036芯片是IBMessonnes實驗室開發(fā)處理的[16]。一個單ZISC036擁有36個神經(jīng)元，或原機，通過RCE（或ROI）算法訓練實現(xiàn)。ISA卡包含16ZISC036芯片，提供576個原機神經(jīng)元。PCI卡可容納19芯片，684個原型。PCI卡每秒可以處理165000種模式，每種個模式是64個8位的元向量。其他加速器系統(tǒng)，包括SAICSIGMA-1[25],NeuroTurbo[26],HNC[27]等。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對通用處理器的神經(jīng)元計算機的建立通用處理器為神經(jīng)元功能可通過編程實現(xiàn)。由于其廣泛的可用性和相對低廉的價格，許多神經(jīng)元計算機用通用芯片進行組裝。從簡單結(jié)構(gòu)，低成本單元（例如在BSP400[28]和COKOS[29]）到像晶體計算機那樣相當復(fù)雜處理結(jié)構(gòu)的實現(xiàn)，它們的并行輸入/輸出線[30]、數(shù)字信號處理器是獨特的。對于許多處理器而言尋找好的一個互聯(lián)策略被證明是一個復(fù)雜的問題。然而，許多關(guān)于這些大規(guī)模、并行計算機結(jié)構(gòu)的知識可以于神經(jīng)元結(jié)構(gòu)的設(shè)計。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類對通用處理器的神經(jīng)元計算機的建立（實例）

RAP（環(huán)陣列處理器）[33]是由通用處理器構(gòu)造出神經(jīng)元處理器的一個例實例。它是在ICSI（國際計算機科學研究所，伯克利，加利福尼亞州）研發(fā)出的，并且自1990以來它是作為開發(fā)語音識別中的連接算法的一個重要部分。RAP是由一個4MB的動態(tài)隨機存取存儲器和4—40個具有256千字節(jié)快速靜態(tài)存儲器的定點數(shù)字信號處理器TITMS320C30組成。這些芯片通過Xilinx公司的可編程門陣列（PGAs）進行連接。這些芯片是通過一個連接環(huán)連接成可編程門陣列，每個芯片執(zhí)行一個簡單的數(shù)據(jù)管道。此外，每板有一個虛擬機環(huán)境總線的邏輯接口，允許它連接到主機上。RAP的軟件支持需要一個具有命令解釋器的工作站，C標準環(huán)境的工具和一個矩陣、向量庫。在前處理中計算一個多層感知器網(wǎng)絡(luò)，一個簡單的板就可以每秒運行57兆周，而處理反向訓練可以每秒運行13.2兆周。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類神經(jīng)元芯片實現(xiàn)神經(jīng)元功能采用的專用芯片需設(shè)計專用的電路。通過比較通用處理器執(zhí)行的2階幅度，神經(jīng)元芯片提高了神經(jīng)元交互時間。設(shè)計神經(jīng)元芯片可以選擇一些應(yīng)用技術(shù)。其主要區(qū)別在于選擇了一個全數(shù)字化，完全模擬，或混合的設(shè)計。一些實例表明直接在電路中執(zhí)行改變了原始計算機單元（模擬或分析）確切功能。這主要是由于精度的有限。有限的精度對原始模式的運作具有非常大的影響。為構(gòu)造出大規(guī)模的執(zhí)行機構(gòu)，許多神經(jīng)元芯片就必須互聯(lián)。因此一些芯片就用于專門的通信通道。其他的神經(jīng)元芯片就被專用通信元件互聯(lián)了。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類數(shù)字神經(jīng)元芯片數(shù)字神經(jīng)元專用集成電路（ASIC）是強大和成熟的神經(jīng)元芯片。數(shù)字技術(shù)提供的高精度，高可靠性，高可編程性。此外，強大的設(shè)計工具對數(shù)據(jù)全、半定制設(shè)計是有效的。缺點是與模擬實現(xiàn)相比，具有相對較大的電路尺寸。突觸權(quán)重可以存在芯片上也可不存在芯片上。這是權(quán)衡速度和大小來選擇的。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類模擬神經(jīng)元芯片模擬電子技術(shù)有一些特性是可以直接用于神經(jīng)網(wǎng)絡(luò)的實現(xiàn)。例如，運算放大器，可以很容易用晶體管構(gòu)建，可以自動運行神經(jīng)功能，如集成與雙彎曲線轉(zhuǎn)換。這些密集型計算，可以通過物理過程自動執(zhí)行，如集合電流或電荷。模擬電子技術(shù)是非常緊湊，且可在低能耗條件下提供高速運轉(zhuǎn)。根據(jù)目前最先進的微電子技術(shù)，一個簡單的神經(jīng)元可以把1000多個神經(jīng)元聯(lián)想記憶芯片和100多個輸入集成到一個100GCPS的芯片上。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類模擬神經(jīng)元芯片（優(yōu)缺點）模擬技術(shù)的缺點是對噪音和工藝參數(shù)變化容易產(chǎn)生變化，從而限制了計算精度。除了設(shè)計模擬電路的困難，如何表示可適用的權(quán)重問題也限制了模擬電路的應(yīng)用。盡管模擬芯片不能達到數(shù)字芯片的靈活性，但其速度和緊湊，使模擬芯片在神經(jīng)網(wǎng)絡(luò)的研究中占有一席之位，特別原神經(jīng)網(wǎng)絡(luò)模式自適應(yīng)特性的模擬芯片。最后一個有價值的優(yōu)勢是可以與真實的模擬世界直接接口，而數(shù)字實現(xiàn)將需要一個快速模擬數(shù)字轉(zhuǎn)換器讀取世界信息，和一個數(shù)字模擬轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換回世界信息。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類合成神經(jīng)元芯片數(shù)字和模擬技術(shù)具有獨特的優(yōu)勢，但他們也存在缺點，主要是關(guān)于神經(jīng)網(wǎng)絡(luò)實現(xiàn)中的適應(yīng)性。數(shù)字技術(shù)的主要缺點是相對計算緩慢、硅的使用量大和倍增電路的大功率。模擬技術(shù)的缺陷是對噪聲的敏感性、對干擾和過程變化具有易變性。對這些過程的執(zhí)行采用正確的模擬和數(shù)字技術(shù)混合是非常有利的。為了獲得兩種技術(shù)的優(yōu)點，并避免主要缺陷，一些研究小組已經(jīng)實施了混合系統(tǒng)。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究五、神經(jīng)網(wǎng)絡(luò)硬件分類合成神經(jīng)元芯片（舉例）

ANN（模擬神經(jīng)網(wǎng)絡(luò)的算術(shù)和邏輯單元）芯片。

Epsilon[42]芯片是一個種混合型神經(jīng)元芯片，用于脈沖編碼技術(shù)。最近用于脈沖流技術(shù)的神經(jīng)元芯片是PDM（脈沖密度調(diào)制）數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)[43]。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究六、案例分析CNAPS

最廣為人知的商用神經(jīng)元計算機CNAPS（連接網(wǎng)絡(luò)的自適應(yīng)處理器）[15]是自適求解。CNAPS系統(tǒng)基本構(gòu)造模塊是神經(jīng)元芯片N6400。如圖所示，該N6400本身由64處理單元（簡稱處理節(jié)點）組成，它們通過在一個SIMD（單指令多數(shù)據(jù)）模型中的傳播總線相連接。雙8位總線可以將輸入輸出數(shù)據(jù)傳到所有的PN中。

CNAPS結(jié)構(gòu)的一大優(yōu)勢是系統(tǒng)的可擴展性：由于傳播總線，處理器間通信和SIMD模式，和N6400芯片均可以很容易地添加。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究六、案例分析SYNAPSE-1SYNAPSE-1是由8個MA-16芯片連接到兩根并行環(huán)上，通過2個摩托羅拉MC68040處理器控制。權(quán)值是存儲在一個外芯片DRAM，它總計達到128M字節(jié)并且通過擴展可達到512M字節(jié)。神經(jīng)網(wǎng)絡(luò)是映射到前一階段的SP-并行，和學習階段的NP-并行。神經(jīng)元傳遞函數(shù)是用查表法在外芯片上計算。特別是高容量的在線權(quán)值存儲器可以作為SYNAPSE-1來處理復(fù)雜的應(yīng)用。不同于CNAPS中的簡單SIMD結(jié)構(gòu)，編寫SYNAPSE-1程序是困難的。雖然有神經(jīng)算法程序設(shè)計語言可用，但相當復(fù)雜的處理單元和脈動陣列二維結(jié)構(gòu)對直接編程造成影響。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用

神經(jīng)網(wǎng)絡(luò)的硬件應(yīng)用于實際和獲利已經(jīng)越來越多了。本節(jié)說明其在光學字符識別（OCR），語音識別，神經(jīng)形態(tài)系統(tǒng)和高能物理的應(yīng)用。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用光學字符識別光學字符識別已成為一個神經(jīng)網(wǎng)絡(luò)最大的商業(yè)應(yīng)用。現(xiàn)在購買一個新的掃描儀通常包括商業(yè)光學字符識別程序。把圖片文本轉(zhuǎn)換到文本文件，很多或更多的步驟必須通過光學字符識別程序完成，包括清理圖像，分割字符，特征提取，分類和校驗字符等等。大多數(shù)的光學字符識別程序通過ANN選擇完成一個或多個光學字符識別步驟，而其他步驟中所使用的技術(shù)有傳統(tǒng)的人工智能（IF-THEN規(guī)則），統(tǒng)計模型，隱馬爾可夫模型等等。光學字符識別的神經(jīng)網(wǎng)絡(luò)硬件闡明了兩點：高通量，需要高性能專用硬件；消費產(chǎn)品，必須采用廉價的專用芯片。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用語音識別傳感系統(tǒng)元件在語音識別神經(jīng)元芯片中是很專業(yè)化的[46]。芯片的成本只有幾美元。芯片可識別有限的詞匯，例如10-100個單詞。其目的是便于為消費者應(yīng)用，如手機、玩具等。它們涉及原聲信號變成頻率和送入神經(jīng)網(wǎng)絡(luò)的單獨變換表示。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行非線性貝葉斯分類。訓練數(shù)據(jù)包括一個300–600個聲音的潛在用戶樣本語言庫。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用神經(jīng)形態(tài)硬件神經(jīng)形態(tài)是指與生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能密切相關(guān)的系統(tǒng)，如：硅視網(wǎng)膜和模擬耳蝸[47]。這種裝置主要是模擬，特別是在前端傳感器階段。一個成功的商業(yè)產(chǎn)品是突觸觸摸板[48]。它是一個很小但非常靈敏的觸點，可以感察到人手在其屏幕導(dǎo)航、光標移動、互動的輸入板上的移動位置。突觸觸摸板就是用了在視網(wǎng)膜和觸摸研究的思路，尤其神經(jīng)元的輸出是受其連接到其他附近神經(jīng)元的影響。該觸摸板可以用在多種應(yīng)用，其應(yīng)用是需要一個薄，穩(wěn)健，準確，易于使用輸入和導(dǎo)航設(shè)備。神經(jīng)形態(tài)設(shè)備和觸摸板一樣，在轉(zhuǎn)換成數(shù)字信號前，要做很多前端處理擬電路，因而具有低帶寬要求。神經(jīng)網(wǎng)絡(luò)硬件方面的調(diào)查研究七、神經(jīng)網(wǎng)絡(luò)硬件的應(yīng)用高能物理在線過濾器高能物理實驗涉及亞原子粒子碰撞，如質(zhì)子與電