基于FPGA的神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)

1、計算機應(yīng)用基于的神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)武漢 華中理 工 大 學(xué)力學(xué)系汪光 森 伍行健 李 譽摘 要 介紹 神 經(jīng) 網(wǎng) 絡(luò)硬件 實現(xiàn) 的 基本 情況和 電 路原理圖與,混合設(shè) 計 方法的 概念在此 基 礎(chǔ)上 利 用 單片設(shè)計 出 了 由 個 神經(jīng)元 組成 的 具 有片 內(nèi) 學(xué)習 功 能 的 三 層神經(jīng) 網(wǎng) 絡(luò),電路 其 學(xué) 習 速度 達到 每 秒 三千 萬次 以 上連 接 權(quán) 值 的修 正 并對其 工 作過程進行 了 較 詳 細 的 分 析 指出了 制 造。芯片時應(yīng)做 的改進關(guān)鍵 詞神經(jīng) 網(wǎng) 絡(luò)硬 件 實 現(xiàn) 數(shù) 據(jù)驅(qū) 動算法,相結(jié)合的 自在進行神 經(jīng)網(wǎng) 絡(luò) 的理認研究時 人們 可 以 將自己可移

2、植 性 我們采 用 了電原理圖和的神 經(jīng) 網(wǎng)絡(luò)模 型 或算 法在通 用的 串行或并行計算機,頂向下 的設(shè)計方法 即 在 頂 層采用 常 規(guī)的電原理圖的,設(shè)計方法 將系統(tǒng)劃分為幾個功 能模塊,上編程 模 擬 實現(xiàn) 但 這 只是 研究 的手段 而 決非 目的然后再 用,。在構(gòu)造實 際的 神 經(jīng)網(wǎng) 絡(luò)應(yīng)用系統(tǒng) 時 必然要考 慮到硬實現(xiàn)各功能模塊并對其進 行仿真 所謂,腸 即銘是首先由美 國件實現(xiàn)問題 特定應(yīng) 用下 的 高性能專用 神經(jīng) 網(wǎng) 絡(luò) 硬 件。器國防 部 為他 們 的超 高 速 集成 電 路是神經(jīng)網(wǎng)絡(luò)研 究的最終 目標 為此 我們采 用叮。歹,接受為標件進行 了 這項工 作計劃 而 提出的

3、后由神經(jīng)網(wǎng) 絡(luò)的超大 規(guī)模 集 成電 路 硬件準的可用于描述數(shù)字 電路 與 系統(tǒng) 的實現(xiàn) 簡 介、,功能 信 號連接關(guān) 系及定時關(guān) 系的 硬件 描述語言 并,、,且具有綜合 優(yōu)化 仿真與驗證等功能 目前該標 準有神經(jīng) 網(wǎng) 絡(luò)是 巨 量 并行 分布信息處理 結(jié)構(gòu) 它含有,。,。兩種版 本 即和由于具 有靈大量的 神經(jīng)元 各神經(jīng) 元之間 進行加權(quán)互連 雖 然現(xiàn)、,有的人工 神經(jīng)網(wǎng) 絡(luò)模型 中的 神經(jīng)元 和 突觸的 結(jié)構(gòu)都活性 交換性 和可 繼承性好 規(guī)范性 強等特點 尤其是比較簡單 但 由于 實 際 應(yīng) 用 中的 神 經(jīng) 網(wǎng) 絡(luò)都 是由幾 百,它可 實現(xiàn)參數(shù)化 的 設(shè)計 例 如可 以 設(shè)計 一 參

4、數(shù) 化譯碼,或幾 千個以 上的神 經(jīng)元 及幾 萬或 幾百萬 個以 上的突,器 當需要不同位數(shù) 的譯碼器 時只 要改變其中一 個參,。,數(shù)即可 實現(xiàn) 在 設(shè)計一 些較復(fù)雜的 功 能模塊 如乘法觸連接 所構(gòu)成 所以 其 硬件實 現(xiàn)是很 復(fù) 雜的 隨著 現(xiàn),代工藝和 技術(shù)的發(fā)展集成 電路 被認器時 同樣 可 以 進行參數(shù)化設(shè)計 當需要 不 同位 數(shù)甚目前,至不同功 能 的乘 法器時 只 需改變 其中幾 個 參數(shù) 從 而為是 神經(jīng) 網(wǎng) 絡(luò)硬 件實現(xiàn) 的 一種有 效方 式 研究 神經(jīng) 網(wǎng),絡(luò)的硬件 實現(xiàn)具 有特別 現(xiàn)實的意義和 廣闊的前大大加快設(shè)計進程 故 其現(xiàn)已 為電子設(shè)計自動。,化 領(lǐng)域 內(nèi)的絕 大

5、多數(shù)公 司 所接 受 有人認 為景 由 于 人工模 型 神 經(jīng)網(wǎng) 絡(luò)是由大量神經(jīng)細胞通過特,在硬件設(shè)計領(lǐng)域 的作 用將與 和在軟件設(shè) 計領(lǐng)定形 式的 加權(quán)連 接組 成 因 此 可 以 認 為神經(jīng) 網(wǎng)絡(luò)由兩,域的作用一 樣 在 大規(guī)模數(shù)字系 統(tǒng)的設(shè)計中 它 將取種基元 構(gòu)成 即 收集信 號 并完 成非線性 變換的 神 經(jīng)胞,、代如邏 輯狀態(tài) 表和 電原理圖 等級 別較 低的 繁瑣的硬體和 完成各神經(jīng) 胞體間加權(quán) 互連的突觸 研究 神經(jīng) 網(wǎng)、,絡(luò)的件描述 方法 而成為 主 要的硬 件描述工 具 它 將成為實現(xiàn)也就是 要 研究 大量突 觸 神經(jīng) 胞體的璐 集成以 及突 觸和 神經(jīng) 胞體間 數(shù)據(jù)通信結(jié)

6、構(gòu)的 實數(shù)字系 統(tǒng)設(shè)計領(lǐng)域中所有 技術(shù)人員 必須 掌握的 一種。,。對硬 件系 統(tǒng)進行描述 時可語言 必須指出的是現(xiàn) 神 經(jīng)網(wǎng) 絡(luò)的實現(xiàn)方法 可 大 致分 為三 類 即 數(shù)。,字、實現(xiàn) 及 數(shù)?；?合以采 用三 種 不 同風 格的 描 述 方式 即 行為描 述 方式實現(xiàn) 模 擬實現(xiàn)無論 是采 用哪一種,實現(xiàn) 方法 都要 遇 到 信號的目前 多 數(shù)軟件都不 支持 這一 描 述 方式 不能對其進、。行邏輯綜合 寄存器傳輸 或數(shù)據(jù) 流 描 述方式 和 結(jié)運算 存儲 和 傳輸 這三個 主要 問題 神 經(jīng) 網(wǎng) 絡(luò)中的基本運 算主要 有以 下 幾 種突觸加權(quán)乘 法神經(jīng),軟件構(gòu)化的描述 方式 但是為 了 能

7、夠在,元輸 人激勵信 號的累加閡值 處理非線函 數(shù)平臺上 進行 邏輯 綜合 只 能采 用寄存器 傳輸語。運算權(quán)值學(xué)習 和調(diào)整言 和 結(jié)構(gòu)化的描述 方式 結(jié)構(gòu)化的描述 方式與電原,采用圖形 和日超高速 集成電路硬 件描 述理圖的設(shè)計方式 在設(shè)計 思 想 上 沒有多大的差別 前者,語言 的混合設(shè)計 方法 簡 介只是 采 用 了 文 字來表示 電路 的連 線 真 正 能減輕設(shè) 計。者負擔的是由于 神經(jīng) 網(wǎng) 絡(luò) 硬件實 現(xiàn)的復(fù)雜性 以 及設(shè)計結(jié) 果描述方式 由于 電原理 圖設(shè)計方式很,直觀 因 此我們在頂層 采用 了 電原理圖的設(shè)計方式必須能 夠 進 行綜合 同 時為兼顧設(shè)計結(jié) 果的直 觀性 和電子技

8、術(shù)應(yīng)用年第期四通工控軟起動器經(jīng)銷商一計算機應(yīng)用基于的神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)武漢 華中理 工 大 學(xué)力學(xué)系汪光 森 伍行健 李 譽摘 要 介紹 神 經(jīng) 網(wǎng) 絡(luò)硬件 實現(xiàn) 的 基本 情況和 電 路原理圖與,混合設(shè) 計 方法的 概念在此 基 礎(chǔ)上 利 用 單片設(shè)計 出 了 由 個 神經(jīng)元 組成 的 具 有片 內(nèi) 學(xué)習 功 能 的 三 層神經(jīng) 網(wǎng) 絡(luò),電路 其 學(xué) 習 速度 達到 每 秒 三千 萬次 以 上連 接 權(quán) 值 的修 正 并對其 工 作過程進行 了 較 詳 細 的 分 析 指出了 制 造。芯片時應(yīng)做 的改進關(guān)鍵 詞神經(jīng) 網(wǎng) 絡(luò)硬 件 實 現(xiàn) 數(shù) 據(jù)驅(qū) 動算法,相結(jié)合的 自在進行神 經(jīng)網(wǎng) 絡(luò) 的理

9、認研究時 人們 可 以 將自己可移 植 性 我們采 用 了電原理圖和的神 經(jīng) 網(wǎng)絡(luò)模 型 或算 法在通 用的 串行或并行計算機,頂向下 的設(shè)計方法 即 在 頂 層采用 常 規(guī)的電原理圖的,設(shè)計方法 將系統(tǒng)劃分為幾個功 能模塊,上編程 模 擬 實現(xiàn) 但 這 只是 研究 的手段 而 決非 目的然后再 用,。在構(gòu)造實 際的 神 經(jīng)網(wǎng) 絡(luò)應(yīng)用系統(tǒng) 時 必然要考 慮到硬實現(xiàn)各功能模塊并對其進 行仿真 所謂,腸 即銘是首先由美 國件實現(xiàn)問題 特定應(yīng) 用下 的 高性能專用 神經(jīng) 網(wǎng) 絡(luò) 硬 件。器國防 部 為他 們 的超 高 速 集成 電 路是神經(jīng)網(wǎng)絡(luò)研 究的最終 目標 為此 我們采 用叮。歹,接受為標件進

10、行 了 這項工 作計劃 而 提出的 后由神經(jīng)網(wǎng) 絡(luò)的超大 規(guī)模 集 成電 路 硬件準的可用于描述數(shù)字 電路 與 系統(tǒng) 的實現(xiàn) 簡 介、,功能 信 號連接關(guān) 系及定時關(guān) 系的 硬件 描述語言 并,、,且具有綜合 優(yōu)化 仿真與驗證等功能 目前該標 準有神經(jīng) 網(wǎng) 絡(luò)是 巨 量 并行 分布信息處理 結(jié)構(gòu) 它含有,。,。兩種版 本 即和由于具 有靈大量的 神經(jīng)元 各神經(jīng) 元之間 進行加權(quán)互連 雖 然現(xiàn)、,有的人工 神經(jīng)網(wǎng) 絡(luò)模型 中的 神經(jīng)元 和 突觸的 結(jié)構(gòu)都活性 交換性 和可 繼承性好 規(guī)范性 強等特點 尤其是比較簡單 但 由于 實 際 應(yīng) 用 中的 神 經(jīng) 網(wǎng) 絡(luò)都 是由幾 百,它可 實現(xiàn)參數(shù)化

11、的 設(shè)計 例 如可 以 設(shè)計 一 參數(shù) 化譯碼,或幾 千個以 上的神 經(jīng)元 及幾 萬或 幾百萬 個以 上的突,器 當需要不同位數(shù) 的譯碼器 時只 要改變其中一 個參,。,數(shù)即可 實現(xiàn) 在 設(shè)計一 些較復(fù)雜的 功 能模塊 如乘法觸連接 所構(gòu)成 所以 其 硬件實 現(xiàn)是很 復(fù) 雜的 隨著 現(xiàn),代工藝和 技術(shù)的發(fā)展集成 電路 被認器時 同樣 可 以 進行參數(shù)化設(shè)計 當需要 不 同位 數(shù)甚目前,至不同功 能 的乘 法器時 只 需改變 其中幾 個 參數(shù) 從 而為是 神經(jīng) 網(wǎng) 絡(luò)硬 件實現(xiàn) 的 一種有 效方 式 研究 神經(jīng) 網(wǎng),絡(luò)的硬件 實現(xiàn)具 有特別 現(xiàn)實的意義和 廣闊的前大大加快設(shè)計進程 故 其現(xiàn)已 為

12、電子設(shè)計自動。,化 領(lǐng)域 內(nèi)的絕 大多數(shù)公 司 所接 受 有人認 為景 由 于 人工模 型 神 經(jīng)網(wǎng) 絡(luò)是由大量神經(jīng)細胞通過特,在硬件設(shè)計領(lǐng)域 的作 用將與 和在軟件設(shè) 計領(lǐng)定形 式的 加權(quán)連 接組 成 因 此 可 以 認 為神經(jīng) 網(wǎng)絡(luò)由兩,域的作用一 樣 在 大規(guī)模數(shù)字系 統(tǒng)的設(shè)計中 它 將取種基元 構(gòu)成 即 收集信 號 并完 成非線性 變換的 神 經(jīng)胞,、代如邏 輯狀態(tài) 表和 電原理圖 等級 別較 低的 繁瑣的硬體和 完成各神經(jīng) 胞體間加權(quán) 互連的突觸 研究 神經(jīng) 網(wǎng)、,絡(luò)的件描述 方法 而成為 主 要的硬 件描述工 具 它 將成為實現(xiàn)也就是 要 研究 大量突 觸 神經(jīng) 胞體的璐 集成以

13、及突 觸和 神經(jīng) 胞體間 數(shù)據(jù)通信結(jié)構(gòu)的 實數(shù)字系 統(tǒng)設(shè)計領(lǐng)域中所有 技術(shù)人員 必須 掌握的 一種。,。對硬 件系 統(tǒng)進行描述 時可語言 必須指出的是現(xiàn) 神 經(jīng)網(wǎng) 絡(luò)的實現(xiàn)方法 可 大 致分 為三 類 即 數(shù)。,字、實現(xiàn) 及 數(shù)?；?合以采 用三 種 不 同風 格的 描 述 方式 即 行為描 述 方式實現(xiàn) 模 擬實現(xiàn)無論 是采 用哪一種,實現(xiàn) 方法 都要 遇 到 信號的目前 多 數(shù)軟件都不 支持 這一 描 述 方式 不能對其進、。行邏輯綜合 寄存器傳輸 或數(shù)據(jù) 流 描 述方式 和 結(jié)運算 存儲 和 傳輸 這三個 主要 問題 神 經(jīng) 網(wǎng) 絡(luò)中的基本運 算主要 有以 下 幾 種突觸加權(quán)乘 法神經(jīng),

14、軟件構(gòu)化的描述 方式 但是為 了 能夠在,元輸 人激勵信 號的累加閡值 處理非線函 數(shù)平臺上 進行 邏輯 綜合 只 能采 用寄存器 傳輸語。運算權(quán)值學(xué)習 和調(diào)整言 和 結(jié)構(gòu)化的描述 方式 結(jié)構(gòu)化的描述 方式與電原,采用圖形 和日超高速 集成電路硬 件描 述理圖的設(shè)計方式 在設(shè)計 思 想 上 沒有多大的差別 前者,語言 的混合設(shè)計 方法 簡 介只是 采 用 了 文 字來表示 電路 的連 線 真 正 能減輕設(shè) 計。者負擔的是由于 神經(jīng) 網(wǎng) 絡(luò) 硬件實 現(xiàn)的復(fù)雜性 以 及設(shè)計結(jié) 果描述方式 由于 電原理 圖設(shè)計方式很,直觀 因 此我們在頂層 采用 了 電原理圖的設(shè)計方式必須能 夠 進 行綜合 同 時

15、為兼顧設(shè)計結(jié) 果的直 觀性 和電子技術(shù)應(yīng)用年第期四通工控軟起動器經(jīng)銷商一計算機應(yīng)用獻都有介紹,。下面僅 就本 系統(tǒng) 的具體情 況介 紹 一下 在系統(tǒng)的性能 其每秒鐘能修改次連接權(quán)值 由于每步計算過程 數(shù)據(jù)流 動的情況。內(nèi)部的的揮發(fā)性,在系統(tǒng) 能夠 進行數(shù)據(jù)所以 在控制電路中設(shè)處理之前當然必 須保證輸 人層 數(shù)據(jù)已經(jīng)輸 人 ,如計有 串行接口 ,以便在系統(tǒng)斷電時可 以用外部,。串行來保存各神經(jīng)元之間的連接權(quán)值。果為學(xué) 習 狀態(tài) 則樣本期望輸 出值也應(yīng)輸入。,第一 步 前向傳播階段 此 階段的前半段為輸人層在數(shù)據(jù)傳輸 上 本系統(tǒng)在 形式 上采 用的是多 總線,經(jīng)到,系列 器件內(nèi)部 沒有三態(tài) 輸?shù)诫[

16、 含層的傳播 此時的方法 但 由 于,對應(yīng)的、也分別 經(jīng)、,出功能 這是 其很 大 一 個 缺陷 因而實 際上 是采用 了到,的處理結(jié)果分 別 通過 查表,不起作用大量多路 開 關(guān)來實現(xiàn)這種功能 這即 浪費了 很 多可 用、,。處理結(jié)束則轉(zhuǎn)入隱含層到,這一多 路 開關(guān) 就要 占用約個邏 輯得到資源 如僅,經(jīng)到,陣列塊助,輸出層的傳播 此時對應(yīng)的同時 也使控制電 路更也分別經(jīng)、到,的處 理,不起作用復(fù)雜 因 為要考慮各 種 布線情況下 的延 時特 性 并且結(jié)果 分別通 過查 表、得到、,。,于此 同時會導(dǎo)致整個系統(tǒng) 工 作頻率 的下 降 在數(shù)據(jù)存儲 上 本、分別通過、到進行 相減得到,系統(tǒng)盡 可

17、 能采用 分散存儲的方法 但同樣由于 受器 件、分別通過、到進行相乘得到。,只有,資源 的 限 制 尤 其是個 因此多數(shù)數(shù)據(jù)。經(jīng)到,第二 步 誤 差 逆 傳播階段 在此階段還是采用了集中存儲 的方法 這 不利 于更 高要 求 的并,對應(yīng)的經(jīng)到,到的,此時行處理 例如誤 差 逆?zhèn)鞑ルA 段和 連 接權(quán)值修 正階段應(yīng),的處理結(jié) 果直接 得到,數(shù)據(jù)無效不起 作 用該是 可 以 進行 并行 處 理 的 但本系統(tǒng)未能 做到 這一,于此 同時,分另 通過、到進,資源 有 限 而 不 能設(shè)計更多 的點 這 當然與器 件的行相乘得到。處理單 元,也有關(guān) 同時集中存儲 也不 便 于 采 用 多。,第三 步 連 接

18、權(quán) 值修正 階段 此階 段的前半 段為片級連方式進行 系統(tǒng)的 擴 展 在數(shù)據(jù)運 算 上 本系統(tǒng),經(jīng),穩(wěn)含層到輸 出層的連接權(quán)值修 正階段 此 時采用的 全 部都是 位精度的定點 運 算 因而不 適合于、到,經(jīng)到,經(jīng),對應(yīng)的一些對 精度 要求高 的系 統(tǒng) 乘法器 采用的是 兩位補碼到,決定學(xué) 習 速 率,的處 理結(jié) 果直 接代替,。乘法器 未能 采用速度更 快的 陣列 乘法 器 這對應(yīng) 的原,些問題只 能通過 制造。的值 當所有隱含 層到輸 出層的連接權(quán)芯片得到 解決值修正 完畢后 轉(zhuǎn)到輸人層 到 隱含 的 連 接權(quán)值修正階,盡管存 在這些問 題 但 系 統(tǒng)具 有處 理 速度快 輸,、,、經(jīng)經(jīng)到對入輸 出 接 口 靈活 幾乎可 以 和 任何 形式的并行 串行段 此時到應(yīng)的經(jīng)到,的處、和或轉(zhuǎn)換器 直接相連決定學(xué) 習 速 率接口 及 并行 串行理結(jié)果 直接代替對應(yīng)的原。,的值的特點 同時 由于整 個系統(tǒng)都 在一 個芯 片內(nèi) 因而 其系統(tǒng)性能 及 問題 分 析,、抗干擾能力強 相 信本系 統(tǒng)在自動控制 故障診 斷 模衡量 一 個神經(jīng)網(wǎng) 絡(luò)系 統(tǒng)的 一個 重 要指 標是 每秒、,式識別 圖像壓 縮等領(lǐng) 域仍然 會有較大的 應(yīng) 用 范圍。尤其 適合 于 制成嵌人 式系統(tǒng)以 便對數(shù) 據(jù)進行 現(xiàn)場實鐘能 夠修改連 接權(quán)