給 AI 換個“大動力小心臟”之 CNN 加速設計

【W(wǎng)ord版本下載可任意編輯】給AI換個“大動力小心臟”之CNN加速設計K

U115芯片由兩個DIE對堆疊而成，加速器平行放置了兩組處理單元PE。每個PE由4組32x16=512的MAC計算DSP組成的XBAR構(gòu)成，設計的關(guān)鍵在于提升設計中的數(shù)據(jù)復用降低帶寬，實現(xiàn)模型權(quán)重復用和各layerfeaturemap的復用，提升計算效率。

應用場景及性能比照

當前深度學習主流使用GPU做深度學習中的Training過程，而線上Inference部署時需綜合考慮實時性、低成本以及低功耗特性選擇加速平臺。按深度學習落地場景分類，廣告推薦、語音識別、圖片/視頻內(nèi)容實時監(jiān)測等屬于實時性AI服務以及智慧交通、智能音箱以及無人駕駛等終端實時低功耗的場景，F(xiàn)PGA相較于GPU能夠為業(yè)務提供強有力的實時高性能的支撐。

對于使用者而言，平臺性能、開發(fā)周期以及易用性終究如何呢?

加速性能

以實際googlenetv1模型為例，CPU測試環(huán)境：2個6核CPU(E5-2620v3)，64G內(nèi)存。

將整機CPU打滿，單張基于KU115的加速器相較于CPU性能提升16倍，單張圖片檢測延時從250ms降低到4ms，TCO成本降低90%。

同時，F(xiàn)PGA預測性能略強于Nvidia的GPUP4，但延時上有一個數(shù)量級的優(yōu)化。

開發(fā)周期

通用的CNNFPGA加速架構(gòu)，能夠支持業(yè)務快速迭代持續(xù)演進中的深度學習模型，包括Googlenet/VGG/Resnet/ShuffleNet/MobileNet等經(jīng)典模型以及新的模型變種。

對于經(jīng)典模型以及基于標準layer自研的算法變種，現(xiàn)有加速架構(gòu)已經(jīng)可以支持，可以在一天內(nèi)通過編譯器實現(xiàn)模型對應指令集，實現(xiàn)部署上線。

對于自研的特殊模型，例如不對稱卷積算子和不對稱pooling操作等，需要根據(jù)實際模型構(gòu)造在本平臺上開展相關(guān)算子迭代開發(fā)，開發(fā)周期可縮短在一到兩周之內(nèi)開展支持。

易用性

FPGACNN加速器對底層加速過程開展封裝，向上對加速平臺的業(yè)務方提供易用SDK。業(yè)務方調(diào)用簡單的API函數(shù)即可完成加速操作，對業(yè)務自身邏輯幾乎無任何改動。

結(jié)語

基于FPGA的通用CNN加速設計，可以大大縮短FPGA開發(fā)周期，支持業(yè)務深度學習算法快速迭代;提供與GPU相媲美的計算性能，但擁有相較于GPU數(shù)量級的延時優(yōu)勢。通用的RNN/DNN平臺正在緊張研發(fā)過程中，F(xiàn)PGA加速器為業(yè)務構(gòu)建強勁的實時AI服務能力。

在云端，20**年初，我們在**云首發(fā)了國內(nèi)臺FPGA公有云服務器，我們將會逐步把根底AI加速能力推出到公有云上。

AI異構(gòu)加速的戰(zhàn)場很大很精彩，為公司內(nèi)及云上業(yè)務提供的解決方案是架平FPGA團隊持續(xù)努力的方向。