FPGA深度學(xué)習(xí)硬件加速方案

FPGA硬件加速為Hadoop+深度學(xué)習(xí)插上翅膀FPGA硬件加速1專業(yè)引領(lǐng)夢想我們致力于提供硬件加速的專業(yè)技術(shù)解決方案、產(chǎn)品和服務(wù)。加速云硬件加速產(chǎn)品可以廣泛應(yīng)用于數(shù)據(jù)中心、云計(jì)算、機(jī)器視覺、深度學(xué)習(xí)、仿真、金融、高性能計(jì)算等領(lǐng)域。專業(yè)引領(lǐng)夢想我們致力于提供硬件加速的專業(yè)技術(shù)解決方案、產(chǎn)品和2云計(jì)算深度學(xué)習(xí)金融計(jì)算仿真網(wǎng)絡(luò)安全醫(yī)療健康基因比對天氣預(yù)報(bào)分子化學(xué)地震預(yù)測加速云的技術(shù)應(yīng)用場景云計(jì)算深度學(xué)習(xí)金融計(jì)算仿真網(wǎng)絡(luò)安全醫(yī)療健康基因比對天氣預(yù)報(bào)分3專業(yè)的解決方案和產(chǎn)品0102解決方案Hadoop平臺加速方案深度學(xué)習(xí)加速方案網(wǎng)絡(luò)安全加速方案仿真加速和硬件在環(huán)仿真方案Spark平臺加速方案金融行業(yè)數(shù)據(jù)加速方案大數(shù)據(jù)存儲(chǔ)加速方案高性能計(jì)算方案機(jī)器視覺加速方案硬件平臺PCIe加速卡加速模塊VPX加速平臺機(jī)器視覺加速套件高密度服務(wù)器定制加速服務(wù)器軟件及IP集成開發(fā)環(huán)境（SIDE）深度學(xué)習(xí)庫IPOPENBLAS庫IP壓縮解壓縮IP糾刪碼IP加解密IPFFT

IP各種定制IP03專業(yè)的解決方案和產(chǎn)品0102解決方案硬件平臺軟件及IP4硬件加速平臺-PCIe加速板卡SC-OPM硬件加速平臺-PCIe加速板卡5硬件加速平臺-PCIe加速板卡SC-OPS最新14nm

工藝FPGAS10,邏輯容量2800K，9.2TFLOPS單精度浮點(diǎn),18.4TFLOPS16位定點(diǎn)8個(gè)內(nèi)存控制器，支持2400MHz

72bit

DDR4（ES2133MHz），最大支持64GB內(nèi)存PCIe3.0

8lane或16lane（H-Lite支持）支持2個(gè)40GE或100GE接口（H-Lite支持）標(biāo)準(zhǔn)全高3/4長（112*250mm）正在研發(fā)階段，預(yù)計(jì)2017年4月份出樣機(jī)，6月份量產(chǎn)硬件加速平臺-PCIe加速板卡最新14nm工藝FPGAS6硬件加速平臺-核心計(jì)算模塊SC-IMB硬件加速平臺-核心計(jì)算模塊7硬件加速平臺-機(jī)器視覺開發(fā)套件SC-VMB硬件加速平臺-機(jī)器視覺開發(fā)套件8高密度異構(gòu)計(jì)算平臺SC-HPC08S19英寸4U標(biāo)準(zhǔn)機(jī)箱支持8個(gè)PCIe

3.0

16Lane

槽位220V

3+1冗余電源，最大支持4000W兩個(gè)E5

處理器，每個(gè)支持32GB內(nèi)存2*PCIe

3.016Lane

（20GB）互聯(lián)帶寬（X86和異構(gòu)計(jì)算卡之間）支持FPGA加速卡（SC-OPM/SC-OPS）,支持GPGPU卡（K20/K40/K80/M4/M60/P4/P40）在FPGA加速卡時(shí)卡間支持40GE/100GE（接口也可以配置為SRIO/infinband/Serdes/）互聯(lián)超高性能功耗比（在插入SC-OPS時(shí)，整個(gè)系統(tǒng)支持73.6TFLOPS單精度浮點(diǎn)，功耗為1200W）可以廣泛應(yīng)用于數(shù)字信號處理、高性能計(jì)算、深度學(xué)習(xí)等領(lǐng)域高密度異構(gòu)計(jì)算平臺19英寸4U標(biāo)準(zhǔn)機(jī)箱9高密度異構(gòu)計(jì)算平臺SC-HPC16S19英寸5U標(biāo)準(zhǔn)機(jī)箱支持16個(gè)PCIe

3.0

16Lane

槽位220V

3+1冗余電源，最大支持8000W兩個(gè)E5

處理器，每個(gè)支持32GB內(nèi)存2*PCIe

3.016Lane

（20GB）互聯(lián)帶寬（X86和異構(gòu)計(jì)算卡之間）支持FPGA加速卡（SC-OPM/SC-OPS）,支持GPGPU卡（K20/K40/K80/M4/M60/P4/P40）在FPGA加速卡時(shí)卡間支持40GE/100GE（接口也可以配置為SRIO/infinband/Serdes/）互聯(lián)超高性能功耗比（在插入SC-OPS時(shí)，整個(gè)系統(tǒng)支持150

TFLOPS單精度浮點(diǎn)，功耗為2000W）可以廣泛應(yīng)用于數(shù)字信號處理、高性能計(jì)算、深度學(xué)習(xí)等領(lǐng)域高密度異構(gòu)計(jì)算平臺19英寸5U標(biāo)準(zhǔn)機(jī)箱10為什么選擇FPGA為什么選擇FPGA11更高的性能功耗比可以節(jié)省數(shù)據(jù)中心運(yùn)營成本更高的性能功耗比支持更多應(yīng)用場景對隨機(jī)操作、位操作和串行算法很好支持可以適應(yīng)更多應(yīng)用場景，提高系統(tǒng)性能；低功耗和小型化可以滿足更多對功耗小型化有要求的場景更靈活快速部署通過加速云FPGA深度學(xué)習(xí)編譯器具有快速遷移相應(yīng)深度學(xué)習(xí)算法到加速卡上。利用局部可重構(gòu)技術(shù)可以遠(yuǎn)程快速部署，滿足數(shù)據(jù)中心云化需求更高性價(jià)比低功耗可以降低系統(tǒng)運(yùn)營成本，高集成度可以降低建設(shè)成本，更高的性能功耗比使的整體系統(tǒng)獲得更高性價(jià)比01020403解決方案和產(chǎn)品優(yōu)勢更高的性能功耗比可以節(jié)省數(shù)據(jù)中心運(yùn)營成本更高的性能功耗比支持12FPGA加速深度學(xué)習(xí)01海量數(shù)據(jù)計(jì)算能力0302算法FPGA加速深度學(xué)習(xí)01海量數(shù)據(jù)計(jì)算能力0302算法13深度學(xué)習(xí)的應(yīng)用模式深度學(xué)習(xí)的應(yīng)用模式14高性能靈活的RTL級加速庫深度學(xué)習(xí)庫FDNN高性能計(jì)算庫FBlas參數(shù)可配的深度學(xué)習(xí)基礎(chǔ)庫：卷積、池化、全連接、非線性函數(shù)參數(shù)可配置的CNN/DNN/RNN庫，可以兼容CAFFE/TensorFlow模型數(shù)據(jù)常見各種模型：VGG16,Goolenet,Lenet，Yolo，SSD，Resnet,Faster-RCNN參數(shù)可配置的深度學(xué)習(xí)訓(xùn)練庫：除CNN/DNN/RNN庫外，后向更新算法、隨機(jī)初始化算法、SGD算法參數(shù)可配的OpenBlas庫Level2/3:矩陣乘、矩陣分解、矩陣求逆線性方程求解、微分方程求解三角函數(shù)、非線性函數(shù)、超越函數(shù)傅里葉運(yùn)算接口兼容OpenBlas庫接口高性能靈活的RTL級加速庫深度學(xué)習(xí)庫高性能計(jì)算庫參數(shù)可配的深15“所設(shè)即所加速”的深度學(xué)習(xí)加速器

接口適配層

模型分析層

模型配置層 深度學(xué)習(xí)庫/底層驅(qū)動(dòng)DDR4PCIeDMA40GE深度學(xué)習(xí)模型FPGA深度學(xué)習(xí)加速器框架通過加速云高性能FPGA深度學(xué)習(xí)加速器，可以方便和Caffe

TensorFlow集成，快速將Caffe

TensorFlow訓(xùn)練的模型和數(shù)據(jù)運(yùn)行到加速云的FPGA加速卡上（SC-OPM）取得很好的加速比。也可以和加速云高密度異構(gòu)計(jì)算平臺配合實(shí)現(xiàn)高效的深度學(xué)習(xí)訓(xùn)練?！八O(shè)即所加速”的深度學(xué)習(xí)加速器 接口適配層 模型分析1617深度學(xué)習(xí)加速解決方案采用SC-OPM加速卡（半高半長：56*167mm）Altera

Arria

10

GX660器件,集成

660kLE和1.5T

FLOPS

單精度浮點(diǎn)處理能力整體網(wǎng)絡(luò)為7層，總運(yùn)算量為84M單精度浮點(diǎn)，激活函數(shù)為sigmod/softmax各層網(wǎng)絡(luò)參數(shù)可以軟件配置下載單卡可以實(shí)現(xiàn)60路（單精度浮點(diǎn)）語音識別聲學(xué)模型，8ms全部完成，功耗33瓦單卡可以實(shí)現(xiàn)120～150路（16位定點(diǎn)）語音識別聲學(xué)模型，8ms全部完成采用SC-HPC08S/SC-HPC16S高密度異構(gòu)計(jì)算平臺可以實(shí)現(xiàn)更高密度語音加速池方案（單系統(tǒng)實(shí)現(xiàn)720~1440路語音識別），整體系統(tǒng)最高不超過900W功耗1717深度學(xué)習(xí)加速解決方案采用SC-OPM加速卡（半高半長：51718深度學(xué)習(xí)加速解決方案18采用SC-OPM加速卡（半高半長：56*167mm）Altera

Arria10

GX660器件,集成

660kLE和1.5T

FLOPS

單精度浮點(diǎn)處理能力四層LSTM+1層全連接，各層網(wǎng)絡(luò)參數(shù)可以軟件配置下載可以實(shí)現(xiàn)40000T/S的流量，延時(shí)超低，數(shù)據(jù)長度可以混合長度單卡只有33WConvertLSTMFW

CELL0MatrixBaisLSTMBW

CELL0MatrixBaisInput

dataN..1

001N..01N..01N..MatrixBais01..NLSTMFW

CELL1MatrixBaisLSTMBW

CELL1MatrixBaisConcatFC01..N01..N01..N01..NLSTM模型全連接模型Wi(256*256)wc(256*256)wf(256*256)wo(256*256)ui(256*256)wc(256*256)wf(256*256)wo(256*256)562256256256256256Bi(1*256)Bf(1*256)Bo(1*256)Bc(1*256)LSTM參數(shù)矩陣LSTM偏置矩陣18深度學(xué)習(xí)加速解決方案18采用SC-OPM加速卡（半高半長1819深度學(xué)習(xí)加速解決方案19采用SC-OPM加速卡（半高半長：56*167mm）Altera

Arria10

GX660器件,集成

660kLE和1.5T

FLOPS

單精度浮點(diǎn)處理能力2層卷積和2層全連接27400幀/S，單卡只有33W19深度學(xué)習(xí)加速解決方案19采用SC-OPM加速卡（半高半長19FPGA加速Hadoop壓縮EC排序KVS網(wǎng)絡(luò)安全FPGA加速Hadoop壓縮EC排序KVS網(wǎng)絡(luò)安全2021Hadoop加速解決方案21采用SC-HPC08S/SC-HPC16S高密度異構(gòu)計(jì)算平臺可以實(shí)現(xiàn)更高密度壓縮解壓縮，糾刪碼加速池方案（單系統(tǒng)實(shí)現(xiàn)16~32GB的壓縮解壓縮性能或24~48GB的糾刪碼性能），整體系統(tǒng)最高不超過900W功耗21Hadoop加速解決方案21采用SC-HPC08S/SC21FPGA加速Hadoop應(yīng)用視頻分析Hadoop生態(tài)直播數(shù)據(jù)庫HPC數(shù)據(jù)挖掘基因處理廣告推送CPUFPGAFPGA加速Hadoop應(yīng)用視頻分析Hadoop直數(shù)22基于FPGA硬件加速的Hadoop融合架構(gòu) HAI DDR4PCIeDMA40GE/100GE算法

加速庫 底層驅(qū)動(dòng)基于FPGA硬件加速的 HAI DDR4PCID23FPGA硬件加速為Hadoop+深度學(xué)習(xí)插上翅膀FPGA硬件加速24專業(yè)引領(lǐng)夢想我們致力于提供硬件加速的專業(yè)技術(shù)解決方案、產(chǎn)品和服務(wù)。加速云硬件加速產(chǎn)品可以廣泛應(yīng)用于數(shù)據(jù)中心、云計(jì)算、機(jī)器視覺、深度學(xué)習(xí)、仿真、金融、高性能計(jì)算等領(lǐng)域。專業(yè)引領(lǐng)夢想我們致力于提供硬件加速的專業(yè)技術(shù)解決方案、產(chǎn)品和25云計(jì)算深度學(xué)習(xí)金融計(jì)算仿真網(wǎng)絡(luò)安全醫(yī)療健康基因比對天氣預(yù)報(bào)分子化學(xué)地震預(yù)測加速云的技術(shù)應(yīng)用場景云計(jì)算深度學(xué)習(xí)金融計(jì)算仿真網(wǎng)絡(luò)安全醫(yī)療健康基因比對天氣預(yù)報(bào)分26專業(yè)的解決方案和產(chǎn)品0102解決方案Hadoop平臺加速方案深度學(xué)習(xí)加速方案網(wǎng)絡(luò)安全加速方案仿真加速和硬件在環(huán)仿真方案Spark平臺加速方案金融行業(yè)數(shù)據(jù)加速方案大數(shù)據(jù)存儲(chǔ)加速方案高性能計(jì)算方案機(jī)器視覺加速方案硬件平臺PCIe加速卡加速模塊VPX加速平臺機(jī)器視覺加速套件高密度服務(wù)器定制加速服務(wù)器軟件及IP集成開發(fā)環(huán)境（SIDE）深度學(xué)習(xí)庫IPOPENBLAS庫IP壓縮解壓縮IP糾刪碼IP加解密IPFFT

IP各種定制IP03專業(yè)的解決方案和產(chǎn)品0102解決方案硬件平臺軟件及IP27硬件加速平臺-PCIe加速板卡SC-OPM硬件加速平臺-PCIe加速板卡28硬件加速平臺-PCIe加速板卡SC-OPS最新14nm

工藝FPGAS10,邏輯容量2800K，9.2TFLOPS單精度浮點(diǎn),18.4TFLOPS16位定點(diǎn)8個(gè)內(nèi)存控制器，支持2400MHz

72bit

DDR4（ES2133MHz），最大支持64GB內(nèi)存PCIe3.0

8lane或16lane（H-Lite支持）支持2個(gè)40GE或100GE接口（H-Lite支持）標(biāo)準(zhǔn)全高3/4長（112*250mm）正在研發(fā)階段，預(yù)計(jì)2017年4月份出樣機(jī)，6月份量產(chǎn)硬件加速平臺-PCIe加速板卡最新14nm工藝FPGAS29硬件加速平臺-核心計(jì)算模塊SC-IMB硬件加速平臺-核心計(jì)算模塊30硬件加速平臺-機(jī)器視覺開發(fā)套件SC-VMB硬件加速平臺-機(jī)器視覺開發(fā)套件31高密度異構(gòu)計(jì)算平臺SC-HPC08S19英寸4U標(biāo)準(zhǔn)機(jī)箱支持8個(gè)PCIe

3.0

16Lane

槽位220V

3+1冗余電源，最大支持4000W兩個(gè)E5

處理器，每個(gè)支持32GB內(nèi)存2*PCIe

3.016Lane

（20GB）互聯(lián)帶寬（X86和異構(gòu)計(jì)算卡之間）支持FPGA加速卡（SC-OPM/SC-OPS）,支持GPGPU卡（K20/K40/K80/M4/M60/P4/P40）在FPGA加速卡時(shí)卡間支持40GE/100GE（接口也可以配置為SRIO/infinband/Serdes/）互聯(lián)超高性能功耗比（在插入SC-OPS時(shí)，整個(gè)系統(tǒng)支持73.6TFLOPS單精度浮點(diǎn)，功耗為1200W）可以廣泛應(yīng)用于數(shù)字信號處理、高性能計(jì)算、深度學(xué)習(xí)等領(lǐng)域高密度異構(gòu)計(jì)算平臺19英寸4U標(biāo)準(zhǔn)機(jī)箱32高密度異構(gòu)計(jì)算平臺SC-HPC16S19英寸5U標(biāo)準(zhǔn)機(jī)箱支持16個(gè)PCIe

3.0

16Lane

槽位220V

3+1冗余電源，最大支持8000W兩個(gè)E5

處理器，每個(gè)支持32GB內(nèi)存2*PCIe

3.016Lane

（20GB）互聯(lián)帶寬（X86和異構(gòu)計(jì)算卡之間）支持FPGA加速卡（SC-OPM/SC-OPS）,支持GPGPU卡（K20/K40/K80/M4/M60/P4/P40）在FPGA加速卡時(shí)卡間支持40GE/100GE（接口也可以配置為SRIO/infinband/Serdes/）互聯(lián)超高性能功耗比（在插入SC-OPS時(shí)，整個(gè)系統(tǒng)支持150

TFLOPS單精度浮點(diǎn)，功耗為2000W）可以廣泛應(yīng)用于數(shù)字信號處理、高性能計(jì)算、深度學(xué)習(xí)等領(lǐng)域高密度異構(gòu)計(jì)算平臺19英寸5U標(biāo)準(zhǔn)機(jī)箱33為什么選擇FPGA為什么選擇FPGA34更高的性能功耗比可以節(jié)省數(shù)據(jù)中心運(yùn)營成本更高的性能功耗比支持更多應(yīng)用場景對隨機(jī)操作、位操作和串行算法很好支持可以適應(yīng)更多應(yīng)用場景，提高系統(tǒng)性能；低功耗和小型化可以滿足更多對功耗小型化有要求的場景更靈活快速部署通過加速云FPGA深度學(xué)習(xí)編譯器具有快速遷移相應(yīng)深度學(xué)習(xí)算法到加速卡上。利用局部可重構(gòu)技術(shù)可以遠(yuǎn)程快速部署，滿足數(shù)據(jù)中心云化需求更高性價(jià)比低功耗可以降低系統(tǒng)運(yùn)營成本，高集成度可以降低建設(shè)成本，更高的性能功耗比使的整體系統(tǒng)獲得更高性價(jià)比01020403解決方案和產(chǎn)品優(yōu)勢更高的性能功耗比可以節(jié)省數(shù)據(jù)中心運(yùn)營成本更高的性能功耗比支持35FPGA加速深度學(xué)習(xí)01海量數(shù)據(jù)計(jì)算能力0302算法FPGA加速深度學(xué)習(xí)01海量數(shù)據(jù)計(jì)算能力0302算法36深度學(xué)習(xí)的應(yīng)用模式深度學(xué)習(xí)的應(yīng)用模式37高性能靈活的RTL級加速庫深度學(xué)習(xí)庫FDNN高性能計(jì)算庫FBlas參數(shù)可配的深度學(xué)習(xí)基礎(chǔ)庫：卷積、池化、全連接、非線性函數(shù)參數(shù)可配置的CNN/DNN/RNN庫，可以兼容CAFFE/TensorFlow模型數(shù)據(jù)常見各種模型：VGG16,Goolenet,Lenet，Yolo，SSD，Resnet,Faster-RCNN參數(shù)可配置的深度學(xué)習(xí)訓(xùn)練庫：除CNN/DNN/RNN庫外，后向更新算法、隨機(jī)初始化算法、SGD算法參數(shù)可配的OpenBlas庫Level2/3:矩陣乘、矩陣分解、矩陣求逆線性方程求解、微分方程求解三角函數(shù)、非線性函數(shù)、超越函數(shù)傅里葉運(yùn)算接口兼容OpenBlas庫接口高性能靈活的RTL級加速庫深度學(xué)習(xí)庫高性能計(jì)算庫參數(shù)可配的深38“所設(shè)即所加速”的深度學(xué)習(xí)加速器

接口適配層

模型分析層

模型配置層 深度學(xué)習(xí)庫/底層驅(qū)動(dòng)DDR4PCIeDMA40GE深度學(xué)習(xí)模型FPGA深度學(xué)習(xí)加速器框架通過加速云高性能FPGA深度學(xué)習(xí)加速器，可以方便和Caffe

TensorFlow集成，快速將Caffe

TensorFlow訓(xùn)練的模型和數(shù)據(jù)運(yùn)行到加速云的FPGA加速卡上（SC-OPM）取得很好的加速比。也可以和加速云高密度異構(gòu)計(jì)算平臺配合實(shí)現(xiàn)高效的深度學(xué)習(xí)訓(xùn)練。“所設(shè)即所加速”的深度學(xué)習(xí)加速器 接口適配層 模型分析3917深度學(xué)習(xí)加速解決方案采用SC-OPM加速卡（半高半長：56*167mm）Altera

Arria

10

GX660器件,集成

660kLE和1.5T

FLOPS

單精度浮點(diǎn)處理能力整體網(wǎng)絡(luò)為7層，總運(yùn)算量為84M單精度浮點(diǎn)，激活函數(shù)為sigmod/softmax各層網(wǎng)絡(luò)參數(shù)可以軟件配置下載單卡可以實(shí)現(xiàn)60路（單精度浮點(diǎn)）語音識別聲學(xué)模型，8ms全部完成，功耗33瓦單卡可以實(shí)現(xiàn)120～150路（16位定點(diǎn)）語音識別聲學(xué)模型，8ms全部完成采用SC-HPC08S/SC-HPC16S高密度異構(gòu)計(jì)算平臺可以實(shí)現(xiàn)更高密度語音加速池方案（單系統(tǒng)實(shí)現(xiàn)720~1440路語音識別），整體系統(tǒng)最高不超過900W功耗1717深度學(xué)習(xí)加速解決方案采用SC-OPM加速卡（半高半長：54018深度學(xué)習(xí)加速解決方案18采用SC-OPM加速卡（半高半長：56*167mm）Altera

Arria10

GX660器件,集成

660kLE和1.5T

FLOPS

單精度浮點(diǎn)處理能力四層LSTM+1層全連接，各層網(wǎng)絡(luò)參數(shù)可以軟件配置下載可以實(shí)現(xiàn)40000T/S的流量，延時(shí)超低，數(shù)據(jù)長度可以混合長度單卡只有33WConvertLSTMFW

CELL0MatrixBaisLSTMBW

CELL0MatrixBaisInput

dataN..1

001N..01N..01N..MatrixBais01..NLSTMFW

CELL1MatrixBaisLSTMBW

CELL1MatrixBaisConcat