2022英偉達(dá)AI推理平臺(tái)技術(shù)概述

技術(shù)概述推理平臺(tái)推理平臺(tái)從數(shù)據(jù)中心到網(wǎng)絡(luò)終端，實(shí)現(xiàn)AI服務(wù)性能和效率的巨大飛躍NVIDIANVIDIAAI||PAGE10簡(jiǎn)介AIAIAIAIAI的產(chǎn)品和服務(wù)。(DL)2012KrizhevskyNVIDIAGPUImageNetNVIDIAResearch團(tuán)隊(duì)合作開(kāi)發(fā)出GPUAI2015GoogleMicrosoftImageNet挑戰(zhàn)賽中均超越了人類的最高得分。2016DeepMindAlphaGoMicrosoft的語(yǔ)音識(shí)別能力已達(dá)到人類水準(zhǔn)。GPU已經(jīng)證明它們能夠極有效地解決某些最復(fù)雜的深度學(xué)習(xí)問(wèn)題，雖然NVIDIA深度學(xué)習(xí)平臺(tái)是業(yè)界標(biāo)準(zhǔn)的訓(xùn)練解決方案，但其推理能力并非廣為人知。從數(shù)據(jù)中心到終端，部分全球領(lǐng)先企業(yè)已使用NVIDIAGPU構(gòu)建其推理解決方案。其中包括以下實(shí)例：SAP的品牌影響力服務(wù)401/32。Bing視覺(jué)搜索1/601/10。SparkBoardSparkRoomKitNVIDIA?Jetson已實(shí)現(xiàn)無(wú)線4K深度學(xué)習(xí)工作流程9098%

集

圖1）進(jìn)(DNN)訓(xùn)練過(guò)程中會(huì)將數(shù)百個(gè)訓(xùn)練輸入（例如，圖像分類網(wǎng)絡(luò)中的圖像或者用于語(yǔ)音識(shí)別的聲譜圖）分作一批并同時(shí)處理，以期在大量輸入之間攤銷GPU顯存的負(fù)載權(quán)重，從而大幅提高計(jì)算效率。，犧牲吞吐量以換取最1010毫秒內(nèi)批量處理TensorRT超大規(guī)模推理平臺(tái)NVIDIATensorRT?超大規(guī)模推理平臺(tái)旨在讓世界各地的每一位開(kāi)發(fā)者和數(shù)AINVIDIATuringNVIDAT4GPUT4依托NVIDIATuringT4、、MXNet、ChainerCaffe2。NVIDIATensorRT能為圖像分類、分割、物體檢測(cè)、機(jī)器語(yǔ)言翻譯、語(yǔ)音和推薦GPU或GPUTensorRTTuringGPUFP32INT8TensorRTTensorFlowONNX格式的主要框架。NVIDIATensorRTNVIDIAGPUCloudGPUNVIDIATensorRTGPU加速推理架構(gòu)的轉(zhuǎn)換過(guò)程。NVIDIAGPUKubernetes，將訓(xùn)練和推理部署無(wú)縫擴(kuò)展到多云GPU(DevOps)GPUNVIDIAGPUKubernetes，開(kāi)發(fā)者和工GPUGPU集群。NVIDIATuringT4GPUNVIDIAT4GPUAIT4NVIDIATuringAIT4NVIDIAAIAI的開(kāi)發(fā)和部署工作。TuringAITuringGPU還繼承了NVIDIAVoltaNVIDIACUDA?TuringGPU架構(gòu)擁有諸(MPS)、統(tǒng)一內(nèi)存尋址和地址轉(zhuǎn)換服務(wù)以及協(xié)作組等。NVIDIATuring創(chuàng)新技術(shù)圖2：NVIDIATURINGTU102GPUTuring的主要特性Turing(SM)TuringSM基于VoltaGV100架構(gòu)上經(jīng)過(guò)重大改進(jìn)的SM而構(gòu)建，NVIDIAPascalGPUTuringVoltaFP16和FP32INT8INT4與Volta類似，TuringSM也提供獨(dú)立的浮點(diǎn)型和整型數(shù)據(jù)通路，能夠通過(guò)混合計(jì)算和地址運(yùn)算更有效地執(zhí)行常見(jiàn)工作負(fù)載。此外，獨(dú)立線程調(diào)度功能還可在線程之間實(shí)現(xiàn)細(xì)粒度同步與合作。最后，組合共享內(nèi)存和L1緩存能夠顯著提高性能，同時(shí)簡(jiǎn)化編程。用于推理的深度學(xué)習(xí)功能TuringGPU能夠提供出色的推理性能、通用性和高效率。Turing、CUDACuDNNTuringGPUTuring還包括INT4INT1高性能顯存子系統(tǒng)Turing是首款利用GDDR6顯存的GPU架構(gòu)，該顯存系統(tǒng)代表了GDDRDRAMGPUGDDR6GDDR5XTuringGDDR6顯存的提升。將視頻解碼性能提升一倍視頻持續(xù)呈爆炸式增長(zhǎng)，已占據(jù)互聯(lián)網(wǎng)全部流量的三分之二以上。AIT4GPUAI視頻應(yīng)用程序?qū)崿F(xiàn)了性能T438T4具有TensorRT5特性NVIDIAT4推理加速器、5高性能深度學(xué)習(xí)推理優(yōu)化器和運(yùn)5準(zhǔn)確度，并最終將模型部署到超大規(guī)模數(shù)據(jù)中心、嵌入式或汽車產(chǎn)品平臺(tái)。在對(duì)各大框架中訓(xùn)練的模型進(jìn)行推理時(shí)，GPU上基于TensorRT的應(yīng)用程序推理性能最高可達(dá)CPU的50倍。TensorRT優(yōu)化

圖3TensorRT和TensorFlow現(xiàn)已緊密集成，能夠讓開(kāi)發(fā)者同時(shí)盡享TensorFlow的靈活性和TensorRT的超強(qiáng)優(yōu)化性能。MATLAB已通過(guò)GPU編碼器實(shí)現(xiàn)與TensorRT的集成，這能協(xié)助工程師和科學(xué)家在使用MATLAB時(shí)為Jetson、NVIDIADRIVE?和Tesla平臺(tái)自動(dòng)生成高性能推理引擎。TensorRT能夠加速各種各樣的應(yīng)用程序，包括圖像、視頻、語(yǔ)音識(shí)別、神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯和推薦系統(tǒng)。雖然深度學(xué)習(xí)框架也支持開(kāi)展推理操作，但不僅能輕松優(yōu)化網(wǎng)和時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)相關(guān)數(shù)據(jù)，用以說(shuō)明二者的結(jié)合如何提供高達(dá)CPU服務(wù)器45倍的吞吐量。TeslaGPU與TensorRT推理優(yōu)化器組合后，能夠?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)(CNN)（常用于基于圖像的網(wǎng)絡(luò)）以及RNN（常用于語(yǔ)音和翻譯應(yīng)用程序）帶來(lái)巨大的性能提升。推理性能：概述推理性能：概述PLASTER概括了推理性能：概述PLASTER概括了PProgrammabilityLatencyAccuracySizeofModelThroughputEnergyEfficiencyRateofLearning可編程性延遲吞吐量準(zhǔn)確度網(wǎng)絡(luò)大小能效學(xué)習(xí)率圖4深度學(xué)習(xí)是一項(xiàng)復(fù)雜的任務(wù)，因此我們要選擇正確的深度學(xué)習(xí)平臺(tái)。任何一種決策分析都應(yīng)考慮這七個(gè)因素，而且這些因素中許多都是相互關(guān)聯(lián)的。下面我們來(lái)了解一下這七個(gè)因素及其各自的作用。NVIDIACUDATensorRT，后者NVIDIANVIDIA加快所有深度學(xué)習(xí)框架的訓(xùn)練和推理速度。AI仍在迅猛發(fā)展，但實(shí)時(shí)服務(wù)的延遲目標(biāo)卻始終不變。例如，消費(fèi)者和客戶服務(wù)應(yīng)用程序均對(duì)數(shù)字助理有著廣泛的需求。但是，在人類嘗試與數(shù)字助理交互時(shí)，即使是短短幾秒的延遲也會(huì)開(kāi)始讓人感到不自然。深度學(xué)習(xí)模型的大小和處理器之間的物理網(wǎng)絡(luò)容量會(huì)對(duì)PLASTER這不僅有助開(kāi)展更詳細(xì)的分析，還能推動(dòng)對(duì)更強(qiáng)大訓(xùn)練系統(tǒng)的需求。(SLA)同時(shí)還有可能致使服務(wù)失敗。隨著DL學(xué)習(xí)解決方案帶來(lái)投資回報(bào)(ROI)功）學(xué)習(xí)率：DL系統(tǒng)獲得商DevOpsDLIT吞吐量(ImageNet在三個(gè)不同P4GPU12V100GPUCPU服務(wù)器的45倍。樣本/樣本/秒圖像/秒12000CPFP3）10067TeslaP4(INT8)eslaV10100008000627560004000314322082000747426884300GoogleNetResNet-502018（FP16/FP32累加）@3.7GHzTeslaP4TensorRTGPUOpenVINORNN適用于時(shí)間序列或序列數(shù)據(jù)，并且常用作翻譯、語(yǔ)音識(shí)別、自然語(yǔ)言處理乃至語(yǔ)音合成等應(yīng)用的解決方案。此處所示數(shù)據(jù)源自O(shè)penNMT80,00070,000CPU服務(wù)器TeslaP4TeslaV1007002280,00070,000CPU服務(wù)器TeslaP4TeslaV1007002260,00050,00040,00030,00020,00010,0001990SD24為FP3V00FP6/FP32累加）@3.7GHzTeslaP4TensorRTGPU2低延遲吞吐量(ASR)CNNRNN在沒(méi)有批處理1）的情況下立即處理請(qǐng)求；或2)使用“自動(dòng)批處理”技術(shù)，即首先設(shè)置一個(gè)延遲限值7大小的值，然后再通過(guò)網(wǎng)絡(luò)發(fā)送所處理的樣本以77圖像/秒毫秒來(lái)得出7圖像/秒7710,000CPFP3）TeslaP4(INT8)9,0008740eslaV108,0007,0006,000 56705,0004,0003,000 280019702,00013871,000 544163582800GoogleNetResNet-50OpeVNO28R2的CP2CPU為FP3V00FP6/FP32累加4為NT8@3.7GHzTeslaP4TensorRTGPU1的情況下1TeslaP4V1001.81.1CPU6CPU163P4562TeslaV100870張圖像。樣本樣本/秒111,000900CPU服務(wù)器TeslaP4 TeslaV100870800700600 562500400300200 1000CPU服務(wù)器TeslaP4TeslaV100OpenVINO2018R2V100INT8@3.7GHzTeslaP4TensorRT效能我們已達(dá)到最高吞吐量水平，盡管極高的吞吐量是深度學(xué)習(xí)工作負(fù)載的關(guān)鍵因素，但平臺(tái)提供這種吞吐量的效率也是關(guān)鍵因素。P4T470T4AIT4P4的兩倍以上。推理效率80CPU服務(wù)器推理效率80CPU服務(wù)器TeslaP4 TeslaV100 TeslaT47060 565040302521201100CPU服務(wù)器TeslaP4TeslaV100Tesla@3.7GHzTeslaP4TensorRTTeslaensorRT5RC的esla（OpeVNO28R2的CP2CPU為FP3V00為（FP16/FP32累加INT8每瓦每秒處理的圖像數(shù)NVIDIA深度學(xué)習(xí)推理平臺(tái)性能研究|技術(shù)概述|12NVIDIANVIDIAAI||PAGE20GPU推理：商業(yè)意義TeslaV100和P4可大幅提升性能和能效，但這對(duì)于購(gòu)入預(yù)算和運(yùn)營(yíng)預(yù)算有何益處呢？簡(jiǎn)而言之：性能高，省得多。GPU推理：商業(yè)意義V100P416T4GPU200臺(tái)占用四個(gè)服務(wù)器機(jī)架并需要60GPU推理：商業(yè)意義V100P416T4GPU200臺(tái)占用四個(gè)服務(wù)器機(jī)架并需要60CPUT41/301/200。圖5Jetson：終端推理NVIDIAJetsonTX2AIAIJetsonTX2NVIDIA7.5JetsonTX2能夠在終端設(shè)備上運(yùn)行更大、更深Jetson、cuDNN平臺(tái)上使用的工具極為相似。JetsonTX27.5Max-QGPU的Max-Q854MHz，ARMA57CPU1.2GHzJetsonTX2NVIDIAMax-Q配置也可用I數(shù)據(jù)中心過(guò)高時(shí)，nMax-Q可經(jīng)配置以其他頻率范圍）Max-P是每瓦每秒處理的圖像數(shù)15瓦功耗的條件下達(dá)到最高系統(tǒng)GPUMax-P1.12GHzARMA57CPU2GHzCPU的頻率為1.4GHz。每瓦每秒處理的圖像數(shù)80CPU服務(wù)器JetsonTX27062605038403020310GoogleNetResNet-50系統(tǒng)配置：至強(qiáng)可128TX2@3.7GHzTensorRTJetsonTX2SDK；對(duì)于許多網(wǎng)絡(luò)終端應(yīng)用程序而言，低延遲是必備條件。執(zhí)行設(shè)備端推理遠(yuǎn)優(yōu)于試著通過(guò)無(wú)線網(wǎng)絡(luò)及在遠(yuǎn)程數(shù)據(jù)中心基于CPU的服務(wù)器內(nèi)外發(fā)送此工作。除了設(shè)備端本地化功能以外，JetsonTX2還能以通常低于10毫秒的超低延遲處理小批量工作負(fù)載。相比之下，基于CPU的服務(wù)器延遲約為23毫秒，再加上往返網(wǎng)絡(luò)和數(shù)據(jù)中心的行程時(shí)間，該延遲數(shù)據(jù)會(huì)遠(yuǎn)超100毫秒。加速計(jì)算的崛起(TPU)，該款處理器適用于深度學(xué)習(xí)訓(xùn)練NVIDIAIe2U）dTPUv2TPU芯片NVIDIAV100的深度學(xué)習(xí)訓(xùn)練125NVIDIA8GPU配置的深度學(xué)習(xí)計(jì)1petaflop。NVIDIA的方法是面向每家公司、每個(gè)行業(yè)以及每個(gè)計(jì)算平臺(tái)普及AI計(jì)算，并為從云端到企業(yè)、汽車乃至網(wǎng)絡(luò)終端中的每個(gè)開(kāi)發(fā)框架實(shí)現(xiàn)加速。NVIDIAAI世界。FPGA說(shuō)明(FPGA)已在網(wǎng)絡(luò)交換機(jī)、4G基站、汽車電機(jī)控制器和半導(dǎo)體測(cè)試設(shè)備等使用案例中用作(ASIC)ASIC本身的效率并不高。Build推理ResNet-50500P4GPU3751676StratixFPGAGoogLeNet網(wǎng)絡(luò)上運(yùn)行得出。圖像圖像/秒投射投射12,00010,0008,0006,0004,000280030502,00076092412490GPUFPGAGPU*E5-2690v4CPUTeslaP4TensorRT關(guān)于可編程性和解決方案時(shí)間的注意事項(xiàng)PLASTER最近幾年，我們經(jīng)歷了新型網(wǎng)絡(luò)架構(gòu)的寒武紀(jì)大爆發(fā)，而且這一創(chuàng)新速度絲毫沒(méi)有減緩的跡象。卷積網(wǎng)絡(luò)遞歸網(wǎng)絡(luò)卷積網(wǎng)絡(luò)遞歸網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)新類別除軟件開(kāi)發(fā)外，F(xiàn)PGA提出的另一項(xiàng)挑戰(zhàn)是，F(xiàn)GPA必須重新進(jìn)行硬件級(jí)配置，才能運(yùn)行新一代的神經(jīng)網(wǎng)絡(luò)架構(gòu)。這種復(fù)雜的硬件開(kāi)發(fā)減緩了提供解決方案的時(shí)間，由此也將創(chuàng)新速度減慢了數(shù)周乃至數(shù)月。另一方面，GPU仍然是可編程平臺(tái)的理想選擇，得益于可靠的框架加速支持、TeslaV100的Tensor內(nèi)核等深度學(xué)習(xí)專用邏輯以及為部署推理優(yōu)化經(jīng)訓(xùn)練的網(wǎng)絡(luò)的TensorRT，它能夠快速完成原型設(shè)計(jì)、測(cè)試和迭代前沿網(wǎng)絡(luò)設(shè)計(jì)。結(jié)束語(yǔ)深度學(xué)習(xí)掀起了一場(chǎng)計(jì)算革命，為多個(gè)行業(yè)領(lǐng)域的企業(yè)帶來(lái)了深遠(yuǎn)影響。NVIDIA深度學(xué)習(xí)平臺(tái)是訓(xùn)練作業(yè)的行業(yè)標(biāo)準(zhǔn)，各領(lǐng)先企業(yè)已紛紛為其推理工作負(fù)載部署GPU以利用其強(qiáng)大的優(yōu)勢(shì)。神經(jīng)網(wǎng)絡(luò)呈指數(shù)級(jí)迅速增長(zhǎng)并不斷復(fù)雜化，從而刺激了計(jì)算需求和成本激增。在一些情況下AI服務(wù)需要迅捷反應(yīng)，而現(xiàn)代網(wǎng)絡(luò)對(duì)于傳統(tǒng)CPU而言計(jì)算任務(wù)過(guò)重。PLASTERGPU1/200TX210AI系統(tǒng)、文字轉(zhuǎn)語(yǔ)音和語(yǔ)音合成。NVIDIA如需了解有關(guān)NVIDIATesla產(chǎn)品的更多信息，請(qǐng)?jiān)L問(wèn)：/tesla如要深入了解JetsonTX2，請(qǐng)?jiān)L問(wèn)：/zh-cn/autonomous-machines/embedded-systems如需了解有關(guān)TensorRT和其他NVIDIA開(kāi)發(fā)工具的更多信息，請(qǐng)?jiān)L問(wèn)：/tensorrt如需了解目前已利用GPU加速的大量應(yīng)用程序的列表，請(qǐng)?jiān)L問(wèn)：www.NVIDIA.com/GPU-applications性能數(shù)據(jù)表CNN TESLAP4(INT8)網(wǎng)絡(luò) 批量大小

每秒處理的圖像） 主板平均功率 每瓦性能 延毫）GoogLeNet19233724.91.141631416314238.82.58 2197 46 47.8 3.7646431186349.520128 3191 64 49.1 40ResNet-5015694412.91.8497449744919.94.18 1291 57 22.6 6.2646416776326.638128 1676 62 27 76VGG-191206553.74.943464346605.8128 398 65 6.1 206464429636.8149128 430 62 6.9 298CNN TESLAV10）網(wǎng)絡(luò) 批量每秒處理的圖像） 主板平均功率 每瓦性能 延毫GoogLeNet1102713180.974268442684118231.58 4502 152 29 1.864649421284336.8128 10067 290 35 13ResNet-50147612042.1416314163113212.42.58 2685 153 17.5 36464587727421.411128 6275 285 22 20VGG-1914971513.3227931944.12.5411942205.43.4814882545.95.46421612907.53012822082917.658RNN TESLAP4(FP32)網(wǎng)絡(luò) 批量大小

每秒處理的令牌） 主板平均功率 每瓦性能 延毫）OpenNMT18941038.71.121260126101.64174612913.52.38290116817.32.864590328920.411128625929421.320RNN TESLAV10）網(wǎng)絡(luò) 批量大小每秒處理的令牌） 主板平均功率 每瓦性能 延毫）OpenNMT134579636152479110047.9214807610576.925813475108124.830645075874685.9641287002284833.693JETSONTXMAX-Q每秒處AP+DRAMAlexNet1每秒處AP+DRAMAlexNet11196.618.02.3528.4

上行功率

AP+DM性能

GP功率

GPU性能/功率延遲（毫秒）426442646.739.32.99115.28 276 6.1 45.1 2.8 99 29.064644006.462.63.2125160.0128 425 6.4 66.4 3.2 132.6 301.3GoogLeNet11415.724.72.654.37823.58 180 6.4 28.2 3.0 60.6 44.564641896.6337.8128 191 6.6 28.9 3.1 61.6 671.8ResNet-501645.411.92.328.315.64814815.415.12.334.849.48 83 5.4 15.4 2.4 35.4 95.96464895.516.22.437715.5128 90 5.5 16.2 2.4 37.7 1,424.3VGG-191197.22.63753.12227.23.03.16.993.147.2176.887.3351.3647.12,792.41287.25,660.6JETSONTXMAX-P每秒處AP+DRAMAlexNet1每秒處AP+DRAMAlexNet11468.916.33.62416.85

上行功率

AP+DM性能

GP功率

GPU性能/功率延遲（毫秒）433043309.534.84.5372.912.128 349 8.8 39.8 4.42 79.0 22.9064645159.554.15.2198.8124.36128 546 9.6 56.9 5.28 103 234.32GoogLeNet117443.25.6421842189.024.24.6147.218.48 231 9.3 24.8 4.83 47.8 34.764642439.725.15.0349263.6128 244 9.6 25.3 5.02 48.6 52ResNet-501827.411.13.492312.2410441047.613.63.7127.938.68 107 8.0 13.4 3.95 27.1 74.864641157.914.63.8130.1558.9128 115 7.9 14.6 3.82 30.1 1,113.2VGG-19123.7102.355.042.2428.2428.2102.74.975.7142.08 28.3 10 2.8 4.96 5.7 282.7646428.72,226.7128 28.4 10 2.8 5.09 5.6 4,514.0*Up=上行功率，Dwn=下行功率）網(wǎng)絡(luò) 批量

處理RAM

JETSONTX1AP+DRAM性能/GPU下行功率*

GPU性能/功率延遲（毫秒）的圖像數(shù)）

） 功

（瓦）AlexNet1918.610.5215810.315.26.424.512.7424411.321.77.632.016.4825311.322.37.832.031.66441812.5339.444.0153.212844912.5369.646.9284.9GoogLeNet111910.78.44173417311.614.98.021.623.28 185 12.3 15.1 9.0 20.6 43.2646419612.715.09.420.7327.0128 196 12.7 15.0 9.5 20.7 651.7ResNet-506.39.716.4480.546.612.149.78 84.2 10.2 8.3 7.0 12.0 95.0646491.210.09.16.913.2701.7128 91.5 10.4 8.8 7.3 12.6 1,399.3VGG-19113.31.775.0419.248.92.2207.88 19.5 12.0 1.6 8.6 2.3 410.6646420.32.23,149.6128 20.5 12.5 1.6 9.3 2.2 3,187.3*Up=上行功率，Dwn=下行功率）測(cè)試方法我們的性能分析側(cè)重于四種神經(jīng)網(wǎng)絡(luò)架構(gòu)。AlexNet（2012ImageNet）GoogLeNet（2014ImageNetAxNetVGG-19ResNet-50ImageNet競(jìng)賽中獲勝的架構(gòu)。2的小批量情況。X1X2P4V100GPUTensorRT2EAJetPack更新2017）6140SDKv2061部署工具。GPUTensorRT版本附帶的“giexec”prototxtCa