NVIDIA發(fā)布Triton 推理服務(wù)器重大更新全球超過25000余家公司部署NVIDIA AI推理平臺(tái)

NVIDIA發(fā)布Triton推理服務(wù)器重大更新，全球超過25000余家公司部署NVIDIAAI推理平臺(tái)CapitalOne、Microsoft、SamsungMedison、SiemensEnergy、Snap等全球行業(yè)領(lǐng)導(dǎo)者都在使用該平臺(tái)。加利福尼亞州圣克拉拉市–2021年11月9日–NVIDIA今日宣布其AI推理平臺(tái)的重大更新，目前CapitalOne、Microsoft、SamsungMedison、SiemensEnergy、Snap等25000多家客戶都在使用該平臺(tái)。這些更新包括開源NVIDIATriton推理服務(wù)器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺(tái)推理；同時(shí)也包含對(duì)NVIDIATensorRT的更新，該軟件優(yōu)化AI模型并為NVIDIAGPU上的高性能推理提供運(yùn)行時(shí)優(yōu)化。NVIDIA還推出了NVIDIAA2TensorCoreGPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。NVIDIA副總裁兼加速計(jì)算總經(jīng)理IanBuck表示：“NVIDIAAI推理平臺(tái)正在推動(dòng)各行各業(yè)的突破，包括醫(yī)療健康、金融服務(wù)、零售、制造和超級(jí)計(jì)算。無論是提供更智能的建議，發(fā)揮對(duì)話式AI的力量，還是推進(jìn)科學(xué)發(fā)現(xiàn)，NVIDIA推理平臺(tái)都能以簡單易用的方式提供低延遲、高吞吐及多種性能組合的服務(wù)，為全球關(guān)鍵的AI新應(yīng)用賦能?！标P(guān)鍵的軟件優(yōu)化Triton推理服務(wù)器的主要更新包括：●Triton模型分析器–這款新工具可以自動(dòng)化地從數(shù)百種組合中為AI模型選擇最佳配置，以實(shí)現(xiàn)最優(yōu)性能，同時(shí)確保應(yīng)用程序所需的服務(wù)質(zhì)量?！穸郍PU多節(jié)點(diǎn)功能–這一新功能支持基于Transformer的大規(guī)模語言模型，例如Megatron530B，在多個(gè)GPU和服務(wù)器節(jié)點(diǎn)上運(yùn)行并提供實(shí)時(shí)推理性能，而不是在單個(gè)GPU上運(yùn)行?！馬APIDSFIL–這一針對(duì)隨機(jī)森林和梯度提升決策樹模型GPU或CPU推理的新后端為開發(fā)者使用Triton進(jìn)行深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)提供了一個(gè)統(tǒng)一的部署引擎?！馎mazonSageMaker集成–這種無縫集成讓客戶能夠在SageMaker（AWS完全托管的AI服務(wù)）中使用Triton輕松部署多框架的模型，并實(shí)現(xiàn)高推理性能?！裰С諥rmCPU–除了NVIDIAGPU和x86CPU外，Triton后端現(xiàn)在還支持在ArmCPU上優(yōu)化AI推理工作負(fù)載。Triton支持在云、數(shù)據(jù)中心、企業(yè)邊緣和嵌入式設(shè)備等環(huán)境中對(duì)GPU和CPU進(jìn)行AI推理，并與AWS、GoogleCloud、MicrosoftAzure、阿里云PAI-EAS等平臺(tái)集成。此外，NVIDIAAIEnterprise也集成了Triton。NVIDIAAIEnterprise是一款經(jīng)NVIDIA優(yōu)化、認(rèn)證和支持的用于開發(fā)和部署AI的端到端軟件套件，客戶可利用它在本地?cái)?shù)據(jù)中心和私有云的主流服務(wù)器上運(yùn)行AI工作負(fù)載。除了Triton外，TensorRT現(xiàn)在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內(nèi)推理快3倍的性能。這使得開發(fā)人員采用極為簡化的工作流程就可以體會(huì)TensorRT的強(qiáng)大功能。NVIDIATensorRT8.2是SDK的最新版本，可加速高性能的深度學(xué)習(xí)推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優(yōu)化，數(shù)十億個(gè)參數(shù)的語言模型可實(shí)現(xiàn)實(shí)時(shí)運(yùn)行。行業(yè)領(lǐng)導(dǎo)者支持NVIDIAAI平臺(tái)推理全球眾多行業(yè)領(lǐng)導(dǎo)者都正在使用NVIDIAAI推理平臺(tái)改進(jìn)業(yè)務(wù)運(yùn)營并為客戶提供新的AI賦能服務(wù)。MicrosoftAzure認(rèn)知服務(wù)為高品質(zhì)AI模型提供基于云的API，以創(chuàng)建智能應(yīng)用程序。他們正在使用Triton運(yùn)行語音轉(zhuǎn)文本模型，為MicrosoftTeams用戶提供準(zhǔn)確的實(shí)時(shí)字幕和轉(zhuǎn)錄。“MicrosoftTeams是全球溝通和協(xié)作的重要工具，每月有近2.5億活躍用戶，”Microsoft團(tuán)隊(duì)呼叫、會(huì)議和設(shè)備部首席PM經(jīng)理ShalendraChhabra表示?！斑@樣的AI模型極其復(fù)雜，需要數(shù)千萬個(gè)神經(jīng)網(wǎng)絡(luò)參數(shù)才能在幾十種不同的語言中提供準(zhǔn)確的結(jié)果。模型越大，就越難以經(jīng)濟(jì)高效地實(shí)時(shí)運(yùn)行。MicrosoftAzure認(rèn)知服務(wù)上的NVIDIAGPU和Triton推理服務(wù)器使用28種語言和方言，通過AI近乎實(shí)時(shí)地幫助改進(jìn)實(shí)時(shí)字幕和轉(zhuǎn)錄功能?！盡icrosoftAzure認(rèn)知服務(wù)上的NVIDIAGPU和Triton推理服務(wù)器，結(jié)合AI模型，幫助提升了涉及28種語言和方言的實(shí)時(shí)字幕和轉(zhuǎn)錄功能的成本效益。SamsungMedison是三星電子旗下一家全球醫(yī)療設(shè)備公司。該公司正利用NVIDIATensorRT通過智能輔助功能來為其超聲波系統(tǒng)提供增強(qiáng)的更優(yōu)質(zhì)的醫(yī)療影像。SamsungMedison致力于通過提高患者的舒適度、減少掃描時(shí)間、簡化工作流程并最終提高系統(tǒng)吞吐量來改善患者和醫(yī)療健康領(lǐng)域?qū)I(yè)人員的生活?！霸谛驴頥8高端超聲波系統(tǒng)中應(yīng)用NVIDIATensorRT后，我們能夠在查看和診斷圖像時(shí)更好地為醫(yī)學(xué)專家提供支持，”SamsungMedison副總裁、客戶體驗(yàn)團(tuán)隊(duì)主管Won-ChulBang表示?！拔覀冋诜e極地將基于AI的技術(shù)引入我們的超聲波系統(tǒng)，以便為醫(yī)療專業(yè)人員提供更好的支持，使他們能夠?qū)Ｗ⒂诨颊咴\斷和治療等更重要的領(lǐng)域?！盨iemensEnergy是一家擁有領(lǐng)先能源技術(shù)解決方案的能源專營公司，該公司正利用Triton通過AI來幫助其發(fā)電廠客戶管理相關(guān)設(shè)施?！案叨葟?fù)雜的發(fā)電廠通常會(huì)配備攝像頭和傳感器，但采用的卻是傳統(tǒng)軟件系統(tǒng)，NVIDIATriton推理服務(wù)器出色的靈活性能夠讓這些發(fā)電廠加入自主工業(yè)革命，”SiemensEnergy自主運(yùn)營部投資組合經(jīng)理ArikOtt表示。Snap是一家全球性攝影軟件和社交媒體公司，其主要產(chǎn)品和服務(wù)包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術(shù)來提高商業(yè)變現(xiàn)能力和降低成本?！癝nap使用NVIDIAGPU和TensorRT將機(jī)器學(xué)習(xí)推理的成本效率提高了50%，并將服務(wù)延遲降低了2倍，“Snap公司策劃與商業(yè)變現(xiàn)部門工程副總裁NimaKhajehnouri表示?！边@為我們提供了計(jì)算資源，以實(shí)踐和部署更大型、更準(zhǔn)確的廣告和內(nèi)容排名模型。“NVIDIA面向推理的AI平臺(tái)包括了新的NVIDIA認(rèn)證系統(tǒng)，全新A2GPUNVIDIA認(rèn)證系統(tǒng)可以幫助客戶在高性能、經(jīng)濟(jì)高效且可擴(kuò)展的基礎(chǔ)設(shè)施上為各種現(xiàn)代AI應(yīng)用識(shí)別、獲取和部署系統(tǒng)，該認(rèn)證系統(tǒng)現(xiàn)在包含兩個(gè)新的邊緣AI類別。擴(kuò)展的類別允許NVIDIA系統(tǒng)的合作伙伴為客戶提供完整系列的由基于NVIDIAAmpere架構(gòu)的GPU支持的NVIDIA認(rèn)證系統(tǒng)，來處理各種實(shí)際工作負(fù)載。新的NVIDIAA2GPU也包含在內(nèi)，它是一個(gè)入門級(jí)、低功耗的緊湊型加速器，適用于邊緣服務(wù)器中的推理和邊緣AI。NVIDIAA2與適用于主流企業(yè)服務(wù)器的NVIDIAA30、適用高性能AI服務(wù)器的NVIDIAA100一起，為邊緣、數(shù)據(jù)中心和云端的AI推理提供了完整的方案。Atos、戴爾科技、技嘉、慧與、浪潮、聯(lián)想和Supermicro等全球領(lǐng)先的企業(yè)系統(tǒng)供應(yīng)商，其AI系統(tǒng)產(chǎn)品線均支持在NVIDIA認(rèn)證系統(tǒng)上使用NVIDIAAIEnterprise。其他系統(tǒng)提供商，如研華科技、ASRockRack、華碩、寧暢、新華三和QCT也為各種工作負(fù)載提供了NVIDIA認(rèn)證系統(tǒng)。包括研華科技、技嘉和聯(lián)想在內(nèi)的領(lǐng)先供應(yīng)商將很快推出首款通過新邊緣類別認(rèn)證的NVIDIA認(rèn)證系統(tǒng)。供貨情況Triton通過NVIDIANGC目錄提供。NVIDIANGC是針對(duì)GPU優(yōu)化的AI軟件中心，包括框架、工具包、預(yù)訓(xùn)練模型和JupyterNotebooks。Triton源代碼可從TritonGitHub資源庫獲取。NVIDIA開發(fā)者計(jì)劃成員可通過TensorRT頁面獲取TensorRT。最新版本的插件、解析器和示例也以開源形式提供，可從TensorRTGitHub資源庫獲取。客戶可以通過今日獨(dú)家發(fā)布的NVIDIALaunchPad中的全球精選實(shí)驗(yàn)室，在NVIDIAAIEnterprise軟件套件中體驗(yàn)NVIDIATriton。NVIDIAAI