從GTC2024大會(huì)看AI產(chǎn)業(yè)投資方向

正文目錄一、GTC2024大會(huì)熱點(diǎn)聚焦 4二、GTC2024大會(huì)熱點(diǎn)延伸 51、AI芯片：NVIDIA發(fā)布Blackwell新架構(gòu)，GB200超級(jí)芯片應(yīng)用廣泛 52、AIGC：NVIDIA加速生成式AI普及，AIGC服務(wù)引起全領(lǐng)域變革 93、人形機(jī)器人：NVIDIA進(jìn)軍人形機(jī)器人領(lǐng)域，重磅推出ProjectGR00T 124、智能汽車(chē)：NVIDIA重新定義DRIVEThor，賦能全景智能交通運(yùn)輸需求 16三、小結(jié) 19四、風(fēng)險(xiǎn)提示 20圖表目錄圖1：大模型參數(shù)量呈指數(shù)級(jí)增長(zhǎng) 5圖2：NVIDIA發(fā)布Blackwell架構(gòu) 5圖3：NVIDIAGB200NVL72系統(tǒng) 6圖4：AI超級(jí)計(jì)算機(jī)NVIDIADGXSuperPOD 6圖5：NVIDIAGPU發(fā)展藍(lán)圖 6圖6：全球AI芯片市場(chǎng)規(guī)模及預(yù)測(cè) 8圖7：FPGA全球市場(chǎng)競(jìng)爭(zhēng)格局 8圖8：AI部署助手NIM架構(gòu) 9圖9：用于推理和其他服務(wù)的云API 9圖10：NVIDIAChatRTX聊天機(jī)器人加速PC端滲透 10圖11：Omniverse數(shù)字孿生應(yīng)用于AppleVisionPro 11圖12：Omniverse數(shù)字孿生應(yīng)用于AppleVisionPro 11圖13：NVIDIA推出ProjectGR00T 12圖14：NVIDIAGR00T模型訓(xùn)練工作流 12圖15：GR00T模型的機(jī)器人學(xué)習(xí)和編排設(shè)置 13圖16：IsaacManipulator簡(jiǎn)化端到端工作流 13圖17：IsaacPerceptor行業(yè)與生態(tài)系統(tǒng)合作伙伴 13圖18：NVIDIA成立GEAR，專(zhuān)攻具身智能 14圖19：NVIDIA與微軟、OpenAI等投資類(lèi)人機(jī)器人初創(chuàng)公司FigureAI 15圖20：NVIDIA更新DRIVEThor動(dòng)態(tài)，采用BlackwellGPU架構(gòu) 16圖21：DRIVEThor增加對(duì)大語(yǔ)言模型和生成式AI的底層支持 17圖22：DRIVEThor加速計(jì)算打造下一代AI車(chē)型 17表1：NVIDIAGPU架構(gòu)演進(jìn) 7表2：NVIDIAGPU性能參數(shù)對(duì)比 7表3：幾種AI芯片對(duì)比 8表4：5個(gè)全新OmniverseCloudAPI 10一、GTC2024大會(huì)熱點(diǎn)聚焦 GTC2024大會(huì)于3月18日至3月21日在美國(guó)加州圣何塞會(huì)議中心舉行，900場(chǎng)演講、培訓(xùn)、研討300195個(gè)國(guó)家/31.920243194時(shí)-6時(shí)，NVIDIASAPGTC2024的主題演講《見(jiàn)證AI的變革時(shí)刻》，涉及AI芯片、AIGC、人形機(jī)器人以及智能汽車(chē)等熱門(mén)賽道。在《見(jiàn)證AI的變革時(shí)刻》演講中，黃仁勛提及以下熱點(diǎn)：AI芯片：在GTC2024大會(huì)上，NVIDIA發(fā)布了其Blackwell新架構(gòu)。NVIDIAGB200GraceBlackwell超級(jí)芯900GB/sNVLinkBlackwellNVIDIAB200TensorCoreGPU連接到NVIDIAGraceCPUBlackwellNVLinkSwitchNVLinkSwitchGB200NVIDIAGB200NVL72的關(guān)鍵組件，NVIDIAGB200NVL72是一種多節(jié)點(diǎn)、液冷、機(jī)架Blackwell720petaflopsAI1.4exaflops的AI推理性能。此外，NVIDIAAIGB200GraceBlackwellDGXSuperPODAIGraceBlackwellDGXSuperPOD8DGXGB200系NVIDIAQuantumInfiniBandFP411.5exaflops240TB的快速內(nèi)存，并可通過(guò)額外的機(jī)架來(lái)擴(kuò)展性能。在GTC2024發(fā)布生成式AI部署助手微服務(wù)AI+NVIDIANIMGPU加速工作站上部署生AI模型。NIMAPIAINIMAPIAIAI模型開(kāi)發(fā)人員的范圍。NIMAI模型，如社區(qū)模型、NVIDIAAIAIAI用例，包括大語(yǔ)言模型、視覺(jué)語(yǔ)言模型（VLMs）以及語(yǔ)音、圖像、視頻、3D、醫(yī)學(xué)成像等模型。目前，NIMCadence等領(lǐng)先的應(yīng)用平臺(tái)提供商所采用，AIAI公司的基石。人形機(jī)器人：在GTC2024大會(huì)上，NVIDIA正式發(fā)布世界首款人形機(jī)器人模型ProjectGR00T（GeneralistRobot00Technology）GR00TGR00T（AgilityRoboticsApptronikFourierIntelligenceUnitreeRobotics的產(chǎn)品如何完成各種NVIDIAThorJetsonThor。JetsonThorSoCBlackwell架構(gòu)的下一代800teraflops8AIGR00TAI模型。在GTC2024揭示了DRIVEThorDRIVEThor是一個(gè)車(chē)載計(jì)算平臺(tái)，NVIDIABlackwellGPU架構(gòu)（擁1,000萬(wàn)億次浮點(diǎn)運(yùn)算性能以確保安全可靠的自動(dòng)化機(jī)器DRIVEThorAINVIDIADriveThorL4PlusWaabi、WeRide。二、GTC2024大會(huì)熱點(diǎn)延伸 1、AI芯片：NVIDIA發(fā)布Blackwell新架構(gòu)，GB200超級(jí)芯片應(yīng)用廣泛NVIDIA發(fā)布BlackwellOpenAI1.8tokenPetaFLOPGPU1000GTC2024大會(huì)上，NVIDIAGPU就是為了應(yīng)對(duì)這一挑戰(zhàn)而構(gòu)建的?！盉lackwellDavidHaroldBlackwellNVIDIAGB200GrceBlackwel90GB/sBlackwellNVIDIAB200TensorCoreGPUNVIDIAGraceCPU。性能與訓(xùn)練成本方面：Blackwell2080億個(gè)晶體管，所有這些晶體管幾乎同時(shí)訪問(wèn)與芯片連接的內(nèi)存，面的FP8性能是其上一代架構(gòu)的2.5倍，在推理方面的FP4性能是其上一代架構(gòu)的5倍。HopperGPU，BlackwellGPU的訓(xùn)練成本顯著降低，1.8GPT8000HopperGPU1590BlackwellGPU200090天只需要消耗四分之一的電力。圖1：大模型參數(shù)量呈指數(shù)級(jí)增長(zhǎng) 圖2：NVIDIA發(fā)布Blackwell架構(gòu)資料來(lái)源：GTC2024， 資料來(lái)源：GTC2024，GB200超級(jí)芯片應(yīng)用廣泛，顯著提升AI訓(xùn)練性能和推理性能Blackwell的規(guī)模，NVIDIANVLinkSwitch1.8TB4SwitchGB200NVIDIAGB200NVL72的關(guān)鍵組件。NVIDIAGB200NVL72是一種多節(jié)點(diǎn)、液冷、機(jī)架級(jí)603000Blackwell720petaflopsAI1.4exaflopsAI推理性能。此外，NVIDIA還推出了更強(qiáng)大的新一代AI超級(jí)計(jì)算機(jī)，由NVIDIAGB200GraceBlackwell超級(jí)芯片提供支持的NVIDIADGXSuperPOD，AIGraceBlackwellDGXSuperPOD8DGXGB200系統(tǒng)構(gòu)建而成，這些系NVIDIAQuantumInfiniBandFP411.5exaflops的AI240TB的DGXGB20036NVIDIAGB20036NVIDIAGraceCPU72NVIDIABlackwellGPUNVIDIANVLink連接成一臺(tái)超級(jí)計(jì)算機(jī)。圖3：NVIDIAGB200NVL72系統(tǒng) 圖4：AI超級(jí)計(jì)算機(jī)NVIDIADGXSuperPOD資料來(lái)源：GTC2024， 資料來(lái)源：GTC2024，NVIDIA深耕人工智能算力提升，不斷更新迭代GPU架構(gòu)：Volta架構(gòu)2017NVIDIAGPU的第六代架構(gòu)，VoltaTensorCore；Turing架構(gòu)2018NVIDIAGPU的第七代架構(gòu)，Turing架構(gòu)引入了實(shí)時(shí)光線追蹤（RTX）習(xí)超采樣（DLSS）等重要功能。Ampere架構(gòu)2020NVIDIAGPUGPU采用了多個(gè)流多處理器（SM）CUDACore和更高的頻率，同時(shí)，Ampere架構(gòu)引入了第三代TensorCore，提供更強(qiáng)大的深度學(xué)習(xí)計(jì)算性能。此外，Ampere架構(gòu)的GPU還具有更高的內(nèi)存容量和帶寬，適用于大規(guī)模的數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)。Hopper架構(gòu)2022NVIDIAGPUAmpere，HopperTensor圖5：NVIDIAGPU發(fā)展藍(lán)圖資料來(lái)源：CSDN，架構(gòu)名稱(chēng)VoltaTuringAmpereHopper發(fā)布時(shí)間2017201820202022架構(gòu)名稱(chēng)VoltaTuringAmpereHopper發(fā)布時(shí)間2017201820202022核心參數(shù)

80個(gè)SM，每個(gè)SM擁有：64FP32+64INT32+32FP64+8個(gè)Tensor核心

92SM有：64個(gè)FP32+64個(gè)INT32+8Tensor心

108SMSM擁有：64個(gè)FP32+64個(gè)INT32+32個(gè)Tensor核心第三代NVLink

132個(gè)SM，每個(gè)SM擁有：128個(gè)FP32+64個(gè)INT32+64個(gè)FP64+4個(gè)Tensor核心第四代NVLink特點(diǎn) 第二代NVLinkTensor核心211億晶體管186211億晶體管186億晶體管283億晶體管800億晶體管代表產(chǎn)品TelsaV100TelsaT4TelsaA100TelsaH100

NVLinkRT核心12nm

第三代Tensor核心RT結(jié)構(gòu)化稀疏7nm

Transformer引擎第二代MIG4nm資料來(lái)源：NVIDIA，基于不同架構(gòu)基礎(chǔ)，NVIDIAGPU性能持續(xù)升級(jí)：A100是2020年發(fā)布的首次采用Ampere架構(gòu)的GPUTensorCUDA核2TbpsA100GPUA100GPU分割成多個(gè)獨(dú)立還支持第二代NVLinkGPU與GPU通信，提升大型模型的訓(xùn)練速度。此外，A100TensorCore，同時(shí)增加了對(duì)DLHPC數(shù)據(jù)類(lèi)型的全面支持，以及新的稀疏功能，可將吞吐量進(jìn)一步翻倍。A100AI能計(jì)算場(chǎng)景也都屬于優(yōu)勢(shì)領(lǐng)域。H100采用Hopper架構(gòu)，NVIDIATSMC4N800億個(gè)晶體管，能處理最具挑戰(zhàn)性AIA100相比，H100FP84petaflops；內(nèi)存增HBM335TbpsTransformer引擎AIAIAI應(yīng)用的更優(yōu)選擇?？偟膩?lái)說(shuō)，相較于A100，基于Hopper架構(gòu)的H100在AIAIAI和科學(xué)模擬任務(wù)。性能參數(shù)V100A100H100架構(gòu)VoltaAmpereHopperFP64性能參數(shù)V100A100H100架構(gòu)VoltaAmpereHopperFP647TFLOPS9.7TFLOPS26TFLOPSFP3214TFLOPS19.5TFLOPS51TFLOPSFP16Tensor核心312TFLOPS756.5TFLOPSINT8Tensor核心62TOPS624TOPS1513TOPSGPU顯存32/16GBHBM280GBHBM2e80GBGPU顯存帶寬900GB/s1935GB/s2TB/s最大熱設(shè)計(jì)功耗250W300W300-350W資料來(lái)源：NVIDIA，半定制化FPGA和定制化ASIC提高AIGPUFPGAASIC；按照網(wǎng)絡(luò)位置，AI芯片可分為云端芯片和邊緣芯片；按照應(yīng)用目標(biāo)，AI芯片可分為訓(xùn)練芯片和推理芯片。 GPU已被廣泛應(yīng)用于人工智能、機(jī)器學(xué)習(xí)等許多領(lǐng)域。FPGAPGA感器處理和射頻通信等復(fù)雜和高速處理領(lǐng)域。ASIC是一種專(zhuān)門(mén)為特定應(yīng)用程序而設(shè)計(jì)的定制化芯片，相對(duì)于通用處理器，ASIC可以提供更高的性能和更低等。但是，ASIC芯片無(wú)法輕易地重新編程或改變其功能，也讓其相對(duì)較難以適應(yīng)不同應(yīng)用的需求。類(lèi)型定制化程度可編輯性算力價(jià)格優(yōu)點(diǎn)缺點(diǎn)GPU通用型類(lèi)型定制化程度可編輯性算力價(jià)格優(yōu)點(diǎn)缺點(diǎn)GPU通用型不可編輯中高通用性計(jì)算能力較強(qiáng)，適合大規(guī)模并行運(yùn)算并行運(yùn)算能力在推理端無(wú)法完全發(fā)揮FPGA半定制化容易編輯高中 可通過(guò)編程靈活配置芯片架 硬件編程困難、量產(chǎn)價(jià)格高構(gòu)，開(kāi)發(fā)時(shí)間短ASIC全定制化難以編輯高低 功耗低、體積小、量產(chǎn)后成 前期投入高、研發(fā)風(fēng)險(xiǎn)本低資料來(lái)源：公開(kāi)資料，F(xiàn)PGA全球市場(chǎng)競(jìng)爭(zhēng)格局穩(wěn)定，ASIC自主開(kāi)發(fā)趨勢(shì)明顯。隨著人工智能的技術(shù)進(jìn)步和應(yīng)用升級(jí)，市場(chǎng)對(duì)于人工智能算力的需求不斷增長(zhǎng)，這一趨勢(shì)推動(dòng)了AI芯片行業(yè)的發(fā)展。據(jù)預(yù)測(cè)，全球AI芯片市場(chǎng)規(guī)模將以29.3%的復(fù)合增長(zhǎng)率增長(zhǎng)，并于2026年達(dá)到920億美元。2022年，全球FPGA芯片市場(chǎng)呈“兩大兩小”格局，AMD和Intel兩家公司的市場(chǎng)份額分別為52%和35%，Lattice和Microsemi的市場(chǎng)份額各占5%?？梢钥闯?，AMD和Intel雙寡頭主導(dǎo)FPGA市場(chǎng)，全球市場(chǎng)競(jìng)爭(zhēng)格局相對(duì)穩(wěn)定。ASIC不同于GPU和FPGA，目前尚未形成明顯的市場(chǎng)競(jìng)爭(zhēng)格局，國(guó)產(chǎn)廠商在技Google、IntelASICASICAI壟斷格局。圖6：全球AI芯片市場(chǎng)規(guī)模及預(yù)測(cè) 圖7：FPGA全球市場(chǎng)競(jìng)爭(zhēng)格局單位：億美元1000 800

AMD Intel Lattice Microsemi 其他5%3%5%3%5%35%52%4002000202020212022E2023E2024E2025E2026E資料來(lái)源：， 資料來(lái)源：，2、AIGC：NVIDIA加速生成式AI普及，AIGC服務(wù)引起全領(lǐng)域變革生成式AI部署助手微服務(wù)NIM發(fā)布，容器化服務(wù)助力AI+模型。NVIDIANIM是一組經(jīng)過(guò)優(yōu)化的云原生微服務(wù)，旨GPUAINIMAPIAINIM集成到現(xiàn)有的應(yīng)用程序AI模型開(kāi)發(fā)和打包的復(fù)雜性抽象化，AI模型開(kāi)發(fā)人員的范圍。NIMNvidia微服務(wù)將包括用于定制語(yǔ)音和翻譯模型的Riva、用于路cuOptEarth-2模型。NIM通過(guò)針對(duì)每個(gè)模型和硬件設(shè)置進(jìn)行優(yōu)化的推理引擎，為加速基礎(chǔ)設(shè)施提供最佳的延遲和吞吐量，這降低了推理工作負(fù)載的成本，并改善了最終用戶(hù)的體驗(yàn)。NIM支持多種應(yīng)用，微服務(wù)合作伙伴生態(tài)共建。NIMAI模型，如社區(qū)模型、NVIDIAAI基金會(huì)模型和合作AIAI用例，包括大語(yǔ)言模型、視覺(jué)語(yǔ)言模型（VLMs）以及語(yǔ)音、圖像、視頻、3D、醫(yī)學(xué)成像等模型。NIM專(zhuān)為可移植性和控制而構(gòu)建，可實(shí)現(xiàn)模型在各種基礎(chǔ)設(shè)施上部署，從本地工作站NVIDIADGXNVIDIADGXCloudNVIDIANVIDIARTX工作站和個(gè)人AINIMCadenceCrowdStrikeSAPServiceNowNVIDIAAIAI公司的基石。圖8：AI部署助手NIM架構(gòu) 圖9：用于推理和其他服務(wù)的云API資料來(lái)源：NVIDIA， 資料來(lái)源：NVIDIA，聊天機(jī)器人普及加速，助力PC端生成式AI功能。最新的開(kāi)發(fā)者工具和應(yīng)用ChatRTX正在加速PC和工作站上的AI普及。ChatwithRTX或簡(jiǎn)稱(chēng)ChatRTX，包括工具和軟件開(kāi)發(fā)。工具包通過(guò)檢索增強(qiáng)生成和NVIDIATensorRT-LLM加速技術(shù)，可為RTX助力的owsPC帶來(lái)運(yùn)行于本地的生成式AI功能。用戶(hù)可以快速輕松地將本地文件作為數(shù)據(jù)集連接到開(kāi)放式大語(yǔ)言模型(例如Mistral或Llama2)，以便快速查詢(xún)與上下文相關(guān)的答案。除了目前對(duì)文本的支持外，ChatRTX很快還會(huì)添加對(duì)語(yǔ)音、圖像和新模型的支持。此外，Whisper是一種AI自動(dòng)語(yǔ)音語(yǔ)言識(shí)別系統(tǒng)，用戶(hù)將能夠通過(guò)它與ChatRTX進(jìn)行交談。在該功能推出后，ChatRTX將能夠“理解”口述語(yǔ)言并以文本提供回應(yīng)。NVIDIAAIWorkbench是一款易于使用的開(kāi)發(fā)者工具包，可用于管理AI模型定制和優(yōu)化工作流，該工具包現(xiàn)已向RTX開(kāi)發(fā)者全面推出。RTX大語(yǔ)言模型賦能行業(yè)，AIGC表現(xiàn)亮眼。NVIDIA已通過(guò)TensorRT推動(dòng)剪映AI藝術(shù)字功能上線，并正在通過(guò)RTXAIAI在剪映產(chǎn)品功能中的應(yīng)用。TensorRTDaVinciResolveTopaz應(yīng)用中的轉(zhuǎn)描、降A(chǔ)I2BlackmagicDesignTopazLabs等杰出創(chuàng)意應(yīng)用開(kāi)RTXAI加速集成到各自的軟件中。醫(yī)學(xué)研究人員正在使用教科書(shū)和其他醫(yī)學(xué)數(shù)據(jù)訓(xùn)練大語(yǔ)言模型，以期利用大語(yǔ)言模型記錄財(cái)報(bào)電話會(huì)議及其他重要會(huì)議，并總結(jié)會(huì)議內(nèi)容。圖10：NVIDIAChatRTX聊天機(jī)器人加速PC端滲透資料來(lái)源：NVIDIA，AIGC直觸物理世界，醫(yī)療應(yīng)用場(chǎng)景不斷開(kāi)拓。生成式AI最大的影響將體現(xiàn)在醫(yī)療領(lǐng)域，NVIDIA已經(jīng)涉足成像系NVIDIABioNeMoAIBioNeMo基礎(chǔ)DNARNADNABERT：DNA序列進(jìn)行訓(xùn)練，可用于預(yù)測(cè)基因組特定區(qū)域的RNA（它可以預(yù)測(cè)兩種蛋白質(zhì)相互作用過(guò)程的3D結(jié)構(gòu)，這對(duì)了解藥物分子是否有效至關(guān)重要。NVIDIA20+新的微服務(wù)，使全球醫(yī)療企業(yè)能夠在任何地方、任何云上利用生成式AI的最新進(jìn)展。Omniverse?Cloud以API形式提供，OpenUSD與AppleVisionPro碰撞。NVIDIAOmniverse?是一個(gè)計(jì)算平OmniverseCloudOmniverse獨(dú)使用，也可組合使用。NVIDIAOmniverseCloudAPIOpenUSDNVIDIA圖形交付網(wǎng)絡(luò)（GDN），AppleVisionPro，而不會(huì)影響大型數(shù)據(jù)集細(xì)節(jié)內(nèi)容，工作流還引入了一種混合渲染技術(shù)，將設(shè)備上的本地渲染和遠(yuǎn)程渲染OmniverseCloudAPI的軟件框架使“元宇宙”的進(jìn)一步構(gòu)建成為可能。OpenUSDNVIDIARTX?渲染USDRender功能API接口表4OpenUSDNVIDIARTX?渲染USDRender功能API接口USDWrite OpenUSD數(shù)據(jù)并與之交互USDQuery 支持場(chǎng)景查詢(xún)和交互式場(chǎng)景USDNotify USD變化并提供更新信息OmniverseChannel 連接用戶(hù)、工具和世界，實(shí)現(xiàn)跨場(chǎng)景協(xié)作資料來(lái)源：NVIDIA，圖11：Omniverse數(shù)字孿生應(yīng)用于AppleVisionPro資料來(lái)源：NVIDIA，6G研究平臺(tái)催化無(wú)線電子技術(shù)研究新方法，AI推動(dòng)無(wú)線通信。6GNVIDIA6G適用于6G的AerialOmniverse數(shù)字孿生6G系統(tǒng)的物理精確模擬。借OmniverseAerial高傳輸效率。2）AerialCUDA加速的無(wú)線接入網(wǎng)絡(luò)：RAN協(xié)議堆棧，為研究人員實(shí)時(shí)自定義、6GPyTorchTensorFlow等主流框NVIDIAGPUAI和機(jī)器學(xué)習(xí)（ML）模型。NVIDIA6G研究云平臺(tái)具種擴(kuò)展現(xiàn)實(shí)和沉浸式教育體驗(yàn)與協(xié)作機(jī)器人為依托的超級(jí)智能世界奠定基礎(chǔ)。圖12：Omniverse數(shù)字孿生應(yīng)用于AppleVisionPro資料來(lái)源：NVIDIA，3、人形機(jī)器人：NVIDIA進(jìn)軍人形機(jī)器人領(lǐng)域，重磅推出ProjectGR00TNVIDIAProjectGR00T319GTC2024正式發(fā)布世界首款ProjectGR00T（GeneralistRobot00Technology）。GR00T是一個(gè)通用的基礎(chǔ)模型，承諾在仿真GPU加速的仿真中訓(xùn)練，GR00TNVIDIAIsaacLab行強(qiáng)化學(xué)習(xí)，還能從視頻數(shù)據(jù)生成機(jī)器人動(dòng)作。GR00T行的動(dòng)作。圖13：NVIDIA推出ProjectGR00T資料來(lái)源：NVIDIA，GR00T驅(qū)動(dòng)的人形（AgilityRoboticsApptronikFourierIntelligenceUnitreeRobotics的產(chǎn)品如何完成各種任務(wù)，AI領(lǐng)域中最令人興奮的課題之一。我們正在匯集各種賦能技術(shù)，致力于在人工通用機(jī)器人領(lǐng)域?qū)崿F(xiàn)突破?！眻D14：NVIDIAGR00T模型訓(xùn)練工作流資料來(lái)源：NVIDIA，Isaac平臺(tái)重大更新，搭建協(xié)調(diào)機(jī)器人訓(xùn)練仿真器。為大規(guī)模訓(xùn)練GR00T，NVIDIA開(kāi)發(fā)了用于大規(guī)模強(qiáng)化學(xué)習(xí)的NVIDIAIsaacLab，并建立了用于計(jì)算編排服務(wù)的NVIDIAOSMO。其中，IsaacLab是一個(gè)GPU加速、性能優(yōu)化的輕量級(jí)應(yīng)用，NVIDIAIsaacSim（OmniverseNucleusOmniverseConnectorsOpenUSD中協(xié)作構(gòu)建，共享和導(dǎo)入環(huán)境和機(jī)器人模型）連接和互操作性等優(yōu)勢(shì)。OSMO則是一個(gè)云原生的工作流編排平臺(tái)，NVIDIADGXNVIDIAOVXNVIDIAIGX和NVIDIAAGX負(fù)責(zé)合成數(shù)據(jù)生成(SDG)、DNN化學(xué)習(xí)、SILHIL中對(duì)機(jī)器人進(jìn)行（再）仿真SIM或真實(shí)數(shù)據(jù)的進(jìn)行感知評(píng)估等具體工作。NVIDIA還發(fā)布了IsaacManipulator和IsaacPerceptor等一系列機(jī)器人預(yù)訓(xùn)練模型、庫(kù)和參考硬件。IsaacManipulator為機(jī)械臂提供了卓越的靈活性和模塊化AIGPU80早期生態(tài)系統(tǒng)合作伙伴包括安川電機(jī)、泰瑞達(dá)旗下子公司優(yōu)傲、PickNikRobotics、Solomon、READYRoboticsFrankaRobotics。IsaacPerceptor3D環(huán)繞視覺(jué)功能，這些功能正越來(lái)越多地被制造業(yè)和物流業(yè)ArcBest亞迪和凱傲集團(tuán)等，它們的目標(biāo)是為物料搬運(yùn)等操作帶來(lái)新的自主化水平。圖15：GR00T模型的機(jī)器人學(xué)習(xí)和編排設(shè)置資料來(lái)源：NVIDIA，圖16：IsaacManipulator簡(jiǎn)化端到端工作流 圖17：IsaacPerceptor行業(yè)與生態(tài)系統(tǒng)合作伙伴資料來(lái)源：NVIDIA， 資料來(lái)源：NVIDIA，NVIDIA專(zhuān)為人形機(jī)器人打造全新計(jì)算平臺(tái)。NVIDIANVIDIAThor系統(tǒng)級(jí)芯片（SoC）JetsonThorJetsonThorSoCtransformerengine的下一代NVIDIABlackwell8008位浮點(diǎn)運(yùn)算AIGR00T等多模態(tài)生成式AI模型。CPU100GB以太網(wǎng)帶寬，大大簡(jiǎn)化了設(shè)計(jì)和集成工作。機(jī)器人有望成為人工智能重要載體，NVIDIA已成立新的研究部門(mén)專(zhuān)攻具身智能。223日，NVIDIA高級(jí)研究科學(xué)家、AI代理計(jì)劃負(fù)責(zé)人JimFan透露NVIDIA將成立GEAR。GEAR全稱(chēng)為通用具身智能體研究GeneralistEmbodiedAgentResearchJimFanYukeZhu教授領(lǐng)導(dǎo)，旨在構(gòu)建適用于虛擬與物理世界的具身智能體的基礎(chǔ)模型，致力于實(shí)現(xiàn)跨多模態(tài)、多場(chǎng)景的智能應(yīng)用。JimFan宣稱(chēng)，2024能之年和模擬技術(shù)之年。GEAR研究團(tuán)隊(duì)專(zhuān)注于四大關(guān)鍵領(lǐng)域：大型語(yǔ)言模型-型以及世界模型，旨在打通不同模態(tài)信息間的壁壘；際場(chǎng)景下的普適性與效能；虛擬世界的智能交互設(shè)定新標(biāo)準(zhǔn)；NVIDIAAI礎(chǔ)模型和生成式模擬。GEAR通過(guò)編碼大型語(yǔ)言模型實(shí)現(xiàn)人類(lèi)水平的獎(jiǎng)勵(lì)設(shè)計(jì)言模型驅(qū)動(dòng)的開(kāi)放式具身智能體）、VIMA（利用多模態(tài)提示實(shí)現(xiàn)通用機(jī)器人操作能力）Minedojo（模知識(shí)庫(kù)構(gòu)建開(kāi)放式具身智能體）。圖18：NVIDIA成立GEAR，專(zhuān)攻具身智能資料來(lái)源：NVIDIA，巨頭持續(xù)下場(chǎng)，人形機(jī)器人催化不斷。225日，Optimus224日，NVIDIA與微軟、OpenAIFigureAI，以期為人工智6.7520313日，F(xiàn)igureOpenAIdemoFigure01可以為聽(tīng)從人類(lèi)的命令Google20233PaLM-ERT-1pipelineGoogle20237RT-2Figure致力于GTC2024大會(huì)上，NVIDIANVIDIAIsaacSimNVIDIAOrangeGreenIsaac平臺(tái)里學(xué)會(huì)了走路。圖19：NVIDIA與微軟、OpenAI等投資類(lèi)人機(jī)器人初創(chuàng)公司FigureAI資料來(lái)源：Figure，具身智能不應(yīng)建立在孤島之上，NVIDIA積極尋求長(zhǎng)期合作伙伴。NVIDIA正在為領(lǐng)先的人形機(jī)器人公司開(kāi)發(fā)一個(gè)綜合的AI平臺(tái)，如1XTechnologies、AgilityRobotics、Apptronik、波士頓動(dòng)力公司、FigureAI、傅利葉智能、SanctuaryAI、宇樹(shù)科技和小鵬鵬行等。GTCFigure01、宇樹(shù)-H1、Apptronik、Digit、SanctuaryAIPhoenix、1XGR-1AltasPX5等國(guó)內(nèi)外知名人形機(jī)JetsonISSACSimBDX機(jī)器人。AgilityRobotics聯(lián)合創(chuàng)始人JonathanHurstDigitAIDigitNVIDIAAI+ISSACNVIDIANVIDIASim擴(kuò)大機(jī)器人底盤(pán)的應(yīng)用等。4、智能汽車(chē)：NVIDIA重新定義DRIVEThor，賦能全景智能交通運(yùn)輸需求NVIDIADRIVEThorBlackwellGPUGTC2024NVIDIADRIVEThorNVIDIABlackwell架構(gòu)（擁有1,000萬(wàn)億次浮點(diǎn)運(yùn)算性能以確保安全可靠的自動(dòng)化機(jī)器），用于變壓器和生成式人工智能工作負(fù)載；DRIVEThor預(yù)計(jì)最早將在明年投入生產(chǎn)的車(chē)輛中使用。圖20：NVIDIA更新DRIVEThor動(dòng)態(tài)，采用BlackwellGPU架構(gòu)資料來(lái)源：NVIDIA，NVIDIA重新定義DRIVEThor，增加對(duì)大語(yǔ)言模型和生成式AIDRIVEThorAI應(yīng)用DRIVEOrinAV針對(duì)變壓器、LLMAINVIDIABlackwell架構(gòu)。NVIDIA汽車(chē)副總裁吳新宙表示：“加AI，正在重新定義自主性和全球交通運(yùn)輸行業(yè)。”“DRIVEOrinAINVIDIADRIVEThor引入他們的下一AIDRIVEThor已經(jīng)發(fā)生了一些非常明顯的調(diào)整DRIVEThor定位為專(zhuān)為汽車(chē)行業(yè)中日益重要的生成式AI應(yīng)用而打造的車(chē)載計(jì)算平臺(tái)Transformer、大語(yǔ)言模型（LLM）AINVIDIABlackwell架構(gòu)。隨著大AI的爆發(fā)，以及這些技術(shù)在車(chē)端的逐步應(yīng)用，NVIDIADRIVEThorAINVIDIAThor1000TFLOPSNVIDIA20229Thor的浮點(diǎn)運(yùn)2000TFLOPS。對(duì)此，有行業(yè)人士評(píng)論稱(chēng)：DRIVEThor的算力出現(xiàn)了明顯的縮水。圖21：DRIVEThor增加對(duì)大語(yǔ)言模型和生成式AI的底層支持資料來(lái)源：NVIDIA，NVIDIADRIVEThor或徹底改變汽車(chē)行業(yè)格局，加速計(jì)算打造下一代AI車(chē)型。NVIDIADRIVEThor被NVIDIA稱(chēng)為“將徹底改變汽車(chē)行業(yè)的格局，開(kāi)創(chuàng)生成式AI定義駕駛體驗(yàn)的時(shí)代”的產(chǎn)品。在GTC上，幾家領(lǐng)先的電動(dòng)汽車(chē)制造商正在揭示他們由DRIVEThor驅(qū)動(dòng)的下一代AI車(chē)隊(duì)：全球最大的電動(dòng)汽車(chē)制造商比亞迪正在將與NVIDIADRIVEThorEVNVIDIAAIAINVIDIAIsaacNVIDIAOmniverse平臺(tái)開(kāi)發(fā)虛擬工廠規(guī)劃和零售配置器的工具和應(yīng)用。廣汽埃安旗下品牌昊鉑宣布已選擇DRIVEThor2025年開(kāi)4NVIDIADRIVEOrinHyperGT2+級(jí)駕駛功能。NVIDIADRIVEThor下一代車(chē)XNGPAILiAutoZEEKRDRIVEThor來(lái)的汽車(chē)路線圖。圖22：DRIVEThor加速計(jì)算打造下一代AI車(chē)型資料來(lái)源：NVIDIA，NVIDIADRIVEThor為長(zhǎng)途卡車(chē)、送貨車(chē)和機(jī)器人出租車(chē)提供驅(qū)動(dòng)力，賦能全景智能交通運(yùn)輸需求。DIVEhr包括貨車(chē)運(yùn)輸、機(jī)器人出租車(chē)、貨物配送車(chē)輛等：Nuro致力于為商用和消費(fèi)級(jí)車(chē)輛開(kāi)發(fā)4DRIVEThorNuroDriverDriverNuroAI-firstNVIDIA汽車(chē)級(jí)別的計(jì)算和網(wǎng)絡(luò)硬件配對(duì)而成，該系統(tǒng)將在今年晚些時(shí)候開(kāi)始測(cè)試。Plus宣布其未來(lái)幾代4級(jí)解決方案SuperDriveDRIVEThorDRIVEThor的計(jì)算性能在其自動(dòng)駕駛系統(tǒng)中理解卡車(chē)周?chē)氖澜?，并做出安全的駕駛決策。WaabiDRIVEThor推出市AIDRIVEThorWaabiDriver中以在規(guī)模上驅(qū)動(dòng)安全可靠的自動(dòng)卡車(chē)。