人工智能一體機加速深度學(xué)習(xí)訓(xùn)練

1、人工智能一體機加速深度學(xué)習(xí)訓(xùn)練基于AMD Milan的人工智能一體機解析AMD Milan人工智能一體機的軟硬件融合架構(gòu)利用人工智能一體機一鍵深度學(xué)習(xí)訓(xùn)練AMD Milan 人工智能一體機行業(yè)應(yīng)用及案例分析目 錄AMD EPYC（霄龍）處理器AMD Instinct GPUAMAX 產(chǎn)品AMD Milan人工智能一體機基于AMD Milan的人工智能一體機AMD EPYC（霄龍）處理器處理器組面向?qū)ο竺嫦驊?yīng)用單核心性能更高的頻率、 更大的每核緩存75F3（32核-280W） 74F3（24核-240W）73F3（16核-240W） 72F3（8核-180W）企業(yè)級高端產(chǎn)品高頻交易 證券交易 高

2、性能計算EDA VMware高核心密度領(lǐng)先的核心及線程數(shù)7763（64核-280W）7713（64核-225W） 7713P（64核-225W單路）7663（56核-240W） 7643（48核-225W）超算領(lǐng)域 互聯(lián)網(wǎng) 科研機構(gòu)高性能計算 云計算 虛擬化7543（32核-225W） 7543P（32核-225W單路）7513（32核-200W）市場主流應(yīng)用主流均衡優(yōu)化7453（28核-225W） 7443（24核-200W）企業(yè)級主流應(yīng)用科研機構(gòu)虛擬化數(shù)據(jù)庫性能及TCO7443P（24核-200W單路） 7413（24核-180W）通用型主流應(yīng)用編解碼7343（16核-190W） 7313

3、（16核-155W）存儲7343（16核-155W單路）4AMD EPYC（霄龍）處理器第二代和第三代 AMD EPYC（霄龍）處理器通過 AMD Infinity Fabric 技術(shù)實現(xiàn)芯片間連接的全方位升級， 帶來全面優(yōu)化的多處理器性能和可擴展性。高速小芯片互連超大內(nèi)存帶寬超大 I/O 帶寬5每個插槽 8 個內(nèi)存通道峰值 410 GB/s DRAM 帶寬全部 8 x16 鏈路 PCIe 4.0單路 128 條 PCIe 4.0 通道每條鏈路 64GB/s 雙向帶寬，每個插槽 512GB/sCPU+GPU的異構(gòu)計算純CPU挑戰(zhàn)：模型全部由CPU進行處理，CPU線程不足導(dǎo)致處理時間緩慢CPU+

4、GPU混合計算：復(fù)雜的并行計算有GPU完成，CPU處理串行數(shù)據(jù)，消除計算瓶頸數(shù)據(jù)計算過程讀取視頻數(shù)據(jù)：OpenCV模型訓(xùn)練方法：Tensorflow / Pytorch6AMD Instinct GPUPCIe 4.0 x16AMD CDNA 架 構(gòu)120 個計算單元（7,680 個核心）高性能計算 GPU最高可達 11.5 TFLOPs 峰值 FP64 性能全新的 Matrix Core 技術(shù)可為高性能計算和人工智能工作負載提供 最高可達 46.1 TFLOPs FP32 矩陣峰值性能可為超快人工智能訓(xùn)練提供最高可達184.6 TFLOPs FP16 和 92.3 TFLOPs bFloat

5、16 的峰值性能32 GB 超快 HBM2 糾錯碼 (ECC) 顯存， 可提供最高可達 1.2 TB/s 的顯存帶寬開放且可移植的 AMD ROCm 生態(tài)系統(tǒng)第二代 Infinity 架構(gòu)，具有最高可達 340 GB/s 的總 P2P GPU I/O 帶寬7AMD Instinct GPU先進的高性能計算 GPUAMD Instinct MI100 加速器可提供最高可達 11.5 TFLOPS 的雙精 度 (FP64) 理論峰值性能，為高性能計算應(yīng)用帶來卓越的性能，較上 一代 AMD 加速器有了大幅提升。 MI100 為高性能計算應(yīng)用帶來最 高可達 74% 的代際雙精度性能提升。8隨時隨地釋放

6、智能AMD Instinct MI100 加速器采用全新 Matrix Core 技術(shù)，與上一代 AMD 加速器相比，為人工智能應(yīng)用帶來近 7 倍的 FP16 性能提升。 MI100 還針對人工智能和機器學(xué)習(xí)工作負載大幅提升混合精度計算和 P2P GPU 連接性能。初級服務(wù)器產(chǎn)品優(yōu)勢搭載雙路AMD處理器+4張AMD Instinct GPU支持NVME陣列支持6x PCIe 4.0 x 16 slots FHFL型號G224-H3機箱2U機架式CPU雙路AMD EPYC 7003系列處理器，最高240WGPU搭載2-4片雙寬GPU內(nèi)存16x DDR4 DIMM，Up to 4TB 3DS EC

7、C DDR4 3200MHz RDIMM/LRDIMM硬盤8 x 3.5”/2.5”SATA/SAS/NVMe U.2熱插拔硬盤網(wǎng)絡(luò)2 x 10GbE RJ45I/O4 x USB 3.1接口；1 x VGA接口；1 x RJ45 Mgmt接口電源2200W（1+1）冗余電源尺寸438.4mm x 87mm x 831mm (W x H x D)擴展槽4 x PCIe4.0 x16 slots (FHFL)+2 x PCIe4.0 x16 slots (HHHL)9專業(yè)級服務(wù)器產(chǎn)品優(yōu)勢搭載雙路AMD處理器+8張AMD Instinct GPU支持NVME陣列支持10 x PCIe 4.0 x

8、16 slots FHFL型號G428-H2機箱4U機架式CPU雙路AMD EPYC 7003系列處理器，最高64核280WGPU搭載8片雙寬GPU內(nèi)存32 x DDR4 DIMM，Up to 8TB 3DS ECC DDR4 3200MHz RDIMM/LRDIMM硬盤24 x 2.5” SATA/SAS熱插拔硬盤，其中支持4 x U.2 NVMe SSD6 x 3.5” SATA熱插拔硬盤網(wǎng)絡(luò)2 x 1GbE RJ45I/O2 x USB 3.0接口；1 x VGA接口；1 x RJ45 Mgmt接口；1 x COM串口電源2000W（2+2）冗余電源尺寸437mm x 178mm x 7

9、37mm（Wx H x D)擴展槽10 x PCIe 4.0 x 16 slots FHFL或9 x PCIe 4.0 x 16 slots FHFL+1 x PCIe4.0 x 8 slot LP+1 x PCIe 4.0 x 8 slot（in x 16）FHFL10Why 人工智能一體機?11人工智能一體機人工智能一體機融合傳統(tǒng)硬件與深度學(xué)習(xí)軟件，以AI Max為統(tǒng)一人工智能平臺，融合以AMDEPYC+Instinct加速的深度學(xué)習(xí)計算體系，構(gòu)建一體化的深度學(xué)習(xí)平臺，具備細粒度的權(quán)限管控， 安全高效的數(shù)據(jù)管理，全面細致的監(jiān)控管理，為用戶最大化資源利用率。管理人工智能一體機的管理通過標(biāo)配的

10、管理平臺實現(xiàn)統(tǒng)一管理，能耗/溫度信息等統(tǒng)一檢測管理，遠程 桌面統(tǒng)一管理、設(shè)備狀態(tài)管理、資源消耗管理等，可有效便捷改善能源效率，提升管理水平，節(jié)省 運維成本。12AMD Milan人工智能一體機靈活硬件配置，適配各種業(yè)務(wù)支持多種硬件配置，滿足不同業(yè)務(wù)對計算、存儲和I/O的彈性要求。3節(jié)點即可搭建高可用平臺，適用于云計算、邊緣等應(yīng)用場景，是云數(shù)據(jù)中心IT基礎(chǔ)設(shè)施的理想選擇。統(tǒng)一管理，精簡運維物理機及虛擬(云)資源可通過統(tǒng)一圖形化操作界面進行管理，多租戶體系，使IT資源需求方可通過圖形 化操作界面實現(xiàn)自服務(wù)，降低對IT管理人員的技能要求和運維負擔(dān)。平臺自帶的操作日志、權(quán)限管控功能，可滿足企業(yè)IT安全

11、、審計等要求。分布式存儲引擎，解決性能瓶頸分布式存儲方案，數(shù)據(jù)采用多副本模式，分布于多臺內(nèi)置硬盤或SSD存儲中，不僅避免了單機性能瓶頸， 也降低了數(shù)據(jù)丟失的風(fēng)險，其容量可以按需動態(tài)擴展，降低運維、規(guī)劃存儲架構(gòu)的負擔(dān)。安全可靠，開箱即用一體機在廠內(nèi)預(yù)裝，實現(xiàn)一站式交互，開箱即用，運維人員通過圖像化操作界面進行部署，實現(xiàn)業(yè)務(wù) 快速上線，一體機具備多種數(shù)據(jù)安全機制（多副本、故障硬盤自動隔離、快照備份等），支持虛擬機 熱遷移、熱補丁技術(shù)，內(nèi)置負載均衡，有效保障業(yè)務(wù)高可用。13人工智能一體機硬件架構(gòu)人工智能一體機軟件架構(gòu)解析AMD Milan人工智能一體機的軟硬件融合架 構(gòu)人工智能一體機硬件架構(gòu)管理節(jié)點

12、專業(yè)計算節(jié)點以太網(wǎng) 交換機存儲節(jié)點管理節(jié)點2U服務(wù)器，冗余電源，性能穩(wěn)定，配置文件高效管理，一體機健康狀態(tài)與網(wǎng)絡(luò) 流量監(jiān)控，任務(wù)提交與調(diào)度，高可用。存儲節(jié)點采用分布式存儲架構(gòu)，通過統(tǒng)一的平臺提供，為企業(yè)用戶提供穩(wěn)定、彈性擴張、 高性能的分布式存儲服務(wù)。4U多GPU服務(wù)器，單節(jié)點可以支持8-10片GPU, 支持多種主流計算框架與分布式學(xué)習(xí)訓(xùn)練，利用容器技術(shù)實現(xiàn)秒級部署，支持超大容量AEP持久化內(nèi)存，大帶 寬。專業(yè) 計算節(jié)點IB交換機15IB交換機計算與存儲節(jié)點使用IB交換機互聯(lián)，可實現(xiàn)低延遲，高帶寬的專用網(wǎng)絡(luò)。以太網(wǎng) 交換機采用千兆網(wǎng)絡(luò)作為管理網(wǎng)絡(luò)及IPMI網(wǎng)絡(luò)。人工智能一體機軟件架構(gòu)AI Ma

13、x人工智能平臺是一款基于 Docker + Kubernetes 的人工智能容器云平臺；能夠?qū)崿F(xiàn)異構(gòu)資源的高效管理、調(diào)度和監(jiān)控，提供 了從模型開發(fā)、訓(xùn)練到部署的完整流程和工具。廣泛適用于教育、 科研、金融、醫(yī)療、能源各個行業(yè)；能極大降低人工智能進入門檻， 提高人工智能創(chuàng)新和研發(fā)的效率。AI Max人工智能平臺16人工智能一體機軟件架構(gòu)云 支 撐 服 務(wù)物理服務(wù)器網(wǎng)絡(luò)設(shè)備存儲設(shè)備Web門戶/命令行/API資源管理任務(wù)監(jiān)控任務(wù)調(diào)度模型訓(xùn)練超參調(diào)優(yōu)數(shù)據(jù)管理資源抽象資源調(diào)度集群管理資源監(jiān)控鏡像管理容器管理存儲管理多租戶可視化部署推理17資源調(diào)度鏡像訂制模型開發(fā)調(diào)試分布式存儲系統(tǒng)利用人工智能一體機一鍵深

14、度學(xué)習(xí)訓(xùn)練資源調(diào)度19鏡像訂制20模型開發(fā)調(diào)試21分布式訓(xùn)練22分布式存儲系統(tǒng)采用全對稱分布式架構(gòu)，解決存儲系統(tǒng)的靈活擴展、高性能（IOPS+吞吐）支撐，兼容塊、對象、文件存儲，高效應(yīng)對數(shù)據(jù)管理、訪問問題， 為用戶提供可靠穩(wěn)定的存儲服務(wù)，支持百億級文件存儲，優(yōu)化小文件存 儲性能及具備多種數(shù)據(jù)安全策略，通過極簡的運維管理為用戶提供高性 能的分布式存儲方案。23AMD Milan 人工智能一體機行業(yè)應(yīng)用案例分析AMD Milan 人工智能一體機行業(yè)應(yīng)用及案例分析應(yīng)用領(lǐng)域人工智能一體機內(nèi)置多種深度學(xué)習(xí)框架，利用容器技術(shù)封裝大量底層操作，降低深度學(xué)習(xí)從業(yè)人員技術(shù)門檻、最 小化計算資源，助力輕量級AI業(yè)

15、務(wù)快速上線。制造業(yè)-異常檢測隨著物聯(lián)網(wǎng)的發(fā)展，制造企業(yè)從產(chǎn)線收 集的大量生產(chǎn)數(shù)據(jù)通過深度學(xué)習(xí)，從復(fù) 雜系統(tǒng)提取眾多參數(shù)，通過一體機進行 細致化的分析、計算、建模、訓(xùn)練等， 可快速應(yīng)用于異常檢測等場景。醫(yī)療-癌癥檢測人工智能對于疾病診斷，尤其是圖像識 別對于癌癥識別、檢測已取得較大進步。 針對需要圖像識別輔助診斷的領(lǐng)域，借 助一體機，極大提高人工智能診斷的準(zhǔn) 確率及時效性。教育-教學(xué)實踐針對教學(xué)領(lǐng)域的人工智能熱潮，一體機 直面計算環(huán)境部署困難的問題，利用容 器技術(shù)封裝大量底層操作，實現(xiàn)開箱即 用，降低人工智能教學(xué)門檻，適用于各 類教育實踐環(huán)節(jié)。25行業(yè)應(yīng)用:計算機輔助診斷-病灶檢測病灶檢測，對可

16、疑病灶進行識別和勾畫病灶量化診斷，幫助醫(yī)生鑒別疾病良惡性、分形分期等治療決策，通過相關(guān)性分析，支持臨床醫(yī)生進行科學(xué)合理 的治療決策26案例分享廣州中康資訊股份有限公司項目人工智能一體化解決方案“中康資訊股份有限公司運建立圍繞醫(yī)、藥、患各環(huán)節(jié)多場景衍生的數(shù)據(jù)庫，運 用先進技術(shù)開發(fā)智能化系統(tǒng)對大數(shù)據(jù)進行管理、分析與挖掘，更立足產(chǎn)業(yè)高度， 拓展數(shù)據(jù)在健康領(lǐng)域各種商業(yè)應(yīng)用。AMAX根據(jù)用戶需求，提供人工智能一體機解決方案，為用戶搭建深度學(xué)習(xí)私 有云環(huán)境，通過一鍵式人工智能平臺與分布式存儲系統(tǒng)，降低用戶AI使用門檻 的同時為用戶提供安全高效的數(shù)據(jù)存儲方案?？蛻魞r值低成本、高性能，快速為用戶構(gòu)建一個易用、高效、穩(wěn)定的深度學(xué)習(xí)環(huán)境，降低用戶AI業(yè)務(wù) 開發(fā)門檻，加速AI產(chǎn)品研發(fā)與落地，提升市場競爭力。“分布式存儲私有云搭建一體化部署27案例分享蘇州大學(xué)項目加速AI科研，簡化AI教學(xué)“蘇州大學(xué)積極響應(yīng)國家對人工智能人才需求的號召，以培養(yǎng)學(xué)生自主開發(fā)實操 能力