大規(guī)模智算集群的管理與性能調(diào)優(yōu)實踐

?大規(guī)模智算集群的痛點問題?運維及管理實戰(zhàn)思路和方案?云驍智算平臺及落地實踐大模型分布式訓(xùn)練模型并行模型并行大模型分布式訓(xùn)練模型并行模型并行算力標準化程度非常高智算集群工程化交付1.1設(shè)計文檔獲取1.2IP1.1設(shè)計文檔獲取1.2IP資源獲取1.4集成規(guī)范解讀1.5集成方案輸出1.4集成規(guī)范解讀1.5集成方案輸出1.6LLD輸出1.3初始化要求獲取22安裝與初始化2.2保壓測試2.32.2保壓測試2.3設(shè)備上電2.4配置項梳理2.5固件升級2.6BIOS配置2.7BMC配置2.8BIOS配置項檢查2.9BIOS密碼配置★2.10廠商名檢查★2.11設(shè)備型號名檢查★2.12序列號收集2.13壓測環(huán)境搭建2.14硬件壓測2.15壓測報告解讀2.1設(shè)備安裝與上架33部署調(diào)測3.1管理交換機配置3.163.1管理交換機配置3.16線纜檢查★3.2NPUOS安裝3.3網(wǎng)卡驅(qū)動安裝3.4Raid卡驅(qū)動升級3.5業(yè)務(wù)交換機配置3.6ROCE交換機配置3.7交換機配置校驗3.8普通網(wǎng)卡配置3.9NPU軟件棧安裝3.10NPU網(wǎng)絡(luò)配置3.11DPUrshim安裝3.12DPU網(wǎng)絡(luò)配置3.13HPFSOS安裝3.14磁盤陣列配置3.15OS配置項檢查4集群驗證★4.1配置檢查★4.2單機綜合測試4.3綜合測試項整改4.4單機模型訓(xùn)練測試4.5集合通信測試4.6集群模型訓(xùn)練測試5集群優(yōu)化5.1物理鏈路檢查5.2性能瓶頸分析5.3網(wǎng)絡(luò)參數(shù)調(diào)整優(yōu)化66驗收整改6.1表格準備6.126.1表格準備6.12軟集完成6.2測試報告準備★6.3表格導(dǎo)入云調(diào)系統(tǒng)6.4自動化預(yù)驗收6.5自動驗收項整改6.6自動驗收通過6.7專業(yè)組驗收6.8專業(yè)組驗收項整改6.9云調(diào)結(jié)單6.10軟集驗收組驗收6.11軟集問題整改★★★★需特別關(guān)注點關(guān)鍵節(jié)點難點大集群等于大算力？萬卡集群萬卡集群智算中心運行時長低AI算力3000P+萬光纖萬光模塊臺存儲服務(wù)器根個萬光纖萬光模塊臺存儲服務(wù)器根個AI加速卡AI服務(wù)器網(wǎng)絡(luò)交換機最大程度發(fā)揮算力的挑戰(zhàn)?大規(guī)模智算集群的痛點問題?運維及管理實戰(zhàn)思路和方案?云驍智算平臺及落地實踐集群性能-單機配置正確性檢查?transformer版本集群性能-集群軟硬件一致性集群性能-健康檢查解決硬件解決硬件異常問題?業(yè)務(wù)網(wǎng)口狀態(tài)檢查集群穩(wěn)定性-算力網(wǎng)絡(luò)拓撲展示訓(xùn)練任務(wù)的告警拓撲展示隨時了解訓(xùn)練任務(wù)的健康狀態(tài)服務(wù)器、交換機的告警染色的拓撲形態(tài)呈現(xiàn)隨時隨地了解智算集群健康狀態(tài)裸金屬訓(xùn)中觀測-核心指標解析丈量開源大模型不同算力的性能表現(xiàn)模型訓(xùn)練基線模型訓(xùn)練基線?大規(guī)模智算集群的痛點問題?運維及管理實戰(zhàn)思路和方案?云驍智算平臺及落地實踐集“異構(gòu)計算+高速存儲+無損網(wǎng)絡(luò)+算力加速+高效運營”五大能云驍-計算加速平臺集群管理算力加速故障診斷 高性能存儲高性能網(wǎng)絡(luò)高性能算力底座 高性能存儲高性能網(wǎng)絡(luò)異構(gòu)計算異構(gòu)計算云驍智算平臺-集群穩(wěn)定性保障覆蓋算力、存儲、網(wǎng)絡(luò)、平臺各層次，可支撐大模型訓(xùn)練推理的全國產(chǎn)智算基礎(chǔ)設(shè)施平臺，國內(nèi)最早提供大?自研TeleCloudOS完全替代openStack?具備一云多芯超大規(guī)模信創(chuàng)資源池管理和智能調(diào)度能力?基于國產(chǎn)GPU實現(xiàn)智算訓(xùn)練、推理服務(wù)能力和超算能力?自研RDMA網(wǎng)絡(luò)和存儲技術(shù)，打造高性能的信創(chuàng)算力底座?性能深度優(yōu)化，SPECCloud性能測試中多項指標測評分數(shù)全球領(lǐng)先?自研分布式存儲引擎LAVA，替代開源Ceph存儲；推出新一代云硬盤XSSD，提供百萬IOPS、小于100微秒時延?大規(guī)模智算集群的痛點問題?運維及