驅(qū)動未來：面向大模型的智算網(wǎng)絡(luò)

驅(qū)動未來:面向大模型的智算網(wǎng)絡(luò)浙江大學(xué)求是特聘教授，博士生導(dǎo)師，信息技術(shù)中心主任2024/09/19大模型的發(fā)展歷程?從單模態(tài)到多模態(tài)：語言處理->到圖像/視頻/語音/文字跨模態(tài)交互數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展?超大數(shù)據(jù)中心網(wǎng)絡(luò)：云服務(wù)驅(qū)動，千萬級租戶數(shù)量，百萬級設(shè)備數(shù)量大帶寬低長尾時延訓(xùn)練過程中的耗時，通信的占比最高可達(dá)50%[2]長尾時延造成網(wǎng)絡(luò)帶寬衰據(jù)并行）策略時，同步中間結(jié)果/損失值/梯度等數(shù)據(jù)并行/張量并行）時，同步計算結(jié)果據(jù)并行）策略時，同步中間結(jié)果/損失值/梯度等數(shù)據(jù)并行/張量并行）時，同步計算結(jié)果網(wǎng)卡*NCPU網(wǎng)卡…Scale-Up互連GPU服務(wù)器GPU服務(wù)器CPU服務(wù)器CPU網(wǎng)卡CPU網(wǎng)卡模型推理市場開始興起1.模型推理市場開始興起1.頭部芯片廠商英偉達(dá)2024財年數(shù)據(jù)中心有40%的收入來自推理2.國內(nèi)23年的推理服務(wù)器占比約為41.3%，預(yù)計27年將達(dá)到72.6%3.推理場景對算力成本和運營成本的訴求遠(yuǎn)超訓(xùn)練大模型，將直接決定模型訓(xùn)練結(jié)果能否走向落地部署數(shù)據(jù)源于：華福證券《算力專題研究二：從訓(xùn)練到推理：算力芯片需求的華麗轉(zhuǎn)身》領(lǐng)域模型的類型將愈加豐富1.基礎(chǔ)模型的訓(xùn)練主要集中在少數(shù)頭部廠商，垂直領(lǐng)域的模型加速了廣大企業(yè)的參與和商業(yè)化進(jìn)程2.截止2024年7月30日，網(wǎng)信辦備案的領(lǐng)域/行業(yè)大模型為136款，占大模型總備案數(shù)的69%觀止大模型觀止大模型起源浙江大學(xué)ARClab實驗室，開源版本為Openbuddy，并構(gòu)建了Openbuddy開源社區(qū)。觀止大模型強(qiáng)化認(rèn)知能力，提供3B～70B多種模型大小，適用于不同的應(yīng)用場景和需求。2024年03月斬獲安全頂會NDSS2024杰出論文獎艾倫人工智能研究所開源模型思維鏈能力榜單排名第一Huggingface開源大語言模型榜單排名前列推理和領(lǐng)域模型對網(wǎng)絡(luò)的需求：異構(gòu)算力按需分配，數(shù)據(jù)高效互通任務(wù)1任務(wù)2任務(wù)1任務(wù)2計算密集型算力計算密集型算力存儲密集型算力decode計算存儲密集型算力decode計算decodedecode計算…異構(gòu)算力按需分配需求?推理和領(lǐng)域模型為了提升計算資源利用率和效率，每個任務(wù)計算密集型和存儲密集型步驟在不同的計算資源上運行?異構(gòu)資源按任務(wù)需求分配計算密集型算力…計算密集型算力…存儲密集型算力…存儲密集型算力…PrefixKVcache傳輸和熱點復(fù)制……用戶數(shù)據(jù)高效互通?異構(gòu)GPU之間，CPU跟GPU/CPU之間需要高性能網(wǎng)絡(luò)傳輸中間計算結(jié)果?CPU跟用戶之間需要高性能網(wǎng)絡(luò)傳輸輸入和輸推理的規(guī)模將超過訓(xùn)練?超大規(guī)模：單卡400G-800Gbps/GPU?持續(xù)高可靠：杜絕PFC死鎖/風(fēng)暴，多路徑快速原理對比傳輸協(xié)議下沉硬件，硬件實現(xiàn)TCP包頭-負(fù)Bypasskernel和零拷載的分離、合并，負(fù)載貝零拷貝適用場景?AI異構(gòu)加速計算?通用計算低時延場景?存儲數(shù)據(jù)庫較好弱于RDMA多種協(xié)議難以統(tǒng)一使用普通SocketTCP即可實現(xiàn)異構(gòu)、通用化的組網(wǎng)，兼容性強(qiáng)通過提供一個網(wǎng)絡(luò)空間，通過提供一個網(wǎng)絡(luò)空間，支持?jǐn)?shù)據(jù)在各種算力之間高效流轉(zhuǎn)支持各類協(xié)議棧接入商用支