DB31T-基于國產(chǎn)AI芯片的大規(guī)模智算集群管理與應(yīng)用規(guī)范

PAGEPAGE1上海市地方標(biāo)準(zhǔn)公示材料一．基本信息項(xiàng)目名稱（中文）基于國產(chǎn)AI芯片的大規(guī)模智算集群管理與應(yīng)用規(guī)范項(xiàng)目提出單位113100000024220045-上海市經(jīng)濟(jì)和信息化委員會技術(shù)歸口單位上海市人工智能標(biāo)準(zhǔn)化技術(shù)委員會第一起草單位上海智能算力科技有限公司二．標(biāo)準(zhǔn)制定的依據(jù)1.2023年10月，工信部、網(wǎng)信辦、教育部、衛(wèi)健委、央行、國資委印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計(jì)劃》，到2025年，計(jì)算力方面，算力規(guī)模超過300EFLOPS，智能算力占比達(dá)到35%，東西部算力平衡協(xié)調(diào)發(fā)展。2.2024年2月，國務(wù)院國資委召開“AI賦能產(chǎn)業(yè)煥新”中央企業(yè)人工智能專題推進(jìn)會，會上強(qiáng)調(diào)要夯實(shí)發(fā)展基礎(chǔ)底座，把主要資源集中投入到最需要、最有優(yōu)勢的領(lǐng)域，加快建設(shè)一批智能算力中心，進(jìn)一步深化開放合作，更好發(fā)揮跨央企協(xié)同創(chuàng)新平臺作用。3.2024年3月，《政府工作報(bào)告》中指出，深入推進(jìn)數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展。制定支持?jǐn)?shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展政策，積極推進(jìn)數(shù)字產(chǎn)業(yè)化、產(chǎn)業(yè)數(shù)字化，促進(jìn)數(shù)字技術(shù)和實(shí)體經(jīng)濟(jì)深度融合。深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用，開展“人工智能+”行動，打造具有國際競爭力的數(shù)字產(chǎn)業(yè)集群。4.2024年3月，國家標(biāo)準(zhǔn)化管理委員會印發(fā)的《貫徹實(shí)施〈國家標(biāo)準(zhǔn)化發(fā)展綱要〉行動計(jì)劃（2024—2025年）》的通知中強(qiáng)調(diào)：加強(qiáng)新型基礎(chǔ)設(shè)施標(biāo)準(zhǔn)建設(shè)。實(shí)施新型基礎(chǔ)設(shè)施標(biāo)準(zhǔn)化專項(xiàng)行動，在移動通信網(wǎng)、固定寬帶網(wǎng)、空間信息、新型數(shù)據(jù)中心等信息基礎(chǔ)設(shè)施重點(diǎn)領(lǐng)域，持續(xù)推進(jìn)基礎(chǔ)標(biāo)準(zhǔn)和應(yīng)用標(biāo)準(zhǔn)研制，加快健全標(biāo)準(zhǔn)體系，為新型基礎(chǔ)設(shè)施建設(shè)、運(yùn)營和安全提供技術(shù)保障。5.2024年8月，工業(yè)和信息化部等十一部門《關(guān)于推動新型信息基礎(chǔ)設(shè)施協(xié)調(diào)發(fā)展有關(guān)事項(xiàng)的通知》中指出：優(yōu)化布局算力基礎(chǔ)設(shè)施。各地要實(shí)施差異化能耗、用地等政策，引導(dǎo)面向全國、區(qū)域提供服務(wù)的大型及超大型數(shù)據(jù)中心、智能計(jì)算中心、超算中心在樞紐節(jié)點(diǎn)部署。支持?jǐn)?shù)據(jù)中心集群與新能源基地協(xié)同建設(shè)，推動算力基礎(chǔ)設(shè)施與能源、水資源協(xié)調(diào)發(fā)展。加強(qiáng)本地?cái)?shù)據(jù)中心規(guī)劃，合理布局區(qū)域性樞紐節(jié)點(diǎn)，逐步提升智能算力占比。鼓勵企業(yè)發(fā)展算力云服務(wù)，探索建設(shè)全國或區(qū)域服務(wù)平臺。6.2023年9月，上海市人民政府發(fā)布的《上海市進(jìn)一步推進(jìn)新型基礎(chǔ)設(shè)施建設(shè)行動方案（2023-2026年）》中提到“支持有關(guān)創(chuàng)新平臺牽頭建設(shè)自主可控智能算力重大科技基礎(chǔ)設(shè)施，打造基于自主可控通用人工智能芯片、的超大規(guī)模智能算力集群”。。7.2024年3月，上海市通信管理局等11個部門聯(lián)合印發(fā)《上海市智能算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展“算力浦江”智算行動實(shí)施方案（2024-2025年）》提出，到2025年，本市智能算力規(guī)模超過30EFlops，占比達(dá)到總算力的50%以上。算力網(wǎng)絡(luò)節(jié)點(diǎn)間單向網(wǎng)絡(luò)時延控制在1毫秒以內(nèi)。智算中心內(nèi)先進(jìn)存儲容量占比達(dá)到50%以上。2024年6月，上海市副市長陳杰介紹2024世界人工智能大會暨人工智能全球治理高級別會議籌備進(jìn)展情況時指出，在智能算力方面，上海將全力以赴建設(shè)高性能智能算力基礎(chǔ)設(shè)施，通過支持重點(diǎn)區(qū)域建設(shè)規(guī)?；逃弥撬隳芰Γ涌熘拼竽Ｐ图按诡惸Ｐ蛣?chuàng)新發(fā)展。三．目的意義(標(biāo)準(zhǔn)制定的必要性)1.與國家和本市政策、戰(zhàn)略、規(guī)劃符合性在全球化的科技競爭中，智能算力已成為衡量一個國家科技實(shí)力和綜合競爭力的關(guān)鍵指標(biāo)。該標(biāo)準(zhǔn)的制定，對于增強(qiáng)我國智能算力的自主創(chuàng)新能力和安全性具有至關(guān)重要的作用。通過這一規(guī)范，我們可以確保關(guān)鍵技術(shù)自主研發(fā)，減少對外依賴，保障國家信息安全和網(wǎng)絡(luò)安全，從而在國際舞臺上占據(jù)有利地位。此外，該標(biāo)準(zhǔn)的制定有助于加速國內(nèi)智能算力技術(shù)的研發(fā)和應(yīng)用，推動算力資源的高效利用，為國家的數(shù)字化轉(zhuǎn)型和智能化升級提供堅(jiān)實(shí)的技術(shù)支撐。長遠(yuǎn)來看，這將為我國在全球科技競爭中贏得更多的話語權(quán)和影響力，維護(hù)國家安全和戰(zhàn)略利益。2.擬解決的主要問題國內(nèi)科技公司加速AI芯片自研，在單芯片峰值算力、多精度計(jì)算能力、視頻編解碼能力、大規(guī)模并行訓(xùn)練等某個或幾個維度取得了較大的突破，然而在硬件產(chǎn)品綜合性能和產(chǎn)業(yè)鏈生態(tài)架構(gòu)方面存在與國外先進(jìn)AI芯片廠商差距較大、技術(shù)架構(gòu)路線多樣化、生態(tài)兼容性程度較低等問題，致使AI芯片的總體國產(chǎn)化率不足10%。為解決上述問題，需要針對國產(chǎn)AI芯片的技術(shù)路線特色和當(dāng)前的發(fā)展階段，制定適合國產(chǎn)AI芯片的大規(guī)模智算集群的評估方法和標(biāo)準(zhǔn)，進(jìn)而更加科學(xué)合理的評估國產(chǎn)AI芯片智算集群的實(shí)際水平，并能有效反饋給國產(chǎn)AI芯片廠商，促進(jìn)廠商在設(shè)計(jì)生產(chǎn)、生態(tài)兼容等方面進(jìn)行動態(tài)修正，最終有效解決國內(nèi)高端算力的“卡脖子”問題。3.滿足哪些實(shí)際需求支撐自主可控的超大規(guī)模智能算力集群建設(shè)前期驗(yàn)證及選型測試工作。本標(biāo)準(zhǔn)的制定，為建設(shè)自主可控智能算力重大科技基礎(chǔ)設(shè)施提供適配、測試、驗(yàn)證提供方法和規(guī)范，包括構(gòu)建面向國產(chǎn)AI算力環(huán)境驗(yàn)證集群、針對多款國產(chǎn)算力芯片開展國產(chǎn)算力評估測試、場景遷移驗(yàn)證等多項(xiàng)工作。支撐基于光互連的國產(chǎn)AI算力集群大模型并行加速技術(shù)測試與研究。本標(biāo)準(zhǔn)的制定，為基于光互連的國產(chǎn)AI算力集群大模型并行加速技術(shù)奠定基礎(chǔ)，支持張量模型并行度達(dá)到16或更高，在進(jìn)行大規(guī)模機(jī)器學(xué)習(xí)模型訓(xùn)練時，可以大幅提高并行計(jì)算的效率，縮短訓(xùn)練時間，提高資源利用率。促進(jìn)國產(chǎn)芯片技術(shù)的快速迭代和升級。本標(biāo)準(zhǔn)的制定，有效引導(dǎo)國產(chǎn)AI芯片廠商開展高性能通用芯片和低時延、高能效專用芯片研發(fā)，積極引導(dǎo)智算中心應(yīng)用國產(chǎn)人工智能芯片，加快提升人工智能算力供給的國產(chǎn)化率，推動自主可控硬件算力生態(tài)建設(shè)，促進(jìn)國產(chǎn)芯片技術(shù)的快速迭代和升級。4.對政府監(jiān)管、行業(yè)規(guī)范、產(chǎn)業(yè)發(fā)展所起的支撐作用基于國產(chǎn)AI芯片的大規(guī)模智算集群評估規(guī)范，對于提升國產(chǎn)AI芯片技術(shù)水平、完善產(chǎn)業(yè)生態(tài)、推動AI技術(shù)應(yīng)用和人才培養(yǎng)等方面都具有重要的戰(zhàn)略意義。有助于加速國產(chǎn)AI芯片的技術(shù)創(chuàng)新和產(chǎn)業(yè)化進(jìn)程，為我國在全球AI技術(shù)競爭中占據(jù)有利地位提供有力支撐。有助于緩解算力短缺，通過提供標(biāo)準(zhǔn)化的測試服務(wù)，幫助企業(yè)快速定位問題并改進(jìn)產(chǎn)品，從而提升算力供應(yīng)能力。有助于打造“國產(chǎn)化”算力生態(tài)底座，構(gòu)建自主可控智能算力生態(tài)，服務(wù)重點(diǎn)企業(yè)的大模型訓(xùn)練需求。5.屬于對本市創(chuàng)新技術(shù)、先進(jìn)模式的總結(jié)與推廣等本標(biāo)準(zhǔn)的制定，可支撐重點(diǎn)保障的通用大模型及部分垂直領(lǐng)域大模型的創(chuàng)新發(fā)展，有效促進(jìn)國產(chǎn)化大模型在國產(chǎn)化算力上的應(yīng)用落地，通過提供高性能計(jì)算支撐、確保軟硬件的深度兼容和自主可控性，構(gòu)建起安全可靠、高效協(xié)同的技術(shù)生態(tài)，實(shí)現(xiàn)從研發(fā)到應(yīng)用的全鏈條自主化，增強(qiáng)數(shù)據(jù)安全性和產(chǎn)業(yè)競爭力，進(jìn)而推動人工智能技術(shù)在各行業(yè)的深度融合和應(yīng)用，加速上海向具有全球影響力的科創(chuàng)中心邁進(jìn)。四．范圍和主要技術(shù)內(nèi)容本標(biāo)準(zhǔn)規(guī)定了基于國產(chǎn)AI芯片的大規(guī)模智算集群測試的主要測試指標(biāo)、測試方法以及具體的測試流程。本標(biāo)準(zhǔn)為構(gòu)建和應(yīng)用高效、安全的基于國產(chǎn)AI芯片的智能算力集群提供了全面的標(biāo)準(zhǔn)化測試框架,，旨在確保國產(chǎn)AI芯片智算集群的精度、性能、穩(wěn)定性，同時促進(jìn)國產(chǎn)AI芯片生態(tài)技術(shù)創(chuàng)新和行業(yè)健康發(fā)展。通過為各類市場主體提供明確的技術(shù)要求和評估準(zhǔn)則，本標(biāo)準(zhǔn)不僅增強(qiáng)了用戶對智算服務(wù)的信心，也為監(jiān)管機(jī)構(gòu)提供了監(jiān)督和審查的依據(jù)，推動了智能算力技術(shù)的標(biāo)準(zhǔn)化、國際化進(jìn)程。本規(guī)范擬定義的主要技術(shù)內(nèi)容提綱：范圍規(guī)范性引用文件術(shù)語和定義縮略語測試指標(biāo)：定義基于國產(chǎn)AI芯片的大規(guī)模智算集群的測試指標(biāo)，包括精度、穩(wěn)定性、性能等，并給出對應(yīng)的測試指標(biāo)計(jì)