中國(guó)智算中心服務(wù)發(fā)展報(bào)告（2024年）

中國(guó)智算中心服務(wù)發(fā)展報(bào)告(2024年)2024年9月在當(dāng)今數(shù)字化經(jīng)濟(jì)加速發(fā)展的時(shí)代背景下，算力已成為推動(dòng)經(jīng)濟(jì)社會(huì)發(fā)展的重要引擎。近年來，我國(guó)算力中心總體規(guī)模持續(xù)擴(kuò)大，算力總規(guī)模顯著增長(zhǎng)，為數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展提供了強(qiáng)有力的支撐。然而，隨著行業(yè)智能化轉(zhuǎn)型的加速，對(duì)算力的需求也日益多樣化、復(fù)雜化，傳統(tǒng)服務(wù)模式已難以滿足當(dāng)前及未來市場(chǎng)的需求。因此，探索并構(gòu)建智算中心服務(wù)模式，助力人工智能技術(shù)加速賦能行業(yè)應(yīng)用，對(duì)于推動(dòng)我國(guó)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展具有重要意義。智算中心服務(wù)是隨著數(shù)字經(jīng)濟(jì)的快速發(fā)展和人工智能技術(shù)的廣泛應(yīng)用而逐漸形成的重要服務(wù)形態(tài)。覆蓋從基礎(chǔ)設(shè)施規(guī)劃建設(shè)到行業(yè)智能應(yīng)用的全過程，旨在為行業(yè)提供高效、可靠、綠色、智能、系統(tǒng)性的服務(wù)，支撐行業(yè)智能化轉(zhuǎn)型?！吨袊?guó)智算中心服務(wù)發(fā)展報(bào)告(2024年)》闡述了我國(guó)算力中心發(fā)展現(xiàn)狀與智算中心服務(wù)供需背景，提出了智算中心服務(wù)體系的框架與內(nèi)容，分析了產(chǎn)業(yè)發(fā)展態(tài)勢(shì)及未來趨勢(shì)，為政府決策和企業(yè)實(shí)踐提供了參考。時(shí)間倉(cāng)促，報(bào)告仍有諸多不足，懇請(qǐng)各界批評(píng)指正。后續(xù)我們將不斷更新完善，如有意見建議請(qǐng)聯(lián)系I 1 1 3 6 8(一)電力消耗大、硬件資源利用率低等管控運(yùn)維問題 8(二)模型訓(xùn)練資源需求大、遷移部署難度高等開發(fā)問題 (三)高質(zhì)量數(shù)據(jù)獲取困難、應(yīng)用開發(fā)技術(shù)門檻高、落 38 圖1我國(guó)算力基礎(chǔ)設(shè)施總體規(guī)模 1 2圖3智算中心服務(wù)結(jié)構(gòu)圖 圖4業(yè)務(wù)分析主要工作內(nèi)容 圖5規(guī)劃建設(shè)主要工作內(nèi)容 22圖6完善運(yùn)維體系建設(shè) 25圖7通用大模型行業(yè)訓(xùn)練微調(diào)應(yīng)用流程圖 圖8典型行業(yè)知識(shí)庫(kù)應(yīng)用流程圖 表1部分國(guó)家出臺(tái)相關(guān)政策文件 3表2部分地方政府出臺(tái)相關(guān)政策文件 5中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)(一)我國(guó)算力總規(guī)模持續(xù)擴(kuò)大，數(shù)字經(jīng)濟(jì)發(fā)展步伐加快算力是集信息計(jì)算力、網(wǎng)絡(luò)運(yùn)載力、數(shù)據(jù)存儲(chǔ)力于一體的新型生產(chǎn)力，對(duì)助推產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、賦能我國(guó)科技創(chuàng)新、滿足人民美好生活需求具有重要意義。算力中心作為數(shù)據(jù)計(jì)算、存儲(chǔ)、交換的重要場(chǎng)所，是數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合的必要條件。當(dāng)前我國(guó)算力基礎(chǔ)設(shè)施總體規(guī)模持續(xù)擴(kuò)大。作為新一輪科技革命和產(chǎn)業(yè)變革的重要基礎(chǔ)支撐，算力已成為大國(guó)博弈的核心和關(guān)鍵。算力規(guī)模持續(xù)增長(zhǎng)且智能算力成為增長(zhǎng)的主要驅(qū)動(dòng)力，主要應(yīng)用已經(jīng)逐步從互聯(lián)網(wǎng)、電信等行業(yè)向政務(wù)、金融、教育、制造等領(lǐng)域拓展，算力應(yīng)用持續(xù)賦能經(jīng)濟(jì)社會(huì)發(fā)展。據(jù)中國(guó)信通院統(tǒng)計(jì)，我國(guó)在用機(jī)架數(shù)量三年復(fù)合增長(zhǎng)率約30%。截至2023年底，全國(guó)在用算力中心機(jī)架總規(guī)模超過810萬標(biāo)準(zhǔn)機(jī)架，算力總規(guī)模達(dá)到230EFLOPS(每秒百億億次浮點(diǎn)數(shù)計(jì)算)。我國(guó)算力基礎(chǔ)設(shè)施總體規(guī)模如圖1所示。020172018201920202021202■總機(jī)架數(shù)量(萬架)■大型規(guī)模以上機(jī)架數(shù)量(萬架)1中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)智能技術(shù)的蓬勃發(fā)展。截至2023年底，我國(guó)算力總規(guī)模超過230EFLOPS(FP32),其中智能計(jì)算年增速超70%,勢(shì)頭強(qiáng)勁。我國(guó)近三年算力結(jié)構(gòu)如圖2所示?！醭闼懔Α踔悄芩懔谕ㄓ盟懔?20212022圖2我國(guó)算力結(jié)構(gòu)圖23中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)在工業(yè)制造領(lǐng)域，智算中心推動(dòng)智能制造發(fā)展，優(yōu)化供應(yīng)鏈管理；在“新型數(shù)據(jù)中心”“新基建”“東數(shù)西算”等政策對(duì)算力中心行業(yè)提出了發(fā)展要求。2023年10月，工業(yè)和信息化部等六部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》,從計(jì)算力、運(yùn)載力、存儲(chǔ)力以及應(yīng)用賦能四個(gè)方面提出到2025年的發(fā)展量化指標(biāo)，引導(dǎo)算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展。2023年12月，國(guó)家發(fā)展改革委等部門發(fā)布《關(guān)于深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施意見》,以期進(jìn)一步實(shí)現(xiàn)資源高效調(diào)度、設(shè)施綠色低碳、算力靈活供給、服務(wù)智能隨需。2024年4月，國(guó)家發(fā)展改革委辦公廳、國(guó)家數(shù)據(jù)局綜合司印發(fā)《數(shù)字經(jīng)濟(jì)2024年工作要點(diǎn)》,提出適度超前布局?jǐn)?shù)字基礎(chǔ)設(shè)施，深入推進(jìn)信息通信網(wǎng)絡(luò)建設(shè)，加快建設(shè)全國(guó)一體化算力網(wǎng)，全面發(fā)展數(shù)據(jù)基礎(chǔ)設(shè)施。部分國(guó)家出臺(tái)相關(guān)政策文件如表1所示。時(shí)間內(nèi)容12月一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導(dǎo)意到2025年，全國(guó)范圍內(nèi)數(shù)據(jù)中心形成布局合理、力服務(wù)體系，優(yōu)化算力資源需求結(jié)構(gòu)。4時(shí)間內(nèi)容三年行動(dòng)計(jì)劃(2021-2023年)》建設(shè)布局優(yōu)化、網(wǎng)絡(luò)質(zhì)量提升、算力賦能加速、11月統(tǒng)籌布局綠色智能的數(shù)據(jù)與算力設(shè)施，推動(dòng)數(shù)據(jù)中心高質(zhì)量發(fā)展，加快建設(shè)綠色數(shù)據(jù)中心，建立案。12月中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型路。國(guó)一體化大數(shù)據(jù)中心體系。推動(dòng)智能計(jì)算中心有務(wù)。低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》簡(jiǎn)網(wǎng)絡(luò)層級(jí)和網(wǎng)絡(luò)設(shè)備節(jié)點(diǎn)數(shù)量，逐步形成以數(shù)據(jù)中心為核心的扁平化、云網(wǎng)融合、云邊端協(xié)同的網(wǎng)絡(luò)架構(gòu)和算力設(shè)施體系，推動(dòng)實(shí)現(xiàn)異構(gòu)云集中管理和協(xié)同共享。10月《算力基礎(chǔ)設(shè)施高質(zhì)力建設(shè)等六方面部署25項(xiàng)重點(diǎn)任務(wù)。12月數(shù)西算”工程加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施意見》統(tǒng)籌通用算力、智能算力、超級(jí)算力的一體化布局，統(tǒng)籌東中西部算力的一體化協(xié)同，統(tǒng)籌算力的一體化推進(jìn)。提出適度超前布局?jǐn)?shù)字基礎(chǔ)設(shè)施，深入推進(jìn)信息面發(fā)展數(shù)據(jù)基礎(chǔ)設(shè)施。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)5隨著國(guó)家陸續(xù)出臺(tái)多項(xiàng)政策，各地方政府紛紛響應(yīng)號(hào)召。北京、上海、廣東、河南、貴州、山東、江蘇等地相繼發(fā)布有關(guān)政策，加大投資建設(shè)規(guī)模，結(jié)合自身發(fā)展情況，提出相應(yīng)發(fā)展路線。具體來看，北京強(qiáng)調(diào)集中建設(shè)一批智算單一大集群，改變智算建設(shè)“小、散”局面；上海明確到2025年算力規(guī)模需超過18000PFLOPS(FP32);深圳則對(duì)通用算力、智能算力、超算算力規(guī)模做出計(jì)劃，到2025年通用算力達(dá)到14EFLOPS(FP32),智能算力達(dá)到25EFLOPS(FP16),超算算力達(dá)到2EFLOPS(FP64);河南省計(jì)劃到2025年，智算和超算算力規(guī)模超過2000PFLOPS,高性能算力占比超過30%;貴州圍繞高可靠、全國(guó)低成本中心、高安全中心；山東則提到要引導(dǎo)通用數(shù)據(jù)中心、超算中心、智能計(jì)算中心、邊緣數(shù)據(jù)中心等合理梯次布局；江蘇省計(jì)劃部分地方政府出臺(tái)相關(guān)政策文件如表2所示。地區(qū)內(nèi)容北京設(shè)實(shí)施方案(2024—2027算供給規(guī)模達(dá)到45EFLOPS。提出到2023年，可調(diào)度智能算力達(dá)到據(jù)中心算力超過18000PFLOPS(FP32)。深圳質(zhì)量發(fā)展行動(dòng)計(jì)劃》提出到2025年，通用算力達(dá)到14EFLOPS(FP32),智能算力達(dá)到25EFLOPS(FP16),超算算力達(dá)到2EFLOPS(FP64)。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)6地區(qū)內(nèi)容2000PFLOPS,高性能算力占比超過30%?！辟F州2EFLOPS、5EFLOPS和10EFLOPS。山東設(shè)行動(dòng)方案(2024-2025算中心、邊緣數(shù)據(jù)中心等合理梯次布局。到到45萬個(gè)，總算力達(dá)到12.5EFLOPS,智能算存儲(chǔ)占比達(dá)到35%以上。120萬標(biāo)準(zhǔn)機(jī)架，全省在用總算力超過50EFLOPS,智能算力占比進(jìn)一步提升，占比超水平顯著提高。(三)智能算力成為數(shù)字經(jīng)濟(jì)發(fā)展新引擎，市場(chǎng)規(guī)模不智能算力為數(shù)字經(jīng)濟(jì)發(fā)展注入新動(dòng)能。大模型發(fā)布引發(fā)了各地算力需求爆發(fā)，但大模型熱潮之外，數(shù)字化轉(zhuǎn)型對(duì)算力需求的增加才是主要原因。自《生成式人工智能服務(wù)管理暫行辦法》發(fā)布以來，我國(guó)政府加大對(duì)人工智能技術(shù)發(fā)展的支持力度，鼓勵(lì)將人工智能技術(shù)與實(shí)體經(jīng)濟(jì)、社會(huì)治理、民生服務(wù)等領(lǐng)域深度融合，促進(jìn)技術(shù)的廣泛應(yīng)用和產(chǎn)業(yè)化發(fā)展。智能算力在推動(dòng)大數(shù)據(jù)、人工智能、云計(jì)算等新一代信息通信技術(shù)的創(chuàng)新中發(fā)揮了重要的作用，生成式人工智能通過模擬和生成新的數(shù)據(jù)模式，為企業(yè)帶來了創(chuàng)新的解決方案和業(yè)務(wù)模式，在中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)7金融、醫(yī)療、教育、制造業(yè)等多個(gè)領(lǐng)域展現(xiàn)出其商業(yè)潛力。智能算力的加入使得行業(yè)應(yīng)用更加迅速、分析更為精準(zhǔn)。生成式人工智能技術(shù)商業(yè)價(jià)值逐步展現(xiàn)，行業(yè)應(yīng)用規(guī)模不斷擴(kuò)大。目前我國(guó)大量企業(yè)正積極挖掘生成式人工智能應(yīng)用模式，計(jì)劃在輔助決策、提高效率、資源優(yōu)化等方面創(chuàng)造競(jìng)爭(zhēng)優(yōu)勢(shì)。IDC1顯示，67%的企業(yè)已經(jīng)開始探索生成式人工智能在企業(yè)內(nèi)的應(yīng)用機(jī)會(huì)并表示將在未來三年持續(xù)提高投入力度，近九成企業(yè)增幅達(dá)到20%-60%,智能化市場(chǎng)的活躍。我國(guó)人工智能產(chǎn)業(yè)規(guī)模從2019年開始快速增長(zhǎng)，2021年同比增長(zhǎng)達(dá)到33.3%,2022年產(chǎn)業(yè)規(guī)模達(dá)到5080億元，同比增長(zhǎng)18%。最新公布的統(tǒng)計(jì)數(shù)據(jù)顯示，截至2023年6月，我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模已經(jīng)達(dá)到5000億，人工智能企業(yè)數(shù)量超過4400家，僅次于美國(guó)，全球排名第二。隨著智能化技術(shù)的深入發(fā)展和應(yīng)用領(lǐng)域的不斷擴(kuò)展，企業(yè)對(duì)高效、可靠的算力資源的依賴性將不斷增強(qiáng)，特別是在大數(shù)據(jù)分析、復(fù)雜算法訓(xùn)練、實(shí)時(shí)分析和決策支持等關(guān)鍵環(huán)節(jié)。在以算力高質(zhì)量發(fā)展支撐數(shù)字經(jīng)濟(jì)的大背景下，智算中心作為新型信息基礎(chǔ)設(shè)施的重要組成部分，是新一代信息技術(shù)發(fā)展和數(shù)字經(jīng)濟(jì)增長(zhǎng)不可或缺的一環(huán)。IDC《2023-2024年中國(guó)人工智能計(jì)算力發(fā)中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)8二、當(dāng)前智算中心發(fā)展面臨的問題(一)電力消耗大、硬件資源利用率低等運(yùn)營(yíng)問題據(jù)中心用電量達(dá)到1500億千瓦時(shí)，同比增長(zhǎng)15.4%,占全社會(huì)用電量的1.63%,約為870萬戶家庭一年用電量。由于智算中心服務(wù)器單系統(tǒng)功耗10.2kW,每個(gè)月電費(fèi)成本約為4406元(假設(shè)每千瓦時(shí)電價(jià)為0.6元),隨著未來推理需求不斷增加，耗電量將進(jìn)一步上升。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)速卡和網(wǎng)絡(luò)架構(gòu)等差異，這使得硬件資源難以統(tǒng)一管理和調(diào)度，無法適配不同AI任務(wù)對(duì)資源的差異化需求，進(jìn)一步影響了利用率。智算中心管控運(yùn)維難度大，面臨多方面的挑戰(zhàn)。AI應(yīng)用計(jì)算量呈幾何級(jí)數(shù)增長(zhǎng)，算法模型正向巨量化發(fā)展，人工智能模型參數(shù)在過去十年增長(zhǎng)了十萬倍，當(dāng)前AI超大模型的參數(shù)已達(dá)千億級(jí)別，建設(shè)投資規(guī)模通常龐大，往往需要幾百上千個(gè)GPU/NPU才能完整存儲(chǔ)一個(gè)模型的訓(xùn)練過程。如北京移動(dòng)建成的大規(guī)模訓(xùn)推一體智算中心占地約5.7萬平方米，部署了近4000張AI加速卡，智能算力規(guī)模超1000P。訓(xùn)練期間整個(gè)集群的所有部件都需要協(xié)同工作，單個(gè)組件故障會(huì)影響整個(gè)訓(xùn)練任務(wù)的可用性。例如HBM巡檢觸發(fā)的多bitECC錯(cuò)誤、一個(gè)服務(wù)器節(jié)點(diǎn)磁盤I/0緩慢、一個(gè)光模塊的異常，任一組件不可恢復(fù)的失效都可能導(dǎo)致訓(xùn)練中斷。AI大模型參數(shù)量的快速增長(zhǎng)，不僅增加了硬件資源的需求，還對(duì)網(wǎng)絡(luò)的規(guī)模、帶寬、丟包時(shí)延抖動(dòng)和穩(wěn)定性提出了更高的標(biāo)準(zhǔn)。硬件資源增加導(dǎo)致組網(wǎng)規(guī)模大幅增長(zhǎng)，網(wǎng)絡(luò)管理更加復(fù)雜，存在擁塞控制、負(fù)載均衡的難度增大等問題，傳統(tǒng)數(shù)據(jù)中心接入10G/25G帶寬難以滿足8張GPU卡滿配的網(wǎng)絡(luò)端口，單端口需求不斷向200G甚至400G擴(kuò)大。目前大部分智算中心采用“建運(yùn)”分離的模式，多地多中心分期建設(shè)的模式存在多種異構(gòu)硬件資源，不僅不同廠家有著較高的技術(shù)壁壘和各自獨(dú)立的生態(tài)系統(tǒng)，計(jì)算平臺(tái)也呈現(xiàn)多樣性，難以保障資源的統(tǒng)一調(diào)度與分發(fā)。不間斷連續(xù)性運(yùn)營(yíng)不僅需要前期的資金投入，還需要持續(xù)的技術(shù)更新和維護(hù)。(二)模型訓(xùn)練資源需求大、遷移部署難度高等開發(fā)問題提出了極高的要求。例如OpenAI在2020年3月發(fā)布的GPT-3模型訓(xùn)練使用了1024張英偉達(dá)A100訓(xùn)練卡，2023年4月發(fā)布的GPT-4模型訓(xùn)練使用了25000張英偉達(dá)A100訓(xùn)練卡。從GPT-3至GPT-4模型參數(shù)規(guī)模增加約10倍，但用于訓(xùn)練的GPU數(shù)量增加了近24倍。2024年8月Meta發(fā)布的Llama3.1訓(xùn)練則使用了16000張英偉達(dá)H100訓(xùn)規(guī)模的模型訓(xùn)練數(shù)據(jù)是1.4萬億tokens;Llama2系列的訓(xùn)練數(shù)據(jù)為2萬億tokens;Llama3的訓(xùn)練數(shù)據(jù)達(dá)到了15萬億。大模型訓(xùn)練不僅中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)訓(xùn)練過程存在諸多不穩(wěn)定性和不確定性。大模型訓(xùn)練的困難主要源于其計(jì)算資源需求龐大、數(shù)據(jù)需求量大、數(shù)據(jù)質(zhì)量要求高、訓(xùn)練過程中的不穩(wěn)定性和不確定性以及模型優(yōu)化和泛化能力所帶來的挑戰(zhàn)。模型初始化和激活函數(shù)選擇、數(shù)據(jù)質(zhì)量和學(xué)習(xí)率設(shè)置、混合精度訓(xùn)練的數(shù)值穩(wěn)定性、訓(xùn)練不收斂和訓(xùn)練崩潰等問題隨著模型規(guī)模的增大而變得更加復(fù)雜和難以預(yù)測(cè)，大模型訓(xùn)練集群復(fù)雜的組網(wǎng)結(jié)構(gòu)也使得問大模型遷移常面臨算力平臺(tái)差異特性的挑戰(zhàn)。目前支持大模型訓(xùn)練的系統(tǒng)主要有三種：基于NVIDIAGPU的系統(tǒng)、基于國(guó)產(chǎn)AI芯片的和良好的生態(tài)系統(tǒng)而備受青睞，但由于美方的出口管制措施，其供應(yīng)受到限制，價(jià)格大幅上漲。近年來，國(guó)產(chǎn)AI芯片系統(tǒng)在硬件和軟件方面都取得了顯著進(jìn)展。NVIDIA但對(duì)于NVIDIA開發(fā)的模型在遷移過程需要開展國(guó)產(chǎn)化環(huán)境的適配工作，會(huì)存在硬件技術(shù)和開發(fā)生態(tài)差異較大導(dǎo)致遷移工作復(fù)雜的情況。(三)高質(zhì)量數(shù)據(jù)獲取困難、應(yīng)用開發(fā)技術(shù)門檻高、落地難等應(yīng)用問題訓(xùn)練數(shù)據(jù)常常存在格式標(biāo)準(zhǔn)不一致或質(zhì)量不足等問題。數(shù)據(jù)來源的多樣性和質(zhì)量與大模型應(yīng)用水平密切相關(guān)，大模型訓(xùn)練數(shù)據(jù)通常涵蓋了公開數(shù)據(jù)集、社交媒體與網(wǎng)絡(luò)內(nèi)容以及行業(yè)和企業(yè)數(shù)據(jù)等來源。但我國(guó)產(chǎn)業(yè)互聯(lián)網(wǎng)行業(yè)滲透不均，例如金融行業(yè)產(chǎn)業(yè)互聯(lián)網(wǎng)指數(shù)遠(yuǎn)高于制造業(yè)。數(shù)據(jù)結(jié)構(gòu)性矛盾將反映在我國(guó)大語言模型訓(xùn)練過程中，可中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)能導(dǎo)致模型對(duì)于特定行業(yè)、群體表現(xiàn)不佳，無法滿足在各種情境下的應(yīng)用需求。伴隨網(wǎng)絡(luò)內(nèi)容碎片化與封閉化趨勢(shì)，高質(zhì)量數(shù)據(jù)的獲取變得更加昂貴和有限。此外，雖然我國(guó)數(shù)字化轉(zhuǎn)型進(jìn)程較為積極，但在數(shù)據(jù)平臺(tái)、高質(zhì)量數(shù)據(jù)的可訪問性和共享性以及數(shù)據(jù)標(biāo)注的質(zhì)量和一模型層、應(yīng)用層等多個(gè)技術(shù)體系內(nèi)容，開發(fā)過程中常會(huì)遇到各種問題且求助響應(yīng)慢、處理效率低。此外，隨著AI生態(tài)的演進(jìn)，軟件版本的快速迭代也帶來了開發(fā)環(huán)境穩(wěn)定性以及版本兼容性等問題，特別是業(yè)界AI框架平均六個(gè)月升級(jí)一次、算子豐富度不斷提升等情況，這些都對(duì)用戶持續(xù)有效地利用算力集群資源帶來了挑戰(zhàn)。企業(yè)缺乏相關(guān)應(yīng)用經(jīng)驗(yàn)和場(chǎng)景適配能力?！叭狈桨覆桓肄D(zhuǎn)”“缺技術(shù)不會(huì)轉(zhuǎn)”“缺數(shù)據(jù)不能轉(zhuǎn)”“缺資金不愿轉(zhuǎn)”是中小企業(yè)在智能化轉(zhuǎn)型中面臨的困難和挑戰(zhàn)。大模型的應(yīng)用場(chǎng)景與實(shí)際問題緊密相關(guān)，不同行業(yè)不同場(chǎng)景的定制化方案需要技術(shù)開發(fā)、數(shù)據(jù)利用、計(jì)算資源分配等多方面的服務(wù)支撐。目前市場(chǎng)上人工智能相關(guān)產(chǎn)品種類繁多、快速的選擇對(duì)應(yīng)的模型或產(chǎn)品是企業(yè)智能化轉(zhuǎn)型過程中要考慮的關(guān)鍵問題。若選擇場(chǎng)景與模型應(yīng)用不夠匹配的技術(shù)方案，可能會(huì)導(dǎo)致開此外，將行業(yè)數(shù)據(jù)遷移到服務(wù)提供商的過程涉及數(shù)據(jù)提取、轉(zhuǎn)換和加載，不僅需要確保數(shù)據(jù)的完整性和一致性還要充分考慮數(shù)據(jù)傳輸中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)過程中的數(shù)據(jù)丟失、數(shù)據(jù)勒索等安全隱患。另一方面，在本地部署模型時(shí)，可能會(huì)出現(xiàn)缺少專用芯片和其他硬件設(shè)備等問題，這也將導(dǎo)致大模型應(yīng)用難以高效運(yùn)行。(四)在技術(shù)創(chuàng)新和體系建設(shè)過程中面臨硬件與軟件的協(xié)調(diào)問題硬件與軟件的協(xié)調(diào)是一個(gè)復(fù)雜且關(guān)鍵的問題。當(dāng)前行業(yè)強(qiáng)調(diào)產(chǎn)業(yè)鏈上下游的開放協(xié)同，要求算力、模型和數(shù)據(jù)集的橫向兼容，但缺乏統(tǒng)一的標(biāo)準(zhǔn)體系，各地同等規(guī)模項(xiàng)目的價(jià)格相差較大，不同供應(yīng)商提供的多種硬件和軟件產(chǎn)品使得資源調(diào)度復(fù)雜。由于不同芯片廠商的產(chǎn)品差異較大，智算中心在處理來自不同廠商和架構(gòu)的異構(gòu)算力資源時(shí)，往往存在因GPU、AI加速卡等智能算力核心設(shè)備的驅(qū)動(dòng)、軟件開發(fā)接口或運(yùn)行時(shí)間等方面存在不兼容之處，導(dǎo)致不同廠商的硬件資源難以高效連接。協(xié)調(diào)設(shè)計(jì)的關(guān)鍵難點(diǎn)在于處理底層硬件的差異。當(dāng)前智算中心的建設(shè)思路往往側(cè)重于發(fā)展異構(gòu)算力性能，以提高智能應(yīng)用在不同開發(fā)環(huán)境的適用性。但各芯片廠商傾向于在開發(fā)工具中集成主流AI框架的同時(shí)會(huì)根據(jù)自身特點(diǎn)進(jìn)行定制優(yōu)化，這導(dǎo)致在硬件的底層編碼會(huì)形成多個(gè)分支版本，導(dǎo)致代碼移植難度增大，開發(fā)人員在使用異構(gòu)算力進(jìn)行AI算法實(shí)現(xiàn)時(shí)還會(huì)面臨跨架構(gòu)的應(yīng)用優(yōu)化部署困難的問題。這種現(xiàn)象不僅影響了系統(tǒng)的整體運(yùn)行效率，還可能導(dǎo)致某些硬件資源閑置而其他資源過度使用的情況。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)軟硬件協(xié)調(diào)不僅涉及技術(shù)層面，還涉及管理和運(yùn)營(yíng)問題。在數(shù)字化產(chǎn)品交付中集成硬件和軟件開發(fā)時(shí)，不同開發(fā)團(tuán)隊(duì)往往以自身角度出發(fā)管理開發(fā)周期，不同任務(wù)的開發(fā)和管理以及運(yùn)行維護(hù)難度不同，使得跨學(xué)科、跨團(tuán)隊(duì)之間工作進(jìn)度的高效協(xié)同與合作開發(fā)也成為了一種挑戰(zhàn)。隨著企業(yè)業(yè)務(wù)規(guī)模的不斷擴(kuò)大，算力基礎(chǔ)設(shè)施規(guī)模也持續(xù)增加，業(yè)務(wù)上線的管理及維護(hù)的難度也越來越高，生產(chǎn)環(huán)境的變更出現(xiàn)常態(tài)化發(fā)展的趨勢(shì)，無形中也引入了更多的風(fēng)險(xiǎn)和不確定性。軟硬件協(xié)同要從整體規(guī)劃建設(shè)到持續(xù)運(yùn)營(yíng)維護(hù)的全流程角度進(jìn)行全方位考量。軟硬件協(xié)同設(shè)計(jì)的本質(zhì)是希望把軟硬件的設(shè)計(jì)和優(yōu)化工作統(tǒng)一起來，在系統(tǒng)層面獲得高于單一優(yōu)化的收益。為了應(yīng)對(duì)這些挑戰(zhàn)，需要從頂層設(shè)計(jì)入手，制定完善相關(guān)的標(biāo)準(zhǔn)和認(rèn)證體系、推動(dòng)硬件與軟件的深度融合、構(gòu)建開放標(biāo)準(zhǔn)和集約高效的運(yùn)行體系，從而實(shí)現(xiàn)資源聯(lián)合配置和高效利用。在當(dāng)前生成式大模型技術(shù)為主流的時(shí)代下，行業(yè)智能化轉(zhuǎn)型是一項(xiàng)涉及眾多領(lǐng)域的系統(tǒng)工程，需要深入結(jié)合行業(yè)特點(diǎn)和技術(shù)能力，完善服務(wù)供給能力。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)三、智算中心服務(wù)體系《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》提出要有序建設(shè)算力設(shè)施，探索發(fā)展運(yùn)維能力、提升算力滲透率等重點(diǎn)任務(wù)，推進(jìn)算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展。隨著越來越多業(yè)務(wù)智能化的需求，傳統(tǒng)算力服務(wù)單一供給模式已經(jīng)難以滿足行業(yè)服務(wù)鏈不斷延伸的需求，部分服務(wù)商也在嘗試從不同角度提供更豐富的服務(wù)模式。如華為提供包括數(shù)據(jù)中心的設(shè)計(jì)、建設(shè)、運(yùn)維及認(rèn)證的數(shù)據(jù)中心集成解決方案、商湯提供支持企業(yè)級(jí)千億模型加速本地化部署企業(yè)級(jí)大模型一體機(jī)、天翼云提供物理機(jī)部署和虛擬化部署一體的集成解決方案等。通過對(duì)咨詢機(jī)構(gòu)、科研單位、行業(yè)領(lǐng)軍企業(yè)等產(chǎn)業(yè)主體進(jìn)行梳理分析，總結(jié)歸納了智算中心服智算中心服務(wù)是整合信息計(jì)算力、網(wǎng)絡(luò)運(yùn)載力、數(shù)據(jù)存儲(chǔ)力為一體，覆蓋從基礎(chǔ)設(shè)施建設(shè)到行業(yè)智能應(yīng)用全過程，最終將基礎(chǔ)設(shè)施、模型開發(fā)與支持及行業(yè)場(chǎng)景應(yīng)用一體化交付的服務(wù)模式。智算中心服務(wù)結(jié)構(gòu)如圖3所示。行業(yè)應(yīng)用行業(yè)應(yīng)用橫型開發(fā)基實(shí)運(yùn)營(yíng)化施安裝試規(guī)劃建設(shè)一體化運(yùn)維保障智能化模型訓(xùn)練高效化模型應(yīng)用普適化通圖3智算中心服務(wù)結(jié)構(gòu)圖中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)基礎(chǔ)設(shè)施類主要為智算中心提供基礎(chǔ)設(shè)施建設(shè)、平臺(tái)部署及運(yùn)營(yíng)優(yōu)化等服務(wù)，實(shí)現(xiàn)模型與應(yīng)用安全穩(wěn)定運(yùn)行的底座。模型開發(fā)與支持類主要提供模型選擇、數(shù)據(jù)處理、模型訓(xùn)練、模型部署及優(yōu)化等服務(wù)，實(shí)現(xiàn)模型在行業(yè)應(yīng)用場(chǎng)景的快速落地。場(chǎng)景應(yīng)用類主要提供應(yīng)用場(chǎng)景分析、方案規(guī)劃、AI技術(shù)選型、應(yīng)用集成以及業(yè)務(wù)輔助運(yùn)營(yíng)等服務(wù)，實(shí)現(xiàn)模型在行業(yè)應(yīng)用場(chǎng)景的高效賦能。智算中心服務(wù)不僅為各行業(yè)提供高效、可靠、系統(tǒng)性的智能服務(wù)方案，也為數(shù)字化時(shí)代的行業(yè)轉(zhuǎn)型提供有力支撐。(一)基礎(chǔ)設(shè)施類服務(wù)基礎(chǔ)設(shè)施類服務(wù)旨在明確智算中心建設(shè)的需求、目標(biāo)和路徑，為模型與應(yīng)用服務(wù)提供堅(jiān)實(shí)有力的底座。主要分為業(yè)務(wù)分析、規(guī)劃建設(shè)、運(yùn)維優(yōu)化三個(gè)主要階段。業(yè)務(wù)分析階段是明確所需資源和技術(shù)要求、設(shè)計(jì)解決方案的過程，是決定智算中心項(xiàng)目建設(shè)的關(guān)鍵。規(guī)劃建設(shè)階段需協(xié)調(diào)組織各類軟硬件資源有序?qū)嵤谴_保項(xiàng)目按時(shí)交付并穩(wěn)定可靠運(yùn)行的關(guān)鍵。運(yùn)維優(yōu)化階段要實(shí)現(xiàn)從基礎(chǔ)設(shè)施到業(yè)務(wù)應(yīng)用的全面監(jiān)控，是保障智算中心穩(wěn)定可靠的關(guān)鍵。1.業(yè)務(wù)分析智算中心服務(wù)形態(tài)不斷擴(kuò)展，基礎(chǔ)設(shè)施建設(shè)活動(dòng)需更有針對(duì)性。隨著市場(chǎng)需求不斷增長(zhǎng)、多種業(yè)務(wù)不斷融合、新型技術(shù)不斷發(fā)展，智算中心服務(wù)的業(yè)務(wù)范圍也在持續(xù)擴(kuò)展，基礎(chǔ)設(shè)施須滿足未來業(yè)務(wù)部署的需求，并能夠適應(yīng)技術(shù)的變化。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)當(dāng)前，部分傳統(tǒng)數(shù)據(jù)中心已經(jīng)難以適應(yīng)人工智能技術(shù)帶來的發(fā)展變革，需要對(duì)已建數(shù)據(jù)中心進(jìn)行改造升級(jí)。改造常見于能耗指標(biāo)緊張、電力成本高、大規(guī)模數(shù)據(jù)中心開發(fā)空間受限的地區(qū)。采用“騰籠換鳥”等方式，將部分?jǐn)?shù)據(jù)中心更新為能夠支撐數(shù)字經(jīng)濟(jì)、人工智能、工業(yè)互聯(lián)網(wǎng)等前沿產(chǎn)業(yè)發(fā)展的智算中心，例如，北京科信云數(shù)據(jù)中心將存儲(chǔ)業(yè)務(wù)轉(zhuǎn)移到河北，并利用騰退空間布局支持推理應(yīng)用和垂類模型的智算服務(wù)器，目前已經(jīng)騰退存儲(chǔ)機(jī)柜約1000架，上架智算服務(wù)器近200臺(tái)，可提供約1000P的算力服務(wù)。隨著AI服務(wù)器功率密度的提升和使用場(chǎng)景的增多，需要推動(dòng)已建老舊小散數(shù)據(jù)中心向規(guī)?；⒅悄芑闹撬阒行霓D(zhuǎn)型升級(jí)，逐步推廣液冷技術(shù)等先進(jìn)技術(shù)的應(yīng)用，促進(jìn)全產(chǎn)業(yè)鏈綠色低碳有序發(fā)展。除了改擴(kuò)建方式外，新建是未來智算中心服務(wù)發(fā)展的主要方式。當(dāng)前智算中心基礎(chǔ)設(shè)施新建主要有兩種發(fā)展模式，一種是基礎(chǔ)設(shè)施服務(wù)提供商先建設(shè)土建基礎(chǔ)，再向用戶提供租賃服務(wù)；另一種是用戶提出建設(shè)需要，由承包單位完成土建基礎(chǔ)。第一種模式需要基礎(chǔ)設(shè)施服務(wù)提供商根據(jù)市場(chǎng)情況、國(guó)家政策等因素完成場(chǎng)地建設(shè)，并為用戶留出接口，提供IDC租賃服務(wù)。如萬國(guó)數(shù)據(jù)上海浦江數(shù)據(jù)中心、中金數(shù)據(jù)烏蘭察布零碳算力產(chǎn)業(yè)園等?；A(chǔ)設(shè)施具有重資產(chǎn)、長(zhǎng)周期、年折舊額高的特點(diǎn)，這類模式往往需要長(zhǎng)達(dá)十年運(yùn)營(yíng)才能取得較好的經(jīng)濟(jì)效益。而且如果機(jī)柜出租率提不上去，閑置資產(chǎn)每年產(chǎn)生的固定資產(chǎn)折舊額會(huì)很大，成本和經(jīng)濟(jì)效益面臨較大挑戰(zhàn)。第二種模式相比第一種在設(shè)備資源利用上相對(duì)更好，用戶可中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)以根據(jù)自身發(fā)展需要建設(shè)更具特點(diǎn)的智算中心，如華為云和林格爾數(shù)據(jù)中心、中國(guó)電信南京吉山云計(jì)算中心等。新建的公共型智算中心應(yīng)按照適度超前原則配置優(yōu)質(zhì)算力資源，提供兼具公有、專用、彈性計(jì)算的服務(wù)能力，滿足不同應(yīng)用場(chǎng)景和多類型用戶的需求，按梯次布局打造不同節(jié)點(diǎn)等級(jí)的智算中心，推動(dòng)整體算力格局協(xié)調(diào)發(fā)展。專業(yè)型智算中心應(yīng)圍繞應(yīng)用場(chǎng)景，加強(qiáng)供需對(duì)接，打造具有特色場(chǎng)景的智算中心，面向需求開展建設(shè)活動(dòng)。業(yè)務(wù)導(dǎo)向的智算中心需要從全面宏觀的角度設(shè)計(jì)建設(shè)規(guī)模和部署方案。用戶需組織企業(yè)業(yè)務(wù)骨干人員對(duì)業(yè)務(wù)場(chǎng)景進(jìn)行梳理和分類，尋找適合用AI工具提升效率、創(chuàng)造價(jià)值的業(yè)務(wù)場(chǎng)景。應(yīng)用方案規(guī)劃需要明確企業(yè)當(dāng)前算力狀況，分析解決方案高階架構(gòu)對(duì)技術(shù)能力(模型/平臺(tái)/基礎(chǔ)設(shè)施)和用戶算力的需求，具體參見圖4。洞察分析洞察分析架構(gòu)規(guī)劃實(shí)施規(guī)劃為確保業(yè)務(wù)穩(wěn)定、高效、安全地進(jìn)行，需要企業(yè)對(duì)業(yè)務(wù)場(chǎng)景、技術(shù)架構(gòu)進(jìn)行全面分析，提出滿足未來業(yè)務(wù)發(fā)展的規(guī)劃。智算中心基礎(chǔ)設(shè)施使用周期通常在10到15年，而芯片技術(shù)2年一代，未來5年持中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)礎(chǔ)設(shè)施在芯片技術(shù)高速發(fā)展的今天需要匹配3到5代芯片演進(jìn)。業(yè)務(wù)需求會(huì)直接影響到模型的技術(shù)選擇，適配軟件及模型在近五年更是快速迭代。當(dāng)前水液融合、液冷/風(fēng)冷微模塊等制冷設(shè)備技術(shù)的不斷進(jìn)步、基礎(chǔ)電源模塊的發(fā)展都要求基礎(chǔ)設(shè)施建設(shè)需具備足夠彈性能力，以滿足未來業(yè)務(wù)的更新與部署。智算中心穩(wěn)定高效運(yùn)行影響因素眾多，要專業(yè)協(xié)作。在咨詢規(guī)劃階段，需要考慮各項(xiàng)功能服務(wù)，為搭建系統(tǒng)架構(gòu)做出充足準(zhǔn)備，保障智算中心在建設(shè)部署過程中有清晰的建設(shè)路線和充足的支撐能力。智算中心的服務(wù)器、存儲(chǔ)系統(tǒng)和網(wǎng)絡(luò)等單元設(shè)備必須能夠高效地協(xié)同，確保設(shè)備的軟硬件版本、固件、軟件特性以及端到端解決方案具有完全匹配的兼容性，優(yōu)先選用支持標(biāo)準(zhǔn)化協(xié)議和接口的硬件，并具備打造差異化的硬件解決方案的能力。同時(shí)需考慮在跨產(chǎn)業(yè)鏈的企業(yè)間深度融合與協(xié)同，構(gòu)建一個(gè)可持續(xù)發(fā)展的智算中心生態(tài)體系。建設(shè)標(biāo)準(zhǔn)、分期要求、算力密度、可演進(jìn)性、系統(tǒng)能效、交付周期、建設(shè)成本、運(yùn)營(yíng)成本等，實(shí)際操作時(shí)需研判項(xiàng)目關(guān)鍵問題，針對(duì)各種有利或不利的因素，對(duì)投資進(jìn)行估算，評(píng)價(jià)相關(guān)經(jīng)濟(jì)效益。2.規(guī)劃建設(shè)在選址階段，企業(yè)需要根據(jù)自身業(yè)務(wù)需求并結(jié)合國(guó)家算力總體布局、所在區(qū)域總體規(guī)劃及當(dāng)?shù)叵嚓P(guān)政策要求進(jìn)行選址，如內(nèi)蒙古新建大型、超大型數(shù)據(jù)中心(折合標(biāo)準(zhǔn)機(jī)架3000架及以上)原則上要布局在和林格爾數(shù)據(jù)中心集群內(nèi)，自治區(qū)實(shí)行窗口指導(dǎo)，不符合布局要中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)求的項(xiàng)目不享受相關(guān)支持政策；北京東城區(qū)和西城區(qū)除邊緣計(jì)算中心外，禁止新建或擴(kuò)建數(shù)據(jù)中心。開工建設(shè)前各項(xiàng)手續(xù)的準(zhǔn)備工作并非按線性開展，多是統(tǒng)籌規(guī)劃整體推進(jìn)。通常來說，數(shù)據(jù)中心開工建設(shè)前所需關(guān)鍵報(bào)批手續(xù)，主要包括確認(rèn)土地、立項(xiàng)備案、節(jié)能審查(能評(píng))、環(huán)境影響備案(環(huán)評(píng))、供電方案等環(huán)節(jié)。由于數(shù)據(jù)中心項(xiàng)目獲批難度較大，尤其是在環(huán)一線城市等熱點(diǎn)區(qū)域，如期取得所有批復(fù)存在較大不確定性，因此實(shí)踐中，一般是在對(duì)節(jié)能審查和供電方案兩大難點(diǎn)有了較大把握之后，才會(huì)正式申請(qǐng)立項(xiàng)備案。在規(guī)劃初期，可采用建筑信息模型(BuildingInformationModeling,BIM)等手段利用數(shù)字技術(shù)對(duì)建筑環(huán)境進(jìn)行全生命周期管理，盡管成本較高，卻能有效規(guī)避多專業(yè)協(xié)作中配合不暢的問題，提高智算中心可靠性。從場(chǎng)地選址到管線規(guī)劃需面向未來發(fā)展綜合考慮，合理規(guī)劃地塊內(nèi)的功能分區(qū)，在滿足多種功能需求的同時(shí)為未來擴(kuò)建等發(fā)展預(yù)留空間。規(guī)劃設(shè)計(jì)需要從土木工程到硬件配置、從模型構(gòu)建到業(yè)務(wù)運(yùn)營(yíng)的全面統(tǒng)籌設(shè)計(jì)。建設(shè)前期涉及土地證、房產(chǎn)證、地規(guī)證、建規(guī)證、施工許可證等許可要求，項(xiàng)目建設(shè)過程中涉及消防、用水、通信等其他申報(bào)工作和手續(xù)文件。智算中心建設(shè)需站在全局的高度，從基礎(chǔ)設(shè)施層、平臺(tái)層、模型層、安全治理等角度進(jìn)行整體規(guī)劃，同時(shí)開展集群規(guī)模、算/存/網(wǎng)規(guī)模、南北向接口、制冷方案、供配電方案等不同子項(xiàng)的解決方案的設(shè)計(jì)。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)機(jī)電設(shè)施層面可以根據(jù)環(huán)境特點(diǎn)和業(yè)務(wù)需要進(jìn)行針對(duì)性的設(shè)計(jì)。機(jī)電設(shè)計(jì)是確保智算中心高效、穩(wěn)定運(yùn)行的關(guān)鍵環(huán)節(jié)。智算中心常采用高密度方式布置，如鄂爾多斯智算中心機(jī)電集成項(xiàng)目設(shè)計(jì)了950個(gè)8kW和12kW標(biāo)準(zhǔn)高密機(jī)柜。預(yù)計(jì)到2025年，主流智算中心將形成10到60kW多種算力混合部署的形態(tài)。在制冷系統(tǒng)方案中可以對(duì)液冷方案或風(fēng)冷方案從功率密度、機(jī)房改造量、算力密度(單柜)、組網(wǎng)成本等多維度進(jìn)行比選，采用合適的制冷模式，也可以統(tǒng)籌氣候環(huán)境、各個(gè)組件運(yùn)行特點(diǎn)、花費(fèi)成本等因素采用如風(fēng)冷、水冷和液冷聯(lián)合的多模式制冷。算力設(shè)備選擇應(yīng)從成本、技術(shù)方案、業(yè)務(wù)需求等角度出發(fā)，選擇合適的方案。有條件的可以選用如A100、H100等高性能單元，算力需求不是很高的也可以根據(jù)業(yè)務(wù)量選擇一定數(shù)量的H20,或者有計(jì)劃的采用國(guó)產(chǎn)解決方案。硬件選擇還需要考慮智算中心的電能利用效率PUE、算力能效碳效及空間利用效率SUE等指標(biāo)。IT設(shè)施層面可以參考已有設(shè)計(jì)，展開存儲(chǔ)、網(wǎng)絡(luò)、運(yùn)維、遷移等各模塊的架構(gòu)設(shè)計(jì)并提出創(chuàng)新解決方案，完成從BA(業(yè)務(wù)架構(gòu))到AA (應(yīng)用架構(gòu))的應(yīng)用功能規(guī)劃，為未來技術(shù)架構(gòu)演進(jìn)預(yù)留充裕的擴(kuò)展接口并完成算力平臺(tái)中各層各功能模塊的架構(gòu)設(shè)計(jì)。模型層面需要基于關(guān)鍵應(yīng)用場(chǎng)景，梳理所需要的模型、算法、工具基本能力和關(guān)鍵工作流并提出解決方案，應(yīng)用如L0通用模型、L1行業(yè)模型或L2場(chǎng)景模型等模型架構(gòu)。智算中心服務(wù)需求和要求各有中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)不同，還可以規(guī)劃不同的算力實(shí)施路線和不同的規(guī)劃輔助工具，提供客觀公正的現(xiàn)狀分析，制定智算中心規(guī)劃方案，具體參見圖5。場(chǎng)景選擇場(chǎng)景選擇規(guī)劃設(shè)計(jì)解決方架構(gòu)來變化。隨著人工智能技術(shù)發(fā)展，智能模型不斷演進(jìn)，硬件設(shè)備形態(tài)個(gè)4000卡集群的板式液冷方案中的液冷機(jī)柜往往滿配就有1.2噸重，涉及到智算、通算、存儲(chǔ)、網(wǎng)絡(luò)等多種設(shè)備資源集成部署，引入建筑信息模型(BIM)可在空間、承重、管線、功率等方面對(duì)算力基礎(chǔ)設(shè)施與機(jī)房基礎(chǔ)設(shè)施進(jìn)行協(xié)同規(guī)劃，完成包括液冷管道、冷卻液儲(chǔ)存罐和循環(huán)泵等設(shè)備的設(shè)計(jì)，對(duì)機(jī)房基礎(chǔ)設(shè)施建設(shè)工程中的進(jìn)度、質(zhì)量等進(jìn)行管理。安裝過程中，支持設(shè)備的液冷管道需與服務(wù)器機(jī)架、冷卻裝置以及冷量分配單元進(jìn)行精確連接，任何冷卻液泄漏或連接不當(dāng)都可能影響系統(tǒng)的正常運(yùn)行。部署階段打通規(guī)劃-安裝-測(cè)試工具，支持集群配置一致性核查尤為重要。在大規(guī)模集群中，需要確保幾百臺(tái)服務(wù)器和交換機(jī)的配置一致；各子系統(tǒng)之間多樣化的設(shè)備導(dǎo)致設(shè)備固件與操作系統(tǒng)、軟件的兼容性適配和版本控制復(fù)雜，部署和配置順序存在依賴關(guān)系。測(cè)試過程中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)中可采用HBM、HCCL、RoCE網(wǎng)絡(luò)檢查、光模塊檢查、設(shè)備環(huán)境檢查、光鏈路自動(dòng)化檢測(cè)、集群配置自動(dòng)核查等技術(shù)提前發(fā)現(xiàn)軟硬件潛在故障，集成交付工期可縮短20%。大規(guī)模使用節(jié)點(diǎn)的測(cè)試用例，可提高硬件壓測(cè)的效率和成功率，提升不同規(guī)模節(jié)點(diǎn)的穩(wěn)定性和可靠性。建設(shè)質(zhì)量和施工周期是評(píng)估建設(shè)實(shí)施效果的重要指標(biāo)。建設(shè)質(zhì)量直接關(guān)系到網(wǎng)絡(luò)環(huán)境穩(wěn)定性、制冷效果、軟硬件部署效率等一系列問題。建設(shè)周期是從宏觀角度反映建設(shè)速度的投資效果指標(biāo)，此外還可以采用建設(shè)工期、投資回收期等指標(biāo)，但這兩個(gè)指標(biāo)分別側(cè)重于施工時(shí)間和經(jīng)濟(jì)效益。建設(shè)周期指標(biāo)不僅幫助評(píng)估項(xiàng)目的進(jìn)度，還能有效控制成本和提高資源利用效率。智算中心的建設(shè)周期通常較長(zhǎng)，根據(jù)不同的項(xiàng)目情況，傳統(tǒng)算力基礎(chǔ)設(shè)施的建設(shè)周期一般為400天，而采用預(yù)制化架構(gòu)和新技術(shù)(如微模塊技術(shù))可以將建設(shè)周期縮短至6個(gè)月甚至更短?？s短建設(shè)周期有助于快速響應(yīng)市場(chǎng)需求，減少資金占用，提升市場(chǎng)競(jìng)爭(zhēng)力。集群的可靠性、穩(wěn)定性、健康度是集群節(jié)點(diǎn)運(yùn)行狀態(tài)及使用性能的重要監(jiān)控指標(biāo)。為滿足行業(yè)數(shù)字化、智能化發(fā)展的算力需求，算力基礎(chǔ)設(shè)施走向大規(guī)模集群是必然趨勢(shì)，集群部署的穩(wěn)定性和性能優(yōu)化格外重要。根據(jù)業(yè)務(wù)特點(diǎn)通常有不同的健康度指標(biāo)，常見的有節(jié)點(diǎn)健康指標(biāo)、Pod健康指標(biāo)等。集群建設(shè)部署階段需要采用兼容測(cè)試驗(yàn)證的基礎(chǔ)設(shè)施方案，通過單機(jī)綜合測(cè)試、集群模型訓(xùn)練測(cè)試、集群穩(wěn)定性測(cè)試等多層級(jí)高強(qiáng)測(cè)試以及集群健康自動(dòng)檢測(cè)等手段，找到并消除潛在的硬件失效等風(fēng)險(xiǎn)，提升集群的可靠性和穩(wěn)定性。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)3.運(yùn)維優(yōu)化Engineering,站點(diǎn)可靠性工程)或智能運(yùn)維平臺(tái)等措施。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)SRE是一種由Google最早在2003年提出并發(fā)展的運(yùn)維模式，其維護(hù)等特點(diǎn)。此外，在智算中心集群運(yùn)維場(chǎng)景中，還有Dev0ps開發(fā)體的要求。例如，算力集群對(duì)延遲非常敏感，一些長(zhǎng)尾問題(Long-圖6完善運(yùn)維體系建設(shè)中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)應(yīng)急體系一般包括定義和分類故障等級(jí)、建設(shè)高效的監(jiān)控和告警體系、形成快速通訊渠道、編寫詳細(xì)的預(yù)案并形成知識(shí)庫(kù)、實(shí)施定期演練、復(fù)盤故障并改進(jìn)六個(gè)方面。例如創(chuàng)建詳盡的事故處理手冊(cè)或知識(shí)庫(kù)，包括常見問題的快速診斷指南、存儲(chǔ)歷史故障案例、解決方案和操作等內(nèi)容以便快速應(yīng)對(duì)類似事件。變更體系主要包括兩個(gè)部分，一是提升效率的自動(dòng)化變更能力，例如基礎(chǔ)設(shè)施及代碼，批量腳本執(zhí)行等；二是構(gòu)建合理的變更規(guī)范，防止變更帶來故障，例如建立變更審批流程、制定變更計(jì)劃、風(fēng)險(xiǎn)評(píng)估與備份計(jì)劃、灰度變更、周邊溝通機(jī)制等。安全體系建設(shè)要求完善物理安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全和應(yīng)用安全等方面內(nèi)容，還要符合如我國(guó)的個(gè)人信息安全規(guī)范、歐盟的GDPR或美國(guó)的HIPAA等規(guī)范。此外還要賦予團(tuán)隊(duì)成員足夠的自主權(quán)來解決問題和改進(jìn)流程，提高團(tuán)隊(duì)的靈活性和快速響應(yīng)能力。智算中心運(yùn)維向智能化、綠色化、規(guī)模化和安全化發(fā)展。隨著人工智能技術(shù)的發(fā)展，智算中心運(yùn)維將越來越多地依賴智能化系統(tǒng)，智能化運(yùn)維需要具備規(guī)則自生成、自適應(yīng)調(diào)整能力，能夠自動(dòng)完成如性能監(jiān)控預(yù)警并自適應(yīng)調(diào)整、故障診斷和自動(dòng)恢復(fù)等工作，提供異常告警等趨勢(shì)和輔助決策分析。智算中心需要提供具有更高能源利用效率、更低能耗需求和更少溫室氣體排放的運(yùn)維服務(wù)，實(shí)現(xiàn)環(huán)境友好和可持續(xù)發(fā)展的目標(biāo)。目前，智算中心正向著超大規(guī)模和集約化方向發(fā)展，以提供更強(qiáng)大的計(jì)算能力和存儲(chǔ)資源，滿足日益增長(zhǎng)的算力需求；同時(shí)微服務(wù)架構(gòu)、容器化中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)技術(shù)、池化技術(shù)等技術(shù)發(fā)展將促進(jìn)智算中心運(yùn)維的靈活性和可擴(kuò)展性，使得應(yīng)用和服務(wù)能夠快速部署、更新和維護(hù)。物理安全措施、網(wǎng)絡(luò)安全措施、零信任安全模型及備災(zāi)計(jì)劃等發(fā)展共同促進(jìn)了智算中心的穩(wěn)定運(yùn)行和數(shù)據(jù)安全，推進(jìn)了智算中心運(yùn)維的安全化發(fā)展。(二)模型開發(fā)與支持類服務(wù)模型開發(fā)與支持類服務(wù)主要包含模型選擇、模型遷移、訓(xùn)練微調(diào)和推理部署四個(gè)過程。模型選擇是指在眾多可能的模型中選擇最適合特定任務(wù)的模型，通常涉及到評(píng)估不同模型的性能，目標(biāo)是找到在測(cè)試數(shù)據(jù)上表現(xiàn)最佳、復(fù)雜度較小的模型；模型遷移是將一個(gè)平臺(tái)的模型遷移到另一個(gè)平臺(tái)應(yīng)用的過程，如將基于NVIDIA訓(xùn)練卡和開發(fā)環(huán)境的模型遷移到國(guó)產(chǎn)化環(huán)境中，過程中需開展代碼更新、算子開發(fā)等環(huán)境適配工作，使原有模型可以適應(yīng)國(guó)產(chǎn)化硬件架構(gòu)和軟件接口，保證模型的高性能應(yīng)用，減少后續(xù)模型訓(xùn)練及開發(fā)成本。訓(xùn)練微調(diào)是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，針對(duì)應(yīng)用場(chǎng)景需求，對(duì)模型的部分參數(shù)進(jìn)行進(jìn)一步的訓(xùn)練，使模型能夠?qū)W習(xí)到與目標(biāo)任務(wù)相關(guān)的特征和規(guī)律；推理部署是將訓(xùn)練好的模型部署到生產(chǎn)環(huán)境中，使其能夠?qū)φ鎸?shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)。四個(gè)過程各自承擔(dān)著不同的任務(wù)，共同構(gòu)成了從模型開發(fā)到實(shí)際應(yīng)用的基本流程。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)模型選擇是在行業(yè)應(yīng)用之前的關(guān)鍵階段，需要根據(jù)目標(biāo)要求進(jìn)行適配性評(píng)估，選擇與需求適配的最佳技術(shù)路線。需求分析需深入剖析行業(yè)特性、流程、環(huán)境、數(shù)據(jù)、用戶期望及成本，預(yù)估模型遷移成本和實(shí)際工作環(huán)境中的效果，結(jié)合模型特性進(jìn)行選擇，根據(jù)SuperCLUE2顯示，Qwen2-72B大模型在多語言能力、代碼生成、數(shù)學(xué)推理、長(zhǎng)文本處理、指令遵循等方面表現(xiàn)出色，適合遷移到智能客服、實(shí)時(shí)翻譯、智能座艙等專業(yè)場(chǎng)景；SenseChat5.0在語義理解、生成創(chuàng)作、指令遵循等能力上排名靠前，適合遷移到于智慧課堂、商業(yè)決策、醫(yī)療咨詢等應(yīng)用場(chǎng)景；GLM-4擅長(zhǎng)知識(shí)百科、工具使用和精確指令，可用于處理文科業(yè)務(wù)，適合遷移到廣告宣傳、文案撰寫等應(yīng)用場(chǎng)景。模型評(píng)估強(qiáng)調(diào)模型在實(shí)際應(yīng)用中的性能和可靠性，需要根據(jù)應(yīng)用場(chǎng)景選擇合適的評(píng)估指標(biāo)。評(píng)估階段需要對(duì)比模型的理論基礎(chǔ)、預(yù)測(cè)精度、推理速度、資源消耗與魯棒性，確保實(shí)際應(yīng)用效果。例如推薦系統(tǒng)需優(yōu)化商品多樣性與用戶行為識(shí)別，適合選用標(biāo)簽類相關(guān)評(píng)估指標(biāo)；自動(dòng)駕駛側(cè)重感知能力與決策速度，適合選擇視覺類相關(guān)評(píng)估指標(biāo)。評(píng)估用戶交互體驗(yàn)與模型輸出質(zhì)量，確保模型在行業(yè)內(nèi)的有效運(yùn)用，奠定智能模型定制與優(yōu)化基礎(chǔ)，助力高效精準(zhǔn)業(yè)務(wù)支持。同時(shí)，還需要考慮后續(xù)優(yōu)化以增強(qiáng)泛化與執(zhí)行效率，如參數(shù)調(diào)整、特征工程與架構(gòu)優(yōu)化。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)2.模型遷移模型遷移作為行業(yè)智能化的重要手段，需要從成本效益、基礎(chǔ)設(shè)施、環(huán)境兼容等方面進(jìn)行綜合分析。模型遷移是利用現(xiàn)有模型在不同平臺(tái)上高效運(yùn)行，從而減少重新訓(xùn)練模型的成本和時(shí)間。需驗(yàn)證基礎(chǔ)設(shè)施支撐力、技術(shù)兼容性、應(yīng)用性能，確保滿足行業(yè)標(biāo)準(zhǔn)或場(chǎng)景需求。通常遷移過程需要耗時(shí)數(shù)月，遷移后的模型往往伴隨精度損失、定位復(fù)雜、優(yōu)化困難等問題。如Llama3.1模型擁有4050億參數(shù)，遷移將涉及大量修改工作，并且在針對(duì)性較強(qiáng)的場(chǎng)景下模型大部分功能無處發(fā)揮，導(dǎo)致參數(shù)有效利用率不高。因此，在模型遷移過程中需要優(yōu)先進(jìn)行全面的遷移評(píng)估，包括評(píng)估模型遷移的成本、預(yù)測(cè)遷移的經(jīng)濟(jì)效益期望、分析經(jīng)濟(jì)可行性等。模型遷移后需要系統(tǒng)地對(duì)精度和性能調(diào)整，應(yīng)從多個(gè)方面進(jìn)行綜合考慮和優(yōu)化。相對(duì)于通用計(jì)算，AI計(jì)算的黏性更強(qiáng)，對(duì)開發(fā)生態(tài)具有依賴性，不同體系間生態(tài)遷移過程復(fù)雜，從最底層的芯片架構(gòu)，到計(jì)算框架、模型開發(fā)框架、加速框架以及模型算法開發(fā)等階段的各個(gè)因素都會(huì)對(duì)模型的精度和性能造成影響，導(dǎo)致模型行業(yè)遷移過程復(fù)雜。模型遷移后的工作過程涉及端到端的技術(shù)組合協(xié)同，復(fù)雜度高，很多知識(shí)點(diǎn)依賴于行業(yè)專家經(jīng)驗(yàn)，優(yōu)化門檻高。因此，模型調(diào)優(yōu)服務(wù)通過對(duì)遷移后的模型進(jìn)行面向應(yīng)用場(chǎng)景的精度與性能調(diào)優(yōu)，從而滿足客戶的應(yīng)用需求。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)3.訓(xùn)練微調(diào)在通用大模型的基礎(chǔ)上加入行業(yè)數(shù)據(jù)進(jìn)行訓(xùn)練，可以顯著提高模型在特定行業(yè)內(nèi)的準(zhǔn)確性和適應(yīng)性。通用大模型在訓(xùn)練時(shí)使用了大量的通用數(shù)據(jù)，但這些數(shù)據(jù)可能無法完全覆蓋特定行業(yè)的專業(yè)需求。采用后訓(xùn)練(Post-pretrain)的方式結(jié)合行業(yè)高質(zhì)量數(shù)據(jù)對(duì)模型進(jìn)行行業(yè)增訓(xùn)，以深化通用模型對(duì)行業(yè)領(lǐng)域的理解，如將法律行業(yè)相關(guān)的法規(guī)和案例進(jìn)行規(guī)范化處理形成高質(zhì)量數(shù)據(jù)集，對(duì)大模型進(jìn)行法律行業(yè)增訓(xùn)，使得模型可準(zhǔn)確理解法律條文與案件評(píng)判規(guī)則。在行業(yè)訓(xùn)練過程中需要考慮模型泛化能力的平衡，避免出現(xiàn)行業(yè)數(shù)據(jù)分配失衡而導(dǎo)致模型通用能力災(zāi)難性遺忘或局限于狹窄領(lǐng)域產(chǎn)生的過擬合現(xiàn)象。使用特定場(chǎng)景數(shù)據(jù)集進(jìn)行微調(diào)，可以顯著提升模型在該類場(chǎng)景中的適應(yīng)性和準(zhǔn)確性。為了滿足高度定制化需求，模型開發(fā)不再局限于通用的行業(yè)訓(xùn)練框架，而是需要更深層次地融入具體任務(wù)特性，實(shí)現(xiàn)與行業(yè)實(shí)踐的緊密結(jié)合。在復(fù)雜多變的業(yè)務(wù)和數(shù)據(jù)環(huán)境中，微調(diào)技術(shù)已經(jīng)成為定制化開發(fā)的核心，不僅提高了模型的性能和效率，還降低了開發(fā)成本和門檻。為進(jìn)一步提高模型的任務(wù)實(shí)用性，模型微調(diào)階段往往會(huì)引入人類反饋強(qiáng)化學(xué)習(xí)(ReinforcementLearningfromHumanFeedback,RLHF),利用專家知識(shí)和任務(wù)經(jīng)驗(yàn)對(duì)模型微調(diào)結(jié)果進(jìn)行校正，使模型輸出更加貼近實(shí)際業(yè)務(wù)場(chǎng)景。不同行業(yè)對(duì)計(jì)算效能、成本效益及數(shù)據(jù)安全有獨(dú)特要求，需要考慮模型內(nèi)部結(jié)構(gòu)的定制化開發(fā)，如優(yōu)化模型中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)結(jié)構(gòu)、調(diào)整層次關(guān)系、組合算子、定制指令集等。通用大模型行業(yè)訓(xùn)練微調(diào)應(yīng)用流程如圖7所示。黜4.推理部署高效的推理能力不僅可以提升用戶體驗(yàn)，還有助于降低開發(fā)成本。行業(yè)模型推理部署階段需要綜合考慮模型部署環(huán)境兼容性、精度損失和推理效率等方面。在模型部署過程中，由于推理設(shè)備形態(tài)具有多樣性，需結(jié)合應(yīng)用場(chǎng)景考慮不同軟件兼容性與硬件適配性以及訓(xùn)練態(tài)模型的算子兼容性和模型訓(xùn)練態(tài)到推理態(tài)遷移問題。在邊端部署模型時(shí)，需對(duì)模型進(jìn)行壓縮以適應(yīng)資源有限的邊端設(shè)備。常規(guī)的模型壓縮方法包括模型稀疏化、權(quán)重矩陣分解、模型參數(shù)共享、蒸餾和量化。為最大化保證模型應(yīng)用性能，降低壓縮過程中的模型精度損耗，通常將多種手段結(jié)合。例如，組合使用低比特量化和模型稀疏同時(shí)從數(shù)值和結(jié)構(gòu)兩個(gè)維度對(duì)模型的冗余信息進(jìn)行精簡(jiǎn)，協(xié)同優(yōu)化計(jì)算進(jìn)一步提高壓縮率，如騰訊混元大模型通過太極平臺(tái)壓縮和分布式推理，使資源設(shè)備占用減少40%。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)人工智能終端應(yīng)用爆發(fā)正逐步改變AI應(yīng)用的格局。隨著CV類、NLP類、多模態(tài)類型模型的能力提升，各個(gè)領(lǐng)域的AI應(yīng)用模式將變得更加豐富多樣。從高并發(fā)高吞吐要求的集中推理，到低延遲的邊緣推理，再到極致壓縮的終端推理，推理設(shè)備形態(tài)將會(huì)持續(xù)迭代演進(jìn)。針對(duì)不同推理設(shè)備的性能規(guī)格和指標(biāo)要求，應(yīng)用結(jié)果也會(huì)隨之發(fā)生變化，相同的推理服務(wù)在不同應(yīng)用場(chǎng)景下往往有著不同壓縮算法的選擇或不同平臺(tái)模型遷移調(diào)優(yōu)的方式。例如騰訊的“紫霄”推理芯片通過在內(nèi)部增加計(jì)算機(jī)視覺CV加速器和視頻編解碼加速器等措施，加強(qiáng)了邊緣計(jì)算推理能力。(三)場(chǎng)景應(yīng)用類服務(wù)場(chǎng)景應(yīng)用類服務(wù)作為智算中心服務(wù)體系的重要組成部分，目的是將智算中心強(qiáng)大的計(jì)算能力與行業(yè)實(shí)際需求相結(jié)合，為用戶提供定制化、高效能的解決方案，具有“完善生態(tài)建設(shè)，輔助業(yè)務(wù)拓展”的特點(diǎn)。通過應(yīng)用方案規(guī)劃、應(yīng)用工具集成與業(yè)務(wù)輔助運(yùn)營(yíng)服務(wù)將大模型能力應(yīng)用到各行業(yè)的實(shí)際應(yīng)用場(chǎng)景中。不僅可提升業(yè)務(wù)處理的效率和準(zhǔn)確性，還為企業(yè)帶來了新的商業(yè)模式和競(jìng)爭(zhēng)優(yōu)勢(shì)。1.應(yīng)用方案規(guī)劃應(yīng)用方案規(guī)劃服務(wù)是技術(shù)賦能行業(yè)的基礎(chǔ)，其核心在于確保技術(shù)解決方案與客戶業(yè)務(wù)需求的緊密結(jié)合。服務(wù)分為方案評(píng)估與方案設(shè)計(jì)兩個(gè)階段，其關(guān)鍵在于對(duì)應(yīng)用場(chǎng)景進(jìn)行全面而深入的分析，需要豐富的行業(yè)經(jīng)驗(yàn)與技術(shù)積累，對(duì)市場(chǎng)環(huán)境、業(yè)務(wù)需求、技術(shù)限制和潛在風(fēng)險(xiǎn)進(jìn)行充分的評(píng)估，為后續(xù)設(shè)計(jì)提供堅(jiān)實(shí)的數(shù)據(jù)支持和決策基礎(chǔ)。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)在方案評(píng)估階段，要考慮行業(yè)應(yīng)用的有效性、信息準(zhǔn)確性與技術(shù)前瞻性。方案評(píng)估階段需要采取一系列嚴(yán)謹(jǐn)?shù)牟襟E以確保解決方案的精準(zhǔn)性和實(shí)用性。過程包括對(duì)現(xiàn)有技術(shù)基礎(chǔ)、資源配置、業(yè)務(wù)流程和用戶需求進(jìn)行詳盡調(diào)研，對(duì)業(yè)務(wù)環(huán)境、需求和目標(biāo)進(jìn)行深入分析以及對(duì)市場(chǎng)趨勢(shì)、競(jìng)爭(zhēng)格局、技術(shù)限制和潛在風(fēng)險(xiǎn)進(jìn)行全面評(píng)估。如智慧醫(yī)療系統(tǒng)方案評(píng)估流程首先要收集醫(yī)生、護(hù)士、患者等不同群體的需求，分析醫(yī)療流程中的痛點(diǎn)，對(duì)醫(yī)療領(lǐng)域的技術(shù)發(fā)展和相關(guān)的法規(guī)要求進(jìn)行調(diào)研，確保方案合規(guī)性；同時(shí)還要考慮到醫(yī)療數(shù)據(jù)安全與患者隱私保護(hù)的等潛在風(fēng)險(xiǎn)問題。方案評(píng)估的目的是確保所提出的方案既符合實(shí)際業(yè)務(wù)需求，又具有前瞻性和創(chuàng)新性，以為后續(xù)的方案設(shè)計(jì)提供基礎(chǔ)。在方案設(shè)計(jì)階段，要注重方案的技術(shù)創(chuàng)新性、場(chǎng)景實(shí)用性與業(yè)務(wù)靈活性。方案設(shè)計(jì)是將前期洞察分析轉(zhuǎn)化為具體技術(shù)方案的階段，需要制定具體的系統(tǒng)架構(gòu)，明確資源需求、支撐工具、技術(shù)選型、功能模塊并設(shè)定性能指標(biāo)，需要考慮系統(tǒng)的可擴(kuò)展性、兼容性、安全性以及用戶交互體驗(yàn)等特性。此外，根據(jù)不同業(yè)務(wù)場(chǎng)景，設(shè)計(jì)階段還涉及到制定實(shí)施路線圖、資源分配計(jì)劃和風(fēng)險(xiǎn)管理策略，以確保方案的順利實(shí)施和持續(xù)優(yōu)化。該過程要求服務(wù)商具備高度的專業(yè)素養(yǎng)和豐富的技術(shù)積累以及創(chuàng)新思維，以打造既實(shí)用又高效的技術(shù)解決方案。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)2.工具開發(fā)集成應(yīng)用工具集成是指面向場(chǎng)景應(yīng)用，通過結(jié)合應(yīng)用環(huán)境集成多樣化智能應(yīng)用工具，提供用戶友好的操作平臺(tái)，構(gòu)建穩(wěn)定、有效、可擴(kuò)展的智能模型應(yīng)用生態(tài)。應(yīng)用工具集成服務(wù)構(gòu)建AI技術(shù)生態(tài)系統(tǒng)時(shí)，需要考慮應(yīng)用場(chǎng)景環(huán)境的可用性與擴(kuò)展性。根據(jù)應(yīng)用場(chǎng)景與任務(wù)的不同，模型的部署條件也有所區(qū)分，需要結(jié)合應(yīng)用場(chǎng)景的部署環(huán)境選擇相應(yīng)工具。如集中性應(yīng)用場(chǎng)景算力資源豐富，需要集成高效的數(shù)據(jù)處理與平臺(tái)類工具；邊端側(cè)應(yīng)用算力資源有限，需要通過靈活部署來集成更多任務(wù)輔助插件。同時(shí)，為充分利用大模型技術(shù)的泛化性特點(diǎn)，在進(jìn)行行業(yè)應(yīng)用時(shí)需要通過工具集成增加模型的擴(kuò)展性。如集成數(shù)據(jù)分析、繪圖、地理信息平臺(tái)、知識(shí)庫(kù)等應(yīng)用工具，或針對(duì)特定任務(wù)開發(fā)如紅外圖像識(shí)別、雷達(dá)影像識(shí)別等傳統(tǒng)深度學(xué)習(xí)模型，使模型適應(yīng)復(fù)雜的任務(wù)場(chǎng)景。應(yīng)用工具集成服務(wù)可根據(jù)場(chǎng)景需求進(jìn)行一體化開發(fā)集成，有助于降低用戶使用成本。在實(shí)際行業(yè)應(yīng)用場(chǎng)景中，友好的用戶界面和簡(jiǎn)化的操作流程對(duì)于用戶體驗(yàn)以及平臺(tái)推廣至關(guān)重要。如融科聯(lián)創(chuàng)的RoycomONE智算一體機(jī)可以為用戶提供AI大模型訓(xùn)推任務(wù)管理、系統(tǒng)資源管理、監(jiān)控運(yùn)維等服務(wù)一體化解決方案；南京云創(chuàng)大數(shù)據(jù)的cGPT大模型訓(xùn)練推理一體機(jī)可幫助用戶通過簡(jiǎn)單的操作，自主完成模型創(chuàng)建、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型測(cè)試、模型部署等全流程業(yè)務(wù)；華為的從容大模型訓(xùn)推一體機(jī)基于大模型技術(shù)，預(yù)置大模型訓(xùn)練推理一體化平臺(tái)和模型服務(wù)應(yīng)用。采用自主創(chuàng)新硬件，支持對(duì)不同參數(shù)量中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)的大模型微調(diào)優(yōu)化和推理部署驗(yàn)證，降低了用戶技術(shù)門檻。一體化服務(wù)為客戶提供了更全面的解決方案和更廣泛的應(yīng)用場(chǎng)景。典型行業(yè)知識(shí)庫(kù)應(yīng)用流程如圖8所示。向量存儲(chǔ)庫(kù)提示模板大模型3.業(yè)務(wù)輔助運(yùn)營(yíng)業(yè)務(wù)輔助運(yùn)營(yíng)服務(wù)通過持續(xù)的運(yùn)營(yíng)支持和優(yōu)化手段，能有效實(shí)現(xiàn)用戶高效、穩(wěn)定和優(yōu)化的運(yùn)營(yíng)。業(yè)務(wù)輔助運(yùn)營(yíng)服務(wù)專注于優(yōu)化運(yùn)營(yíng)流程、提高業(yè)務(wù)效率和系統(tǒng)穩(wěn)定性，通過技術(shù)保障和運(yùn)營(yíng)優(yōu)化等服務(wù)，幫助用戶適應(yīng)市場(chǎng)變化，自動(dòng)化業(yè)務(wù)流程，提高決策質(zhì)量，從而增強(qiáng)了用戶競(jìng)爭(zhēng)力?；緲I(yè)務(wù)輔助運(yùn)營(yíng)服務(wù)主要包括用戶培訓(xùn)、優(yōu)化工作流程、定制化開發(fā)等服務(wù)內(nèi)容。為應(yīng)對(duì)業(yè)務(wù)場(chǎng)景變化帶來的潛在應(yīng)用風(fēng)險(xiǎn)，業(yè)務(wù)輔助運(yùn)營(yíng)還可以提供包含運(yùn)營(yíng)優(yōu)化建議、關(guān)鍵性能指標(biāo)分中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)析的業(yè)務(wù)報(bào)告，并建立應(yīng)急響應(yīng)機(jī)制等服務(wù)，幫助用戶全面了解業(yè)務(wù)狀況，優(yōu)化業(yè)務(wù)流程，減少人工干預(yù)，提高工作效率。規(guī)劃建設(shè)一體化，軟硬件融合集約高效。在規(guī)劃初期，通過制定詳細(xì)的規(guī)劃報(bào)告，明確智算中心的功能定位和目標(biāo)。通過采用更為統(tǒng)一協(xié)調(diào)的標(biāo)準(zhǔn)化技術(shù)規(guī)范，增強(qiáng)不同廠商產(chǎn)品間的兼容性和互操作性。通過將底層軟硬件資源抽象分割，構(gòu)建統(tǒng)一的管理平臺(tái)，使用虛擬化技術(shù)或池化技術(shù)實(shí)現(xiàn)資源的動(dòng)態(tài)分配和高效利用。根據(jù)實(shí)際需求、預(yù)算以及業(yè)務(wù)特點(diǎn)進(jìn)行綜合考慮，選擇不同類型算力設(shè)備進(jìn)行配置，并預(yù)留未來發(fā)展的彈性規(guī)模。在硬件、軟件和網(wǎng)絡(luò)的多重層面進(jìn)行冗余配置、聯(lián)合調(diào)優(yōu)，提高系統(tǒng)的可靠性和數(shù)據(jù)的安全性，確保業(yè)務(wù)的高效運(yùn)行和可持續(xù)性。在保證系統(tǒng)穩(wěn)定的前提下，逐步提高資源利用效率。模型訓(xùn)練高效化，遷移微調(diào)自動(dòng)優(yōu)化。智算中心通過使用更高效的技術(shù)手段，提供數(shù)據(jù)管理、模型選型、模型訓(xùn)練、增訓(xùn)調(diào)優(yōu)等人工通用智能應(yīng)用服務(wù)；采用多種算子遷移適配、算子調(diào)優(yōu)能力和工具鏈，高效開發(fā)匹配應(yīng)用需求的解決模型，支持如Qwen、盤古、文心ERNIE、GLM、Llama等多種大模型的遷移適配。采用更加完善的訓(xùn)練框架，聚焦于多種硬件兼容、跨平臺(tái)支持等方面不斷優(yōu)化，簡(jiǎn)化用戶在開發(fā)過程中的操作復(fù)雜性，實(shí)現(xiàn)國(guó)產(chǎn)化硬件下模型在預(yù)訓(xùn)練、微調(diào)、推理下的價(jià)值觀對(duì)齊(Alignwithhuman)和參數(shù)的自動(dòng)優(yōu)化。智算中心還可以通過與具有算法、算力和數(shù)據(jù)綜中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)合優(yōu)勢(shì)的企業(yè)合作，將模型進(jìn)行標(biāo)準(zhǔn)化生產(chǎn)，然后由應(yīng)用企業(yè)根據(jù)自身需求進(jìn)行定制化調(diào)整，構(gòu)建高效的生產(chǎn)平臺(tái)和靈活的應(yīng)用機(jī)制，從而推動(dòng)大模型技術(shù)在各行業(yè)的廣泛應(yīng)用和深度落地。模型應(yīng)用普適化，賦能行業(yè)創(chuàng)新發(fā)展。智算中心應(yīng)遵循開放硬件和開源軟件的原則，以標(biāo)準(zhǔn)化、集約化的方式推進(jìn)建設(shè)，從而降低使用門檻與增大適用范圍?；谕ㄓ谩?biāo)準(zhǔn)化規(guī)范構(gòu)建的模型可靈活適應(yīng)外界需求，從而無縫地融入各個(gè)領(lǐng)域，加速各行業(yè)的智能化進(jìn)程。依托超大規(guī)模的計(jì)算能力，智算中心可以構(gòu)建并提供預(yù)訓(xùn)練的大模型。這些大模型可以廣泛應(yīng)用于多個(gè)領(lǐng)域，提供一種構(gòu)造訓(xùn)練和應(yīng)用的方法，只需結(jié)合特定領(lǐng)域的數(shù)據(jù)進(jìn)行調(diào)整和增量學(xué)習(xí)，即可形成具有高精度和性能的應(yīng)用，提供從數(shù)據(jù)采集、標(biāo)注、模型訓(xùn)練、精調(diào)到知識(shí)庫(kù)、編譯優(yōu)化及推理部署等全棧工作流的支持。這種端到端的解決方案能夠?yàn)橛脩籼峁?qiáng)大的模型能力和運(yùn)行引擎，使得AI應(yīng)用更加便捷和高效。運(yùn)維保障智能化，業(yè)務(wù)運(yùn)行穩(wěn)定可靠。通過集成人工智能、大數(shù)據(jù)等新一代信息技術(shù)，運(yùn)維平臺(tái)可海量運(yùn)維數(shù)據(jù)中提取有價(jià)值的信息，并生成相應(yīng)的業(yè)務(wù)運(yùn)維與管理措施，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用的高效、智能化管理。通過自動(dòng)化運(yùn)維工具，智算中心可以實(shí)現(xiàn)精細(xì)化采集、可視化監(jiān)控和自動(dòng)化變更等功能，快速定位和修復(fù)網(wǎng)絡(luò)故障或性能事件，預(yù)測(cè)并預(yù)防潛在問題，從而提高系統(tǒng)的穩(wěn)定性和可靠性。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)四、智算中心行業(yè)應(yīng)用場(chǎng)景1.醫(yī)療行業(yè)在醫(yī)療行業(yè)中，智算中心通過高效的算力支持，不僅優(yōu)化了醫(yī)療服務(wù)流程，提升了診斷準(zhǔn)確性和工作效率，還為患者帶來了更高質(zhì)量的醫(yī)療體驗(yàn)。如在遠(yuǎn)程醫(yī)療領(lǐng)域的應(yīng)用徹底革新了醫(yī)療服務(wù)模式，使得醫(yī)療服務(wù)更加高效、便捷和個(gè)性化。從飛利浦的eICU解決方案到衛(wèi)寧健康的云醫(yī)院服務(wù)，這些企業(yè)利用智算中心提供了一系列創(chuàng)新的遠(yuǎn)程醫(yī)療產(chǎn)品和服務(wù)。在遠(yuǎn)程醫(yī)療服務(wù)方面，智算中心通過強(qiáng)大的計(jì)算能力和網(wǎng)絡(luò)優(yōu)化技術(shù)，確保遠(yuǎn)程醫(yī)療中的高清音視頻能夠穩(wěn)定、實(shí)時(shí)傳輸。遠(yuǎn)程醫(yī)療服務(wù)不僅打破了地域限制，讓優(yōu)質(zhì)醫(yī)療資源得以更廣泛的共享，還大大提高了醫(yī)療服務(wù)的可及性和便捷性。患者可以通過遠(yuǎn)程就醫(yī)系統(tǒng)得到醫(yī)生的診療建議，甚至可實(shí)現(xiàn)跨地區(qū)的遠(yuǎn)程手術(shù)。這種服務(wù)模式極大地減少了交叉感染的風(fēng)險(xiǎn)，同時(shí)也為患者提供了便利。例如，衛(wèi)寧健康通過構(gòu)建在云平臺(tái)上的電子病歷系統(tǒng)和遠(yuǎn)程診斷工具，提高了醫(yī)療服務(wù)的靈活性與可及性。在醫(yī)學(xué)影像處理與分析領(lǐng)域，智算中心的高性能計(jì)算能力使得復(fù)雜的圖像處理和分析任務(wù)得以快速完成。通過使用人工智能、大數(shù)據(jù)等新一代信息技術(shù)，醫(yī)學(xué)影像解讀的準(zhǔn)確性得到了顯著提升，為醫(yī)生的診斷提供了有力支持。此外，智算中心還支持多種高級(jí)圖像處理功能，如三維重建和血管分析，這些功能為醫(yī)生提供了更為直觀和全面的診斷依據(jù)。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)2.工業(yè)行業(yè)中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)設(shè)備運(yùn)行情況，避免設(shè)備故障，提高生產(chǎn)效率和質(zhì)量。在工業(yè)制造流程優(yōu)化方面，智算中心可對(duì)制造流程進(jìn)行實(shí)時(shí)檢測(cè)與分析，優(yōu)化生產(chǎn)和資源配置。智算中心通過對(duì)歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)的高效處理和分析，提供從預(yù)測(cè)性維護(hù)、質(zhì)量控制到供應(yīng)鏈優(yōu)化等一系列智能化服務(wù)。通過簡(jiǎn)化生產(chǎn)步驟和資源分配，實(shí)現(xiàn)個(gè)性化定制和工藝流程改進(jìn)，同時(shí)通過能源管理和系統(tǒng)集成提升整個(gè)制造系統(tǒng)的智能化水平，助力企業(yè)提高生產(chǎn)效率、降低成本，并增強(qiáng)產(chǎn)品的市場(chǎng)競(jìng)在供應(yīng)鏈優(yōu)化與市場(chǎng)分析方面，智算中心通過實(shí)時(shí)的數(shù)據(jù)分析助力制造企業(yè)優(yōu)化供應(yīng)鏈，提升響應(yīng)速度和市場(chǎng)洞察力。智算中心通過實(shí)時(shí)收集和分析供應(yīng)鏈數(shù)據(jù)，輔助制造企業(yè)實(shí)現(xiàn)庫(kù)存優(yōu)化、物流跟蹤和需求預(yù)測(cè)等功能，從而提高供應(yīng)鏈的響應(yīng)速度和靈活性。同時(shí)，利用智算中心的大數(shù)據(jù)分析能力，制造企業(yè)可以更深入地了解市場(chǎng)需求，為產(chǎn)品定位和市場(chǎng)營(yíng)銷策略提供依據(jù)。3.金融行業(yè)在金融行業(yè)，智算中心通過其強(qiáng)大的計(jì)算能力和數(shù)據(jù)處理功能，為金融機(jī)構(gòu)提供數(shù)據(jù)分析、證券交易、風(fēng)險(xiǎn)管理、合規(guī)監(jiān)控等多方面支持。這種支持不僅體現(xiàn)在傳統(tǒng)的金融業(yè)務(wù)處理上，更在風(fēng)險(xiǎn)管理、投資策略以及金融服務(wù)創(chuàng)新等多個(gè)方面展現(xiàn)出其獨(dú)特的價(jià)值。金融機(jī)構(gòu)依賴智算中心的先進(jìn)技術(shù)來提高業(yè)務(wù)效率、保障交易安全、滿足監(jiān)管要求，并為客戶提供高質(zhì)量的服務(wù)。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)在市場(chǎng)分析與金融交易方面，智算中心的高速計(jì)算能力使得金融機(jī)構(gòu)在高頻交易時(shí)能夠?qū)崟r(shí)分析市場(chǎng)動(dòng)態(tài)和交易數(shù)據(jù)。高頻交易要求快速響應(yīng)市場(chǎng)變化，準(zhǔn)確捕捉交易機(jī)會(huì)，智算中心通過集成數(shù)據(jù)處理與數(shù)據(jù)分析模型，能夠在極短的時(shí)間內(nèi)完成市場(chǎng)分析，為交易者提供及時(shí)、準(zhǔn)確的決策依據(jù)，從而提高交易的效率和盈利能力。如高盛集團(tuán)利用智算中心支持的全球交易網(wǎng)絡(luò)與低延遲交易系統(tǒng)，實(shí)現(xiàn)跨地區(qū)的股票、債券、外匯和商品交易，達(dá)到毫秒級(jí)的交易執(zhí)行。在金融風(fēng)險(xiǎn)管理方面，智算中心的復(fù)雜計(jì)算能力有效支撐金融機(jī)構(gòu)的數(shù)據(jù)分析和模型計(jì)算等任務(wù)。通過集成風(fēng)控算法，結(jié)合歷史數(shù)據(jù)和模擬場(chǎng)景，智算中心服務(wù)可為金融機(jī)構(gòu)提供信貸風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)等風(fēng)險(xiǎn)的評(píng)估，在風(fēng)險(xiǎn)事件發(fā)生前預(yù)警，給出相應(yīng)的應(yīng)對(duì)策略，減少潛在的損失。如中國(guó)工商銀行利用智算中心的萬卡池算力資源，開發(fā)千億級(jí)AI大模型，打造智慧化風(fēng)險(xiǎn)管理大數(shù)據(jù)應(yīng)用生態(tài)鏈，推動(dòng)風(fēng)險(xiǎn)管理從“事后分析”向“事前甄別”和“事中干預(yù)”轉(zhuǎn)變。在投資策略制定與服務(wù)方面，智算中心為量化金融和算法交易提供技術(shù)支持，實(shí)現(xiàn)快速?zèng)Q策和服務(wù)優(yōu)化。量化金融和算法交易依賴于大量的數(shù)據(jù)分析和高速的計(jì)算能力與推理能力，智算中心通過構(gòu)建金融大模型可為交易策略提供強(qiáng)大的技術(shù)支持，使得投資者能夠更準(zhǔn)確地把握市場(chǎng)趨勢(shì)，發(fā)現(xiàn)投資機(jī)會(huì)。智算中心為金融機(jī)構(gòu)提供了豐富的技術(shù)資源和創(chuàng)新平臺(tái)，支持其開發(fā)新型的金融產(chǎn)品和服務(wù)。例如，基于機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析的智能投顧系統(tǒng)，能夠?yàn)橥顿Y者提供個(gè)性化的投資建議和資產(chǎn)配置方案。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)4.教育行業(yè)在教育行業(yè)，智算中心服務(wù)可為教育機(jī)構(gòu)提供從教學(xué)資源管理到個(gè)性化學(xué)習(xí)路徑規(guī)劃的多方面支持，在教育質(zhì)量提升、學(xué)生能力發(fā)展以及教育模式創(chuàng)新等多個(gè)方面展現(xiàn)出其獨(dú)特的價(jià)值。教育機(jī)構(gòu)可利用智算中心的先進(jìn)技術(shù)來提高教學(xué)效率、優(yōu)化學(xué)習(xí)體驗(yàn)、滿足教育評(píng)估標(biāo)準(zhǔn)，并為師生提供高質(zhì)量的教育服務(wù)。在教學(xué)資源開發(fā)與個(gè)性化教學(xué)方面，智算中心的智能分析能力使得教育機(jī)構(gòu)能夠根據(jù)學(xué)生的學(xué)習(xí)行為和成績(jī)數(shù)據(jù)，實(shí)時(shí)調(diào)整教學(xué)內(nèi)容和方法。通過運(yùn)用高級(jí)的統(tǒng)計(jì)模型和算法，結(jié)合學(xué)生的學(xué)習(xí)數(shù)據(jù)和行為特征，幫助教育單位更精確地評(píng)估學(xué)生認(rèn)知能力、創(chuàng)造力等學(xué)習(xí)效果，并提供相應(yīng)的教學(xué)改進(jìn)策略，有助于保障教育質(zhì)量的持續(xù)提升，還能在教學(xué)過程中提供實(shí)時(shí)反饋，促進(jìn)學(xué)生全面發(fā)展。在科學(xué)發(fā)現(xiàn)和技術(shù)創(chuàng)新方面。智算中心在高校數(shù)字化轉(zhuǎn)型中發(fā)揮了重要作用，提升了高校在科學(xué)數(shù)據(jù)分析、應(yīng)用成果轉(zhuǎn)化等方面的綜合實(shí)力。智算中心通過提供強(qiáng)大的計(jì)算資源和數(shù)據(jù)處理能力，支持了高校在多個(gè)領(lǐng)域的科研工作，包括生物信息學(xué)、氣候研究、金融分析和材料科學(xué)等領(lǐng)域。充足的算力資源加快了科學(xué)發(fā)現(xiàn)和技術(shù)創(chuàng)新進(jìn)程，推動(dòng)科研成果向?qū)嶋H應(yīng)用的轉(zhuǎn)化。上海人工智能實(shí)驗(yàn)室(上海AI實(shí)驗(yàn)室)的“浦科化學(xué)”(ChemLLM)旨在拓展大模型助力科學(xué)研究的探索路徑，可為化學(xué)研究提供智能化輔助，如化學(xué)合成路徑規(guī)劃、化學(xué)反應(yīng)條件優(yōu)化、實(shí)驗(yàn)結(jié)果自動(dòng)化分析等，提升科學(xué)研究的效率和質(zhì)量。中國(guó)智算中心服務(wù)發(fā)展報(bào)告2024中國(guó)算力大會(huì)5.交通行業(yè)在交通行業(yè)，智算中心服務(wù)可提供從交通流量監(jiān)控到智能交通系統(tǒng)部署等多方面技術(shù)支持。政府部門或相關(guān)企業(yè)可通過智算中心提供的數(shù)據(jù)信息與算力資源，有效提升交通運(yùn)行的流暢度與交通安全管理水平。改善乘客的出行體驗(yàn)，向公眾提供高效、安全、可靠的交通服務(wù)。如中國(guó)電信四川公司針對(duì)農(nóng)村道路交通安全問題，建立了智慧交通安全治