工商銀行云數(shù)智融合算力技術(shù)及應(yīng)用白皮書 2024

工商銀行云數(shù)智融合算力技術(shù)及應(yīng)用中國(guó)?商銀?軟件開發(fā)中?摘編或利?其它?式使?本??書?字或者觀點(diǎn)的，應(yīng)注明“來源:中國(guó)?商銀?軟件開發(fā)中?”。違反上述聲明者，我們將追究其相關(guān)法律責(zé)任。第?章概述 第?章云算?體系建設(shè)情況 4第三章云數(shù)智融合情況介紹 第四章總結(jié)與展望 1算?競(jìng)爭(zhēng)已經(jīng)成為世界主要?國(guó)的戰(zhàn)略選擇。2022年8?，美國(guó)正式礎(chǔ)設(shè)施?平和創(chuàng)新能?。歐盟也在《2023-2024年數(shù)字歐洲?作計(jì)劃》中也強(qiáng)調(diào)了增強(qiáng)數(shù)據(jù)與計(jì)算能?的重要性。根據(jù)我國(guó)信通院發(fā)布的《中國(guó)算???書（2023）》，算?規(guī)模排名前五的分別為美國(guó)、中國(guó)、?本、德國(guó)和英國(guó)，全球算?的復(fù)合年增?率更是?達(dá)40%以上。我國(guó)在2024年兩會(huì)政府?作報(bào)告中提出，適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施，加快形成全國(guó)?體化算?體系。為此，?業(yè)和信息部、國(guó)家衛(wèi)?健康委、中國(guó)??銀?、國(guó)務(wù)院國(guó)資委等6部?聯(lián)合印發(fā)《算?基礎(chǔ)設(shè)施?質(zhì)量發(fā)展?動(dòng)計(jì)劃》，強(qiáng)調(diào)算?基礎(chǔ)設(shè)施作為新型信息基礎(chǔ)設(shè)對(duì)于助推產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、賦能科技創(chuàng)新進(jìn)步、滿???美好?活需要和實(shí)現(xiàn)2社會(huì)?效能治理具有?關(guān)重要的作?。中國(guó)??銀?也印發(fā)《?融科技發(fā)展安全泛在的?融?絡(luò)，布局先進(jìn)?效的算?體系，進(jìn)?步夯實(shí)?融創(chuàng)新發(fā)展的數(shù)字底座”，作為規(guī)劃重點(diǎn)任務(wù)。根據(jù)信通院《中國(guó)算???書》，截?2023年底，我國(guó)算?總規(guī)模達(dá)到230EFlops1，全國(guó)各地紛紛發(fā)布算?布局?案匹配?業(yè)發(fā)展需求，算?加速向各領(lǐng)域滲透。根據(jù)2023中國(guó)算??會(huì)發(fā)布的《中國(guó)綜合算?指數(shù)》，算?規(guī)模分布絕?部分位于“東數(shù)西算”的??樞紐內(nèi)，?線城市周邊地區(qū)領(lǐng)規(guī)模位于全國(guó)前列，?線城市及周邊省市具有國(guó)際競(jìng)爭(zhēng)?的數(shù)字應(yīng)?集群、?闊的應(yīng)?空間和龐?的市場(chǎng)需求，算?發(fā)展具有明顯優(yōu)勢(shì)，中西部地區(qū)在國(guó)家戰(zhàn)略下正在加快追趕速度，不斷提升算?規(guī)模。3?前云技術(shù)體系還在發(fā)展過程中，?商銀?在實(shí)踐過程中做了很多的嘗試和探索，采?私有云模式進(jìn)?算?供給，并將算?從應(yīng)?場(chǎng)景視?進(jìn)?步分為聯(lián)機(jī)算?、?數(shù)據(jù)算?、??智能算?，其中：彈性需求，包含個(gè)?、互聯(lián)??融、零售、對(duì)公、信貸等銀?核?系統(tǒng)的實(shí)時(shí)業(yè)務(wù)處理場(chǎng)景。?數(shù)據(jù)算?對(duì)于時(shí)延容忍度相對(duì)較?，采持處理超?規(guī)模數(shù)據(jù)集，?前隨著數(shù)字化轉(zhuǎn)型的加速，數(shù)據(jù)資源池集中度的提升，資源池內(nèi)不同租?間的彈性調(diào)配能?變得尤為重要，這不僅保證了算?資源的?效利?，?且確保了在?對(duì)多變的數(shù)據(jù)處理需求時(shí)，能夠靈活響應(yīng)，從??撐起數(shù)字化轉(zhuǎn)型的?潮。并?計(jì)算能?構(gòu)成了??智能模型訓(xùn)練的根本需求。這涉及到對(duì)多GPU卡的調(diào)度以及它們之間的協(xié)同?作，有時(shí)甚?需要擴(kuò)展到多機(jī)集群的層?。為了實(shí)現(xiàn)這??標(biāo)，必須要有?速的卡間通信帶寬，以及能夠連接集群內(nèi)各個(gè)AI服務(wù)器的快速?絡(luò)。4前期?商銀?的各類算?按獨(dú)?資源池部署，各類型負(fù)載以煙囪式部署在各資源域，CPU聯(lián)機(jī)算?和GPU智能算?整體使?率低，??數(shù)據(jù)算?算?資源則出現(xiàn)明顯缺?，難以滿??峰期業(yè)務(wù)分析時(shí)效性要求，算?資源分配極不均衡，綜合資源利?率相對(duì)較低，?形中浪費(fèi)了?量算?。為了進(jìn)?步節(jié)約算?，提升算?資源使?率，?商銀?積極探索，以云數(shù)智融合理念打破算?資源池邊界，初步建設(shè)了云數(shù)智融合算?體系，通過資源混部、柔性調(diào)度，異構(gòu)算??體化調(diào)度等能?，有效實(shí)現(xiàn)存量算?潛能釋放，提升算?資源使?效能。5?商銀?在建設(shè)了聯(lián)機(jī)、?數(shù)據(jù)、??智能算??撐基礎(chǔ)上實(shí)現(xiàn)“云數(shù)智融合”，按照“資源池化、協(xié)同調(diào)度、精細(xì)運(yùn)營(yíng)、專項(xiàng)治理”的原則，圍繞算?整體利?率提升?標(biāo)，建設(shè)?效、靈活、精細(xì)異構(gòu)算?融合調(diào)度體系，充分發(fā)揮聯(lián)機(jī)、?數(shù)據(jù)、智能算?對(duì)各類負(fù)載的?撐作?算?運(yùn)營(yíng)機(jī)制，持續(xù)提升算?使?效能。為了提?服務(wù)器資源利?率，同時(shí)滿?在線業(yè)務(wù)和離線業(yè)務(wù)的負(fù)載需求，混合部署已成為?種常?的策略?；旌喜渴鸬年P(guān)鍵在于平衡在線業(yè)務(wù)和離線業(yè)務(wù)的需求，以實(shí)現(xiàn)資源的最?化利?，在實(shí)現(xiàn)混合部署過程中同步強(qiáng)化了以下能?建設(shè)，確保資源使?效率提升的同時(shí)業(yè)務(wù)的穩(wěn)定性運(yùn)?。1.負(fù)載特性分析：?先需要對(duì)在線業(yè)務(wù)和離線業(yè)務(wù)的負(fù)載特性進(jìn)?分析，了解它們的資源需求和?峰低?時(shí)段。這樣可以確保在線業(yè)務(wù)和離線業(yè)務(wù)在混合部署時(shí)能夠?qū)崿F(xiàn)資源互補(bǔ)，避免資源爭(zhēng)搶；源隔離技術(shù)將在線業(yè)務(wù)和離線業(yè)務(wù)部署進(jìn)?資源使?優(yōu)先級(jí)策略，實(shí)施底層的隔離控制；3.?擾檢測(cè)與防護(hù)：在混合部署環(huán)境下，需要對(duì)離線業(yè)務(wù)產(chǎn)?的?擾進(jìn)即采取資源調(diào)整、優(yōu)先級(jí)調(diào)整等措施，保障在線業(yè)務(wù)的服務(wù)質(zhì)量。4.動(dòng)態(tài)調(diào)整策略：由于在線業(yè)務(wù)和離線業(yè)務(wù)的負(fù)載需求會(huì)隨著時(shí)間和業(yè)務(wù)需求的變化?波動(dòng)，因此需要制定動(dòng)態(tài)調(diào)整策略，根據(jù)實(shí)際情況對(duì)在線業(yè)務(wù)和離線業(yè)務(wù)的資源分配進(jìn)?調(diào)整。5.監(jiān)控與優(yōu)化：在混合部署環(huán)境下，需要加強(qiáng)對(duì)在線業(yè)務(wù)和離線業(yè)務(wù)的監(jiān)控，實(shí)時(shí)了解它們的運(yùn)?狀態(tài)和資源使?情況。通過收集和分析監(jiān)控?cái)?shù)據(jù)，可以不斷優(yōu)化混合部署策略，提?服務(wù)器資源利?率和服務(wù)質(zhì)量。實(shí)現(xiàn)智算資源池化調(diào)度提升，基于GPU共享、資源隔離調(diào)度技術(shù)，優(yōu)化k8s實(shí)現(xiàn)GPU虛擬化，?持更細(xì)粒度的算?資源調(diào)度，并同步優(yōu)化數(shù)據(jù)傳輸帶來的瓶頸問題，縮短訪問時(shí)間提升處理效率。1.智能計(jì)算資源池化調(diào)度：本研究針對(duì)原?Kubernetes（k8s）在GPU資源調(diào)度??的局限性，提出了?種基于GPU共享與資源隔離調(diào)度技術(shù)的解決?案，保持了調(diào)度的?效性的同時(shí)確保了資源的合理分配與最?化利2.AI存儲(chǔ)加速引擎研究：在云原?場(chǎng)景下，為提升智算應(yīng)?在處理數(shù)據(jù)集、鏡像、模型等?型數(shù)據(jù)?件時(shí)的訪問速度，采?了基于Fluid數(shù)據(jù)編排、分布式緩存加速及點(diǎn)對(duì)點(diǎn)（p2p）技術(shù)，縮短了數(shù)據(jù)訪問時(shí)間提升了處3.智算彈性資源池構(gòu)建：通過資源動(dòng)態(tài)調(diào)整與彈性伸縮技術(shù)，?持了資源的靈活配置，有效減少了資源配置不合理所導(dǎo)致的資源浪費(fèi)，確保了資源的?效使?。4.智算資源可觀測(cè)視圖建設(shè)：構(gòu)建了統(tǒng)?的監(jiān)控視圖，對(duì)GPU算?等異構(gòu)資源進(jìn)?綜合監(jiān)控，并提供資源冗余情況的統(tǒng)計(jì)分析。(三)融合調(diào)度?前已完善混部資源管理、混部調(diào)度框架、混部服務(wù)質(zhì)量保障體系的常態(tài)化混部核?技術(shù)能?建設(shè)；構(gòu)建針對(duì)??智能算?核?資源GPU的智算基礎(chǔ)設(shè)施集約管理能?，實(shí)現(xiàn)智算資源的快速?gòu)椥院?效使?；???涵蓋CPU、GPU算?的統(tǒng)?管理能?。9?前，?商銀?在云計(jì)算與?數(shù)據(jù)、智能融合的算?管理領(lǐng)域已取得初劃并實(shí)施“集團(tuán)?體化”的算?基礎(chǔ)設(shè)施建設(shè)。升混部能?建設(shè)，逐步推進(jìn)?規(guī)模常態(tài)化混部，提升服務(wù)器資源利?率并優(yōu)化數(shù)字基礎(chǔ)設(shè)施。?數(shù)據(jù)算?向存算分離技術(shù)架構(gòu)演進(jìn)，?持在維持?jǐn)?shù)據(jù)全局共享的前新技術(shù)能?的灰度引?與快速迭代，化解超?規(guī)模單集群的?險(xiǎn)，持續(xù)提升平臺(tái)的