算力網(wǎng)絡 算力度量與算力建模技術(shù)要求

1算力網(wǎng)絡算力度量與算力建模技術(shù)要求本文件規(guī)定了面向算力網(wǎng)絡的算網(wǎng)融合發(fā)展背景下，算力度量與算力建模機制的需求和總體架構(gòu)，包括算力資源模型、服務能力模型、算力度量機制、算力測試與評價等相關技術(shù)要求。本文件適用于具有算力網(wǎng)絡服務能力的網(wǎng)絡節(jié)點及服務節(jié)點的研發(fā)和測試。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。YD/T4255-2023算力網(wǎng)絡總體技術(shù)要求3術(shù)語、定義和縮略語3.1術(shù)語和定義下列術(shù)語和定義適用于本文件。網(wǎng)絡中具有計算能力的節(jié)點通過對數(shù)據(jù)的處理，實現(xiàn)特定結(jié)果輸出的能力，具體包括不限于計算內(nèi)存和存儲能力。算力可以分布在網(wǎng)絡邊緣、云數(shù)據(jù)中心、聯(lián)網(wǎng)終端、轉(zhuǎn)發(fā)節(jié)點等各種形態(tài)的設備上。算力度量computingmeasurcment對算力需求和算力資源進行統(tǒng)一的抽象描述，并結(jié)合網(wǎng)絡性能指標形成算網(wǎng)能力模板，為算力路由、算力管理和算力計費等提供標準統(tǒng)一的度量規(guī)則。對算力相關的信息按照統(tǒng)一的格式進行抽象描述，具體的信息可以是數(shù)值型的或者非數(shù)值型的未經(jīng)包裝的裸(如IaaS層)算力，具體可以從計算、網(wǎng)絡、內(nèi)存、存儲等維度對算力節(jié)點進行描述。服務性算力service-orientedcomputingcapability算力節(jié)點上與業(yè)務強相關的軟件包裝后的業(yè)務實現(xiàn)能力，比如PaaS層/SaaS層/FaaS層軟件服務以及超算的科研計算和云渲染等能力。2下列縮略語適用于本文件。自適應邏輯模塊AdaptiveLogicModuleAugmentedReality專用集成電路pplicationSpecificInt卷積神經(jīng)網(wǎng)絡ConvolutionalNeuralNetwo中央處理器控制單元數(shù)據(jù)處理單元DataProcessingUnit領域?qū)Ｓ皿w系結(jié)構(gòu)每秒浮點運算次數(shù)Floating-pointOperationsPerFloating-pointOperations現(xiàn)場可編程門陣列FieldProgranmableGateArra每秒傳輸幀數(shù)圖形處理器高性能計算基準測試HighPerfornanceComput基礎設施即服務互聯(lián)網(wǎng)數(shù)據(jù)中心InternetData每秒讀寫操作次數(shù)基礎設施處理單元InfrastructureProcessingUnit邏輯單元多接入邊緣計算Multi-accessEdgeCompu神經(jīng)網(wǎng)絡處理器NeuralNetworkProcessingUnit個人計算機服務質(zhì)量隨機訪問存儲器RNN循環(huán)神經(jīng)網(wǎng)絡RecurrentNeuralNetwork軟件即服務每秒鐘萬億操作次數(shù)張量處理器TensorProcessingUnit虛擬現(xiàn)實技術(shù)4算力網(wǎng)絡的算力度量與建模需求根據(jù)YD/T4255-2023,算力網(wǎng)絡包括算力服務層，算力路由層，算網(wǎng)基礎設施層和算網(wǎng)編排管理層，如圖1所示。算力度量與建模是其中算網(wǎng)服務通告、算網(wǎng)感知調(diào)度、算力資源管理、算力運營等的重要基礎之一。統(tǒng)一的度量標準，統(tǒng)一的描述方式，類似于統(tǒng)一的語言，有助于算力網(wǎng)絡的各個網(wǎng)元之間的高效協(xié)作。算力網(wǎng)絡中的算力度量的目標是將異構(gòu)資源進行關聯(lián)和整合，使能多維度資源的統(tǒng)一協(xié)同管理，從而面向未來差異化的業(yè)務需求，通過統(tǒng)一的算力度量體系和異構(gòu)計算資源的映射機制，實現(xiàn)算力資源的合理分配和高效調(diào)用。//內(nèi)核數(shù)個個/////整型數(shù)據(jù)運算基準程序的點計算速率8率點計算速率表2中的指標含義：整數(shù)計算速率主要針對CPU,整數(shù)計算速率表示為在CPU上運行整型數(shù)據(jù)運算基準程序的計算速率。整數(shù)運算能力有其特定的應用場景，如離散時間處理、數(shù)據(jù)壓縮、搜索、排序算法、加密算法、解密算法等。浮點計算速率，表示為在CPU等上運行浮點型數(shù)據(jù)運算基準程序的計算速率，包括半精度、單精度、雙精度。存在多種基準測試程序，每種基準測試程序都能從不同的側(cè)面反應節(jié)點的浮點計算性能。哈希計算速率：是指計算機進行密集的數(shù)學和加密相關操作時使用哈希函數(shù)的輸出速度。單位是Hash/s,指的是每秒鐘能做多少次Hash運算。一些常見的哈希計算單位：KH/s:1KH/s=1000H/s每秒1,000次哈希MH/s:1MH/s=1000KH/s每秒1,000,000次哈希GH/s:IGH/s=1000MH/s每秒1,000,000,000次哈希TH/s:1TH/s=1000GH/s每秒1,000,00,000,000次哈希PH/s:1PH/s=1000TH/s每秒1.000,000,000,000,000次哈希EH/s:1EH/s=1000PH/s每秒1,000,000,000,000,000,000次哈希整數(shù)計算性能、浮點計算性能、哈希計算性能的常用的測試方式可以參考附錄A,可以通過在不同的服務節(jié)點平臺上執(zhí)行各種基準測試算法的速率來比較其運算性能本文件根據(jù)網(wǎng)絡帶寬對節(jié)點通信能力進行建模，網(wǎng)絡帶寬指節(jié)點在特定數(shù)據(jù)包長下，單位時間(1秒)內(nèi)能發(fā)送/接收的最大數(shù)據(jù)量，表示節(jié)點理論上最高傳送速度，其建模如表3所示。對節(jié)點的通信能力的評估，主要參考節(jié)點的外部接口帶寬，即節(jié)點連接到外部網(wǎng)絡的帶寬。單節(jié)點的帶寬越大，在節(jié)點出口處越不容易擁塞。表3通信能力評估指標/秒)網(wǎng)絡三層轉(zhuǎn)發(fā)能力。滿足零丟包(0.00001%)所需要的信息都存儲在轉(zhuǎn)發(fā)信息庫forvardinginfomationbase,FIB)中。調(diào)足零去包(0.00001%)條件下測試FIB力PSec操作的最大速率，包括安全關聯(lián)查詢，(0.00001%)條件下的數(shù)據(jù)包轉(zhuǎn)發(fā)能力耗內(nèi)存帶寬Strean測試包含Copy、Scale、內(nèi)存訪問期數(shù)草力水平(浮點運算能力)其中：1GFLOPS=10~9FLOPS:1S=10°12FLOPS:1PFLOPS=10~155.3.4其他節(jié)點服務能力除了算力相關的節(jié)點能力參數(shù)，算力網(wǎng)絡的決策還可以參考其他的節(jié)點能力信息，例如節(jié)點的安全等級信息，節(jié)能相關的能效信息等。相關的等級信息的評測方法不在本文件的工作范圍之內(nèi)。如果相關的業(yè)務有較高的安全需求，或者是關注能效，那么可以訂閱相關的關鍵信息。這些關鍵信息可以與算力相關的信息一起提供給算力網(wǎng)絡的決策點(算力路由層中的策略決策模塊或者是算網(wǎng)編排管理模塊)。來提供決策依據(jù)。例如，可以在算力服務節(jié)點的初選過程中，過濾掉安全等級不夠的節(jié)點再進行優(yōu)選：或者在多個算力節(jié)點都能夠提供算力服務時，在算力服務節(jié)點的優(yōu)選過程中，一定程度上優(yōu)選較為節(jié)能低碳的服務節(jié)點。此時，算力網(wǎng)絡的決策點的決策，除了算力信息和網(wǎng)絡信息，還可以參考更多的維度的信息。具體決策點的服務節(jié)點初選和優(yōu)選算法不在本文件的工作范圍之內(nèi)。5.4業(yè)務的支撐能力度量與建模5.4.1通用業(yè)務的支撐能力業(yè)務的支撐能力指的是服務節(jié)點上的業(yè)務處理能力，節(jié)點的業(yè)務處理能力與具體業(yè)務類型強相關，也可以從計算、網(wǎng)絡、內(nèi)存、存儲四個角度進行評估?？梢园凑崭戒汢中的方案，生成針對特定業(yè)務類型的綜合算力度量值，即根據(jù)業(yè)務需求，選擇合適的權(quán)重系數(shù)來進行更個性化的綜合評估。除了從計算、網(wǎng)絡、內(nèi)存、存儲四個角度，節(jié)點的業(yè)務處理能力，也可以稱為服務性算力，還可以從個性化算力的維度進行描述，例如音/視頻/圖像編解碼能力(軟/硬)、DPU(數(shù)據(jù)處理單元)/IPU異構(gòu)加速能力等。A、音頻編解碼能力：Kbps:B、視頻編解碼能力：幀/s,FPS1080pH.264或FPS1080pH.265:C、圖像編解碼能力：幀/s,FPSJPEG等：D、DPU/IPU異構(gòu)加速能力：視具體應用場景而定。其他的業(yè)務能力指標還包括，針對特定的業(yè)務，服務節(jié)點能支持的會話數(shù)量、服務節(jié)點的預估業(yè)務平均完成時間等信息。節(jié)點的業(yè)務處理能力也可以從有效算力的維度進行描述，按照附錄D中的評價方法，獲得多個真實業(yè)務性能測試的度量值。例如在人工智能領域，實際吞吐率代表人工智能服務器系統(tǒng)對特定訓練或推理作業(yè)的有效計算能力。對特定訓練作業(yè)的有效計算能力是單位時間內(nèi)訓練過程能消耗的樣本數(shù)量：A、對視覺類測試，單位為圖片數(shù)每秒(images/s):C、對自然語言處理類測試，單位為句數(shù)每秒(sentences/s);D、對推薦算法類測試，使用DLRN模型和CretioTerabyte數(shù)據(jù)集，單位為記錄數(shù)每秒(records/s)。其他的可以參考的能力度量包括：A、針對數(shù)據(jù)庫業(yè)務，實際每秒的查詢數(shù)量代表服務器的有效計算能力，可以用HammerDB(包括MySQLandPostGreSQL)進行測試，單位查詢數(shù)每秒(queries/s);%%個個個個個%內(nèi)存使用率%%/數(shù)個個%延況下的最大時廷/量字節(jié))大小//(資料性附錄)服務節(jié)點算力性能測試本附錄中列舉了部分服務節(jié)點算力性能測試的例子，包括了整數(shù)計算性能測試、浮點計算性能測試、哈希計算性能測試的方式。(1)整數(shù)計算性能測試整型計算應用廣泛，具體的應用比如公交車調(diào)度程序、圍棋程序、用于生物序列分析的馬爾科夫模型、加解密計算等等。加密算法、解密算法在服務節(jié)點的具體實現(xiàn)，可以是CPU的純軟件的計算，也可以是硬件加解密加速引擎的計算，或者是CPU自帶的硬件加解密引擎，這些通常都可以歸類為整型計算。具體的加解密的測試方法可分為以下步驟：——通過軟件/硬件實現(xiàn)加密、解密算法?！诓煌嬎闫脚_上分別使用不同長度(MessageSize)的數(shù)據(jù)來進行加密和解密運算——獲取執(zhí)行各算法進程的時間：明文信息執(zhí)行讀操作，并進行明文加密，然后寫密文信息，統(tǒng)計執(zhí)行時間。密文信息執(zhí)行讀操作，并進行密文解密，然后寫解密后信息，統(tǒng)計執(zhí)行時間。——通過計算在這些平臺上執(zhí)行各算法的速率來比較整數(shù)運算性能。相關的例子如基于不同平臺執(zhí)行AES算法和RSA算法的計算性能。平臺處理的數(shù)值單位為KB/s,指的是每秒能處理的加解密的數(shù)據(jù)的數(shù)據(jù)量。(2)浮點計算性能測試由DARPA的HPCS(HighProductivityComputingSysten)項目所發(fā)布的評價高性能計算系統(tǒng)的測試基準程序HPCC(HighPerformanceComputingChallenge)可以完成浮點計算性能測試。HPOC的測試結(jié)果是若干個指標項，需要測試者和決策者根據(jù)這些測試指標進行分析和評估。(3)哈希計算性能測試RandomX是一種被通用CPUs利用的工作量證明(POW)算法。RandomX使用隨機代碼執(zhí)行程序和一些內(nèi)存硬件技術(shù)來最小化專用硬件的效率優(yōu)勢。RandomX使用虛擬機執(zhí)行特殊指令的程序(包含整數(shù)運算浮點數(shù)運算、分支),這些指令能夠被翻譯為CPU指令，然后使用Hash函數(shù)Blake2b輸出值為256比特的結(jié)果。(規(guī)范性附錄)算力綜合評價指標的評估方法本附錄規(guī)定了一種算力網(wǎng)絡中的服務節(jié)點的算力綜合評價指標的評估方法，其采用指標評價相似度對多維指標進行處理并得到算力綜合評價指標。PageRank是衡量網(wǎng)頁重要性的一種算法，搜索引擎可以使用它來對網(wǎng)頁的搜索結(jié)果進行排序。PageRank的基本假設是網(wǎng)站越重要，鏈接到它的網(wǎng)站就會越多，因此PagcRank通過計算網(wǎng)站的入鏈數(shù)量和質(zhì)量來評價其重要性。除了對網(wǎng)頁進行排名，PageRank在其他領域也有很多應用，如評價書籍的影響力或用戶行為等。PageRank的假設是有著更多入鏈的網(wǎng)頁更重要。類似的，本文件所提出的算法的假設是越多的基準測試對一個節(jié)點給出相似的評價結(jié)果，那么評價結(jié)果就越可靠。B.1服務節(jié)點度量方法步驟服務節(jié)點的算力綜合評價指標的計算方法流程如下圖所示：否是圖B.1節(jié)點綜合性能計算方法流程圖節(jié)點綜合性能度量方法可以大致分為以下幾個步驟：(1)對指標向量進行歸一化處理對多個算力節(jié)點以及多個算力的指標進行歸一化處理，得到每一種算力的歸一化性能向量。(2)建立相應圖模型由于不同指標之間存在聯(lián)系，使用圖模型建立指標之間的關量，節(jié)點之間有一條邊表示這兩個指標需要進行比較。使用歐氏(3)計算指標評價結(jié)果的相似性對算力指標的相似度進行進一步處理，得到相似度矩陣，其中的元素越大，則表示指標(4)構(gòu)造概率轉(zhuǎn)移矩陣，引入旋轉(zhuǎn)變換(5)將評價向量與狀態(tài)轉(zhuǎn)移向量相乘(6)判斷評價值是否收斂若收斂，則進行步驟(7)對節(jié)點算力進行綜合評價：若不收斂，則返回步驟(5)。(7)評價向量加權(quán)計算節(jié)點能力綜合評價指標此外，由于不同業(yè)務對于算力資源的需求不同，在計算綜合指標時，各子指標的權(quán)重務需求進行調(diào)整。例如，某些使用AI算法對圖像或視頻進行學習和分析的高要求，因此，可適當增大計算能力指標對應的權(quán)重，減小通信、內(nèi)存、存儲能力指標對應的權(quán)重。B.2基于PageRank的服務節(jié)點評估算法假設選取M個基準測試進行集群節(jié)點的性能評價，集群中節(jié)點的個標，每個指標包括N個評價值。使用基準測試對節(jié)點進行評價后，評價的結(jié)果構(gòu)成節(jié)點的性能向量，對性能向量進行本章節(jié)中的相關處理后得到節(jié)點某方面的綜合性能指標，對應了節(jié)點在某評價。相關處理流程的算法如下。其中，7=1,2...M,va(k=1,2,...N)表示使用基準測試/對節(jié)點k的評價值。每一列v。(i值相同)節(jié)點在不同基準測試下得到的性能向量值的數(shù)量級會有很大的差異，需要進行性能向量的預處理。算法1性能向量歸一化步驟2對B。中的所有元素求和步驟3每1個v。使用式(B-1)計算其歸一化數(shù)值步驟4輸出歸一化性能向量：為了使用PageRank計算節(jié)點的性能，需要建立一個圖的模型，圖中的節(jié)點是各歸一化的性能向量，節(jié)點之間有1條邊表示這2個節(jié)點需要進行比較，所以建立的圖是一個完全圖。邊的權(quán)值是此2個頂點的相似度，相似度使用歐氏距離計算。兩個歸一化性能向量B和B,的相似度類似于經(jīng)典PageRank中頁面間鏈接的相關性。因為共有M個不同的基準測試，所以歸一化性能向量也有M個，即B,B?,…,B,,性能距離矩陣顯然，d,越大表示基準測試i和j對節(jié)點的評價結(jié)果差異越大矩陣中元素表示的是所有入鏈的加權(quán)得分，其值越大表示網(wǎng)頁越重要。為使D的含義與經(jīng)典PageRank算法一致，使用式(B-4)對其進行處理，得到的評價結(jié)果越相近U=(u)uo類似于經(jīng)典PageRank算法，在矩陣U的基礎上定義概率轉(zhuǎn)移矩陣W:為避免概率轉(zhuǎn)移陷入局部最優(yōu)，增強狀態(tài)搜索能力，在矩陣W中加入旋轉(zhuǎn)變換算子，如(B-7)所其中，W||為W的歐式范數(shù)，q>0為旋轉(zhuǎn)因子，R,為一個M×M維的隨機矩陣，其元素取值在[-1,1]之間均勻分布。旋轉(zhuǎn)變換具有在以q為半徑的超球內(nèi)進行搜索的功能。指標評價矩陣R可以用式(B-8)算出：R=lim,A?x(算法2基準測試排名計算步驟1輸入：歸一化性能向量B(=1,…,M)和閾值8。步驟3使用式(B-4)計算D。步驟4使用式(B-5)計算U。步驟5使用式(B-6)計W。步驟6使用式(B-7)計算A。步驟8計算歐氏距離|R-X|。步驟11轉(zhuǎn)至步驟7。步驟12輸出：基準測試掛名向量R利用基準測試排名向量R和每個基準測試i的性能向量B,使用算法3就可以得到集群中每個節(jié)點的步驟2使用式(B-8)計算每1個基準測試i的權(quán)值：步驟3使用式(B-9)計算綜合性能向量：B.3節(jié)點性能評價指標四個方面提出綜合性能指標B.3.1計算能力綜合評價指標測量N個節(jié)點的計算能力評估指標中的整數(shù)計算速率、浮點計算速率、哈希計算速率，形成一組節(jié)點的計算能力的性能向量。其中，節(jié)點i的測量結(jié)果為B將每個節(jié)點的計算能力性能向量按照計算能力評估指標(整數(shù)計算速率、浮點計算速率、哈希計算速率)分組，以形成3個N維的向量，作為融合節(jié)點性能評價算法的輸入。經(jīng)過計算，可輸出計算能力綜將輸出的綜合性能向量中節(jié)點i對應的值定義為節(jié)點的計算能力綜合評價指標A,A∈[0.1]。4-CB[=ch.B.3.2通信能力評價指標由于節(jié)點通信能力的唯一評估指標為網(wǎng)絡帶寬，測量N個節(jié)點的通信能力評估指標中的網(wǎng)絡帶寬。B=[renworkBandwi]將每個節(jié)點的通信能力性能向量按照通信能力評估指標(網(wǎng)絡帶寬)分組，形成1個N維的向量，作為融合節(jié)點性能評價算法的輸入。經(jīng)過計算，可輸出計算能力綜合性能向量CB將輸出的綜合性能向量中節(jié)點i對應的值定義為節(jié)點的通信能力綜合評價指標A,A∈[0.1]。A=CB,J=cb.B.3.3內(nèi)存能力評價指標測量N個節(jié)點的內(nèi)存能力評估指標中的內(nèi)存容量、內(nèi)存帶寬，形成一組節(jié)點的內(nèi)存能力的性能向量將每個節(jié)點的內(nèi)存能力性能向量按照計算能力評估指標(內(nèi)存容量、內(nèi)存帶寬)分組，形成2個N維的向量，作為融合節(jié)點性能評價算法的輸入。經(jīng)過計算，可輸出內(nèi)存能力綜合性能向量CB_。將輸出的綜合性能向量中節(jié)點i對應的值定義為節(jié)點的內(nèi)存能力綜合評價指標A,Ae[0.1]。A.-CB_[7=ch(BB.3.4存儲能力評價指標測量N個節(jié)點的存儲能力評估指標中的存儲容量、存儲帶寬、IOPS,形成一組節(jié)點的存儲能力的性能向量。其中，節(jié)點i的測量結(jié)果為B:將每個節(jié)點的存儲能力性能向量按照計算能力評估指標(存儲容量、存儲帶寬、IOPS)分組，以形成3個N維的向量，作為融合節(jié)點性能評價算法的輸入。經(jīng)過計算，可輸出存儲能力綜合性能向量。將輸出的綜合性能向量