《高性能計算 分布式存儲系統(tǒng)技術(shù)要求》

ICS35.160

CCSL63

團體標準

T/CESAXXXX—202X

高性能計算分布式存儲系統(tǒng)技術(shù)要求

Highperformancecomputing-Technicalrequirementsfordistributedstoragesystem

草案

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復印件或扉頁，已公開但尚未授權(quán)的專利申請

證明材料為專利公開通知書復印件或扉頁，未公開的專利申請的證明材料為專利申請

號和申請日期。

202X-XX-XX發(fā)布202X-XX-XX實施

中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布

T/CESAXXXX—202X

高性能計算分布式存儲系統(tǒng)技術(shù)要求

1范圍

本文件規(guī)定了高性能計算分布式存儲系統(tǒng)的技術(shù)要求，包括物理基礎(chǔ)設(shè)施、集群軟件能力、功能模

塊、運維管理、安全性和綠色節(jié)能等方面的要求。

本文件適用于高性能計算分布式存儲系統(tǒng)的設(shè)計與部署。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

3.1術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1.1

卷volume

塊存儲系統(tǒng)中物理空間的邏輯分區(qū)，為虛擬機（VM）或物理機提供裸設(shè)備方式進行數(shù)據(jù)存取?？?/p>

進行創(chuàng)建、刪除、擴展等操作。

[來源：GB/T37737-2019，3.1.3]

3.1.2

存儲節(jié)點storagenode

一臺物理主機或是盤陣，主要用于存儲數(shù)據(jù)，復制數(shù)據(jù)，平衡數(shù)據(jù)。

3.1.3

元數(shù)據(jù)節(jié)點metadatanode

用于分布式存儲集群內(nèi)部做數(shù)據(jù)管理的物理節(jié)點。

3.1.4

元數(shù)據(jù)metadata

描述數(shù)據(jù)的數(shù)據(jù)，規(guī)定數(shù)據(jù)的存放位置、修改時間、權(quán)限等信息，通過元數(shù)據(jù)可獲取到用戶方上

傳的數(shù)據(jù)，元數(shù)據(jù)具有體量適中、更改頻率適中、讀取頻繁的特點。

3.1.5

數(shù)據(jù)分層管理datalayermanagement

1

T/CESAXXXX—202X

將存儲空間按存儲能力劃分成不同層級，允許用戶根據(jù)業(yè)務具體需求來定義數(shù)據(jù)的目標存儲層級，

并支持數(shù)據(jù)在不同層級間的按需流動，將數(shù)據(jù)及時靈活地分配至合理的存儲空間，在性能和成本之間

取得最佳平衡。

3.1.6

綠色節(jié)能greenandenergy-saving

數(shù)據(jù)機房通過優(yōu)化配置軟硬件設(shè)施，使其在數(shù)據(jù)實現(xiàn)存儲性能穩(wěn)定可靠的條件下，實現(xiàn)能源、

資源利用率最大化和環(huán)境影響最小化。

3.1.7

存儲算法節(jié)能storagealgorithmenergy-saving

對存儲系統(tǒng)運維采取智能調(diào)度算法，在滿足動態(tài)存儲需求的前提下，有效降低存儲系統(tǒng)的能耗。

3.2縮略語

下列縮略語適用于本文件。

CIFS：公共互聯(lián)網(wǎng)文件系統(tǒng)（CommonInternetFileSystem）

CPU：中央處理器（CentralProcessingUnit）

ECC：糾錯碼（ErrorCheckingandCorrecting）

HDD：硬盤驅(qū)動器（HardDiskDrive）

HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）

HPC：高性能計算/超算（HighPerformanceComputing）

IB：無限帶寬（InfiniBand）

I/O：輸入/輸出（Input/Output）

IOPS：每秒讀寫次數(shù)（Input/OutputOperationsPerSecond）

IPMI：智能平臺管理接口（IntelligentPlatformManagementInterface）

IP：網(wǎng)際協(xié)議（InternetProtocol）

IQN：ISCSI限定名稱（ISCSIQualifiedName）

ISCSI：互聯(lián)網(wǎng)小型計算機系統(tǒng)接口(InternetSmallComputerSystemInterface)

JBOD：將多個物理磁盤組合在一起形成一個大型邏輯存儲空間（JustBunchofDisks）

JBOF：將多個物理閃存芯片組合在一起形成一個大型邏輯存儲空間（JustaBunchofFlash）

MPI：消息傳遞接口（MessagePassingInterface）

NFS：網(wǎng)絡文件系統(tǒng)（NetworkFileSystem）

NVDIMM：非易失性雙列直插式內(nèi)存模塊（non-volatiledualin-linememorymodule）

NVMe：非易失性內(nèi)存主機控制器接口規(guī)范（Non-VolatileMemoryExpress）

NVMe-OF:一種將NVMe存儲設(shè)備通過網(wǎng)絡連接的技術(shù)(NVMeoverFabrics）

PKI：公開密鑰基礎(chǔ)設(shè)施（PublicKeyInfrastructure）

POSIX：可移植操作系統(tǒng)接口協(xié)議(PortableOperatingSystemInterfaceforUnix）。

QoS：服務質(zhì)量（QualityofService）

RAID：磁盤陣列（RedundantArraysofIndependentDisks）

RDMA：遠程直接數(shù)據(jù)存?。≧emoteDirectMemoryAccess）

RoCE：基于以太網(wǎng)鏈路層實現(xiàn)的RDMA（RDMAoverConvergedEthernet）

SAS：串行連接SCSI接口（SerialAttachedSCSI）

SATA：串行高級技術(shù)附件（SerialAdvancedTechnologyAttachment）

2

T/CESAXXXX—202X

S3：簡單存儲服務（SimpleStorageService）

SNMP：簡單網(wǎng)絡管理協(xié)議（SimpleNetworkManagementProtocol）

SMB：服務器消息塊（ServerMessageBlock）

SSD：固態(tài)驅(qū)動器（SolidStateDrive）

VM：虛擬機（VirtualMachine）

4高性能計算分布式存儲系統(tǒng)

4.1總體架構(gòu)

高性能計算分布式存儲系統(tǒng)的特點是節(jié)點數(shù)多（節(jié)點規(guī)模幾十到上百個），總?cè)萘看螅ㄈ萘康囊?guī)模

是PB級甚至EB級），具備高性能、高可靠及可擴展的能力，以滿足大規(guī)模計算任務對數(shù)據(jù)存儲和訪問的

需求，支持高性能計算的有效運行。高性能計算分布式存儲系統(tǒng)總體架構(gòu)見圖1。

圖1高性能計算分布式存儲系統(tǒng)架構(gòu)

4.2部署模式

4.2.1分布式對稱架構(gòu)

分布式對稱架構(gòu)應支持存儲節(jié)點同時部署分布式存儲系統(tǒng)的元數(shù)據(jù)服務和數(shù)據(jù)存儲服務，見圖2。

3

T/CESAXXXX—202X

圖2分布式對稱架構(gòu)

4.2.2分布式非對稱架構(gòu)

分布式存儲非對稱架構(gòu)見圖3，應符合下列要求：

a）節(jié)點角色有明確的功能劃分；

b）支持獨立的元數(shù)據(jù)節(jié)點，即只部署分布式存儲系統(tǒng)的元數(shù)據(jù)服務；

c）支持獨立的存儲節(jié)點，即只部署分布式存儲系統(tǒng)的數(shù)據(jù)存儲服務。

圖3分布式非對稱架構(gòu)

4

T/CESAXXXX—202X

5物理基礎(chǔ)設(shè)施

5.1存儲節(jié)點

5.1.1節(jié)點形態(tài)

符合下列要求：

a）應支持獨立的服務器或服務器+盤陣（JBOD/JBOF）的組合；

b）應支持主流的處理器,如ARM、MIPS、C86、X86、RISC-V、LoongArch、SW64等；

c）應支持可擴展的內(nèi)存配置；

d）宜支持存儲網(wǎng)絡與管理網(wǎng)絡分離；

e）存儲網(wǎng)絡應支持25Gb、100Gb或更高速度的網(wǎng)絡接口；

f）管理網(wǎng)絡應支持1GbE、10GbE網(wǎng)絡接口；

g）節(jié)點電源(PSU)應采用冗余配置，宜采用較高能效的產(chǎn)品；

h）元數(shù)據(jù)節(jié)點宜采用全閃存設(shè)計；

i）數(shù)據(jù)節(jié)點應支持固態(tài)盤(SSD)和機械硬盤(HDD)等主流存儲介質(zhì)；

j）數(shù)據(jù)節(jié)點應支持不同類型、容量的存儲介質(zhì)混合部署。

5.1.2節(jié)點高可靠性

符合下列要求：

a）應支持硬件冗余，如電源、風扇、網(wǎng)絡接口等關(guān)鍵部件的雙冗余設(shè)計；

b）應支持熱備份和維護功能，可以在不影響系統(tǒng)正常運行的情況下進行硬件部件的更換和維護；

c）系統(tǒng)盤宜采用1+1冗余配置；

d）元數(shù)據(jù)節(jié)點應采用AllActive的集群方式工作，保證性能和可靠性。

5.2網(wǎng)絡節(jié)點

5.2.1網(wǎng)絡架構(gòu)協(xié)議

符合下列要求：

a）管理網(wǎng)絡應支持以太網(wǎng)協(xié)議，如1GbE、10GbE；

b）存儲網(wǎng)絡應支持25Gb、100Gb或更高速度的網(wǎng)絡接口；

c）應支持RDMA等協(xié)議；

d）宜支持IB等協(xié)議。

5.2.2網(wǎng)絡高可靠性

符合下列要求：

a）應具備冗余的硬件設(shè)計，包括冗余的電源、風扇和接口等；

b）應具備自動故障恢復能力，能夠在故障發(fā)生時自動切換到備用路徑或備用設(shè)備；

c）應支持負載均衡技術(shù)，根據(jù)實際負載情況對數(shù)據(jù)流進行均衡分配。

6集群軟件能力

6.1軟件高性能

符合下列要求：

5

T/CESAXXXX—202X

a）應支持系統(tǒng)并行處理，系統(tǒng)可以同時處理多個請求，提高處理能力；

b）應支持數(shù)據(jù)并發(fā)訪問，允許多個客戶端同時讀寫數(shù)據(jù)，提高系統(tǒng)的響應速度；

c）應支持數(shù)據(jù)并行訪問，單客戶端可同時連接并訪問多個存儲節(jié)點，提高讀寫速度；

d）應支持數(shù)據(jù)多節(jié)點分布及負載均衡，使性能隨節(jié)點增加近似線性增長；

e）應支持采用多級緩存技術(shù)對IO進行聚合加速，提升系統(tǒng)整體IO性能；

f）應支持多個計算節(jié)點對元數(shù)據(jù)的同時訪問和修改；

g）宜優(yōu)化協(xié)議和通信模式（如批量傳輸、異步通信等方式），減少通信的開銷和延遲，提高處理

性能；

h）宜支持壓縮技術(shù)，減少數(shù)據(jù)的存儲空間和傳輸帶寬，提高系統(tǒng)的整體性能。

6.2軟件高可靠性

符合下列要求：

a）應支持分布式高可用架構(gòu)，確?？焖俟收限D(zhuǎn)移和恢復；

b）應具備數(shù)據(jù)的冗余存儲和容錯機制，以確保在節(jié)點故障或數(shù)據(jù)損壞時進行數(shù)據(jù)恢復；

c）應通過一致性協(xié)議確保數(shù)據(jù)的一致性；

d）應通過校驗機制確保數(shù)據(jù)在傳輸及存儲過程中的完整性；

e）應支持系統(tǒng)狀態(tài)和性能的監(jiān)控，發(fā)現(xiàn)問題時發(fā)出警報。

6.3軟件擴展性

6.3.1動態(tài)擴容

符合下列要求：

a）應支持存儲集群容量縱向擴展和橫向擴展方式；

b）應支持在線系統(tǒng)擴容，不需要更改應用程序，對客戶業(yè)務無中斷；

c）在存儲集群擴容時，應支持數(shù)據(jù)分布再均衡；

d）在存儲集群擴容時，應支持現(xiàn)有數(shù)據(jù)的冗余副本分布到新節(jié)點上。

6.3.2集群規(guī)模的支持

符合下列要求：

a）應支持通過增加集群節(jié)點的數(shù)量，實現(xiàn)集群規(guī)模的擴展；

b）應支持擴展至PB級及以上；

c）應支持擴展至百節(jié)點及以上；

d）應支持存儲性能隨節(jié)點數(shù)量的增加近似線性增長。

6.4代碼開發(fā)和深度優(yōu)化能力

符合下列要求：

a）應具備自主存儲軟件相關(guān)的研發(fā)能力；

b）應具備自主修改優(yōu)化開源代碼并二次開發(fā)的能力；

c）應支持國內(nèi)外主流操作系統(tǒng)及芯片技術(shù)為平臺的適配能力。

7存儲功能模塊

7.1元數(shù)據(jù)管理能力

6

T/CESAXXXX—202X

符合下列要求：

a）應支持數(shù)據(jù)精準檢索和快速查詢；

b）應支持通過多副本的方式，保證數(shù)據(jù)的可靠性；

c）應支持對海量數(shù)據(jù)的有效存儲與管理；

d）應支持對用戶自定義的業(yè)務元數(shù)據(jù)打標簽，進行上述管理。

7.2全局緩存的設(shè)定

符合下列要求：

a）應支持設(shè)置基于各存儲節(jié)點高速內(nèi)存組成的全局緩存池或設(shè)置基于高性能NVMeSSD存儲介質(zhì)

的多個獨立節(jié)點組成的全局緩存池；

b）應保證全局緩存池緩存數(shù)據(jù)一致性與高可用性；

c）應支持非緩存數(shù)據(jù)預讀至全局緩存池，提升讀請求的緩存命中率。

7.3數(shù)據(jù)一致性機制

應符合下列要求：

a）應支持統(tǒng)一命名空間，支持全局共享文件系統(tǒng)，對任意節(jié)點、文件的讀寫，在所有節(jié)點都能體

現(xiàn)；

b）應提供元數(shù)據(jù)一致性檢查工具，可對全系統(tǒng)元數(shù)據(jù)進行元數(shù)據(jù)一致性檢查，并且自動修復不一

致的元數(shù)據(jù)；

c）應提供對數(shù)據(jù)的一致性檢查工具，保證落盤數(shù)據(jù)的一致性；

d）應支持高效鎖機制，保證高并發(fā)讀寫數(shù)據(jù)的一致性；

e）應支持多副本數(shù)據(jù)的一致性；

f）應支持在故障恢復期間，保障數(shù)據(jù)的一致性，避免因故障導致的數(shù)據(jù)不一致問題。

7.4數(shù)據(jù)生命周期管理

符合下列要求：

a）應支持按照不同存儲能力創(chuàng)建存儲層級，如性能、成本或可靠性等級等；

b）應支持創(chuàng)建分層策略，可設(shè)定條件對數(shù)據(jù)進行區(qū)分，并根據(jù)區(qū)分結(jié)果定義數(shù)據(jù)的目標存儲層級；

c）應支持根據(jù)分層策略，在創(chuàng)建數(shù)據(jù)時支持將數(shù)據(jù)寫入對應層級；

d）應支持根據(jù)分層策略，支持將數(shù)據(jù)從當前層級遷移到對應層級。

7.5高可用及容錯能力

符合下列要求：

a）應支持數(shù)據(jù)冗余技術(shù)（如糾刪碼、數(shù)據(jù)副本），將數(shù)據(jù)分散存儲到不同的存儲節(jié)點上，確保數(shù)

據(jù)的可用性；

b）應支持冗余路徑訪問等容錯技術(shù)，提高訪問可用性；

c）應支持自動檢測故障，發(fā)現(xiàn)故障后，進行故障處理和數(shù)據(jù)恢復。

7.6遠程復制能力

符合下列要求：

a）應支持基于時間策略的快照；

b）應支持異步遠程復制功能；

c）應支持手動或自動的方式進行數(shù)據(jù)復制；

7

T/CESAXXXX—202X

d）應支持基于斷點恢復數(shù)據(jù)復制及同步工作。

7.7多負載及多協(xié)議的支持

符合下列要求：

a）應支持標準POSIX協(xié)議和MPI接口訪問；

b）應支持讀密集型IO、寫密集型IO、讀寫密集型IO的數(shù)據(jù)訪問，并具備針對單一類型IO性能優(yōu)化

的能力；

c）支持多應用程序間的文件共享，同時支持并發(fā)讀寫文件；

d）應支持限制各個應用程序的IO并發(fā)或資源占用，同時應對高并發(fā)、高帶寬的場景。

e）應支持文件、對象、塊的訪問；

f）宜支持單一命名空間下通過不同協(xié)議（POSIX/NFS/SMB/S3/HDFS等）進行操作變更時，對其它

協(xié)議均可見；

g）宜支持通過私有客戶端訪問能力；

h）宜支持多種處理器對存儲直接訪問，如GDS等。

8運維管理

8.1性能管理

符合下列要求：

a）應支持可視化方式展示集群、存儲池、節(jié)點及各存儲系統(tǒng)的監(jiān)控狀態(tài)；

b）應支持監(jiān)控集群運行狀態(tài)、容量使用及性能狀況，如CPU、內(nèi)存、網(wǎng)卡、硬盤等；

c）應支持監(jiān)控存儲系統(tǒng)的性能狀況（如IOPS、帶寬、時延等）和容量使用情況；

d）應支持存儲性能管理，通過監(jiān)控存儲系統(tǒng)的性能指標及存儲空間的使用情況，優(yōu)化存儲配置、

調(diào)整數(shù)據(jù)分布，提高存儲性能；

e）應建立數(shù)據(jù)分布均衡機制，通過監(jiān)控數(shù)據(jù)分布進行數(shù)據(jù)遷移或調(diào)整，確保集群中數(shù)據(jù)的分布均

衡；

f）宜支持根據(jù)不同維度的信息形成統(tǒng)計報表，如硬盤容量、CPU占用率等。

8.2故障管理

符合下列要求：

a）應支持實時展示系統(tǒng)性能信息，存儲服務的運行狀態(tài)，保存和查詢及支持日志分析；

b）應支持全面的故障監(jiān)測和檢測機制，包括但不限于節(jié)點狀態(tài)監(jiān)測、存儲設(shè)備健康檢查、數(shù)據(jù)完

整性檢驗等；

c）應支持高效的故障定位和診斷功能，能夠快速確定故障發(fā)生的節(jié)點或設(shè)備，并提供詳細的診斷

信息和日志記錄，方便故障的分析和解決；

d）應支持完善的故障管理工具，包括但不限于故障管理系統(tǒng)、故障報告和跟蹤工具、故障分析工

具等，以便進行故障的記錄、跟蹤和分析；

e）應支持不同故障處理機制，針對硬件，軟件故障和漏洞補丁，設(shè)置不同的告警方式；

f）應支持當節(jié)點失效或節(jié)點重新加入時，存儲業(yè)務基于節(jié)點自動負載均衡。

8

T/CESAXXXX—202X

8.3容量管理

符合下列要求：

a）應支持存儲空間實時監(jiān)控，及時發(fā)現(xiàn)容量不足，設(shè)置相應的報警機制并采取相應的措施，如擴

容或數(shù)據(jù)清理；

b）應支持對容量增長的監(jiān)測，進行容量評估，預留足夠的存儲空間以滿足未來的需求；

c）應支持數(shù)據(jù)壓縮和去重，對于冗余數(shù)據(jù)和重復數(shù)據(jù)，進行壓縮和去重處理，節(jié)省存儲空間；

d）宜支持容量分析和預測，如存儲資源的消耗趨勢等；

e）應支持存儲設(shè)備在擴容后，實現(xiàn)節(jié)點之間的容量負載均衡。

8.4智能化運維

符合下列要求：

a）應支持故障信息智能診斷，輸出常見問題的故障分析報告；

b）應支持性能瓶頸和熱點統(tǒng)計分析，智能分析業(yè)務的運行特點便于調(diào)整業(yè)務，更優(yōu)發(fā)揮存儲系統(tǒng)

的效能能力；

c）應支持用戶業(yè)務深度學習及自動適配，不同的IO模型適配相應的參數(shù)優(yōu)化配置；

d）應支持對整個集群有版本一致性檢測，管理維護和一鍵升級能力；

e）宜具備故障預測和預防機制，通過數(shù)據(jù)分析、機器學習等技術(shù)，對系統(tǒng)狀態(tài)進行實時監(jiān)測和分

析，預測潛在的故障風險，并采取相應的預防措施；

f）宜支持收集和分析運維數(shù)據(jù)，應用機器學習和數(shù)據(jù)挖掘技術(shù)，預測設(shè)備性能下降，以提前采取

相應的措施；

g）宜支持自動化的故障檢測和修復，自動識別問題、自動調(diào)整配置和自動修復故障，實現(xiàn)系統(tǒng)的

自愈性能，減少人工干預和修復時間；

h）宜支持自動化故障處理，能夠根據(jù)故障類型和級別自動觸發(fā)相應的操作，如節(jié)點重啟、數(shù)據(jù)遷

移、冗余數(shù)據(jù)重建等。

9綠色節(jié)能

9.1軟件和算法節(jié)能

符合下列要求：

a）應支持負載均衡、調(diào)度智能、算法高效，能夠大幅提高數(shù)據(jù)利用效率，有效降低能耗；

b）應支持先進算法節(jié)能技術(shù)，包括數(shù)據(jù)重刪技術(shù)、糾刪碼技術(shù)、數(shù)據(jù)壓縮技術(shù)，顯著降低存儲

系統(tǒng)能耗；

c）應支持基于數(shù)據(jù)預測、動態(tài)計算、閾值設(shè)置等，合理執(zhí)行智能調(diào)度策略。

9.2硬件節(jié)能的支持

9.2.1節(jié)點節(jié)能

符合下列要求：

a）應支持風扇節(jié)能調(diào)速技術(shù)，通過PID等調(diào)速算法實現(xiàn)風扇快速節(jié)能調(diào)速；

b）宜支持功耗封頂技術(shù)，改善數(shù)據(jù)中心的能源利用率。

9.2.2硬盤節(jié)能

9

T/CESAXXXX—202X

符合下列要求：

a）應支持提供相關(guān)接口，應用可實時查詢當前功耗；

b）宜支持多級工作能耗模式設(shè)定，可根據(jù)業(yè)務需求選擇適當?shù)哪芎哪Ｊ?，達到節(jié)能目的。

9.2.3CPU節(jié)能

符合下列要求：

a）應支持智能降頻技術(shù)，根據(jù)不同的系統(tǒng)工作量自動調(diào)節(jié)工作電壓、頻率或活躍的核心數(shù)量，以