信息技術(shù) 分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)要求 征求意見(jiàn)稿

1GB/TXXXXX—XXXX信息技術(shù)分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)要求本文件給出了分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)，規(guī)定了分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)下的技術(shù)要求。本文件適用于分布式存儲(chǔ)協(xié)議互聯(lián)架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)。對(duì)于集中式存儲(chǔ)協(xié)議互聯(lián)架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)可參照使用。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1分布式存儲(chǔ)distributedstorage通過(guò)網(wǎng)絡(luò)整合分布在多臺(tái)機(jī)器的存儲(chǔ)空間資源，構(gòu)成虛擬存儲(chǔ)設(shè)備的一種數(shù)據(jù)存儲(chǔ)技術(shù)。[來(lái)源：GB/T36074.3-2019，3.17]3.2存儲(chǔ)協(xié)議storageprotocol主機(jī)和存儲(chǔ)設(shè)備間進(jìn)行傳輸、訪問(wèn)和存儲(chǔ)數(shù)據(jù)的規(guī)則。注：分布式存儲(chǔ)協(xié)議一般分為文件存儲(chǔ)協(xié)議、對(duì)象存儲(chǔ)協(xié)議、大數(shù)據(jù)存儲(chǔ)協(xié)議和塊存儲(chǔ)協(xié)議。其中文件存儲(chǔ)協(xié)議（NFS、SMB/CIFS、POSIX）、對(duì)象存儲(chǔ)協(xié)議（S3、SWIFT）、大數(shù)據(jù)存儲(chǔ)協(xié)議（HDFS、S3）主要應(yīng)用于3.3存儲(chǔ)協(xié)議互聯(lián)protocolinterconnectionforstorage為實(shí)現(xiàn)兼容性，存儲(chǔ)協(xié)議之間進(jìn)行語(yǔ)義操作的技術(shù)。注：為滿足一份數(shù)據(jù)被主機(jī)多樣應(yīng)用跨文件、對(duì)象、大數(shù)據(jù)存儲(chǔ)協(xié)議實(shí)時(shí)訪問(wèn)，分布式存儲(chǔ)基于全局可擴(kuò)展數(shù)據(jù)對(duì)象層提供全局單一副本的數(shù)據(jù)共享存儲(chǔ)方式，同時(shí)通過(guò)統(tǒng)一的存儲(chǔ)協(xié)議語(yǔ)義映射處理，實(shí)現(xiàn)文件、對(duì)象、3.4元數(shù)據(jù)metadata定義和描述其他數(shù)據(jù)的數(shù)據(jù)。2GB/TXXXXX—XXXX注：本文件中的元數(shù)據(jù)包含來(lái)自主機(jī)應(yīng)用產(chǎn)生的創(chuàng)建時(shí)間、修改時(shí)間、類型、訪問(wèn)權(quán)限等信息，也包含分布式存[來(lái)源：GB/T18391.1—2009，3.2.16，有修改]3.5統(tǒng)一元數(shù)據(jù)unifiedmetadata融合多協(xié)議元數(shù)據(jù)，形成具有一致數(shù)據(jù)結(jié)構(gòu)的信息。3.6元數(shù)據(jù)組織organizationofmetadata按照一定的規(guī)則和方式對(duì)元數(shù)據(jù)對(duì)象進(jìn)行歸并、存儲(chǔ)、處理的過(guò)程。3.7數(shù)據(jù)組織organizationofdata按照一定的規(guī)則和方式對(duì)數(shù)據(jù)對(duì)象進(jìn)行歸并、存儲(chǔ)、處理的過(guò)程。[來(lái)源：GB/T39362—2020，3.7，有修改]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。ACL：訪問(wèn)控制列表（AccessControlList）AD：活動(dòng)目錄（ActiveDirectory）AK/SK：訪問(wèn)密鑰/保密密鑰（AccessKey/SecretAccessKey）API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）CIFS：通用網(wǎng)絡(luò)文件系統(tǒng)（CommonInternetFileSystem）CPU：中央處理單元（CentralProcessingUnit）HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）ID：標(biāo)識(shí)符（Identifier)LDAP：輕型目錄訪問(wèn)協(xié)議（LightweightDirectoryAccessProtocol）NFS：網(wǎng)絡(luò)文件系統(tǒng)（NetworkFileSystem）NIS：網(wǎng)絡(luò)信息服務(wù)（NetworkInformationService）POSIX：可移植操作系統(tǒng)接口（PortableOperatingSystemInterface）QoS：服務(wù)質(zhì)量（QualityofService）SDK：軟件開(kāi)發(fā)工具包（SoftwareDevelopmentKit）SMB：服務(wù)器消息塊（ServerMessageBlock）5技術(shù)架構(gòu)為滿足一份數(shù)據(jù)被主機(jī)多樣應(yīng)用跨文件、對(duì)象、大數(shù)據(jù)存儲(chǔ)協(xié)議實(shí)時(shí)訪問(wèn)，分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)基于全局可擴(kuò)展數(shù)據(jù)對(duì)象層，提供全局單一副本的數(shù)據(jù)共享存儲(chǔ)方式，同時(shí)通過(guò)統(tǒng)一的存儲(chǔ)協(xié)議語(yǔ)義映射處理，實(shí)現(xiàn)文件、對(duì)象、大數(shù)據(jù)存儲(chǔ)協(xié)議同時(shí)關(guān)聯(lián)接入及語(yǔ)義操作兼容。圖1給出了分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)。3GB/TXXXXX—XXXX圖1分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)中各層技術(shù)的作用如下：——協(xié)議服務(wù)接入層：提供文件、對(duì)象、大數(shù)據(jù)服務(wù)同時(shí)接入以及鑒權(quán)認(rèn)證、負(fù)載均衡等功能；——統(tǒng)一語(yǔ)義處理層：通過(guò)元數(shù)據(jù)映射轉(zhuǎn)換和數(shù)據(jù)映射轉(zhuǎn)換，提供統(tǒng)一的語(yǔ)義訪問(wèn)接口，實(shí)現(xiàn)協(xié)議間語(yǔ)義操作實(shí)時(shí)轉(zhuǎn)換，實(shí)現(xiàn)語(yǔ)義兼容；——可擴(kuò)展數(shù)據(jù)對(duì)象層：通過(guò)元數(shù)據(jù)組織和數(shù)據(jù)組織機(jī)制，提供具有一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，以支撐多協(xié)議映射對(duì)應(yīng)一份元數(shù)據(jù)和數(shù)據(jù)。來(lái)自文件應(yīng)用的數(shù)據(jù)（文件A）由NFS協(xié)議寫(xiě)入并提供文件存儲(chǔ)協(xié)議服務(wù)，文件A通過(guò)統(tǒng)一語(yǔ)義數(shù)據(jù)映射和數(shù)據(jù)映射后，形成可擴(kuò)展數(shù)據(jù)對(duì)象層中全局統(tǒng)一的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，并實(shí)現(xiàn)元數(shù)據(jù)組織和數(shù)據(jù)組織；當(dāng)對(duì)象應(yīng)用希望通過(guò)S3協(xié)議讀取文件A時(shí)，S3協(xié)議通過(guò)統(tǒng)一語(yǔ)義處理層映射到文件A，然后從可擴(kuò)展數(shù)據(jù)對(duì)象層訪問(wèn)到文件A，最終映射轉(zhuǎn)換為指定S3協(xié)議格式的數(shù)據(jù)內(nèi)容，實(shí)現(xiàn)文件A以NFS協(xié)議寫(xiě)4GB/TXXXXX—XXXX6技術(shù)要求6.1總體要求分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)的總體要求如下：a)支持文件、對(duì)象、大數(shù)據(jù)應(yīng)用中的至少兩類協(xié)議同時(shí)接入，支持協(xié)議標(biāo)準(zhǔn)接口，并提供鑒權(quán)認(rèn)證，負(fù)載均衡等能力；b)提供協(xié)議統(tǒng)一語(yǔ)義訪問(wèn)接口，支持不同協(xié)議間語(yǔ)義實(shí)時(shí)轉(zhuǎn)換；c)具有一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，提供數(shù)據(jù)分布均衡及數(shù)據(jù)修復(fù)重構(gòu)能力。6.2協(xié)議接入服務(wù)層6.2.1存儲(chǔ)訪問(wèn)接口6.2.1.1文件存儲(chǔ)訪問(wèn)接口對(duì)接文件存儲(chǔ)應(yīng)用時(shí)，文件存儲(chǔ)訪問(wèn)接口要求如下：a)應(yīng)支持的NFS（V3和V4版本）協(xié)議，支持對(duì)目錄、文件（包括附屬信息）的創(chuàng)建、打開(kāi)、關(guān)閉、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫(xiě)、數(shù)據(jù)同步等常用操作；b)應(yīng)支持的CIFS/SMB（V1、V2和V3版本）協(xié)議，支持對(duì)目錄、文件（包括附屬信息）的創(chuàng)建、打開(kāi)、關(guān)閉、刪除、查詢、設(shè)置、讀、寫(xiě)、數(shù)據(jù)同步、租約等常用操作；c)宜支持POSIX接口的私有客戶端模式，支持對(duì)目錄、文件（包括附屬信息）的創(chuàng)建、打開(kāi)、關(guān)閉、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫(xiě)、數(shù)據(jù)同步等常用操作。6.2.1.2對(duì)象存儲(chǔ)訪問(wèn)接口對(duì)接文件存儲(chǔ)應(yīng)用時(shí)，對(duì)象存儲(chǔ)訪問(wèn)接口要求如下：a)應(yīng)支持S3API接口，并應(yīng)符合：1）支持桶創(chuàng)建、列舉、刪除等常用操作，宜支持桶生命周期、桶策略、桶ACL等功能的設(shè)置、查詢等操作；2）支持對(duì)象的上傳、下載、刪除、拷貝、移動(dòng)、列舉、查詢、分片上傳等常用操作；注：S3指亞馬遜簡(jiǎn)單存儲(chǔ)（AmazonSimpleStorab)宜支持Swift接口，并宜符合：1）支持賬戶的創(chuàng)建、查詢、修改、刪除、容器列舉等常用操作，支持容器的創(chuàng)建、查詢、修改、刪除、對(duì)象列舉等常用操作；2）支持對(duì)象的創(chuàng)建、查詢、復(fù)制、刪除等常用操作。注：Swift指對(duì)象存儲(chǔ)協(xié)議標(biāo)準(zhǔn)（OpenStackObjectSto6.2.1.3大數(shù)據(jù)存儲(chǔ)訪問(wèn)接口對(duì)接大數(shù)據(jù)存儲(chǔ)應(yīng)用時(shí)，大數(shù)據(jù)存儲(chǔ)訪問(wèn)接口要求如下：a)應(yīng)支持HDFS接口，以文件方式對(duì)接存儲(chǔ)，支持對(duì)目錄、文件（包括附屬信息）的創(chuàng)建、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫(xiě)等常用操作，宜支持配額、快照、ACL等功能；b)宜支持S3接口，以對(duì)象方式對(duì)接存儲(chǔ)，接口要求見(jiàn)6.2.1.2。6.2.2協(xié)議接入功能協(xié)議接入功能要求如下：5GB/TXXXXX—XXXXa)同一存儲(chǔ)系統(tǒng)內(nèi)，每個(gè)存儲(chǔ)設(shè)備應(yīng)提供多協(xié)議服務(wù)能力，支持多協(xié)議同時(shí)接入；b)應(yīng)支持協(xié)議接入鑒權(quán)認(rèn)證，各協(xié)議至少支持一種鑒權(quán)認(rèn)證方式：1）NFS協(xié)議鑒權(quán)認(rèn)證：本地用戶、LDAP域或NIS域鑒權(quán)認(rèn)證；2）CIFS/SMB協(xié)議鑒權(quán)認(rèn)證：本地用戶、AD域或LDAP域鑒權(quán)認(rèn)證；3）文件私有客戶端鑒權(quán)認(rèn)證：本地用戶、LDAP域或NIS域鑒權(quán)認(rèn)證；4）HDFS協(xié)議鑒權(quán)認(rèn)證：本地用戶或LDAP域鑒權(quán)認(rèn)證；5）S3協(xié)議鑒權(quán)認(rèn)證：AK/SK或LDAP域認(rèn)證；6）OpenStackSwift支持KeyStone用戶認(rèn)證方式；c)宜支持單個(gè)協(xié)議內(nèi)負(fù)載均衡，文件、對(duì)象、大數(shù)據(jù)應(yīng)支持單協(xié)議內(nèi)的統(tǒng)一域名訪問(wèn)服務(wù)，單協(xié)議內(nèi)支持負(fù)載均衡，提供輪詢，連接數(shù)或資源負(fù)載（CPU、內(nèi)存、帶寬）等至少一種接入均衡方式；d)宜支持多協(xié)議全局的負(fù)載均衡，文件、對(duì)象、大數(shù)據(jù)宜支持協(xié)議間的負(fù)載均衡，提供連接數(shù)或資源負(fù)載（CPU、內(nèi)存、帶寬）等至少一種接入均衡方式；e)宜支持業(yè)務(wù)帶寬及OPS的Qos功能，支持客戶端、存儲(chǔ)節(jié)點(diǎn)、用戶、目錄/桶等至少一種Qos策略控制，保障多協(xié)議業(yè)務(wù)性能的均衡穩(wěn)定；f)支持協(xié)議服務(wù)異常自恢復(fù)機(jī)制，支持節(jié)點(diǎn)故障及恢復(fù)后協(xié)議服務(wù)切換遷移機(jī)制，切換遷移同時(shí)保證符合負(fù)載均衡要求。6.3統(tǒng)一語(yǔ)義處理層6.3.1統(tǒng)一語(yǔ)義訪問(wèn)接口對(duì)接文件、對(duì)象、大數(shù)據(jù)HDFS協(xié)議，滿足協(xié)議全語(yǔ)義兼容。統(tǒng)一語(yǔ)義訪問(wèn)接口要求如下：a)元數(shù)據(jù)操作應(yīng)支持創(chuàng)建、查找、遍歷、刪除、重命名、截?cái)?、設(shè)置、查詢等操作，對(duì)應(yīng)文件、HDFS協(xié)議的目錄（文件）以及對(duì)象協(xié)議的桶/容器（對(duì)象）的基礎(chǔ)語(yǔ)義操作；b)數(shù)據(jù)操作應(yīng)支持：讀、新寫(xiě)、修改寫(xiě)、追加寫(xiě)、刪除、截?cái)嗟炔僮鳎瑢?duì)應(yīng)文件、HDFS協(xié)議的文件以及對(duì)象協(xié)議的對(duì)象的基礎(chǔ)語(yǔ)義操作；c)元數(shù)據(jù)及數(shù)據(jù)語(yǔ)義操作接口支持?jǐn)y帶協(xié)議本身的用戶/權(quán)限等擴(kuò)展的私有信息，語(yǔ)義操作結(jié)果符合擴(kuò)展信息的要求或限制。6.3.2元數(shù)據(jù)映射根據(jù)協(xié)議元數(shù)據(jù)和統(tǒng)一元數(shù)據(jù)的相關(guān)性，多協(xié)議元數(shù)據(jù)通過(guò)映射轉(zhuǎn)換成統(tǒng)一元數(shù)據(jù)；同樣地，統(tǒng)一元數(shù)據(jù)也能通過(guò)映射轉(zhuǎn)換為指定協(xié)議的元數(shù)據(jù)（元數(shù)據(jù)映射示意見(jiàn)圖3）。元數(shù)據(jù)映射要求如下：6GB/TXXXXX—XXXX圖2分布式存儲(chǔ)系統(tǒng)協(xié)議互聯(lián)元數(shù)據(jù)映射示意a)應(yīng)支持文件、HDFS協(xié)議的目錄、文件信息（目錄（文件）名稱、類型、屬主、時(shí)間、大小、權(quán)限、私有信息等）映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對(duì)象信息；b)應(yīng)支持對(duì)象協(xié)議的桶（對(duì)象）信息（租戶名、桶（對(duì)象）名稱、屬主、狀態(tài)、類型、時(shí)間、大小、標(biāo)簽、私有信息等）映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對(duì)象信息；c)應(yīng)支持統(tǒng)一元數(shù)據(jù)路徑/對(duì)象信息映射轉(zhuǎn)換為文件、HDFS協(xié)議的目錄（文件）信息或?qū)ο髤f(xié)議的桶（對(duì)象）信息；d)宜支持文件、HDFS協(xié)議的用戶組、用戶（包括域）和權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息；e)宜支持對(duì)象協(xié)議的租戶、用戶及權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息；f)宜支持統(tǒng)一元數(shù)據(jù)用戶、權(quán)限信息映射轉(zhuǎn)換為文件、HDFS、對(duì)象協(xié)議的用戶/租戶及權(quán)限信息。6.3.3數(shù)據(jù)映射將指定范圍的不同協(xié)議格式的數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換成全局統(tǒng)一的數(shù)據(jù)對(duì)象；同樣地，數(shù)據(jù)對(duì)象也能映射轉(zhuǎn)換為指定協(xié)議格式的數(shù)據(jù)內(nèi)容（數(shù)據(jù)映射示意見(jiàn)圖4）。數(shù)據(jù)映射相關(guān)要求如下：圖3分布式存儲(chǔ)系統(tǒng)協(xié)議互聯(lián)數(shù)據(jù)映射示意a)支持文件、HDFS協(xié)議的文件數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容；b)支持對(duì)象協(xié)議的對(duì)象數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容；c)支持一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容映射轉(zhuǎn)換為文件、HDFS、對(duì)象協(xié)議的數(shù)據(jù)內(nèi)容。7GB/TXXXXX—XXXX6.3.4擴(kuò)展功能宜支持多協(xié)議下訪問(wèn)控制、配額、快照等功能的統(tǒng)一管理，如文件服務(wù)為目錄設(shè)置的配額，對(duì)象服務(wù)對(duì)應(yīng)的桶也會(huì)生效；或同一個(gè)本地用戶，文件服務(wù)設(shè)置本用戶訪問(wèn)目錄為只讀，則本用戶訪問(wèn)對(duì)象服務(wù)對(duì)應(yīng)的桶也為只讀。6.4可擴(kuò)展數(shù)據(jù)對(duì)象層6.4.1統(tǒng)一格式的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象基于元數(shù)據(jù)組織和數(shù)據(jù)組織，實(shí)現(xiàn)一種統(tǒng)一格式的可擴(kuò)展元數(shù)據(jù)對(duì)象結(jié)構(gòu)和數(shù)據(jù)對(duì)象結(jié)構(gòu)，滿足語(yǔ)義層的元數(shù)據(jù)及數(shù)據(jù)請(qǐng)求操作，要求如下：a)基于元數(shù)據(jù)和數(shù)據(jù)的信息量，提供多級(jí)索引組織結(jié)構(gòu)，支持在限定信息下通過(guò)內(nèi)部索引定位到具體對(duì)象來(lái)進(jìn)行訪問(wèn)；b)通過(guò)統(tǒng)一語(yǔ)義處理層的元數(shù)據(jù)映射和數(shù)據(jù)映射，多協(xié)議的數(shù)據(jù)內(nèi)容通過(guò)數(shù)據(jù)對(duì)象持久化存儲(chǔ)為全局統(tǒng)一的單一副本；c)數(shù)據(jù)組織結(jié)構(gòu)應(yīng)支持創(chuàng)建、讀、寫(xiě)、刪除、截?cái)?、信息設(shè)置、查詢、快照等操作；d)元數(shù)據(jù)組織結(jié)構(gòu)應(yīng)支持偏移長(zhǎng)度方式或鍵值方式的創(chuàng)建、讀取、刪除、更新等操作。6.4.2元數(shù)據(jù)組織元數(shù)據(jù)組織應(yīng)支持路徑、對(duì)象、用戶及權(quán)限三類信息，要求如下：a)統(tǒng)一元數(shù)據(jù)路徑及統(tǒng)一元數(shù)據(jù)對(duì)象信息中包括但不限于：唯一名稱、類型、屬主、時(shí)間、大小、權(quán)限等基本信息，以及私有的擴(kuò)展信息（私有協(xié)議信息、元數(shù)據(jù)/數(shù)據(jù)分布信息等）；b)統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息包括但不限于：(域）用戶組/用戶ID、映射類型、基本權(quán)限映射關(guān)系、ACL權(quán)限映射關(guān)系等。6.4.3數(shù)據(jù)組織數(shù)據(jù)組織要求如下：a)全局?jǐn)?shù)據(jù)對(duì)象信息包括但不限于：唯一ID、對(duì)應(yīng)協(xié)議數(shù)據(jù)的偏移、數(shù)據(jù)長(zhǎng)度以及私有信息；b)應(yīng)