信息技術(shù) 分布式存儲協(xié)議互聯(lián)技術(shù)要求 征求意見稿

1GB/TXXXXX—XXXX信息技術(shù)分布式存儲協(xié)議互聯(lián)技術(shù)要求本文件給出了分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)，規(guī)定了分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)下的技術(shù)要求。本文件適用于分布式存儲協(xié)議互聯(lián)架構(gòu)的設(shè)計和實現(xiàn)。對于集中式存儲協(xié)議互聯(lián)架構(gòu)的設(shè)計和實現(xiàn)可參照使用。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1分布式存儲distributedstorage通過網(wǎng)絡(luò)整合分布在多臺機器的存儲空間資源，構(gòu)成虛擬存儲設(shè)備的一種數(shù)據(jù)存儲技術(shù)。[來源：GB/T36074.3-2019，3.17]3.2存儲協(xié)議storageprotocol主機和存儲設(shè)備間進(jìn)行傳輸、訪問和存儲數(shù)據(jù)的規(guī)則。注：分布式存儲協(xié)議一般分為文件存儲協(xié)議、對象存儲協(xié)議、大數(shù)據(jù)存儲協(xié)議和塊存儲協(xié)議。其中文件存儲協(xié)議（NFS、SMB/CIFS、POSIX）、對象存儲協(xié)議（S3、SWIFT）、大數(shù)據(jù)存儲協(xié)議（HDFS、S3）主要應(yīng)用于3.3存儲協(xié)議互聯(lián)protocolinterconnectionforstorage為實現(xiàn)兼容性，存儲協(xié)議之間進(jìn)行語義操作的技術(shù)。注：為滿足一份數(shù)據(jù)被主機多樣應(yīng)用跨文件、對象、大數(shù)據(jù)存儲協(xié)議實時訪問，分布式存儲基于全局可擴展數(shù)據(jù)對象層提供全局單一副本的數(shù)據(jù)共享存儲方式，同時通過統(tǒng)一的存儲協(xié)議語義映射處理，實現(xiàn)文件、對象、3.4元數(shù)據(jù)metadata定義和描述其他數(shù)據(jù)的數(shù)據(jù)。2GB/TXXXXX—XXXX注：本文件中的元數(shù)據(jù)包含來自主機應(yīng)用產(chǎn)生的創(chuàng)建時間、修改時間、類型、訪問權(quán)限等信息，也包含分布式存[來源：GB/T18391.1—2009，3.2.16，有修改]3.5統(tǒng)一元數(shù)據(jù)unifiedmetadata融合多協(xié)議元數(shù)據(jù)，形成具有一致數(shù)據(jù)結(jié)構(gòu)的信息。3.6元數(shù)據(jù)組織organizationofmetadata按照一定的規(guī)則和方式對元數(shù)據(jù)對象進(jìn)行歸并、存儲、處理的過程。3.7數(shù)據(jù)組織organizationofdata按照一定的規(guī)則和方式對數(shù)據(jù)對象進(jìn)行歸并、存儲、處理的過程。[來源：GB/T39362—2020，3.7，有修改]4縮略語下列縮略語適用于本文件。ACL：訪問控制列表（AccessControlList）AD：活動目錄（ActiveDirectory）AK/SK：訪問密鑰/保密密鑰（AccessKey/SecretAccessKey）API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）CIFS：通用網(wǎng)絡(luò)文件系統(tǒng)（CommonInternetFileSystem）CPU：中央處理單元（CentralProcessingUnit）HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）ID：標(biāo)識符（Identifier)LDAP：輕型目錄訪問協(xié)議（LightweightDirectoryAccessProtocol）NFS：網(wǎng)絡(luò)文件系統(tǒng)（NetworkFileSystem）NIS：網(wǎng)絡(luò)信息服務(wù)（NetworkInformationService）POSIX：可移植操作系統(tǒng)接口（PortableOperatingSystemInterface）QoS：服務(wù)質(zhì)量（QualityofService）SDK：軟件開發(fā)工具包（SoftwareDevelopmentKit）SMB：服務(wù)器消息塊（ServerMessageBlock）5技術(shù)架構(gòu)為滿足一份數(shù)據(jù)被主機多樣應(yīng)用跨文件、對象、大數(shù)據(jù)存儲協(xié)議實時訪問，分布式存儲協(xié)議互聯(lián)技術(shù)基于全局可擴展數(shù)據(jù)對象層，提供全局單一副本的數(shù)據(jù)共享存儲方式，同時通過統(tǒng)一的存儲協(xié)議語義映射處理，實現(xiàn)文件、對象、大數(shù)據(jù)存儲協(xié)議同時關(guān)聯(lián)接入及語義操作兼容。圖1給出了分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)。3GB/TXXXXX—XXXX圖1分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)中各層技術(shù)的作用如下：——協(xié)議服務(wù)接入層：提供文件、對象、大數(shù)據(jù)服務(wù)同時接入以及鑒權(quán)認(rèn)證、負(fù)載均衡等功能；——統(tǒng)一語義處理層：通過元數(shù)據(jù)映射轉(zhuǎn)換和數(shù)據(jù)映射轉(zhuǎn)換，提供統(tǒng)一的語義訪問接口，實現(xiàn)協(xié)議間語義操作實時轉(zhuǎn)換，實現(xiàn)語義兼容；——可擴展數(shù)據(jù)對象層：通過元數(shù)據(jù)組織和數(shù)據(jù)組織機制，提供具有一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對象和數(shù)據(jù)對象，以支撐多協(xié)議映射對應(yīng)一份元數(shù)據(jù)和數(shù)據(jù)。來自文件應(yīng)用的數(shù)據(jù)（文件A）由NFS協(xié)議寫入并提供文件存儲協(xié)議服務(wù)，文件A通過統(tǒng)一語義數(shù)據(jù)映射和數(shù)據(jù)映射后，形成可擴展數(shù)據(jù)對象層中全局統(tǒng)一的元數(shù)據(jù)對象和數(shù)據(jù)對象，并實現(xiàn)元數(shù)據(jù)組織和數(shù)據(jù)組織；當(dāng)對象應(yīng)用希望通過S3協(xié)議讀取文件A時，S3協(xié)議通過統(tǒng)一語義處理層映射到文件A，然后從可擴展數(shù)據(jù)對象層訪問到文件A，最終映射轉(zhuǎn)換為指定S3協(xié)議格式的數(shù)據(jù)內(nèi)容，實現(xiàn)文件A以NFS協(xié)議寫4GB/TXXXXX—XXXX6技術(shù)要求6.1總體要求分布式存儲協(xié)議互聯(lián)技術(shù)架構(gòu)的總體要求如下：a)支持文件、對象、大數(shù)據(jù)應(yīng)用中的至少兩類協(xié)議同時接入，支持協(xié)議標(biāo)準(zhǔn)接口，并提供鑒權(quán)認(rèn)證，負(fù)載均衡等能力；b)提供協(xié)議統(tǒng)一語義訪問接口，支持不同協(xié)議間語義實時轉(zhuǎn)換；c)具有一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對象和數(shù)據(jù)對象，提供數(shù)據(jù)分布均衡及數(shù)據(jù)修復(fù)重構(gòu)能力。6.2協(xié)議接入服務(wù)層6.2.1存儲訪問接口6.2.1.1文件存儲訪問接口對接文件存儲應(yīng)用時，文件存儲訪問接口要求如下：a)應(yīng)支持的NFS（V3和V4版本）協(xié)議，支持對目錄、文件（包括附屬信息）的創(chuàng)建、打開、關(guān)閉、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫、數(shù)據(jù)同步等常用操作；b)應(yīng)支持的CIFS/SMB（V1、V2和V3版本）協(xié)議，支持對目錄、文件（包括附屬信息）的創(chuàng)建、打開、關(guān)閉、刪除、查詢、設(shè)置、讀、寫、數(shù)據(jù)同步、租約等常用操作；c)宜支持POSIX接口的私有客戶端模式，支持對目錄、文件（包括附屬信息）的創(chuàng)建、打開、關(guān)閉、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫、數(shù)據(jù)同步等常用操作。6.2.1.2對象存儲訪問接口對接文件存儲應(yīng)用時，對象存儲訪問接口要求如下：a)應(yīng)支持S3API接口，并應(yīng)符合：1）支持桶創(chuàng)建、列舉、刪除等常用操作，宜支持桶生命周期、桶策略、桶ACL等功能的設(shè)置、查詢等操作；2）支持對象的上傳、下載、刪除、拷貝、移動、列舉、查詢、分片上傳等常用操作；注：S3指亞馬遜簡單存儲（AmazonSimpleStorab)宜支持Swift接口，并宜符合：1）支持賬戶的創(chuàng)建、查詢、修改、刪除、容器列舉等常用操作，支持容器的創(chuàng)建、查詢、修改、刪除、對象列舉等常用操作；2）支持對象的創(chuàng)建、查詢、復(fù)制、刪除等常用操作。注：Swift指對象存儲協(xié)議標(biāo)準(zhǔn)（OpenStackObjectSto6.2.1.3大數(shù)據(jù)存儲訪問接口對接大數(shù)據(jù)存儲應(yīng)用時，大數(shù)據(jù)存儲訪問接口要求如下：a)應(yīng)支持HDFS接口，以文件方式對接存儲，支持對目錄、文件（包括附屬信息）的創(chuàng)建、查找、遍歷、查詢、設(shè)置、刪除、重命名、讀、寫等常用操作，宜支持配額、快照、ACL等功能；b)宜支持S3接口，以對象方式對接存儲，接口要求見6.2.1.2。6.2.2協(xié)議接入功能協(xié)議接入功能要求如下：5GB/TXXXXX—XXXXa)同一存儲系統(tǒng)內(nèi)，每個存儲設(shè)備應(yīng)提供多協(xié)議服務(wù)能力，支持多協(xié)議同時接入；b)應(yīng)支持協(xié)議接入鑒權(quán)認(rèn)證，各協(xié)議至少支持一種鑒權(quán)認(rèn)證方式：1）NFS協(xié)議鑒權(quán)認(rèn)證：本地用戶、LDAP域或NIS域鑒權(quán)認(rèn)證；2）CIFS/SMB協(xié)議鑒權(quán)認(rèn)證：本地用戶、AD域或LDAP域鑒權(quán)認(rèn)證；3）文件私有客戶端鑒權(quán)認(rèn)證：本地用戶、LDAP域或NIS域鑒權(quán)認(rèn)證；4）HDFS協(xié)議鑒權(quán)認(rèn)證：本地用戶或LDAP域鑒權(quán)認(rèn)證；5）S3協(xié)議鑒權(quán)認(rèn)證：AK/SK或LDAP域認(rèn)證；6）OpenStackSwift支持KeyStone用戶認(rèn)證方式；c)宜支持單個協(xié)議內(nèi)負(fù)載均衡，文件、對象、大數(shù)據(jù)應(yīng)支持單協(xié)議內(nèi)的統(tǒng)一域名訪問服務(wù)，單協(xié)議內(nèi)支持負(fù)載均衡，提供輪詢，連接數(shù)或資源負(fù)載（CPU、內(nèi)存、帶寬）等至少一種接入均衡方式；d)宜支持多協(xié)議全局的負(fù)載均衡，文件、對象、大數(shù)據(jù)宜支持協(xié)議間的負(fù)載均衡，提供連接數(shù)或資源負(fù)載（CPU、內(nèi)存、帶寬）等至少一種接入均衡方式；e)宜支持業(yè)務(wù)帶寬及OPS的Qos功能，支持客戶端、存儲節(jié)點、用戶、目錄/桶等至少一種Qos策略控制，保障多協(xié)議業(yè)務(wù)性能的均衡穩(wěn)定；f)支持協(xié)議服務(wù)異常自恢復(fù)機制，支持節(jié)點故障及恢復(fù)后協(xié)議服務(wù)切換遷移機制，切換遷移同時保證符合負(fù)載均衡要求。6.3統(tǒng)一語義處理層6.3.1統(tǒng)一語義訪問接口對接文件、對象、大數(shù)據(jù)HDFS協(xié)議，滿足協(xié)議全語義兼容。統(tǒng)一語義訪問接口要求如下：a)元數(shù)據(jù)操作應(yīng)支持創(chuàng)建、查找、遍歷、刪除、重命名、截斷、設(shè)置、查詢等操作，對應(yīng)文件、HDFS協(xié)議的目錄（文件）以及對象協(xié)議的桶/容器（對象）的基礎(chǔ)語義操作；b)數(shù)據(jù)操作應(yīng)支持：讀、新寫、修改寫、追加寫、刪除、截斷等操作，對應(yīng)文件、HDFS協(xié)議的文件以及對象協(xié)議的對象的基礎(chǔ)語義操作；c)元數(shù)據(jù)及數(shù)據(jù)語義操作接口支持?jǐn)y帶協(xié)議本身的用戶/權(quán)限等擴展的私有信息，語義操作結(jié)果符合擴展信息的要求或限制。6.3.2元數(shù)據(jù)映射根據(jù)協(xié)議元數(shù)據(jù)和統(tǒng)一元數(shù)據(jù)的相關(guān)性，多協(xié)議元數(shù)據(jù)通過映射轉(zhuǎn)換成統(tǒng)一元數(shù)據(jù)；同樣地，統(tǒng)一元數(shù)據(jù)也能通過映射轉(zhuǎn)換為指定協(xié)議的元數(shù)據(jù)（元數(shù)據(jù)映射示意見圖3）。元數(shù)據(jù)映射要求如下：6GB/TXXXXX—XXXX圖2分布式存儲系統(tǒng)協(xié)議互聯(lián)元數(shù)據(jù)映射示意a)應(yīng)支持文件、HDFS協(xié)議的目錄、文件信息（目錄（文件）名稱、類型、屬主、時間、大小、權(quán)限、私有信息等）映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對象信息；b)應(yīng)支持對象協(xié)議的桶（對象）信息（租戶名、桶（對象）名稱、屬主、狀態(tài)、類型、時間、大小、標(biāo)簽、私有信息等）映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對象信息；c)應(yīng)支持統(tǒng)一元數(shù)據(jù)路徑/對象信息映射轉(zhuǎn)換為文件、HDFS協(xié)議的目錄（文件）信息或?qū)ο髤f(xié)議的桶（對象）信息；d)宜支持文件、HDFS協(xié)議的用戶組、用戶（包括域）和權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息；e)宜支持對象協(xié)議的租戶、用戶及權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息；f)宜支持統(tǒng)一元數(shù)據(jù)用戶、權(quán)限信息映射轉(zhuǎn)換為文件、HDFS、對象協(xié)議的用戶/租戶及權(quán)限信息。6.3.3數(shù)據(jù)映射將指定范圍的不同協(xié)議格式的數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換成全局統(tǒng)一的數(shù)據(jù)對象；同樣地，數(shù)據(jù)對象也能映射轉(zhuǎn)換為指定協(xié)議格式的數(shù)據(jù)內(nèi)容（數(shù)據(jù)映射示意見圖4）。數(shù)據(jù)映射相關(guān)要求如下：圖3分布式存儲系統(tǒng)協(xié)議互聯(lián)數(shù)據(jù)映射示意a)支持文件、HDFS協(xié)議的文件數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個或多個數(shù)據(jù)對象的內(nèi)容；b)支持對象協(xié)議的對象數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個或多個數(shù)據(jù)對象的內(nèi)容；c)支持一個或多個數(shù)據(jù)對象的內(nèi)容映射轉(zhuǎn)換為文件、HDFS、對象協(xié)議的數(shù)據(jù)內(nèi)容。7GB/TXXXXX—XXXX6.3.4擴展功能宜支持多協(xié)議下訪問控制、配額、快照等功能的統(tǒng)一管理，如文件服務(wù)為目錄設(shè)置的配額，對象服務(wù)對應(yīng)的桶也會生效；或同一個本地用戶，文件服務(wù)設(shè)置本用戶訪問目錄為只讀，則本用戶訪問對象服務(wù)對應(yīng)的桶也為只讀。6.4可擴展數(shù)據(jù)對象層6.4.1統(tǒng)一格式的元數(shù)據(jù)對象和數(shù)據(jù)對象基于元數(shù)據(jù)組織和數(shù)據(jù)組織，實現(xiàn)一種統(tǒng)一格式的可擴展元數(shù)據(jù)對象結(jié)構(gòu)和數(shù)據(jù)對象結(jié)構(gòu)，滿足語義層的元數(shù)據(jù)及數(shù)據(jù)請求操作，要求如下：a)基于元數(shù)據(jù)和數(shù)據(jù)的信息量，提供多級索引組織結(jié)構(gòu)，支持在限定信息下通過內(nèi)部索引定位到具體對象來進(jìn)行訪問；b)通過統(tǒng)一語義處理層的元數(shù)據(jù)映射和數(shù)據(jù)映射，多協(xié)議的數(shù)據(jù)內(nèi)容通過數(shù)據(jù)對象持久化存儲為全局統(tǒng)一的單一副本；c)數(shù)據(jù)組織結(jié)構(gòu)應(yīng)支持創(chuàng)建、讀、寫、刪除、截斷、信息設(shè)置、查詢、快照等操作；d)元數(shù)據(jù)組織結(jié)構(gòu)應(yīng)支持偏移長度方式或鍵值方式的創(chuàng)建、讀取、刪除、更新等操作。6.4.2元數(shù)據(jù)組織元數(shù)據(jù)組織應(yīng)支持路徑、對象、用戶及權(quán)限三類信息，要求如下：a)統(tǒng)一元數(shù)據(jù)路徑及統(tǒng)一元數(shù)據(jù)對象信息中包括但不限于：唯一名稱、類型、屬主、時間、大小、權(quán)限等基本信息，以及私有的擴展信息（私有協(xié)議信息、元數(shù)據(jù)/數(shù)據(jù)分布信息等）；b)統(tǒng)一元數(shù)據(jù)用戶及權(quán)限信息包括但不限于：(域）用戶組/用戶ID、映射類型、基本權(quán)限映射關(guān)系、ACL權(quán)限映射關(guān)系等。6.4.3數(shù)據(jù)組織數(shù)據(jù)組織要求如下：a)全局?jǐn)?shù)據(jù)對象信息包括但不限于：唯一ID、對應(yīng)協(xié)議數(shù)據(jù)的偏移、數(shù)據(jù)長度以及私有信息；b)應(yīng)