(高清版)GB∕T 37722-2019 信息技術(shù) 大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

ICS35.240GB/T37722—2019大數(shù)據(jù)存儲與處理系統(tǒng)功能要求國家市場監(jiān)督管理總局中國國家標(biāo)準(zhǔn)化管理委員會GB/T37722—2019 Ⅲ 1 13術(shù)語和定義 1 2 26大數(shù)據(jù)存儲子系統(tǒng)功能要求 36.1基本要求 36.2分布式文件存儲 36.3分布式結(jié)構(gòu)化數(shù)據(jù)存儲 36.4分布式列式數(shù)據(jù)存儲 36.5分布式圖數(shù)據(jù)存儲 47大數(shù)據(jù)處理子系統(tǒng)功能要求 47.1基本要求 47.2批處理框架 47.3流處理框架 4 57.5內(nèi)存計算框架 57.6批流融合計算框架 5IⅢGB/T37722—2019本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。本標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。1GB/T37722—2019信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求的功能要求。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T35295—2017界定的以及下列術(shù)語和定義適用于本文件。3.1一種應(yīng)用圖理論存儲實體及其之間關(guān)系信息的非關(guān)系型數(shù)據(jù)庫。注1:圖數(shù)據(jù)庫的數(shù)據(jù)模型由節(jié)點及邊組成(即節(jié)點間關(guān)系)。注2:圖數(shù)據(jù)庫支持圖查詢、圖遍歷及圖分析等功能，適用于復(fù)雜關(guān)系的探索與發(fā)現(xiàn)。3.2將一個大型作業(yè)分解成為多個任務(wù)交由多個節(jié)點分別處理，再將分解后多個任務(wù)處理的結(jié)果匯總3.33.43.52GB/T37722—2019API:應(yīng)用程序編程接口(ApplicationProgrammingInterface)CEP:復(fù)雜事件處理(ComplexEventProcessing)CPU:中央處理器(CentralProceDAG:有向無環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)MPI:消息傳遞接口(MessagePassiTCP:傳輸控制協(xié)議(TransmissionControlProtocol)框架子系統(tǒng)大數(shù)據(jù)處理子系統(tǒng)大數(shù)據(jù)存儲框架3GB/T37722—20196大數(shù)據(jù)存儲子系統(tǒng)功能要求之間交換數(shù)據(jù)和文件；d)應(yīng)具備關(guān)鍵節(jié)點(部件)高可用性設(shè)計與要求；e)宜提供數(shù)據(jù)自動備份和手動備份的功能；c)應(yīng)提供文件數(shù)據(jù)的校驗和同步功能，保證數(shù)據(jù)的e)應(yīng)提供存儲數(shù)據(jù)的壓縮和加解密功能；h)宜提供小文件打包成大文件集中存儲的功能；b)應(yīng)提供API接口實現(xiàn)數(shù)據(jù)的各類查詢操作；c)應(yīng)提供多表關(guān)聯(lián)功能；d)應(yīng)支持?jǐn)?shù)據(jù)分布式存儲的一致性；f)宜支持行列轉(zhuǎn)換。分布式列式數(shù)據(jù)存儲要求如下：a)應(yīng)提供數(shù)據(jù)以鍵值形式進行存儲的功能；c)應(yīng)提供按照用戶需要對數(shù)據(jù)庫中的數(shù)據(jù)進行列加密的功能；e)宜提供多級索引功能；f)宜提供將多個具有類似功能或存在關(guān)聯(lián)的業(yè)務(wù)表合并存儲的功能。4GB/T37722—2019分布式圖數(shù)據(jù)存儲要求如下：a)應(yīng)支持由節(jié)點及邊組成(即節(jié)點間關(guān)系)的數(shù)據(jù)模型；c)應(yīng)支持主流圖數(shù)據(jù)庫開發(fā)接口；g)宜支持長任務(wù)異步會話機制。7大數(shù)據(jù)處理子系統(tǒng)功能要求b)應(yīng)支持計算框架的水平擴展；d)應(yīng)支持對全局資源的集中管理；e)應(yīng)支持靜態(tài)資源分配策略和動態(tài)資源分配策略；超過分配給該隊列的資源上限；k)宜支持自動完成作業(yè)調(diào)度，并支持作業(yè)內(nèi)多任務(wù)以無回路有向圖形式描述的依賴關(guān)系；批處理框架要求如下：b)應(yīng)支持離線計算任務(wù)進度與狀態(tài)的實時上報；c)應(yīng)支持多節(jié)點離線任務(wù)聯(lián)動執(zhí)行；d)應(yīng)支持分析任務(wù)的多種語言開發(fā)接口；e)應(yīng)支持作業(yè)調(diào)度；g)應(yīng)支持批處理計算框架運行在分布式資源管理之上。隊列或者進行持久化；GB/T37722—2019a)應(yīng)提供內(nèi)置圖數(shù)據(jù)查詢類的API,支持同步計算模型或異步計算模型編寫迭代算法；c)應(yīng)支持提供在線圖分析和查詢功能；f)應(yīng)支持實現(xiàn)水平擴展的分布式圖計算和查詢；g)應(yīng)支持圖數(shù)據(jù)的并發(fā)查詢。a)應(yīng)支持通過分布式內(nèi)存計算和DAG執(zhí)行引擎提供數(shù)據(jù)處理能力；e)宜支持與非關(guān)系型數(shù)據(jù)庫對接，即不遷移數(shù)據(jù)的前提下讀取非關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)。批流融合計算框架要求如下：a)應(yīng)支持批流融合統(tǒng)一查詢SQL語言；b)應(yīng)支持多種場景下的流式SQL,如位置信息分析等；e)宜支持批流融合的計算引擎；