GB∕T37722-2019信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

ICS35240L67 .中 華 人 民 共 和 國 國 家 標(biāo) 準(zhǔn) GB/T377222019 信息技術(shù) 大數(shù)據(jù)存儲與處理系統(tǒng)功能要求 Informationtechnology Technicalrequirementsforbigdatastorageandprocessingsystems2019-08-30發(fā)布 2020-03-01實施 國 家 市 場 監(jiān) 督 管 理 總 局 發(fā) 布 中國國家標(biāo)準(zhǔn)化管理委員會 GB/T377222019 目 次 前言 范圍1 1 規(guī)范性引用文件2 1 術(shù)語和定義3 1 縮略語4 2 概述5 2 大數(shù)據(jù)存儲子系統(tǒng)功能要求6 3 基本要求 6.1 3 分布式文件存儲 6.2 3 分布式結(jié)構(gòu)化數(shù)據(jù)存儲 6.3 3 分布式列式數(shù)據(jù)存儲 6.4 3 分布式圖數(shù)據(jù)存儲 6.5 4 大數(shù)據(jù)處理子系統(tǒng)功能要求7 4 基本要求 7.1 4 批處理框架 7.2 4 流處理框架 7.3 4 圖計算框架 7.4 5 內(nèi)存計算框架 7.5 5 批流融合計算框架 7.6 5 GB/T377222019 前 言 本標(biāo)準(zhǔn)按照 給出的規(guī)則起草 GB/T1.12009 。 請注意本文件的某些內(nèi)容可能涉及專利 本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任 。 。 本標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會 提出并歸口 (SAC/TC28) 。 本標(biāo)準(zhǔn)起草單位 華為技術(shù)有限公司 中國電子技術(shù)標(biāo)準(zhǔn)化研究院 浪潮電子信息產(chǎn)業(yè)股份有限公 : 、 、司 上海計算機(jī)軟件技術(shù)開發(fā)中心 勤智數(shù)碼科技股份有限公司 深圳市金蝶天燕中間件股份有限公司 、 、 、 、新華三技術(shù)有限公司 中興通訊股份有限公司 杭州中奧科技有限公司 天津南大通用數(shù)據(jù)技術(shù)股份有 、 、 、限公司 。 本標(biāo)準(zhǔn)主要起草人 趙華 符海芳 衛(wèi) 鳳 林 張 群 蘇 志 遠(yuǎn) 趙 江 陳 敏 剛 劉 振 宇 蔡 立 志 劉 宇 峰 : 、 、 、 、 、 、 、 、 、 、李正 林琳 潘子健 吳文峰 張東濤 朱松 沈貝倫 陸韻 武新 張紹勇 李冰 尹卓 孫嘉陽 、 、 、 、 、 、 、 、 、 、 、 、 。 GB/T377222019 信息技術(shù) 大數(shù)據(jù)存儲與處理系統(tǒng)功能要求1 范圍 本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)存儲與處理系統(tǒng)的分布式文件存儲 分布式結(jié)構(gòu)化數(shù)據(jù)存儲 分布式列式數(shù)據(jù) 、 、 存儲 分布式圖數(shù)據(jù)存儲 批處理框架 流處理框架 圖計算框架 內(nèi)存計算框架和批流融合計算框架等 、 、 、 、 、 的功能要求 。 本標(biāo)準(zhǔn)適用于大數(shù)據(jù)存儲與處理系統(tǒng)的設(shè)計 開發(fā)和應(yīng)用部署 、 。2 規(guī)范性引用文件 下列文件對于本文件的應(yīng)用是必不可少的 凡是注日期的引用文件 僅注日期的版本適用于本文 。 , 件 凡是不注日期的引用文件 其最新版本 包括所有的修改單 適用于本文件 。 , ( ) 。 信息技術(shù) 大數(shù)據(jù) 術(shù)語 GB/T352952017 3 術(shù)語和定義 界定的以及下列術(shù)語和定義適用于本文件 GB/T352952017 。31 . 圖數(shù)據(jù)庫 graphdatabase 一種應(yīng)用圖理論存儲實體及其之間關(guān)系信息的非關(guān)系型數(shù)據(jù)庫 。 注1 圖數(shù)據(jù)庫的數(shù)據(jù)模型由節(jié)點及邊組成 即節(jié)點間關(guān)系 : ( )。 注2 圖數(shù)據(jù)庫支持圖查詢 圖遍歷及圖分析等功能 適用于復(fù)雜關(guān)系的探索與發(fā)現(xiàn) : 、 , 。32 . 批處理 batchprocessing 將一個大型作業(yè)分解成為多個任務(wù)交由多個節(jié)點分別處理 再將分解后多個任務(wù)處理的結(jié)果匯總 , 起來 得出最終的分析結(jié)果的計算框架 具備高可用 高擴(kuò)展 高并發(fā)等能力 , , 、 、 。33 . 流處理 streamprocessing 能夠?qū)哂袑崟r 高速 無邊界 瞬時性等特性的流式數(shù)據(jù)進(jìn)行實時處理的計算能力 、 、 、 。34 . 圖計算 graphprocessing 以 圖論 為基礎(chǔ)的對數(shù)據(jù)的一種 圖 結(jié)構(gòu)的抽象表達(dá) 以及在這種數(shù)據(jù)結(jié)構(gòu)上的計算模式 “ ” “ ” , 。 注 在圖計算中 基本的數(shù)據(jù)結(jié)