GB/T 37722-2019信息技術(shù)大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

ICS35240

L67.

中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)

GB/T37722—2019

信息技術(shù)

大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

Informationtechnology—

Technicalrequirementsforbigdatastorageandprocessingsystems

2019-08-30發(fā)布2020-03-01實(shí)施

國(guó)家市場(chǎng)監(jiān)督管理總局發(fā)布

中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)

GB/T37722—2019

目次

前言

…………………………Ⅲ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語(yǔ)和定義

3………………1

縮略語(yǔ)

4……………………2

概述

5………………………2

大數(shù)據(jù)存儲(chǔ)子系統(tǒng)功能要求

6……………3

基本要求

6.1……………3

分布式文件存儲(chǔ)

6.2……………………3

分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

6.3……………3

分布式列式數(shù)據(jù)存儲(chǔ)

6.4………………3

分布式圖數(shù)據(jù)存儲(chǔ)

6.5…………………4

大數(shù)據(jù)處理子系統(tǒng)功能要求

7……………4

基本要求

7.1……………4

批處理框架

7.2…………………………4

流處理框架

7.3…………………………4

圖計(jì)算框架

7.4…………………………5

內(nèi)存計(jì)算框架

7.5………………………5

批流融合計(jì)算框架

7.6…………………5

Ⅰ

GB/T37722—2019

前言

本標(biāo)準(zhǔn)按照給出的規(guī)則起草

GB/T1.1—2009。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專(zhuān)利的責(zé)任

。。

本標(biāo)準(zhǔn)由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出并歸口

(SAC/TC28)。

本標(biāo)準(zhǔn)起草單位華為技術(shù)有限公司中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院浪潮電子信息產(chǎn)業(yè)股份有限公

:、、

司上海計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)中心勤智數(shù)碼科技股份有限公司深圳市金蝶天燕中間件股份有限公司

、、、、

新華三技術(shù)有限公司中興通訊股份有限公司杭州中奧科技有限公司天津南大通用數(shù)據(jù)技術(shù)股份有

、、、

限公司

。

本標(biāo)準(zhǔn)主要起草人趙華符海芳衛(wèi)鳳林張群蘇志遠(yuǎn)趙江陳敏剛劉振宇蔡立志劉宇峰

:、、、、、、、、、、

李正林琳潘子健吳文峰張東濤朱松沈貝倫陸韻武新張紹勇李冰尹卓孫嘉陽(yáng)

、、、、、、、、、、、、。

Ⅲ

GB/T37722—2019

信息技術(shù)

大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

1范圍

本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)的分布式文件存儲(chǔ)分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)分布式列式數(shù)據(jù)

、、

存儲(chǔ)分布式圖數(shù)據(jù)存儲(chǔ)批處理框架流處理框架圖計(jì)算框架內(nèi)存計(jì)算框架和批流融合計(jì)算框架等

、、、、、

的功能要求

。

本標(biāo)準(zhǔn)適用于大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)和應(yīng)用部署

、。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的凡是注日期的引用文件僅注日期的版本適用于本文

。,

件凡是不注日期的引用文件其最新版本包括所有的修改單適用于本文件

。,()。

信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)

GB/T35295—2017

3術(shù)語(yǔ)和定義

界定的以及下列術(shù)語(yǔ)和定義適用于本文件

GB/T35295—2017。

31

.

圖數(shù)據(jù)庫(kù)graphdatabase

一種應(yīng)用圖理論存儲(chǔ)實(shí)體及其之間關(guān)系信息的非關(guān)系型數(shù)據(jù)庫(kù)

。

注1圖數(shù)據(jù)庫(kù)的數(shù)據(jù)模型由節(jié)點(diǎn)及邊組成即節(jié)點(diǎn)間關(guān)系

:()。

注2圖數(shù)據(jù)庫(kù)支持圖查詢(xún)圖遍歷及圖分析等功能適用于復(fù)雜關(guān)系的探索與發(fā)現(xiàn)

:、,。

32

.

批處理batchprocessing

將一個(gè)大型作業(yè)分解成為多個(gè)任務(wù)交由多個(gè)節(jié)點(diǎn)分別處理再將分解后多個(gè)任務(wù)處理的結(jié)果匯總

,

起來(lái)得出最終的分析結(jié)果的計(jì)算框架具備高可用高擴(kuò)展高并發(fā)等能力

,,、、。

33

.

流處理streamprocessing

能夠?qū)哂袑?shí)時(shí)