CESA-2023-004《事務分析混合型數(shù)據(jù)庫技術要求》團體標準(征求意見稿)編制說明_第1頁
CESA-2023-004《事務分析混合型數(shù)據(jù)庫技術要求》團體標準(征求意見稿)編制說明_第2頁
CESA-2023-004《事務分析混合型數(shù)據(jù)庫技術要求》團體標準(征求意見稿)編制說明_第3頁
CESA-2023-004《事務分析混合型數(shù)據(jù)庫技術要求》團體標準(征求意見稿)編制說明_第4頁
CESA-2023-004《事務分析混合型數(shù)據(jù)庫技術要求》團體標準(征求意見稿)編制說明_第5頁
已閱讀5頁,還剩3頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

中國電子工業(yè)標準化技術協(xié)會

一、工作簡況

根據(jù)中國電子工業(yè)標準化技術協(xié)會2023年第一批團體標準計劃通知(中電標

通〔2023〕002號),團體標準《事務分析混合型數(shù)據(jù)庫技術要求》(項目號:

CESA-2023-004)由平凱星辰(北京)科技有限公司提出,中國電子工業(yè)標準化

技術協(xié)會歸口,標準由平凱星辰(北京)科技有限公司牽頭,中國電子技術標準

化研究院、建信金融科技有限責任公司、深圳平安通信科技有限公司、華東師范

大學、天翼云科技有限公司等單位共同參與完成編制。

1.研究背景

隨著數(shù)據(jù)采集、留存、匯集以及處理技術的不斷完善,企業(yè)在數(shù)字化轉(zhuǎn)型過

程中產(chǎn)生了越來越多的實時決策系統(tǒng)和實時數(shù)據(jù)中臺建設的需求,HTAP數(shù)據(jù)庫

以易用性、擴展性、快速更新迭代、相對較低成本投入等優(yōu)勢特性滿足了企業(yè)用

戶的核心訴求。

事務分析混合型數(shù)據(jù)庫(HTAP)最早在2014年由分析機構Gartner提出,當

時主要指以SAPHANA為代表的內(nèi)存數(shù)據(jù)庫的混合負載能力,HANA快是快,

但數(shù)據(jù)量有限,最大的門檻是“貴且專有”,僅在使用SAP的大企業(yè)有少量用

戶,那一代HTAP并沒有真正擴展起來,也并沒有流行形成趨勢。直到最近幾年,

互聯(lián)網(wǎng)“海量、實時、在線”的需求越來越廣泛,大量采用MySQL和

PostgreSQL開源數(shù)據(jù)庫的新一代企業(yè)需要提升對于熱數(shù)據(jù)的實時在線分析能

力,這類需求遍布幾乎所有的互聯(lián)網(wǎng)企業(yè),從事線上業(yè)務的數(shù)字化轉(zhuǎn)型企業(yè)。電

商、游戲、數(shù)字媒體、金融科技、網(wǎng)絡安全等互聯(lián)網(wǎng)和數(shù)字化業(yè)務,對于新鮮數(shù)

據(jù)的實時分析能力直接決定了這些業(yè)務的生死存亡,秒甚至毫秒級的低延遲成為

他們提升消費者體驗的重要手段,實時營銷、實時風控等業(yè)務訴求變得更加普遍,

這種新訴求催生了新一代HTAP的共同訴求:一個數(shù)據(jù)庫,一套架構,同時滿

足OLTP和OLAP的低延遲數(shù)據(jù)處理且互不干擾。在過去十年,國內(nèi)外眾多

中國電子工業(yè)標準化技術協(xié)會

廠商推出了一系列HTAP數(shù)據(jù)庫產(chǎn)品,進行了大量的探索和實踐,并且在產(chǎn)業(yè)界

獲得了廣泛應用。為當前海量數(shù)據(jù)的存儲和實時分析提供了重要支撐。

但同時,國內(nèi)外針對HTAP數(shù)據(jù)庫還存在較多的技術路線,部分技術路線是

基于傳統(tǒng)技術架構的數(shù)據(jù)庫,其HTAP性能將受到限制。因此,制定HTAP數(shù)據(jù)

庫技術要求標準,有利于收斂HTAP技術路線,明確HTAP技術要求,推動業(yè)界

形成共識,加快HTAP數(shù)據(jù)庫技術產(chǎn)品迭代和升級,更好滿足市場需求,引領全

球HTAP數(shù)據(jù)庫技術進步。

2.標準研究的關鍵點

標準研究的關鍵點包括:

1)廣義的HTAP數(shù)據(jù)庫,能夠在關系數(shù)據(jù)模型上進行OLTP時具有

強一致性保

證,并且融合了分布式能力從而同時具有高擴展性

。狹義的HTAP數(shù)據(jù)庫

指的是采用行列混存或者行列轉(zhuǎn)化技術來同時支持事務能力和分析功能。事

務分析混合型數(shù)據(jù)庫多基于分布式架構和對用戶透明的完全無共享的Share

nothing并行計算架構實現(xiàn),因此標準首先需要明確HTAP數(shù)據(jù)庫定義;

2)確定HTAP數(shù)據(jù)庫的功能特性,包括基本功能、HTAP特性以及宜支持的分布

式特性;

3)明確應具備的自動化安裝部署、監(jiān)控告警、性能容量、系統(tǒng)配置、升級維護、

數(shù)據(jù)備份恢復等運維管理能力。

3.工作過程

1)標準化需求調(diào)研

2022年3月-2022年6月,對HTAP的標準化需求開展調(diào)研,調(diào)研目前國內(nèi)互聯(lián)

網(wǎng)、金融、電信、電商、物流等行業(yè)的數(shù)據(jù)密集型應用、實時數(shù)據(jù)服務等場景中

遇到的實際問題,并組織多次需求討論會,邀請數(shù)據(jù)庫廠商從產(chǎn)業(yè)現(xiàn)狀、當前面

臨的問題、可通過標準化解決的問題以及標準化思路四個方向討論標準化需求,

明確標準化對象。

2)成立標準編制組

2022年7月,在全國信息技術標準化委員會數(shù)據(jù)庫標準工作組內(nèi)邀請對本標

準感興趣的企業(yè)參與,成立標準編制組。

3)標準大綱討論及編制

中國電子工業(yè)標準化技術協(xié)會

2022年8月-2022年9月,根據(jù)需求研討會中提出的問題,從HTAP數(shù)據(jù)庫的技

術架構、功能要求和運維要求等方面形成《事務分析混合型數(shù)據(jù)庫技術要求》標

準大綱,并在編制組內(nèi)進行討論。

4)補充完善標準大綱,形成標準草稿

2022年10月,根據(jù)標準大綱,由平凱星辰(北京)科技有限公司牽頭,聯(lián)合

參與單位共同完善標準大綱內(nèi)容,并完成標準草稿的編寫工作。

5)編制組內(nèi)部征求意見,完善標準草稿

2022年11月,在編制組內(nèi)對標準草稿多次進行意見征求,并根據(jù)意見召開標

準研討會,逐條對意見進行討論,完善標準草稿。

6)團標立項

2022年12月,標準中心組織召開團標立項會,本標準立項并開展正式研制工

作,項目號為CESA-2023-004。

7)形成征求意見稿

2023年1月-2023年3月,標準研制組對團標立項會和數(shù)據(jù)庫工作組組內(nèi)反饋

的意見進行討論,進一步細化調(diào)整了HTAP數(shù)據(jù)庫的技術架構,對于必須支持的

功能要求等部分進行討論,形成征求意見稿。

二、標準編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

1、標準編制的原則:

標準編制組在編寫過程中遵循如下原則:

a)貫徹國家有關政策與法規(guī)

信息技術產(chǎn)品基礎軟硬件涉及的知識產(chǎn)權創(chuàng)造、保護、運用和管理工作,必

須符合我國有關知識產(chǎn)權相關政策和法規(guī)。

(2)提出的知識產(chǎn)權評估指標應具備準確性、完備性、指導性及可擴展性

切實結合信息產(chǎn)品基礎軟硬件的特點,提出針對基礎軟件和基礎硬件知識產(chǎn)

權評估指標。同時標準保留了擴展、細化指標要求的結構。

(3)標準內(nèi)容簡明扼要

標準各項內(nèi)容清晰,對于易于理解的內(nèi)容、不贅述、不舉例,對于較為復雜

的內(nèi)容,作準確而恰到好處的闡釋。

(4)認真聽取、分析各方意見,做好意見的處理和反饋

中國電子工業(yè)標準化技術協(xié)會

征求相關主管部門意見,針對意見進行修改,做好意見反饋工作。

2.主要內(nèi)容的論據(jù)及解決的主要問題:

區(qū)別于傳統(tǒng)集中式數(shù)據(jù)庫,分布式HTAP數(shù)據(jù)庫是分布式數(shù)據(jù)庫的一個重要

分支,是當前市場分布式事務型數(shù)據(jù)庫和分布式分析型數(shù)據(jù)庫的融合,更符合當

前數(shù)據(jù)爆炸式增長的需求,是分布式數(shù)據(jù)庫技術演進的最前沿領域。當前,在互

聯(lián)網(wǎng)、金融、電信、電商、物流等行業(yè)的數(shù)據(jù)密集型應用、實時數(shù)據(jù)服務等場景,

對HTAP數(shù)據(jù)庫有著迫切的需求。國內(nèi)已有多款成熟的HTAP數(shù)據(jù)庫產(chǎn)品在應用,

具備全球領先的技術水平。制定HTAP數(shù)據(jù)庫技術要求標準,有利于收斂HTAP

技術路線,明確HTAP技術要求,推動業(yè)界形成共識,加快HTAP數(shù)據(jù)庫技術產(chǎn)

品迭代和升級,更好滿足市場需求,引領全球HTAP數(shù)據(jù)庫技術進步。

[如技術指標、參數(shù)、公式、性能要求、試驗方法、檢驗規(guī)則等的論據(jù),包括試驗、統(tǒng)

計數(shù)據(jù),解決的主要問題。修訂標準時應列出與原標準的主要差異和水平對比]

三、主要試驗情況分析

標準編制過程中,經(jīng)過多次前期調(diào)研,了解行業(yè)產(chǎn)業(yè)現(xiàn)狀,并組織產(chǎn)品廠商

就各環(huán)節(jié)的必要性進行充分討論。后續(xù)將組織相關數(shù)據(jù)庫廠商進行符合性內(nèi)部驗

證及交叉互驗,根據(jù)驗證情況完善標準文本。

四、知識產(chǎn)權情況說明

本標準目前不涉及專利問題。

五、產(chǎn)業(yè)化情況、推廣應用論證和預期達到的經(jīng)濟效果

適用于事務分析混合型數(shù)據(jù)庫相關項目的設計、開發(fā)、測試、評估、運維、

管理等,也可作為第三方評估機構衡量HTAP數(shù)據(jù)庫能力的標準依據(jù)。依據(jù)交付

形式的差異,本標準針對不同的使用場景其技術指標要求略有不同。

六、轉(zhuǎn)化國際標準和國外先進標準情況

本標準未對國際標準進行采標。

七、與現(xiàn)行相關法律、法規(guī)、規(guī)章及相關標準的協(xié)調(diào)性

本標準與我國現(xiàn)行的法律、法規(guī)不存在沖突問題。

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

九、貫徹標準的要求和措施建議

中國電子工業(yè)標準化技術協(xié)會

本標準批準后作為推薦性團體標準使用。

十、替代或廢止現(xiàn)行相關標準的建議

為了促進國產(chǎn)基礎軟硬件的發(fā)展,規(guī)范相關企業(yè)的生產(chǎn)和經(jīng)營,應盡快實施

該標準,加大對標準的宣傳、貫徹力度,推進行業(yè)的進一步發(fā)展。

十一、其它應予說明的事項

本標準不涉及對現(xiàn)行標準的廢止。

《事務分析混合型數(shù)據(jù)庫技術要求》團體標準編制

起草組

2023-4-23

中國電子工業(yè)標準化技術協(xié)會

一、工作簡況

根據(jù)中國電子工業(yè)標準化技術協(xié)會2023年第一批團體標準計劃通知(中電標

通〔2023〕002號),團體標準《事務分析混合型數(shù)據(jù)庫技術要求》(項目號:

CESA-2023-004)由平凱星辰(北京)科技有限公司提出,中國電子工業(yè)標準化

技術協(xié)會歸口,標準由平凱星辰(北京)科技有限公司牽頭,中國電子技術標準

化研究院、建信金融科技有限責任公司、深圳平安通信科技有限公司、華東師范

大學、天翼云科技有限公司等單位共同參與完成編制。

1.研究背景

隨著數(shù)據(jù)采集、留存、匯集以及處理技術的不斷完善,企業(yè)在數(shù)字化轉(zhuǎn)型過

程中產(chǎn)生了越來越多的實時決策系統(tǒng)和實時數(shù)據(jù)中臺建設的需求,HTAP數(shù)據(jù)庫

以易用性、擴展性、快速更新迭代、相對較低成本投入等優(yōu)勢特性滿足了企業(yè)用

戶的核心訴求。

事務分析混合型數(shù)據(jù)庫(HTAP)最早在2014年由分析機構Gartner提出,當

時主要指以SAPHANA為代表的內(nèi)存數(shù)據(jù)庫的混合負載能力,HANA快是快,

但數(shù)據(jù)量有限,最大的門檻是“貴且專有”,僅在使用SAP的大企業(yè)有少量用

戶,那一代HTAP并沒有真正擴展起來,也并沒有流行形成趨勢。直到最近幾年,

互聯(lián)網(wǎng)“海量、實時、在線”的需求越來越廣泛,大量采用MySQL和

PostgreSQL開源數(shù)據(jù)庫的新一代企業(yè)需要提升對于熱數(shù)據(jù)的實時在線分析能

力,這類需求遍布幾乎所有的互聯(lián)網(wǎng)企業(yè),從事線上業(yè)務的數(shù)字化轉(zhuǎn)型企業(yè)。電

商、游戲、數(shù)字媒體、金融科技、網(wǎng)絡安全等互聯(lián)網(wǎng)和數(shù)字化業(yè)務,對于新鮮數(shù)

據(jù)的實時分析能力直接決定了這些業(yè)務的生死存亡,秒甚至毫秒級的低延遲成為

他們提升消費者體驗的重要手段,實時營銷、實時風控等業(yè)務訴求變得更加普遍,

這種新訴求催生了新一代HTAP的共同訴求:一個數(shù)據(jù)庫,一套架構,同時滿

足OLTP和OLAP的低延遲數(shù)據(jù)處理且互不干擾。在過去十年,國內(nèi)外眾多

中國電子工業(yè)標準化技術協(xié)會

廠商推出了一系列HTAP數(shù)據(jù)庫產(chǎn)品,進行了大量的探索和實踐,并且在產(chǎn)業(yè)界

獲得了廣泛應用。為當前海量數(shù)據(jù)的存儲和實時分析提供了重要支撐。

但同時,國內(nèi)外針對HTAP數(shù)據(jù)庫還存在較多的技術路線,部分技術路線是

基于傳統(tǒng)技術架構的數(shù)據(jù)庫,其HTAP性能將受到限制。因此,制定HTAP數(shù)據(jù)

庫技術要求標準,有利于收斂HTAP技術路線,明確HTAP技術要求,推動業(yè)界

形成共識,加快HTAP數(shù)據(jù)庫技術產(chǎn)品迭代和升級,更好滿足市場需求,引領全

球HTAP數(shù)據(jù)庫技術進步。

2.標準研究的關鍵點

標準研究的關鍵點包括:

1)廣義的HTAP數(shù)據(jù)庫,能夠在關系數(shù)據(jù)模型上進行OLTP時具有

強一致性保

證,并且融合了分布式能力從而同時具有高擴展性

。狹義的HTAP數(shù)據(jù)庫

指的是采用行列混存或者行列轉(zhuǎn)化技術來同時支持事務能力和分析功能。事

務分析混合型數(shù)據(jù)庫多基于分布式架構和對用戶透明的完全無共享的Share

nothing并行計算架構實現(xiàn),因此標準首先需要明確HTAP數(shù)據(jù)庫定義;

2)確定HTAP數(shù)據(jù)庫的功能特性,包括基本功能、HTAP特性以及宜支持的分布

式特性;

3)明確應具備的自動化安裝部署、監(jiān)控告警、性能容量、系統(tǒng)配置、升級維護、

數(shù)據(jù)備份恢復等運維管理能力。

3.工作過程

1)標準化需求調(diào)研

2022年3月-2022年6月,對HTAP的標準化需求開展調(diào)研,調(diào)研目前國內(nèi)互聯(lián)

網(wǎng)、金融、電信、電商、物流等行業(yè)的數(shù)據(jù)密集型應用、實時數(shù)據(jù)服務等場景中

遇到的實際問題,并組織多次需求討論會,邀請數(shù)據(jù)庫廠商從產(chǎn)業(yè)現(xiàn)狀、當前面

臨的問題、可通過標準化解決的問題以及標準化思路四個方向討論標準化需求,

明確標準化對象。

2)成立標準編制組

2022年7月,在全國信息技術標準化委員會數(shù)據(jù)庫標準工作組內(nèi)邀請對本標

準感興趣的企業(yè)參與,成立標準編制組。

3)標準大綱討論及編制

中國電子工業(yè)標準化技術協(xié)會

2022年8月-2022年9月,根據(jù)需求研討會中提出的問題,從HTAP數(shù)據(jù)庫的技

術架構、功能要求和運維要求等方面形成《事務分析混合型數(shù)據(jù)庫技術要求》標

準大綱,并在編制組內(nèi)進

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論