![大數(shù)據(jù)白皮書(2022年)_第1頁](http://file4.renrendoc.com/view3/M00/0E/2A/wKhkFmZFdxaAd-8PAACOzDr_fZg901.jpg)
![大數(shù)據(jù)白皮書(2022年)_第2頁](http://file4.renrendoc.com/view3/M00/0E/2A/wKhkFmZFdxaAd-8PAACOzDr_fZg9012.jpg)
![大數(shù)據(jù)白皮書(2022年)_第3頁](http://file4.renrendoc.com/view3/M00/0E/2A/wKhkFmZFdxaAd-8PAACOzDr_fZg9013.jpg)
![大數(shù)據(jù)白皮書(2022年)_第4頁](http://file4.renrendoc.com/view3/M00/0E/2A/wKhkFmZFdxaAd-8PAACOzDr_fZg9014.jpg)
![大數(shù)據(jù)白皮書(2022年)_第5頁](http://file4.renrendoc.com/view3/M00/0E/2A/wKhkFmZFdxaAd-8PAACOzDr_fZg9015.jpg)
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
No.202225
大數(shù)據(jù)白皮書
(2022年)
中國信息通信研究院
2023年1月
前言
中央全面深化改革委員會第二十六次會議指出,數(shù)據(jù)作為新型生
產(chǎn)要素,是數(shù)字化、網(wǎng)絡化、智能化的基礎,已快速融入生產(chǎn)、分配、
流通、消費和社會服務管理等各個環(huán)節(jié),深刻改變著生產(chǎn)方式、生活
方式和社會治理方式。大數(shù)據(jù)是數(shù)據(jù)的集合,是圍繞數(shù)據(jù)形成的一套
技術體系,并衍生出了豐富的產(chǎn)業(yè)生態(tài),成為釋放數(shù)據(jù)價值的重要引
擎。
近一年來,從宏觀看,各國通過政策、法案、設立機構等方式,
持續(xù)推進自身大數(shù)據(jù)戰(zhàn)略,我國黨中央、國務院圍繞數(shù)據(jù)要素市場建
設、數(shù)據(jù)要素價值釋放密集提出一系列重要論斷、作出一系列戰(zhàn)略部
署,進一步增強了我國大數(shù)據(jù)發(fā)展動能。從微觀看,數(shù)據(jù)存儲與計算、
數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應用、數(shù)據(jù)安全五大核心領域均伴隨相關
政策、技術、產(chǎn)業(yè)、應用的不斷演進,發(fā)展目標進一步明確和豐富,
發(fā)展成效不斷顯現(xiàn)。
本白皮書是中國信通院自2014年以來第七次發(fā)布的大數(shù)據(jù)白皮
書。本白皮書聚焦過去一年來大數(shù)據(jù)領域不斷涌現(xiàn)的新技術、新模式、
新業(yè)態(tài),分析總結全球和我國大數(shù)據(jù)發(fā)展的總體態(tài)勢,并重點針對數(shù)
據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應用、數(shù)據(jù)安全五大核心
領域,逐一分析、探討其發(fā)展現(xiàn)狀、特征、問題和趨勢,最后對我國
大數(shù)據(jù)未來發(fā)展進行展望與研判。希望本白皮書為社會各界深入了解
大數(shù)據(jù)領域提供有價值的參考。
大數(shù)據(jù)白皮書(2022年)
一、大數(shù)據(jù)發(fā)展總體態(tài)勢
2022年,全球大數(shù)據(jù)技術產(chǎn)業(yè)與應用創(chuàng)新不斷邁向新高度。宏觀
看,國際方面,美歐、韓日、澳洲通過政策、法案、設立機構等形式,
持續(xù)深化實施自身大數(shù)據(jù)戰(zhàn)略。國內方面,黨中央、國務院再次做出
一系列重要部署,我國大數(shù)據(jù)領域良好的發(fā)展態(tài)勢進一步鞏固。微觀
看,數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應用、數(shù)據(jù)安全五
大核心領域發(fā)展成效不斷顯現(xiàn)。本章將對國內外大數(shù)據(jù)領域的最新進
展進行總體敘述。
(一)各國深化推進自身大數(shù)據(jù)戰(zhàn)略
近一年來,美歐、韓日、澳洲通過政策、法案、設立機構等形式,
持續(xù)深化推進自身大數(shù)據(jù)戰(zhàn)略。
美歐發(fā)布法案,確保數(shù)據(jù)價值在隱私保護的前提下釋放。美國眾
議院和參議院于2022年6月發(fā)布了《美國數(shù)據(jù)隱私和保護法案》討論
稿,該法案在制度設計上既考慮了增強個人數(shù)據(jù)權利的國際趨勢,又
包含數(shù)據(jù)價值釋放的內容。法案并未禁止一般個人數(shù)據(jù)處理活動,而
是為個人提供了“選擇退出”方式,以促進對個人數(shù)據(jù)的合理利用。
歐洲議會于2022年4月就歐盟《數(shù)據(jù)治理法案》進行最終投票表決,
并獲得議會批準。該法案是落實《歐洲數(shù)據(jù)戰(zhàn)略》的重要舉措,構建
了三個適用于各個行業(yè)的數(shù)據(jù)共享機制,確保在符合歐洲公共利益和
數(shù)據(jù)提供者合法權益的條件下,實現(xiàn)數(shù)據(jù)更廣泛的國際共享。法案構
建了適用于所有部門的數(shù)據(jù)使用權基本規(guī)則,將促進個人和企業(yè)自愿
1
大數(shù)據(jù)白皮書(2022年)
共享數(shù)據(jù),并統(tǒng)一某些公共部門數(shù)據(jù)的使用條件。
韓日設置專門機構,推進各行業(yè)數(shù)字化轉型。韓國在2022年4月
成立了以國務總理作為委員長的“國家數(shù)據(jù)政策委員會”,作為國家
數(shù)據(jù)和新產(chǎn)業(yè)政策的管理機構,并于9月召開了韓國國家數(shù)據(jù)政策委
員會的第一次會議,發(fā)表了對8個數(shù)據(jù)領域、5個新產(chǎn)業(yè)領域、共計13
個領域的改善計劃,目標是在韓國打造全球頂級水平的數(shù)字力量。
2021年9月,日本政府成立數(shù)字廳,成為負責日本行政數(shù)字化的最高
部門,旨在構建更完善的數(shù)字政府,推動數(shù)字化轉型,目標為“用智
能手機在60秒內完成所有行政程序”,最大程度利用數(shù)字技術優(yōu)勢,
將數(shù)字科技作為全新要素融入傳統(tǒng)社會,促進經(jīng)濟社會形態(tài)積極轉型。
澳洲發(fā)布國家數(shù)據(jù)安全戰(zhàn)略,開始構建國家數(shù)據(jù)安全框架。2022
年4月,澳大利亞內政部頒布《國家數(shù)據(jù)安全行動計劃》,其為澳大
利亞首個國家數(shù)據(jù)安全行動計劃,意味著澳大利亞的國家數(shù)據(jù)安全框
架正式開始構建?!缎袆佑媱潯分铝τ诮⒁粋€全國性的方法來保護
公民數(shù)據(jù),保護公民的數(shù)據(jù)(收集、處理和存儲在數(shù)字系統(tǒng)和網(wǎng)絡上
的信息)免受侵害,同時為政府、企業(yè)和個人構建數(shù)據(jù)安全要求。
(二)我國大數(shù)據(jù)發(fā)展態(tài)勢好動力足
我國大數(shù)據(jù)經(jīng)過多年高速發(fā)展,不斷取得重要突破,呈現(xiàn)良好發(fā)
展態(tài)勢。一是產(chǎn)業(yè)規(guī)模高速增長,2021年,我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模增加
到1.3萬億元,復合增長率超過30%1;二是創(chuàng)新能力不斷增強,2021
1國家互聯(lián)網(wǎng)信息辦公室《數(shù)字中國發(fā)展報告(2021年)》,2022年7月
2
大數(shù)據(jù)白皮書(2022年)
年我國發(fā)表大數(shù)據(jù)領域論文量占全球31%2,大數(shù)據(jù)相關專利受理總
數(shù)占全球超50%,均位居第一3;三是生態(tài)體系持續(xù)優(yōu)化,2021年我
國大數(shù)據(jù)市場主體總量超18萬家4,一批大數(shù)據(jù)龍頭企業(yè)快速崛起,
初步形成了大企業(yè)引領、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格
局;四是市場前景廣受認可,我國大數(shù)據(jù)領域投融資金額多年來總體
呈現(xiàn)上升趨勢,2021年大數(shù)據(jù)相關企業(yè)獲投總金額超過800億元5,
再創(chuàng)歷史新高。
近一年,我國在政策、人才、資金等方面持續(xù)加碼,為大數(shù)據(jù)后
續(xù)發(fā)展注入強勁動力。
政策方面,中央、地方發(fā)布一系列支持文件,對大數(shù)據(jù)產(chǎn)業(yè)、數(shù)
字技術、數(shù)據(jù)要素市場、數(shù)據(jù)安全等方面進行了重點部署。中央層面,
2021年底,《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》的出臺明確了未來五
年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展工作的行動綱領。2022年,黨中央、國務院先后通
過《要素市場化配置綜合改革試點總體方案》、《關于加快建設全國
統(tǒng)一大市場的意見》、《關于構建數(shù)據(jù)基礎制度更好發(fā)揮數(shù)據(jù)要素作
用的意見》等文件,多次強調了釋放數(shù)據(jù)要素價值對于我國發(fā)展的必
要性、緊迫性,為我國大數(shù)據(jù)發(fā)展提供了良好的政策環(huán)境和明確的發(fā)
展目標。地方層面,31個?。▍^(qū)、市)均通過發(fā)布大數(shù)據(jù)專題規(guī)劃、
數(shù)字經(jīng)濟總體規(guī)劃等形式,明確了各地大數(shù)據(jù)技術、產(chǎn)業(yè)、應用的發(fā)
展路線圖、時間表,凸顯出各地在大數(shù)據(jù)布局方面的積極性。
2中國信通院根據(jù)WebofScience數(shù)據(jù)庫收錄的SCI論文數(shù)據(jù)統(tǒng)計得到。
3中國信通院根據(jù)Inspiro知識產(chǎn)權數(shù)據(jù)庫的數(shù)據(jù)統(tǒng)計得到。
4中國信通院根據(jù)企查查相關數(shù)據(jù)統(tǒng)計得到。
5中國信通院根據(jù)公開監(jiān)測、獲取到的企業(yè)信息,結合企業(yè)介紹、主營業(yè)務及服務介紹及相關其他信息,
進行篩選和分類得到。
3
大數(shù)據(jù)白皮書(2022年)
表1近一年內國家層面推動大數(shù)據(jù)產(chǎn)業(yè)的代表性政策
時間文件內容
工信部提出“到2025年底,大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億
2021.11《“十四五”大數(shù)據(jù)元”的增長目標,以及數(shù)據(jù)要素價值體系、現(xiàn)代化大數(shù)
產(chǎn)業(yè)發(fā)展規(guī)劃》據(jù)產(chǎn)業(yè)體系建設等新目標
提出拓展規(guī)范化數(shù)據(jù)開發(fā)利用場景,發(fā)揮領軍企業(yè)和行
國務院
業(yè)組織作用,推動人工智能、區(qū)塊鏈、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)
《要素市場化配置綜
2022.1等領域數(shù)據(jù)采集標準化。加強數(shù)據(jù)安全保護,強化網(wǎng)絡
合改革試點總體方
安全等級保護要求,推動完善數(shù)據(jù)分級分類安全保護制
案》
度,運用技術手段構建數(shù)據(jù)安全風險防控體系。
提出加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權利
中共中央國務院
保護、跨境傳輸管理、交易流通、開放共享、安全認證
2022.4《關于加快建設全國
等基礎制度和標準規(guī)范,深入開展數(shù)據(jù)資源調查,推動
統(tǒng)一大市場的意見》
數(shù)據(jù)資源開發(fā)利用。
中央全面深化改革委
習近平總書記強調“數(shù)據(jù)基礎制度建設事關國家發(fā)展和
員會第二十六次會
安全大局,要維護國家數(shù)據(jù)安全,保護個人信息和商業(yè)
議,審議通過《關于
2022.12秘密,促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推
構建數(shù)據(jù)基礎制度更
進數(shù)據(jù)產(chǎn)權、流通交易、收益分配、安全治理,加快構
好發(fā)揮數(shù)據(jù)要素作用
建數(shù)據(jù)基礎制度體系”
的意見》
來源:中國信息通信研究院
人才方面,過半“雙一流”高校設立大數(shù)據(jù)相關專業(yè),多省份積
極開展人才培育專項行動,人才供給能力顯著增強。高校教育方面,
147所“雙一流”高校中有87所已開設了大數(shù)據(jù)專業(yè),占比達到59%6,
根據(jù)上海軟科統(tǒng)計,大數(shù)據(jù)專業(yè)熱度已經(jīng)超過軟件工程等傳統(tǒng)熱門專
業(yè)。各省積極開展大數(shù)據(jù)人才培育專項行動,例如廣東實施“十萬”
產(chǎn)業(yè)數(shù)字化符合性人才培訓行動,上海要求各級黨校(行政學院)要
增加大數(shù)據(jù)與城市數(shù)字化轉型的培訓內容,浙江圍繞數(shù)字人才制定
“高精尖缺”人才目錄,江蘇搭建“智改數(shù)轉”人才智庫平臺,福建
明確要求縣級以上地方人民政府制訂大數(shù)據(jù)人才發(fā)展計劃。
6中國信通院根據(jù)教育部《普通高等學校本科專業(yè)備案和審批結果》進行統(tǒng)計獲得
4
大數(shù)據(jù)白皮書(2022年)
資金方面,多省份通過設立專項資金或采取稅收優(yōu)惠政策等方式,
對大數(shù)據(jù)企業(yè)、應用進行定向扶持和培育。例如,寧夏對于區(qū)內符合
標準的優(yōu)質大數(shù)據(jù)企業(yè)給予最高300萬的資金支持,山東、黑龍江等
省份要求省內縣級以上人民政府每年需統(tǒng)籌安排資金專項扶持大數(shù)
據(jù)相關企業(yè),浙江、廣東、重慶等推出一系列圍繞大數(shù)據(jù)企業(yè)的稅收
減免政策,江蘇省每年在省級財政安排12億元專項資金支持工業(yè)企
業(yè)“智改數(shù)轉”,貴州、遼寧、河北、云南等省份對建設成果顯著的
大數(shù)據(jù)應用項目補貼1000-3000萬。
(三)五大核心領域發(fā)展方向進一步明確
經(jīng)過多年技術和產(chǎn)業(yè)的發(fā)展,大數(shù)據(jù)領域內部逐漸細化,形成
數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應用、數(shù)據(jù)安全五大
核心領域。如圖1所示,數(shù)據(jù)源通過數(shù)據(jù)存儲與計算實現(xiàn)壓縮存儲
和初步加工,通過數(shù)據(jù)管理提升質量,通過數(shù)據(jù)流通配置給其它相
關主體,通過數(shù)據(jù)應用直接釋放價值,并由數(shù)據(jù)安全技術進行全過
程的安全保障。
這五大核心領域由于發(fā)展起步時間不同、應用需求緊迫程度不
同等原因,發(fā)展模式存在差異。在當前數(shù)據(jù)成為生產(chǎn)要素并快速融
入生產(chǎn)、分配、流通、消費等各環(huán)節(jié)的新形勢下,大數(shù)據(jù)五大核心
領域的發(fā)展方向均進一步明確。
5
大數(shù)據(jù)白皮書(2022年)
來源:中國信息通信研究院
圖1大數(shù)據(jù)產(chǎn)業(yè)五大核心領域
數(shù)據(jù)存儲與計算領域:實現(xiàn)海量數(shù)據(jù)的高效存儲與計算。本領域
發(fā)展時間長,在數(shù)據(jù)規(guī)模增長、形態(tài)變化等新需求持續(xù)推動下,逐步
演化出數(shù)據(jù)庫、大數(shù)據(jù)平臺、實時計算等成熟技術框架。當前,數(shù)據(jù)
存儲與計算領域已經(jīng)能夠支撐PB級海量數(shù)據(jù)的高效存儲和準實時計
算,發(fā)展方向聚焦為在持續(xù)提升能力基礎上,通過精細化運營和技術
升級實現(xiàn)“降本提質”。
數(shù)據(jù)管理領域:實現(xiàn)數(shù)據(jù)質量提升、管理高效。本領域屬于投入
周期長、見效慢的“下水道”型工作。當前,部分企業(yè)數(shù)據(jù)管理需求
強、資源足,已將數(shù)據(jù)管理的技術和規(guī)則率先落地,但大部分企業(yè)數(shù)
據(jù)管理仍處于起步階段。數(shù)據(jù)管理的發(fā)展方向聚焦為盡快借助政策紅
利和智能技術帶來的改變,促進各行業(yè)大規(guī)模實現(xiàn)全域數(shù)據(jù)管理。
數(shù)據(jù)流通領域:實現(xiàn)數(shù)據(jù)在不同主體間合理配置,使局部數(shù)據(jù)互
6
大數(shù)據(jù)白皮書(2022年)
相彌合,實現(xiàn)數(shù)據(jù)價值倍增。本領域需求旺盛、發(fā)展時間短,當前已
初步探索出機構與機構間點對點的流通路徑,但數(shù)據(jù)權屬、定價、市
場規(guī)則等關鍵性問題仍有待破解。為助力數(shù)據(jù)要素高效配置,數(shù)據(jù)流
通的發(fā)展方向聚焦為通過建設基礎制度、創(chuàng)新流通技術,實現(xiàn)數(shù)據(jù)流
通過程中安全與效率的平衡,從而構建全社會范圍數(shù)據(jù)規(guī)范化流通。
數(shù)據(jù)應用領域:實現(xiàn)數(shù)據(jù)為企業(yè)業(yè)務經(jīng)營過程賦能。本領域雖然
發(fā)展時間長,但受限于數(shù)據(jù)管理等前序工作成熟度不夠,目前僅部分
核心業(yè)務被數(shù)據(jù)淺度賦能。為釋放數(shù)據(jù)要素深度價值,數(shù)據(jù)應用的發(fā)
展方向聚焦為通過變革業(yè)務模式、優(yōu)化相關技術,使數(shù)據(jù)應用與全域
業(yè)務深度融合。
數(shù)據(jù)安全領域:確保數(shù)據(jù)處于有效保護和合法利用的狀態(tài),以及
具備保障持續(xù)安全狀態(tài)的能力。特別是近兩年數(shù)據(jù)安全一些法律法規(guī)
發(fā)布后,本領域得到快速發(fā)展,各行業(yè)在數(shù)據(jù)外規(guī)內化、風險治理等
方面推進步伐明顯加快。當前,數(shù)據(jù)安全的發(fā)展方向進一步聚焦為兼
顧安全與效率,從而實現(xiàn)安全左移的自動化與風險治理的智能化。
表2五大核心領域發(fā)展現(xiàn)狀和新形勢下的發(fā)展方向
發(fā)展現(xiàn)狀新形式下的發(fā)展方向
數(shù)據(jù)存儲與計算實現(xiàn)了海量數(shù)據(jù)的高效存儲、計算降低運維成本,提升處理效率
數(shù)據(jù)管理頭部行業(yè)實現(xiàn)關鍵數(shù)據(jù)的管理各行業(yè)均實現(xiàn)全域數(shù)據(jù)管理
數(shù)據(jù)流通點對點間流通路徑完成初步探索全社會范圍規(guī)范化流通
數(shù)據(jù)應用支撐核心業(yè)務分析和頂層決策以無感形式嵌入全域業(yè)務
數(shù)據(jù)安全推進外規(guī)內化與風險治理安全左移的智能化治理
來源:中國信息通信研究院
二、數(shù)據(jù)存儲與計算:通過深度優(yōu)化實現(xiàn)提質增效
數(shù)據(jù)存儲與計算提供海量數(shù)據(jù)的高壓縮比存儲和高效計算等基
7
大數(shù)據(jù)白皮書(2022年)
礎能力,以數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等為其技術表現(xiàn)形態(tài)。其發(fā)展
歷程長、產(chǎn)業(yè)成熟度相對較高,目前在數(shù)據(jù)要素等新需求牽引下,正
呈現(xiàn)出穩(wěn)中有進的發(fā)展態(tài)勢。本章將介紹數(shù)據(jù)存儲與計算領域的發(fā)展
歷程、當前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)存儲與計算發(fā)展歷久彌新
1960年信息時代開啟后,用于存儲、計算少量結構化數(shù)據(jù)的關系
型數(shù)據(jù)庫、數(shù)據(jù)倉庫誕生,Oracle、DB2、Teradata等商業(yè)化產(chǎn)品逐漸
成熟。2000年互聯(lián)網(wǎng)興起后,結構化數(shù)據(jù)的規(guī)模迅速膨脹、非結構化
數(shù)據(jù)開始涌現(xiàn),傳統(tǒng)關系型數(shù)據(jù)庫、數(shù)據(jù)倉庫能力出現(xiàn)瓶頸,以
ApacheHadoop為代表的分布式存儲計算框架成為新的技術潮流,
Cloudera、Hontonworks等數(shù)家商業(yè)化公司紛紛成立,大數(shù)據(jù)時代正
式來臨。2010年移動互聯(lián)網(wǎng)逐漸普及后,實時推薦、即時決策需求對
海量數(shù)據(jù)處理的實時性提出更高要求,同時視頻、音頻、圖片等非結
構化數(shù)據(jù)占比大幅提升,Storm、Flink等流處理框架受到關注,數(shù)據(jù)
湖技術也開始迅速產(chǎn)品化。圖2對數(shù)據(jù)存儲與計算領域的技術發(fā)展歷
程進行了簡要總結。
8
大數(shù)據(jù)白皮書(2022年)
來源:中國信息通信研究院
圖2數(shù)據(jù)存儲與計算領域技術發(fā)展歷程
技術方面,經(jīng)過60余年發(fā)展,數(shù)據(jù)存儲與計算領域總體技術框
架趨于成熟,進入深度優(yōu)化階段。數(shù)據(jù)存儲與計算領域已經(jīng)形成了以
分布式數(shù)據(jù)庫、數(shù)據(jù)倉庫、批處理平臺、流處理平臺為代表的總體技
術框架,并廣泛應用,已能夠支撐具有高并發(fā)、低延遲數(shù)據(jù)處理分析
需求的極端場景。例如在“雙十一”場景中,大量營銷、交易風控等
自動決策被嵌入業(yè)務流程,形成了復雜的數(shù)據(jù)處理分析鏈路。在技術
能力已相對成熟的基礎上,以云化、湖倉一體為代表的深度優(yōu)化理念
不斷涌現(xiàn),并逐步應用,為數(shù)據(jù)存儲與計算領域進一步降本提質提供
了新范式。
產(chǎn)業(yè)方面,全球疫情加速了數(shù)字化轉型進程,數(shù)據(jù)存儲與計算領
域的產(chǎn)業(yè)發(fā)展前景持續(xù)向好。國際方面,國際云數(shù)據(jù)倉庫巨頭
Snowflake2022年第三季度營收與去年同期相比上漲67%,達到5.5
億美元;國內方面,2021上半年我國大數(shù)據(jù)平臺市場規(guī)模達54.2億
9
大數(shù)據(jù)白皮書(2022年)
元,同比增長43.5%7;2021年我國數(shù)據(jù)庫市場規(guī)模預計達305.78億
元,同比增長26.93%8。同時我國大數(shù)據(jù)基礎軟件第一股星環(huán)科技于
2022年10月成功上市科創(chuàng)板。數(shù)據(jù)存儲與計算領域市場增長趨勢和
行業(yè)預期持續(xù)向好。
建設運維方面,數(shù)據(jù)存儲與計算建設持續(xù)深入,安全穩(wěn)定運行成
為關注焦點。隨著數(shù)字化轉型的開啟,工商銀行、建設銀行、農業(yè)銀
行等頭部金融機構,電信、移動、聯(lián)通等運營商,大型互聯(lián)網(wǎng)公司以
及諸多行業(yè)頭部企業(yè)均在數(shù)年前完成數(shù)據(jù)存儲與計算總體框架建設。
近年來,隨著數(shù)據(jù)規(guī)模增多、價值提升,數(shù)據(jù)存儲與計算技術平臺逐
漸復雜,運維使用時的穩(wěn)定性保障和安全防護成為難題。2022年,
Google、Twitter等公司的數(shù)據(jù)存儲與計算技術平臺均發(fā)生故障,同時,
全球范圍內也發(fā)生多起針對數(shù)據(jù)存儲與計算技術平臺的惡性攻擊,相
應安全事件帶來的損失也不斷增高。
(二)當前數(shù)據(jù)存儲與計算發(fā)展呈現(xiàn)三大特點
1.云化改造全面加速
數(shù)據(jù)存儲與計算技術持續(xù)與云融合,資源利用率進一步提升。隨
著云計算的發(fā)展,數(shù)據(jù)存儲與計算技術逐漸從私有部署轉化為云上部
署,初期體現(xiàn)為部署模式的不同,但伴隨著云原生理念的興起,云原
生數(shù)據(jù)存儲與計算產(chǎn)品開始成為產(chǎn)業(yè)變革浪潮。利用云原生理念,數(shù)
據(jù)存儲與計算一方面實現(xiàn)存儲、計算、調度、安全、分析等模塊的進
7來源:IDC咨詢
8來源:中國信息通信研究院《數(shù)據(jù)庫發(fā)展研究報告(2021年)》,2021年7月
10
大數(shù)據(jù)白皮書(2022年)
一步解耦,各模塊與容器等底層資源單元相適配,實現(xiàn)彈性擴縮容,
從而使得資源利用率提升30%~40%;另一方面實現(xiàn)應用接口函數(shù)化,
即利用Serverless的理念,將更多如統(tǒng)計、機器學習、流程處理等能
力封裝成函數(shù)接口,實現(xiàn)更細粒度的按需使用和付費,在提升2~3倍
發(fā)布效率的同時,有效降低成本。近年來,華為、騰訊云、阿里云、
百度、星環(huán)等國內主流大數(shù)據(jù)企業(yè)均推出云原生數(shù)據(jù)湖、云原生數(shù)據(jù)
平臺等產(chǎn)品。2022年阿里云首款Serverless數(shù)據(jù)庫產(chǎn)品RDSMySQL
Serverless正式商業(yè)化,PingCAP在HTAPSummit上宣布TiDBCloud
ServerlessTierBETA版正式發(fā)布。
2.融合一體化持續(xù)加深
批流一體、湖倉一體、HTAP(HybridTransactionAnalytical
Processing,混合事務與分析處理)等融合架構不斷降低運維成本。隨
著數(shù)字化轉型的深入,企業(yè)通常會針對不同的業(yè)務場景、不同的數(shù)據(jù)
模型搭建不同的平臺系統(tǒng),帶來了數(shù)據(jù)冗余、數(shù)據(jù)一致性差、資源配
置難、系統(tǒng)復雜等問題,極大增加了運維的壓力與成本。為解決上述
問題,數(shù)據(jù)存儲與計算領域各技術產(chǎn)品轉向融合架構成為趨勢,例如
將批處理技術與流處理技術融合的批流一體技術框架、打通數(shù)據(jù)倉庫
和數(shù)據(jù)湖技術的湖倉一體技術框架以及同時具備在線事務處理及分
析的混合事務分析處理技術。建立融合架構后,統(tǒng)一的接口層、計算
層、存儲層、資源調度層實現(xiàn)了對海量數(shù)據(jù)的統(tǒng)一管理和集群服務的
統(tǒng)一運維,大幅降低了運維綜合成本。國內外廠商紛紛提出自己的融
合架構解決方案。例如,近年來海外廠商Databricks同戴爾推出Data
11
大數(shù)據(jù)白皮書(2022年)
LakeHouse、亞馬遜推出智能湖倉架構,2022年國內廠商巨杉數(shù)據(jù)庫
推出SequoiaDB、阿里云推出MaxCompute湖倉一體方案、星環(huán)科技
推出星環(huán)湖倉一體V2.0等。
數(shù)據(jù)中間件技術為計算層與異構存儲層搭建橋梁,提升整體運行
效率,進一步加速數(shù)據(jù)平臺融合一體化。在存算分離后,存儲層為滿
足不同類型數(shù)據(jù)存儲的需求,文件存儲、對象存儲、表存儲等多種異
構存儲引擎同時存在。計算層和異構存儲引擎之間的連通復雜度越來
越高,數(shù)據(jù)中間件技術應運而生,其通過內置兼容接口和加速技術,
助力計算層與異構存儲層高速互聯(lián)。例如開源的Alluxio向上對接
Spark、Presto、Hive、TensorFlow等計算應用,向下對接阿里云OSS
對象存儲、AWSS3存儲、HDFS等不同存儲,可提升I/O效率200%
以上;ShardingSphere將多類異構數(shù)據(jù)庫MySQL、PostgreSQL、Oracle、
SQLServer、openGauss等包裝為統(tǒng)一數(shù)據(jù)庫訪問接口,從而方便多
種編程語言直接訪問多類異構數(shù)據(jù)庫。
3.安全能力快速補強
數(shù)據(jù)存儲與計算面臨著新型安全挑戰(zhàn),內生安全正成為傳統(tǒng)防護
的重要補充。一是隨著自身規(guī)模不斷龐大,數(shù)據(jù)存儲與計算技術平臺
的邊界不斷延伸,網(wǎng)絡安全防護體系隨之指數(shù)級膨脹,容易出現(xiàn)盲點、
漏點;二是伴隨數(shù)據(jù)開發(fā)利用的深化,數(shù)據(jù)存儲與計算技術平臺中的
關鍵數(shù)據(jù)與其他系統(tǒng)將進行高頻的互聯(lián)互通,安全和效率難以均衡;
三是數(shù)據(jù)存儲與計算技術平臺的技術組件60%以上基于開源技術,容
易遭遇“0day”攻擊;四是數(shù)據(jù)存儲與計算技術平臺中數(shù)據(jù)集中存儲,
12
大數(shù)據(jù)白皮書(2022年)
但操作人員類型多、數(shù)量多、變更多,操作頻次高,存在數(shù)據(jù)泄露風
險。2022年1月,美國交通運輸業(yè)商業(yè)信用報告機構TransCredit因
配置錯誤致使數(shù)據(jù)庫無密碼保護,共計涉及50萬人財務數(shù)據(jù)的60多
萬條信用記錄泄露;2022年6月,土耳其飛馬航空公司因其AWS云
存儲桶未受保護,發(fā)生總計約6.5TB的數(shù)據(jù)泄露,其中包含敏感的飛
行數(shù)據(jù);2022年10月,跨國集團湯森路透因配置錯誤導致存有3TB
敏感數(shù)據(jù)的Elasticsearch數(shù)據(jù)庫發(fā)生泄漏。近年來頻發(fā)的數(shù)據(jù)泄漏事
件,使得全密態(tài)執(zhí)行環(huán)境、敏感數(shù)據(jù)自動識別、高效數(shù)據(jù)加解密、細
粒度的權限控制、零信任等內生安全技術在數(shù)據(jù)存儲與計算技術產(chǎn)品
中的應用不斷增加,與傳統(tǒng)網(wǎng)絡安全防護相輔相成。近一年,華為云、
阿里云相繼推出全密態(tài)數(shù)據(jù)庫,星環(huán)科技TDH、阿里云Dataworks紛
紛加入敏感數(shù)據(jù)識別能力,亞馬遜RDS增加內置防火墻。
(三)數(shù)據(jù)存儲與計算面臨的主要挑戰(zhàn)與發(fā)展趨勢
經(jīng)過半世紀的發(fā)展,數(shù)據(jù)存儲與計算領域總體技術框架基本成熟,
產(chǎn)業(yè)穩(wěn)步發(fā)展,為上層各類數(shù)據(jù)應用誕生提供了堅實基礎。但隨著數(shù)
字化轉型從頭部行業(yè)向傳統(tǒng)行業(yè)延伸、數(shù)據(jù)的生產(chǎn)要素屬性不斷凸顯,
數(shù)據(jù)存儲與計算領域也迎來新的挑戰(zhàn)。一是數(shù)據(jù)存儲與計算技術平臺
建設運營成本仍需控制。數(shù)據(jù)存儲與計算技術平臺規(guī)模體量大、建設
周期長、前期投入高,但投資回報率卻相對較低。隨著疫情以來經(jīng)濟
大環(huán)境發(fā)生變化,企業(yè)需要更加理性、務實的開展數(shù)據(jù)存儲與計算技
術平臺建設,從實際收益的角度進行評估論證和精細化運營,同時數(shù)
據(jù)存儲與計算技術也應從降低運維使用成本等方面優(yōu)化提升。二是促
13
大數(shù)據(jù)白皮書(2022年)
進數(shù)據(jù)要素市場化的數(shù)據(jù)存儲與計算技術創(chuàng)新仍需加強。隨著數(shù)據(jù)成
為生產(chǎn)要素,數(shù)據(jù)的潛在價值愈發(fā)受到重視,但當前數(shù)據(jù)要素市場建
設面臨數(shù)據(jù)權屬、定價、安全保護等難點問題,這其中的一些問題是
否能通過數(shù)據(jù)存儲與計算相關技術得到解決或加以規(guī)避,正在成為擺
在數(shù)據(jù)存儲與計算領域發(fā)展過程中的關鍵命題。
未來,數(shù)據(jù)存儲與計算領域呈現(xiàn)以下三點趨勢。
一是技術和管理雙管齊下,探索數(shù)據(jù)存儲與計算技術平臺精細化
運營之路。據(jù)Wikibon研究,全球范圍內企業(yè)數(shù)據(jù)存儲與計算技術平
臺的平均投資回報率僅為55%,46%的企業(yè)數(shù)據(jù)存儲與計算技術平臺
未達到預期價值。投資回報率低成為制約數(shù)據(jù)存儲與計算技術平臺滲
透率進一步提升的重要因素,產(chǎn)業(yè)正嘗試從技術和管理兩方面探索精
細化運營之路。技術方面,核心計算、存儲等模塊嘗試與AI結合,
通過智能資源調度、智能數(shù)據(jù)分層存儲等,實現(xiàn)精細化運營;管理方
面,探索公司內部成本分攤方式,從而避免業(yè)務部門無成本觀念式使
用數(shù)據(jù)存儲與計算技術平臺,例如技術部門向業(yè)務部門售賣資源模式、
按業(yè)務部門使用量計費模式等。
二是數(shù)據(jù)編織(DataFabric)、全密態(tài)數(shù)據(jù)庫等新理念新技術不
斷成熟,為數(shù)據(jù)的要素價值釋放提供更強力的技術底座。數(shù)據(jù)要素市
場形成涉及數(shù)據(jù)權屬、定價、安全保護等一系列問題,傳統(tǒng)數(shù)據(jù)存儲
與計算技術重點關注計算、存儲效率,未解決數(shù)據(jù)要素市場面臨的問
題。隨著數(shù)據(jù)規(guī)模和數(shù)據(jù)關系復雜度的增加、數(shù)據(jù)權屬問題的復雜化,
傳統(tǒng)集中式數(shù)據(jù)管理模式無法滿足需求,出現(xiàn)了DataFabric這一概
14
大數(shù)據(jù)白皮書(2022年)
念。DataFabric基于主動型元數(shù)據(jù)、增強數(shù)據(jù)目錄、數(shù)據(jù)虛擬化等技
術,形成了一套分布式、自動化、智能化的新型數(shù)據(jù)管理形式,當前
IBM已經(jīng)推出了相關解決方案。全密態(tài)數(shù)據(jù)庫使數(shù)據(jù)在傳輸、計算以
及存儲的各個環(huán)節(jié)始終都處于密文狀態(tài),從而解決數(shù)據(jù)全生命周期的
隱私保護問題,提供數(shù)據(jù)要素安全保護的能力,目前阿里云、華為均
已推出相關產(chǎn)品。
三是我國數(shù)據(jù)存儲與計算領域技術和產(chǎn)品將逐步走向海外市場。
我國數(shù)據(jù)存儲與計算領域產(chǎn)業(yè)經(jīng)過多年發(fā)展,在部分技術領域的供給
能力已經(jīng)達到國際一流水平。當前,以東南亞為代表的新興數(shù)字經(jīng)濟
市場規(guī)模正在快速增長,數(shù)據(jù)存儲與計算技術平臺的建設需求十分旺
盛。根據(jù)谷歌、淡馬錫和貝恩公司發(fā)布的《2021年東南亞數(shù)字經(jīng)濟調
查報告》顯示,東南亞數(shù)字經(jīng)濟產(chǎn)業(yè)將在五年內實現(xiàn)翻倍增長,在2026
年達到3600億美元。在這一背景下,二十大報告中提出“發(fā)展數(shù)字
貿易”,商務部、中央網(wǎng)信辦、工信部聯(lián)合印發(fā)《數(shù)字經(jīng)濟對外投資
合作工作指引》,推動我國在數(shù)字經(jīng)濟領域逐漸形成對外開放新格局。
當前,我國數(shù)據(jù)存儲與計算領域的部分企業(yè)已開始走向海外市場,阿
里巴巴、騰訊等企業(yè)已經(jīng)開始借助自身全球云計算網(wǎng)絡基礎,
PingCAP、OceanBase等企業(yè)借助開源優(yōu)勢,助力其數(shù)據(jù)庫、大數(shù)據(jù)
產(chǎn)品突破日本、印尼等海外市場。
三、數(shù)據(jù)管理:在政策引領下規(guī)?;涞?/p>
數(shù)據(jù)管理通過規(guī)范數(shù)據(jù)采集、加工、使用過程,在企業(yè)釋放數(shù)據(jù)
價值的過程中扮演了“承上啟下”的關鍵角色,是企業(yè)豐富數(shù)據(jù)應用、
15
大數(shù)據(jù)白皮書(2022年)
參與數(shù)據(jù)要素流通的前序基礎。由于數(shù)據(jù)管理屬于投入多、見效較慢
的基礎性工作,前期僅資源充足的數(shù)字原生企業(yè)對于數(shù)據(jù)管理工作的
推進速度較快。近年來,在政策支持下,各領域企業(yè)的數(shù)據(jù)管理意識
和能力不斷增強,越來越多的企業(yè)開始從頂層統(tǒng)籌規(guī)劃數(shù)據(jù)管理工作,
我國數(shù)據(jù)管理能力建設呈現(xiàn)大規(guī)模落地態(tài)勢。本章將介紹數(shù)據(jù)管理領
域的發(fā)展歷程、當前現(xiàn)狀、主要特征和趨勢展望。
(一)政策驅動行業(yè)實踐日益成熟
各領域政策為數(shù)據(jù)管理落地注入強勁動能。通信領域,工業(yè)和信
息化部于2021年11月發(fā)布了《“十四五”信息通信行業(yè)發(fā)展規(guī)劃》,
提出加強數(shù)據(jù)資源管理,探索建立數(shù)據(jù)應用處理、數(shù)據(jù)產(chǎn)品標準化、
數(shù)據(jù)確權、數(shù)據(jù)定價、數(shù)據(jù)交易信任、數(shù)據(jù)開放利用全流程的數(shù)據(jù)資
源管理制度體系。制造業(yè)領域,工業(yè)和信息化部于2021年11月印發(fā)
了《“十四五”信息化和工業(yè)化深度融合發(fā)展規(guī)劃》,提出強化大數(shù)
據(jù)在制造業(yè)各環(huán)節(jié)應用,制定制造業(yè)數(shù)字化轉型行動計劃,以制造業(yè)
數(shù)字化轉型為引領,培育專業(yè)化、場景化大數(shù)據(jù)解決方案。金融領域,
央行于2022年1月發(fā)布了《金融科技發(fā)展規(guī)劃(2022-2025年)》,
要求全面加強數(shù)據(jù)能力建設。銀保監(jiān)會于同期發(fā)布了《關于銀行保險
業(yè)數(shù)字化轉型的指導意見》,提出健全數(shù)據(jù)治理體系,增強數(shù)據(jù)管理
能力,加強數(shù)據(jù)質量控制,提高數(shù)據(jù)應用能力。其他領域,交通運輸
部于2021年10月印發(fā)《數(shù)字交通“十四五”發(fā)展規(guī)劃》,農業(yè)農村
部于2022年8月發(fā)布《農業(yè)現(xiàn)代化示范區(qū)數(shù)字化建設指南》,提出
加大數(shù)據(jù)治理力度,完善數(shù)據(jù)質量管控,推動數(shù)字交通、數(shù)字鄉(xiāng)村等
16
大數(shù)據(jù)白皮書(2022年)
領域發(fā)展。
行業(yè)、地方大力推動DCMM貫標評估,通過“以評促建”的方
式提升數(shù)據(jù)管理能力。工業(yè)和信息化部信息技術發(fā)展司組織協(xié)調全國
信息技術標準化技術委員會(TC28)于2014年開始了我國數(shù)據(jù)管理
國家標準研制工作,于2018年發(fā)布了《數(shù)據(jù)管理能力成熟度評估模
型》(Datamanagementcapabilitymaturityassessmentmodel,簡稱
DCMM),從組織、制度、技術、人員等方面綜合評價企業(yè)數(shù)據(jù)管理
水平。DCMM評估自2020年啟動,河北、天津、無錫等20余省市
相繼發(fā)布針對性支持政策,推動DCMM參評企業(yè)數(shù)量持續(xù)增長,截
至目前已累計完成近千家企業(yè)的評估,參評企業(yè)分布于全國各地,企
業(yè)類型覆蓋軟件和信息技術服務業(yè)、制造業(yè)、銀行業(yè)、電力業(yè)、通信
業(yè)等多個行業(yè)。2021年參評企業(yè)增速為88.7%,2022年參評企業(yè)增
速為152.9%,兩年獲證企業(yè)數(shù)量平均增速達到了120.8%。
來源:中國信息通信研究院
圖32020-2022年DCMM參評企業(yè)數(shù)量增速
頭部企業(yè)數(shù)據(jù)管理工作已經(jīng)進入深水期,但大部分企業(yè)仍處于數(shù)
17
大數(shù)據(jù)白皮書(2022年)
據(jù)管理初期。中國電子信息行業(yè)聯(lián)合會DCMM評估統(tǒng)計結果顯示,
現(xiàn)階段通信業(yè)、銀行業(yè)、電力業(yè)數(shù)據(jù)管理能力相對領先,逐漸邁入深
水區(qū),以上3個行業(yè)DCMM評分普遍在3級以上,通信業(yè)4級占比
超過了60%,銀行業(yè)3級占比接近70%,電力業(yè)3級和4級累計占
比達到85%。軟件和信息技術業(yè)、制造業(yè)數(shù)據(jù)管理能力相對薄弱,以
上兩個行業(yè)集中于2級和3級,同時2級比例遠高于3級,其中軟件
和信息技術業(yè)的2級占比是3級2倍以上,累計占比達到97%,制造
業(yè)的2級占比接近3級的5倍,累計占比達到98%。
(二)當前數(shù)據(jù)管理發(fā)展呈現(xiàn)四大特點
頭部企業(yè)數(shù)據(jù)管理起步較早,數(shù)據(jù)管理能力相對成熟,管理方法
和模式對于發(fā)展初期的企業(yè)具有良好的參考價值。宏觀管理層面,成
立了專門數(shù)據(jù)管理團隊,發(fā)布獨立數(shù)據(jù)戰(zhàn)略規(guī)劃,提升數(shù)據(jù)管理專業(yè)
性;微觀執(zhí)行層面,強化數(shù)據(jù)供給能力,全面提高數(shù)據(jù)質量水平,依
托統(tǒng)一數(shù)據(jù)管理平臺,提高數(shù)據(jù)管理效率。
1.通過成立專職團隊增強數(shù)據(jù)管理執(zhí)行效率
為推動數(shù)據(jù)管理有效開展,越來越多的企業(yè)成立統(tǒng)一數(shù)據(jù)管理歸
口部門,形成了決策、管理、執(zhí)行的數(shù)據(jù)管理三層架構組織,并設置
了專門的數(shù)據(jù)管理崗位,建立了數(shù)據(jù)部門、技術部門和業(yè)務部門協(xié)同
機制。例如,中國移動成立IT管委會統(tǒng)籌數(shù)據(jù)管理制度、標準、流
程,信息技術中心牽頭全網(wǎng)各域數(shù)據(jù)治理和平臺建設,并加掛大數(shù)據(jù)
中心負責大數(shù)據(jù)管理和運營,與各業(yè)務部門及省專單位數(shù)據(jù)“管、建、
戰(zhàn)”協(xié)同。中國聯(lián)通在集團成立了數(shù)字化轉型部門,統(tǒng)籌負責數(shù)據(jù)管
18
大數(shù)據(jù)白皮書(2022年)
理工作,在網(wǎng)絡域、管理域、客戶域的業(yè)務部門、市場部、分子公司
指定了數(shù)據(jù)管理對接人,由聯(lián)通軟研院承擔數(shù)據(jù)管理技術平臺開發(fā)和
運維工作。工商銀行在金融科技委員會下設數(shù)據(jù)治理委員會作為決策
層,數(shù)據(jù)管理部/信息管理部作為管理層,大數(shù)據(jù)中心/軟件開發(fā)中心
提供技術支持,核心業(yè)務部門負責數(shù)據(jù)采集和數(shù)據(jù)應用,負責執(zhí)行具
體數(shù)據(jù)管理工作。
來源:中國信息通信研究院
圖4數(shù)據(jù)管理組織架構示意圖
2.通過發(fā)布獨立規(guī)劃推動數(shù)據(jù)管理精準開展
在企業(yè)紛紛發(fā)布數(shù)字化轉型整體戰(zhàn)略基礎上,為精準提升數(shù)據(jù)管
理工作的質量和效率,越來越多的企業(yè)發(fā)布了獨立的數(shù)據(jù)管理戰(zhàn)略規(guī)
劃,從而確立數(shù)據(jù)管理工作的中長期目標和管理活動優(yōu)先級,明確需
要的資源投入總量和資源分配機制,指導數(shù)據(jù)管理團隊的工作有效執(zhí)
行。例如中國電信集團2021年發(fā)布了《中國電信數(shù)據(jù)治理體系化推
進工作指引》,旨在結合“云改數(shù)轉”數(shù)字化轉型整體思路推動數(shù)據(jù)
管理工作體系化開展,指導集團下各單位從數(shù)據(jù)模型管理、數(shù)據(jù)質量
管理、數(shù)據(jù)安全管理、數(shù)據(jù)共享等方面推進數(shù)據(jù)治理工作高效開展。
19
大數(shù)據(jù)白皮書(2022年)
3.通過開展專項行動進一步提升數(shù)據(jù)供給質量
良好的數(shù)據(jù)供給能力是數(shù)據(jù)分析挖掘的基礎,在工業(yè)物聯(lián)網(wǎng)、工
業(yè)互聯(lián)網(wǎng)、邊緣計算等技術快速發(fā)展的背景下,企業(yè)業(yè)務線上化加速、
數(shù)據(jù)規(guī)模爆炸性增長,如何保障數(shù)據(jù)質量水平、增強數(shù)據(jù)可信可用成
為了數(shù)據(jù)管理的關鍵一步。以南方電網(wǎng)為例,數(shù)據(jù)量從“十三五”初
期的220TB提升至2.4PB,數(shù)據(jù)采集范圍拓展至競爭性業(yè)務、金融業(yè)
務等板塊,關鍵運行數(shù)據(jù)采集頻率提升超過60倍。在數(shù)據(jù)源頭快速
變化的背景下,南方電網(wǎng)在常態(tài)化數(shù)據(jù)質量治理的基礎上開展數(shù)據(jù)質
量提升專項,短時間內、集中資源力量打通數(shù)據(jù)質量工作的難點、堵
點,在主配網(wǎng)數(shù)據(jù)治理領域,形成配網(wǎng)數(shù)據(jù)問題識別規(guī)則14項,累
計識別并整改2100余萬條數(shù)據(jù)質量問題,全網(wǎng)各單位變電站輪廓坐
標、桿塔坐標準確率達到99%。
4.通過統(tǒng)一技術平臺消除數(shù)據(jù)管理協(xié)同難點
早期,各企業(yè)針對數(shù)據(jù)管理中的各項工作,逐步建設了數(shù)據(jù)標準
管理平臺、數(shù)據(jù)質量管理平臺、數(shù)據(jù)架構管理平臺、元數(shù)據(jù)管理平臺、
主數(shù)據(jù)管理平臺等單一功能型技術工具,這些技術工具通常獨立存在,
使得數(shù)據(jù)管理各項活動間銜接性較差,例如數(shù)據(jù)標準難以應用于數(shù)據(jù)
模型、數(shù)據(jù)質量難以從源頭把控等,導致管理資源的冗余和浪費。隨
著統(tǒng)一數(shù)據(jù)管理平臺的成熟,其將各單一功能型技術工具進行集成,
構建了數(shù)據(jù)管理工作的“一站式”技術平臺,對于統(tǒng)籌數(shù)據(jù)管理工作、
提高數(shù)據(jù)管理效率的作用日益突出。例如中國移動構建了元數(shù)據(jù)驅動
的統(tǒng)一數(shù)據(jù)治理平臺,全面拉通異構跨地域跨平臺的元數(shù)據(jù),統(tǒng)一支
20
大數(shù)據(jù)白皮書(2022年)
撐數(shù)據(jù)管理、開發(fā)、運營、運維人員的數(shù)據(jù)治理工作,實現(xiàn)數(shù)據(jù)一點
可看、可控、可管。國網(wǎng)大數(shù)據(jù)中心基于統(tǒng)一數(shù)據(jù)管理技術平臺,實
現(xiàn)總部及27家?。ㄊ校┕綪B級數(shù)據(jù)的統(tǒng)一管理,有效加快電網(wǎng)整
體數(shù)字化轉型升級。
(三)數(shù)據(jù)管理面臨的主要挑戰(zhàn)與發(fā)展趨勢
目前企業(yè)在數(shù)據(jù)管理方面仍然面臨三點挑戰(zhàn)。一是數(shù)據(jù)的業(yè)務價
值不顯著,數(shù)據(jù)管理內驅動力不足。推動業(yè)務創(chuàng)新和發(fā)展是數(shù)據(jù)價值
的最終目標,由于企業(yè)缺乏對數(shù)據(jù)產(chǎn)生業(yè)務價值進行度量的體系,導
致企業(yè)決策層、管理層和業(yè)務部門難以對數(shù)據(jù)價值有效感知,進一步
降低了企業(yè)持續(xù)開展數(shù)據(jù)管理的動力。二是數(shù)據(jù)、IT和業(yè)務仍存在割
裂,組織架構亟需變革調整。盡管越來越多的企業(yè)成立專門的數(shù)據(jù)管
理團隊,但是尚未明確數(shù)據(jù)管理團隊與IT團隊、業(yè)務團隊的協(xié)作機
制,導致數(shù)據(jù)管理與企業(yè)信息化建設和業(yè)務發(fā)展脫節(jié),阻礙了數(shù)據(jù)管
理成果在企業(yè)系統(tǒng)和業(yè)務場景的落地。三是數(shù)據(jù)管理人才缺失,數(shù)據(jù)
管理推進后勁不足。由于數(shù)據(jù)管理是一個新興領域,有別于傳統(tǒng)的數(shù)
據(jù)庫和計算機領域,需要的是具備管理能力、技術能力和業(yè)務能力的
復合型人才,因此面臨較大缺口。
未來,數(shù)據(jù)管理領域呈現(xiàn)以下三點趨勢。
一是首席數(shù)據(jù)官(ChiefDataOfficer,CDO)制度將助力企業(yè)全面
開展數(shù)據(jù)管理。CDO是有效管理和運用企業(yè)數(shù)據(jù)資源、充分挖掘數(shù)
據(jù)價值、驅動業(yè)務創(chuàng)新和轉型變革的企業(yè)負責人,負責為公司制定一
個明確的數(shù)字化戰(zhàn)略,確保相關舉措都獲得資源分配,并通過衡量數(shù)
21
大數(shù)據(jù)白皮書(2022年)
字項目投資回報率的方式,提高客戶參與度和忠誠度,推動企業(yè)形成
數(shù)據(jù)管理良性閉環(huán)。事實上,在過去的幾年里,國外已有包括通用電
氣、富國銀行在內的眾多企業(yè)設置了CDO崗位,全面推動企業(yè)數(shù)字
化轉型。國內廣東省于2022年在政府工作報告重點任務分工方案明
確提出,要“出臺企業(yè)首席數(shù)據(jù)官建設指南”,鼓勵具備條件的企業(yè)
在決策層設立CDO,按照“企業(yè)主導、政府推動、價值優(yōu)先、多方協(xié)
同”的建設原則組織實施。
二是數(shù)據(jù)研發(fā)運營一體化(DataOps)將有效提升數(shù)據(jù)管理協(xié)同
效率。隨著數(shù)據(jù)應用場景日益豐富帶來數(shù)據(jù)分析需求快速變化,數(shù)據(jù)
工程師、數(shù)據(jù)管理員、報表開發(fā)人員、運維工程師在內的各類數(shù)據(jù)管
理角色逐漸增多,導致企業(yè)各類數(shù)據(jù)交付任務難度大大增加。DataOps
旨在打破數(shù)據(jù)管理各環(huán)節(jié)之間的割裂,將數(shù)據(jù)質量達標率、數(shù)據(jù)標準
落標率、數(shù)據(jù)架構符合度、數(shù)據(jù)安全滿足度等指標作為數(shù)據(jù)設計、開
發(fā)和測試的要求,優(yōu)化數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費者協(xié)作效率,并通過標
準化大數(shù)據(jù)組件,構建一體化平臺打通數(shù)據(jù)設計、開發(fā)、測試和運維
各環(huán)節(jié),實現(xiàn)編寫代碼、生產(chǎn)部署、調度監(jiān)控全過程線上化,引入可
視化編排、CI/CD等技術降低數(shù)據(jù)研發(fā)技術門檻,推動敏態(tài)數(shù)據(jù)研發(fā),
提高數(shù)據(jù)運維質量。
三是提高智能化程度將成為降低數(shù)據(jù)管理成本的關鍵。通過利用
AI、ML、RPA、語義分析、可視化等技術,自動識別或匹配數(shù)據(jù)規(guī)則
(包括數(shù)據(jù)標準規(guī)則、數(shù)據(jù)質量規(guī)則、數(shù)據(jù)安全規(guī)則等),自動執(zhí)行
數(shù)據(jù)規(guī)則校驗,自動發(fā)現(xiàn)數(shù)據(jù)之間的關聯(lián)關系,并以可視化的方式展
22
大數(shù)據(jù)白皮書(2022年)
現(xiàn)。此外,利用VR、AR、3D可視化等技術,幫助數(shù)據(jù)使用者探索
數(shù)據(jù)和挖掘數(shù)據(jù),提升數(shù)據(jù)應用的趣味性,降低數(shù)據(jù)使用門檻。
四、數(shù)據(jù)流通:流通規(guī)范體系加速構建
數(shù)據(jù)流通是指以數(shù)據(jù)或數(shù)據(jù)中蘊含的價值(信息內容)作為對象,
按照一定規(guī)則從數(shù)據(jù)提供方傳遞到數(shù)據(jù)需求方的過程,即數(shù)據(jù)資源先
后被不同主體獲取、掌握或利用的過程。在數(shù)據(jù)要素市場建設的背景
下,數(shù)據(jù)流通領域受到了空前的關注,各方均在積極探索參與數(shù)據(jù)流
通,進而實現(xiàn)充分釋放數(shù)據(jù)要素價值的目標。本章將介紹數(shù)據(jù)流通領
域的發(fā)展歷程、當前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)流通發(fā)展重心向“規(guī)范化”轉移
數(shù)據(jù)流通是釋放數(shù)據(jù)要素價值的關鍵一環(huán)。一方面,數(shù)據(jù)具有外
部性,即同一組數(shù)據(jù)可以在不同的維度上產(chǎn)生不同的價值和效用。借
助數(shù)據(jù)流通數(shù)據(jù)可以在不同的數(shù)據(jù)接受者一方與自有數(shù)據(jù)匯聚,不斷
開拓使用維度,數(shù)據(jù)價值也將在社會面層層放大。另一方面,數(shù)據(jù)存
在分布不均衡的問題,企業(yè)采集的數(shù)據(jù)通常具有較強的行業(yè)屬性,特
征不夠全面,同時中小型企業(yè)收集的數(shù)據(jù)樣本量較少,難以支撐業(yè)務。
數(shù)據(jù)流通為利用數(shù)據(jù)的外部性,解決數(shù)據(jù)分布不均衡的問題,充分釋
放數(shù)據(jù)要素價值提供了有效手段。
數(shù)據(jù)流通隨商業(yè)信息分析需求增強而日益旺盛,合規(guī)性逐漸引起
關注。1841年,鄧白氏集團(D&B)率先將各種商業(yè)信息收集匯聚,
構建信用評定的數(shù)據(jù)指標體系,“數(shù)據(jù)服務商”的雛形初現(xiàn)。2000年
左右,隨著互聯(lián)網(wǎng)領域的迅速發(fā)展,企業(yè)對于數(shù)據(jù)的采集與流通需求
23
大數(shù)據(jù)白皮書(2022年)
進一步增強,例如谷歌就借助了AdSense獲取大量用戶行為數(shù)據(jù)用于
優(yōu)化其廣告投放效率并以此獲利,這也帶動了后來廣告營銷場景的大
量數(shù)據(jù)流通活動。2008年,隨著Infochimps、Factual、DataSift、Datahub、
Acxiom等一批知名專業(yè)數(shù)據(jù)服務商相繼涌現(xiàn),現(xiàn)代意義上的數(shù)據(jù)流
通正式形成。在這一時期,原始數(shù)據(jù)直接流通成為數(shù)據(jù)流通的主要形
式,商業(yè)形態(tài)也較為原始粗放,有較高的合規(guī)風險。2014年后,貴陽、
上海等為代表的一批具備官方背景的數(shù)據(jù)交易所成立,銀行等金融機
構開始大量引入外部數(shù)據(jù),數(shù)據(jù)流通需求廣泛提升,API接口調用的
數(shù)據(jù)流通形式逐漸增多。與此同時,數(shù)據(jù)流通的合規(guī)性逐漸成為業(yè)界
的關注點。
制度創(chuàng)新和技術創(chuàng)新雙輪驅動數(shù)據(jù)流通行業(yè)實現(xiàn)“規(guī)范化發(fā)展”。
制度創(chuàng)新方面,2022年6月22日中央深改委第二十六次會議強調
“要促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推進數(shù)據(jù)產(chǎn)權、流
通交易、收益分配、安全治理,加快構建數(shù)據(jù)基礎制度體系”,為我
國數(shù)據(jù)流通產(chǎn)業(yè)發(fā)展提供了重要思路。技術創(chuàng)新方面,以隱私計算為
代表的數(shù)據(jù)流通技術提供了“數(shù)據(jù)可用不可見”、“數(shù)據(jù)可控可計量”
的數(shù)據(jù)服務新范式,在保障數(shù)據(jù)安全前提下實現(xiàn)了數(shù)據(jù)流通效果,從
而為需求方企業(yè)安全地獲取和利用外部數(shù)據(jù)提供了技術可能。
(二)當前數(shù)據(jù)流通發(fā)展呈現(xiàn)四大特點
1.數(shù)據(jù)流通規(guī)則逐漸清晰
由于數(shù)據(jù)流通存在技術依賴、非標準化的特點,面向多元數(shù)據(jù)主
體和多樣數(shù)據(jù)流轉形態(tài),參與流通的供需雙方需要科學、可靠且共識
24
大數(shù)據(jù)白皮書(2022年)
的規(guī)則體系,才能建立信任?,F(xiàn)階段,從政策指引到應用實踐,各方
均在積極探索建立健全數(shù)據(jù)流通規(guī)則。在政策指引方面,2022年內發(fā)
布的一系列政策文件(如表3)中均提出了建立數(shù)據(jù)流通規(guī)則的相關
內容。在實踐探索方面,各地方、各行業(yè)、各類市場主體也在實踐過
程中積極探索數(shù)據(jù)流通配套規(guī)則。例如,貴陽大數(shù)據(jù)交易所于2022
年5月發(fā)布一系列數(shù)據(jù)交易規(guī)則,為交易主體權責劃分提供依據(jù),并
依據(jù)規(guī)則為數(shù)據(jù)產(chǎn)品、數(shù)據(jù)商、第三方數(shù)據(jù)服務中介機構等提供登記
憑證,以確認數(shù)據(jù)和主體具備進入市場交易的條件,探索解決市場主
體互信難的問題。
表32022年數(shù)據(jù)流通規(guī)則建設相關政策清單
時間文件內容
探索“原始數(shù)據(jù)不出域、數(shù)據(jù)可用不可見”的交
易范式,在保護個人隱私和確保數(shù)據(jù)安全的前提
下,分級分類、分步有序推動部分領域數(shù)據(jù)流通
國務院
應用。探索建立數(shù)據(jù)用途和用量控制制度,實現(xiàn)
2022.01《要素市場化配置綜合
數(shù)據(jù)使用“可控可計量”。規(guī)范培育數(shù)據(jù)交易市
改革試點總體方案》
場主體,發(fā)展數(shù)據(jù)資產(chǎn)評估、登記結算、交易撮
合、爭議仲裁等市場運營體系,穩(wěn)妥探索開展數(shù)
據(jù)資產(chǎn)化服務。
國務院加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權
《中共中央國務院關于利保護、跨境傳輸管理、交易流通、開放共享、
2022.04
加快建設全國統(tǒng)一大市安全認證等基礎制度和標準規(guī)范,深入開展數(shù)據(jù)
場的意見》資源調查,推動數(shù)據(jù)資源開發(fā)利用。
中央深改委
要建立合規(guī)高效的數(shù)據(jù)要素流通和交易制度,完
《關于構建數(shù)據(jù)基礎制
2022.12善數(shù)據(jù)全流程合規(guī)和監(jiān)管規(guī)則體系,建設規(guī)范的
度更好發(fā)揮數(shù)據(jù)要素作
數(shù)據(jù)交易市場。
用的意見》
來源:中國信息通信研究院
2.流通參與熱情高漲,供需對接向多行業(yè)擴展
隨著數(shù)字化轉型的不斷深入和智能化水平的不斷攀升,企業(yè)參與
25
大數(shù)據(jù)白皮書(2022年)
數(shù)據(jù)流通的熱情空前高漲,數(shù)據(jù)流通的供需方從金融、互聯(lián)網(wǎng)持續(xù)向
其他行業(yè)擴展。
金融、互聯(lián)網(wǎng)行業(yè)的流通實踐不斷深化。金融行業(yè)中,風險控制
要求極為嚴格,各大金融機構以雄厚的資金實力做支撐,早已成為數(shù)
據(jù)要素市場的主要參與者?;ヂ?lián)網(wǎng)行業(yè)中,許多頭部企業(yè)已對外提供
眾多數(shù)據(jù)接口或數(shù)據(jù)產(chǎn)品,以滿足中小互聯(lián)網(wǎng)企業(yè)或其他行業(yè)研發(fā)應
用、精準營銷、智能服務等需求。調研顯示,當前金融機構及大型互
聯(lián)網(wǎng)企業(yè)普遍建立了統(tǒng)一的部門或團隊管理外部數(shù)據(jù),頭部企業(yè)每年
的外部數(shù)據(jù)采購額已經(jīng)達到了億級規(guī)模。根據(jù)推算,僅銀行及互聯(lián)網(wǎng)
金融行業(yè)的外部數(shù)據(jù)采購額即可突破百億規(guī)模。
其他各類傳統(tǒng)行業(yè)也在不斷探索參與數(shù)據(jù)流通。工業(yè)領域中,數(shù)
字化轉型剛剛起步,還需經(jīng)歷產(chǎn)線內數(shù)據(jù)聯(lián)動、工廠內數(shù)據(jù)協(xié)同、企
業(yè)內數(shù)據(jù)共享、企業(yè)間數(shù)據(jù)流通等多階段探索。目前,國家工業(yè)互聯(lián)
網(wǎng)大數(shù)據(jù)交易平臺已處于內部測試階段,著力解決工業(yè)企業(yè)數(shù)據(jù)流通
的難點,促進工業(yè)數(shù)據(jù)要素市場發(fā)展。此外,政務、氣象、交通、醫(yī)
療等行業(yè)和場景的數(shù)據(jù)需求也逐步顯現(xiàn),相應公共數(shù)據(jù)的開放或企業(yè)
數(shù)據(jù)的供給獲得更廣泛的關注。
3.安全流通技術重要性凸顯
在合規(guī)要求日趨收緊的背景下,能夠提供合規(guī)前提下充分挖掘數(shù)
據(jù)價值、促進數(shù)據(jù)流通的各類技術解決方案受到了業(yè)內的廣泛關注。
數(shù)據(jù)脫敏與數(shù)據(jù)合成技術主要作用于數(shù)據(jù)流通的輸入階段,能夠
有效降低原始數(shù)據(jù)中包含的隱私信息泄露風險。當前,脫敏技術從基
26
大數(shù)據(jù)白皮書(2022年)
于SQL腳本的人工脫敏,自動化、流程化的平臺脫敏,逐漸走向了
應用機器學習等技術的智能化數(shù)據(jù)脫敏階段。但是,目前該技術仍面
臨降低數(shù)據(jù)價值、無法明確是否滿足法律要求以及無法有效防止數(shù)據(jù)
復制和篡改等問題。數(shù)據(jù)合成技術仍處于初級探索階段。在應用實踐
方面,醫(yī)療、金融、通信領域的相關企業(yè)如Illumina、J.P.Morgan、
Telefonica等都引入了數(shù)據(jù)合成技術試圖解決數(shù)據(jù)隱私問題。
隱私計算作用在數(shù)據(jù)流通的輸入、計算、輸出階段,實現(xiàn)了全流
程的數(shù)據(jù)“可用不可見”、“可控可計量”?,F(xiàn)階段,隱私計算已成
為最有希望解決數(shù)據(jù)安全流通問題的關鍵技術。全球知名咨詢機構
Gartner已連續(xù)兩年將隱私計算(其稱隱私增強計算)列為了重要戰(zhàn)
略科技趨勢。根據(jù)中國信通院調研顯示,自2018年以來,包括綜合
科技、大數(shù)據(jù)、金融科技、人工智能、區(qū)塊鏈、云服務、信息安全等
類型的企業(yè)紛紛入局隱私計算賽道,累計孵化出100余款產(chǎn)品,廣泛
應用于金融、通信、互聯(lián)網(wǎng)、醫(yī)療、政務等領域。
區(qū)塊鏈為數(shù)據(jù)流通中的驗證、追溯、審計提供了有效保障。將區(qū)
塊鏈與其他各類數(shù)據(jù)安全流通技術相結合,能夠為數(shù)據(jù)溯源、交易存
證、數(shù)據(jù)侵權舉證等數(shù)據(jù)市場化等問題提供可行的解決方案,實現(xiàn)數(shù)
據(jù)流通全流程可驗證、可追溯、可審計,并為進一步建設高效、高安
全和高流動性的數(shù)據(jù)要素市場打下基礎。
4.數(shù)據(jù)流通產(chǎn)品形態(tài)逐漸向個性化定制方向轉變
隨著各行業(yè)企業(yè)逐漸對業(yè)務進行數(shù)智化升級和改造,數(shù)據(jù)應用的
場景不斷豐富,數(shù)據(jù)流通市場逐漸從“以數(shù)據(jù)產(chǎn)品為主”向市場驅動
27
大數(shù)據(jù)白皮書(2022年)
的“以數(shù)據(jù)需求為主”轉變。數(shù)據(jù)提供方趨向以數(shù)據(jù)需求作為入口與
市場和用戶接觸,根據(jù)需方企業(yè)的個性化需求提供針對性更強的解決
方案,反向帶動數(shù)據(jù)流通的活力。以最早掛牌新三板的數(shù)據(jù)源服務提
供商數(shù)據(jù)堂為例,其商業(yè)模式可以概括為兩個方面,一是大數(shù)據(jù)交易
平臺,二是面向B端客戶提供定制化數(shù)據(jù)源服務。再如科創(chuàng)信息、百
融云創(chuàng)、神州泰岳等我國大數(shù)據(jù)服務領域的頭部上市企業(yè),無一不是
通過提供定制化服務快速占領細分領域市場,根據(jù)現(xiàn)實場景構建適合
企業(yè)自身的大數(shù)據(jù)體系。
(三)數(shù)據(jù)流通面臨的主要挑戰(zhàn)與發(fā)展趨勢
當前,數(shù)據(jù)流通尚未充分激活,主要原因在于我國數(shù)據(jù)要素市場
培育的基礎還不扎實,在數(shù)據(jù)流通相關的權利關系、價格機制、行為
規(guī)則、技術支撐等方面仍存在諸多障礙,使得數(shù)據(jù)的供給和需求都存
在一定障礙。一是數(shù)據(jù)權屬界定的場景與問題復雜,對于參與數(shù)據(jù)流
通的主體權利關系,理論、制度和產(chǎn)業(yè)實踐層面均尚未形成共識。二
是數(shù)據(jù)的估值定價尚缺乏科學、標準的評價方法,傳統(tǒng)的估值定價方
法很難完全適用于數(shù)據(jù)流通的特點。三是數(shù)據(jù)流通的準入、競爭等行
為約束沒有清晰的法律界定,配套的激勵和監(jiān)管規(guī)則也不完善,相關
市場主體顧慮很多、動力不足。四是隱私計算等數(shù)據(jù)流通關鍵技術應
用還不成熟,數(shù)據(jù)安全流通的技術方案仍需持續(xù)探索。
因此,對于參與數(shù)據(jù)流通的企業(yè)而言,需重點關注兩大問題。一
方面,如何穩(wěn)定本企業(yè)的數(shù)據(jù)供應鏈。外部數(shù)據(jù)如何持續(xù)、穩(wěn)定地被
獲取,如何不斷提升數(shù)據(jù)的質量,如何管理好引入的外部數(shù)據(jù),成為
28
大數(shù)據(jù)白皮書(2022年)
企業(yè)在數(shù)據(jù)流通中關注的重點。中國信通院云大所構建的外部數(shù)據(jù)源
評估標準和外部數(shù)據(jù)管理標準,就試圖為這一領域提供值得借鑒的經(jīng)
驗。另一方面,如何深刻地參與到國家數(shù)據(jù)要素市場建設之中。數(shù)據(jù)
如何對外提供,需要滿足哪些責、權、利方面的程序,如何更高效、
更低成本地參與到統(tǒng)一大市場中的數(shù)據(jù)流通環(huán)節(jié),成為企業(yè)面臨的新
命題。
未來,數(shù)據(jù)流通領域呈現(xiàn)以下三點趨勢。
一是公共數(shù)據(jù)開放帶動數(shù)據(jù)流通供給?!耙愿邇r值公共數(shù)據(jù)為突
破口,強化政府的引領作用,帶動商業(yè)數(shù)據(jù)供給”已成為解決數(shù)據(jù)供
給不充足,激活市場主體內在動力的最為緊迫的任務之一。近年來各
地方政府在政務數(shù)據(jù)開放平臺建設方面積極推進,取得了良好成效。
未來,針對已有的公共數(shù)據(jù)開放,應明確公共數(shù)據(jù)開放規(guī)則,建立公
共數(shù)據(jù)開放的社會需求受理渠道,基于公共數(shù)據(jù)開發(fā)利用清單,結合
應用需求建立公共數(shù)據(jù)開放動態(tài)調整機制,推動公共數(shù)據(jù)有序開放。
針對各地正在積極推進的非個人數(shù)據(jù)授權運營,應在規(guī)范的基礎上持
續(xù)創(chuàng)新,一是加快規(guī)則建設,二是鼓勵市場主體參與,三是強化數(shù)據(jù)
安全保障。此外,還需持續(xù)探索創(chuàng)新思路,推動公共數(shù)據(jù)產(chǎn)品通過數(shù)
據(jù)交易場所掛牌上市,探索公共數(shù)據(jù)資產(chǎn)登記,創(chuàng)新公共數(shù)據(jù)供給形
式等。
二是場景化的技術分級框架將促進數(shù)據(jù)安全流通實踐落地。各類
安全流通技術的使用往往會帶來數(shù)據(jù)應用價值的損失。一般來說,隨
著數(shù)據(jù)可控程度的提升,數(shù)據(jù)應用價值的損失也會進一步增大,兩者
29
大數(shù)據(jù)白皮書(2022年)
之間難以兼顧。在數(shù)據(jù)流通過程中,各應用場景對應的參與方信任程
度不同、數(shù)據(jù)類型不同,這造成了其需要達到的數(shù)據(jù)可控程度也是不
同的。一味的追求高安全水平可能會造成數(shù)據(jù)流通價值無法達到預期,
降低了各主體的參與積極性。在未來的數(shù)據(jù)流通實踐中,參與主體也
應結合實際業(yè)務需求,基于場景選取適當分級條件下的技術方案,實
現(xiàn)數(shù)據(jù)可控程度和數(shù)據(jù)流通價值的最大化。
三是可信流通體系將為數(shù)據(jù)有序流通提供條件??尚帕魍w系旨
在為有序的數(shù)據(jù)流通提供信任,全面提高數(shù)據(jù)可信、可用、可流通、
可追溯水平。近幾年,以數(shù)據(jù)為主要驅動的行業(yè),特別是金融和互聯(lián)
網(wǎng)行業(yè)的頭部企業(yè),都在構建自己的可信流通生態(tài)圈。一方面,根據(jù)
業(yè)務需求劃定數(shù)據(jù)供方,確保數(shù)據(jù)源的合法合規(guī)、持續(xù)供應、安全可
靠;另一方面,提升數(shù)據(jù)引入后的應用管理水平,通過構建組織架構、
明確各部門職責要求、建立和實施系統(tǒng)化制度、流程和工具等方式,
全面統(tǒng)籌外部數(shù)據(jù)的需求和使用。未來階段,企業(yè)與行業(yè)間的可信流
通生態(tài)需要融合打通,形成規(guī)范的可信流通體系,重塑數(shù)據(jù)流通規(guī)則、
重組數(shù)據(jù)流通資源,重建數(shù)據(jù)流通渠道,在提高數(shù)據(jù)流通效率的同時
實現(xiàn)對數(shù)據(jù)流通全流程的動態(tài)可控。
五、數(shù)據(jù)應用:積極探索數(shù)據(jù)深層價值的釋放路徑
數(shù)據(jù)應用通過建立數(shù)據(jù)與業(yè)務的高效銜接,實現(xiàn)數(shù)據(jù)最終賦能業(yè)
務。數(shù)據(jù)應用決定了數(shù)據(jù)對業(yè)務的賦能效果,是數(shù)據(jù)價值釋放的“最
后一公里”。若數(shù)據(jù)應用不充分,將反向影響企業(yè)對數(shù)據(jù)存儲與計算、
數(shù)據(jù)管理等其他數(shù)據(jù)工作的整體投入信心。雖然數(shù)據(jù)應用早已存在于
30
大數(shù)據(jù)白皮書(2022年)
人類社會的各項活動中,但由于技術能力不足、前序工作未就緒等因
素限制,傳統(tǒng)數(shù)據(jù)應用主要針對的是少量、局部、非實時數(shù)據(jù),依賴
大量人工決策,導致數(shù)據(jù)主要釋放其淺層價值。當前,國內外各方正
積極探索新的數(shù)據(jù)應用方法論,并在不同行業(yè)、不同場景進行滾動式
實踐,從而釋放數(shù)據(jù)深層價值,目前已取得初步進展。本章將詳細介
紹數(shù)據(jù)應用領域的發(fā)展歷程、當前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)應用開始探索第三階段實踐路徑
數(shù)據(jù)應用發(fā)展已有60余年,總體分為三階段。數(shù)據(jù)應用是利用
數(shù)據(jù)對各項事務進行探索、分析、洞察并最終推動決策的過程,其是
數(shù)據(jù)價值釋放的最終一環(huán)。在各企事業(yè)單位中,數(shù)據(jù)應用是否充分,
直接決定各企事業(yè)單位對于數(shù)據(jù)相關工作的整體投資性價比,進而反
向影響對數(shù)據(jù)存儲與計算、數(shù)據(jù)治理、數(shù)據(jù)安全等環(huán)節(jié)的投入程度。
雖然數(shù)據(jù)應用早已存在于人類社會的各項活動中,但隨著數(shù)據(jù)本身形
態(tài)、數(shù)據(jù)處理技術、產(chǎn)業(yè)發(fā)展環(huán)境、數(shù)據(jù)應用需求等的不斷演化升級,
數(shù)據(jù)應用內涵和模式不斷豐富,總體可分為三個階段。各階段特征如
下所示。
表4數(shù)據(jù)應用三個階段
第一階段第二階段第三階段
(1960s開始)(1990s開始)(2015s開始)
數(shù)據(jù)源業(yè)務系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)湖+外部數(shù)據(jù)
常態(tài)化、體系化、
數(shù)據(jù)與業(yè)務關系隨機、離散全域、敏捷、嵌入式
外掛式
分析方法圖表統(tǒng)計BI分析BI+AI
對決策的影響輔助決策增強決策自動決策
來源:中國信息
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年上海市優(yōu)惠價房買賣合同參考樣本(2篇)
- 2025年度杭州高端住宅租賃合同范本
- 二零二五年度木材裝卸運輸與木材包裝材料供應合同3篇
- 2025監(jiān)理工程師考試合同管理綜合題2
- 2025年度教育培訓機構店面裝修與設備采購合同
- 2025年商品房買賣合同范本
- 2025年專利權技術轉讓合同范文(2篇)
- 2025年個人二手房屋買賣合同(五篇)
- 二零二五年度大蒜品牌授權使用合同
- 二零二五年度機動車委托銷售與品牌授權及救援服務合同3篇
- 高速公路巡邏車司機勞動合同
- 2025中國大唐集團內蒙古分公司招聘高頻重點提升(共500題)附帶答案詳解
- 充血性心力衰竭課件
- GB 4793-2024測量、控制和實驗室用電氣設備安全技術規(guī)范
- 挖掘機售后保養(yǎng)及維修服務協(xié)議(2024版)
- 職業(yè)分類表格
- 廣東省深圳高級中學2023-2024學年八年級下學期期中考試物理試卷
- 電網(wǎng)建設項目施工項目部環(huán)境保護和水土保持標準化管理手冊(變電工程分冊)
- 口腔門診部設置可行性研究報告
- 體檢科運營可行性報告
- 設立項目管理公司組建方案
評論
0/150
提交評論