DataOps實(shí)踐指南（1.0）-中文版-2023.07

版權(quán)聲明本報告版權(quán)屬于

CCSA

TC601

大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其他方式使用本報告文字或者觀點(diǎn)的，應(yīng)注明“來源：CCSA

TC601

大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會”。違反上述聲明者，將追究其相關(guān)法律責(zé)任。2DataOps

實(shí)踐指南（1.0）編制說明本指南的撰寫得到了

DataOps

領(lǐng)域多家企業(yè)與專家的支持和幫助，主要參與單位與人員如下。參編單位：大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會、中國農(nóng)業(yè)銀行研發(fā)中心、阿里云計有限公司、福建新大陸軟件工程有限公司、聯(lián)通數(shù)字科技有限公司、平安銀行股份有限公司、中國移動通信集團(tuán)浙江有限公司、中國移動通信集團(tuán)江蘇有限公司、中國工商銀行股份有限公司、浩鯨云計算科技股份有限公司、海南數(shù)造科技有限公司、北京科杰科技有限公司、北京中軟國際信息技術(shù)有限公司、杭州網(wǎng)易數(shù)帆

科技有限公司、北京滴

科技有限公司、聯(lián)想集團(tuán)有限公司、華為終端有限公司、北京快手科技有限公司、中國人壽股份有限公司、極氪智能科技（杭州）有限公司、數(shù)夢工場科技有限公司。算普參編人員：尹正、田明慧、林木森、魏凱、姜春闞鑫禹、張嬌婷、周

京晶、唐守忠、朱紅偉、史珂宇、武興葉、李林洋、陳榮耀、李成強(qiáng)、王溧、巫雪輝、朱堅、王項男、王興杰、譚晟中、代立冬、聶勵峰、華桊興、項子林、李烏英嘎、岑偉迪、陳永剛、儲晶、王學(xué)亮、顧驤、廖云、徐明、李家欣、彭潔思、黃孔元、黃升、王瀚、鮑立飛、林吉昌、郭振強(qiáng)、高海玲、張新君、符山、于鵬、鄧正保、徐華、王金杰、樊友平、秦海龍、劉波、馮吉坤、馬立志、李思民、曾鳴、陳梁、林嘯鳴、劉珩、董西成、張蕤、韓江、陳學(xué)亮、曲明鈺、范錚、姚海濤、趙松、方華、甘長華、崔曉峰、念燦華。宇、閆樹、王妙瓊、李雨霏、星同時感謝以下機(jī)構(gòu)對本指南編寫的指導(dǎo)與建議：上海浦東發(fā)展銀行股份有限公司、上海新炬網(wǎng)絡(luò)信息技術(shù)股份有限公司、杭州雅拓信息技術(shù)有限公司、度小滿科技（北京）有限公司、杭州玳數(shù)科技有限公司、中電金信軟件有限公司。特別鳴謝以下專家對本指南編寫的指導(dǎo)與建議：朱紅偉、李林洋、王溧、王項男、汪廣盛、郭煒、張輝、黃孔元、鮑立飛、符山、秦海龍、林嘯鳴、趙松、馬歡。3DataOps

實(shí)踐指南（1.0）前

言黨的二十大報告提出要“加快建設(shè)現(xiàn)代化經(jīng)濟(jì)體系，著數(shù)據(jù)作為新型生產(chǎn)要素，是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ)，已快速融入生產(chǎn)、分配、流通、消費(fèi)和社會服務(wù)管理等各環(huán)節(jié)，深刻改變著生產(chǎn)方式、生活方式和社會治理方式。力提高全要素生產(chǎn)率。”麥肯錫指出，到

2025

年，智能工作流程以及人與機(jī)器之間的無縫交互將成為企業(yè)的標(biāo)準(zhǔn)配置，大多數(shù)員工將使用數(shù)據(jù)優(yōu)化工作的每個方面，企業(yè)的數(shù)據(jù)驅(qū)動能力將成為核心競爭力。而數(shù)據(jù)驅(qū)動的重

點(diǎn)在于高效、高質(zhì)量的數(shù)據(jù)供給能力，當(dāng)前大多數(shù)企業(yè)存在數(shù)據(jù)鏈冗長、工具鏈雜亂、協(xié)作鏈脆弱等情況，導(dǎo)致取數(shù)難、用數(shù)難、管數(shù)難，無法支持企業(yè)數(shù)據(jù)價值界積極探索新型的數(shù)據(jù)開發(fā)范式，將敏捷、協(xié)作、精益等理念引入到數(shù)據(jù)開發(fā)流程中，逐步形成

DataOps

理念和方法。DataOps

通過構(gòu)建高效協(xié)同機(jī)制、建立精細(xì)化數(shù)據(jù)運(yùn)營體系、打造標(biāo)準(zhǔn)化與一體化的數(shù)據(jù)開發(fā)流程來提升數(shù)據(jù)開發(fā)效能，為企業(yè)的數(shù)據(jù)引擎“換擋提速”。的高效釋放。為有效克服以上問題，業(yè)當(dāng)前，國內(nèi)外

DataOps

的實(shí)踐工作還處于起步階段，其概念和實(shí)踐方法論尚未形成，無法引導(dǎo)企業(yè)進(jìn)行大規(guī)模的實(shí)踐。為凝聚共識、開宗明義，大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會（CCSA

TC601）組織大型銀行、通信運(yùn)營商、頭部互聯(lián)網(wǎng)公司共同編寫《DataOps

實(shí)踐指南（1.0）》，旨在總結(jié)各行業(yè)最佳實(shí)踐，提煉核心理論框架，推動

DataOps

理念的廣泛應(yīng)用，加速數(shù)據(jù)驅(qū)動型企業(yè)的能力建設(shè)。本指南將圍繞

DataOps

助力企業(yè)高效、高質(zhì)量釋放數(shù)據(jù)要素價值為核心邏輯，闡述

DataOps

理念的演進(jìn)歷程、發(fā)展現(xiàn)狀，重

點(diǎn)討論

DataOps

的概念內(nèi)涵、價值作用、能力框架等，并對

DataOps

的發(fā)展進(jìn)行展望。4DataOps

實(shí)踐指南（1.0）版權(quán)聲明

/2前

言

/4CONTENTS

目

錄01發(fā)展背景03

DataOps

能力框架（一）

數(shù)據(jù)開發(fā)能力不足阻礙數(shù)據(jù)驅(qū)動型（一）

DataOps能力模型/

14企業(yè)建設(shè)/

7（二）

DataOps核心環(huán)節(jié)/

15（二）

現(xiàn)有數(shù)據(jù)開發(fā)范式主要問題/

7（三）

DataOps實(shí)踐保障/

16（三）

DataOps概念的演化/

802

04DataOps概念及作用DataOps未來展望（一）

DataOps概念定義/

10（一）

文化變革/

19（二）

DataOps的作用/

10（二）

數(shù)智融合/

19（三）

閉環(huán)進(jìn)化/

19（四）

內(nèi)生安全/

19圖1

DataOps

概念示意圖

/10圖圖2

DataOps

能力模型框架

/14目錄圖3

DataOps

數(shù)據(jù)流水線框架

/15圖4

DataOps

保障措施框架

/175DataOps

實(shí)踐指南（1.0）01發(fā)展背景（一）數(shù)據(jù)開發(fā)能力不足阻礙數(shù)據(jù)驅(qū)動型企業(yè)建設(shè)

/7（二）現(xiàn)有數(shù)據(jù)開發(fā)范式主要問題

/7（三）DataOps

概念的演化

/801.發(fā)展背景的數(shù)據(jù)需求與數(shù)據(jù)生產(chǎn)力不足之間頭部運(yùn)營商每月平均新產(chǎn)生200多個數(shù)據(jù)開發(fā)需求，平均響應(yīng)時長為1.5

至

2

周

。展開來看，企業(yè)數(shù)據(jù)開發(fā)面臨五大核心挑戰(zhàn)，分別是數(shù)據(jù)需求的溝通不的矛盾。據(jù)調(diào)研，（一）數(shù)據(jù)開發(fā)能力不足阻礙數(shù)據(jù)驅(qū)動型企業(yè)建設(shè)自

2014

年大數(shù)據(jù)寫入國家政府工作報告起，暢、數(shù)據(jù)產(chǎn)品交付的效率低下、數(shù)據(jù)開發(fā)與治理的我國開始重

視大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，陸續(xù)發(fā)布了《促割裂、數(shù)據(jù)工作協(xié)同差以及數(shù)據(jù)研發(fā)的投資收益比進(jìn)大數(shù)據(jù)發(fā)展行動綱要》《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃低，這些挑戰(zhàn)是導(dǎo)致企業(yè)內(nèi)數(shù)據(jù)生產(chǎn)力的低下的重（2016—2020

年）》《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》等多個國家級文件，建設(shè)數(shù)字中國、實(shí)施大數(shù)據(jù)戰(zhàn)略成為了我國數(shù)字經(jīng)濟(jì)發(fā)展的核心主線。要原因。2019

年中央將數(shù)據(jù)上升到要素層面，2022

年“數(shù)據(jù)二十條”發(fā)布，提出建設(shè)數(shù)據(jù)要素市場體系，重點(diǎn)需要完善數(shù)據(jù)基礎(chǔ)制度，加強(qiáng)數(shù)據(jù)要素、數(shù)據(jù)產(chǎn)

1．?dāng)?shù)據(jù)需求不暢通的供給能力。

數(shù)據(jù)開發(fā)人員和業(yè)務(wù)人員之間的溝通不暢，業(yè)務(wù)人員往往不能準(zhǔn)確表達(dá)自己的數(shù)據(jù)需求，缺少一從企業(yè)側(cè)來看，數(shù)字化轉(zhuǎn)型的重

點(diǎn)是定的數(shù)據(jù)思維。同時，數(shù)據(jù)開發(fā)人員也存在業(yè)務(wù)經(jīng)據(jù)驅(qū)動的能力，據(jù)波士頓公司旗下的NewVantage

驗(yàn)不足的問題，導(dǎo)致無法準(zhǔn)確理解業(yè)務(wù)需求或者無Partners

公司2022

年統(tǒng)計，97.0%

的參與組織正

法滿足業(yè)務(wù)需求。數(shù)據(jù)需求在供需兩端的溝通過程在投資于數(shù)據(jù)計劃，已有超過四分之一的企業(yè)建成

中存在歧義，產(chǎn)生信息差，并耗費(fèi)了過長的時間為了數(shù)據(jù)驅(qū)動型的組織。麥肯錫全球研究院數(shù)據(jù)顯

使得交付壓力進(jìn)一步增加。示，數(shù)據(jù)驅(qū)動型組織在客戶獲取率、客戶保留率和盈利機(jī)率方面分別實(shí)現(xiàn)了23倍、6倍和19倍的提升，未來數(shù)據(jù)驅(qū)動型企業(yè)將在數(shù)據(jù)要素市場競爭中搶得

隨著企業(yè)經(jīng)營與管理活動對數(shù)據(jù)的依賴程度先機(jī)。成為數(shù)據(jù)驅(qū)動型企業(yè)，需要具備三大基本能

越來越高，數(shù)據(jù)需求數(shù)量呈爆發(fā)式增長，一些大型力，一是堅實(shí)的數(shù)據(jù)平臺，二是完善的數(shù)據(jù)管理體

企業(yè)平均每年要臨上千項的數(shù)據(jù)需求壓力。但由系，三是高效的數(shù)據(jù)產(chǎn)品與應(yīng)用開發(fā)能力。經(jīng)過

10

于數(shù)據(jù)研發(fā)人員的補(bǔ)充和培養(yǎng)需要較長的周

期，導(dǎo)多年的發(fā)展，大部分企業(yè)構(gòu)建了以數(shù)據(jù)倉庫、數(shù)據(jù)

致數(shù)據(jù)研發(fā)引擎需要在超負(fù)荷運(yùn)轉(zhuǎn)的情況下進(jìn)行交湖為基礎(chǔ)的大數(shù)據(jù)平臺，實(shí)現(xiàn)了海量數(shù)據(jù)的匯聚、

付。確保數(shù)據(jù)在各個環(huán)節(jié)中暢通無阻是保障數(shù)據(jù)工集成、存儲與計算。數(shù)據(jù)管理方面，隨著數(shù)據(jù)管理

作正常運(yùn)轉(zhuǎn)的基礎(chǔ)。然而，數(shù)據(jù)工作所涉及的環(huán)節(jié)能力成熟度評估的貫標(biāo)推廣（據(jù)統(tǒng)計，自

2022

年起，

鏈路較長，但數(shù)據(jù)研發(fā)的過程和管理較為松散，標(biāo)每年都有上千家企業(yè)完成相關(guān)評估工作），推動數(shù)

準(zhǔn)化、流程化程度低。在這種模式下，當(dāng)數(shù)據(jù)研發(fā)據(jù)管理的理念快速普及，企業(yè)內(nèi)數(shù)據(jù)管理體系逐步

團(tuán)隊面臨大量需求的時候，交付的效率明顯不足。完善。當(dāng)前，企業(yè)數(shù)據(jù)能力建設(shè)的主要矛盾是旺盛

數(shù)據(jù)需求的交付需要一至兩周

的時間（二）現(xiàn)有數(shù)據(jù)開發(fā)范式主要問題品構(gòu)建數(shù)，2．產(chǎn)品交付效率低面。7DataOps

實(shí)踐指南（1.0）3．開發(fā)治理兩張皮數(shù)據(jù)研發(fā)工作早期重

心側(cè)重

于數(shù)據(jù)的研發(fā)交付（三）DataOps概念的演化“DataOps”一詞首次出現(xiàn)于

2014

年

，萊

尼·利環(huán)節(jié)，缺乏對數(shù)據(jù)治理工作的意識和重

視。企業(yè)普伯曼（LennyLiebmann）在文章中指出“DataOps遍是“先研發(fā)、后治理”，在這種模式下，當(dāng)企業(yè)發(fā)現(xiàn)數(shù)據(jù)問題時，數(shù)據(jù)早已進(jìn)入到經(jīng)營生產(chǎn)活動中并產(chǎn)生影響。此時再進(jìn)行治理已經(jīng)較難實(shí)現(xiàn)有效控1是優(yōu)化數(shù)據(jù)科學(xué)和運(yùn)維之間協(xié)作的最佳實(shí)踐”

。2018

年

9

月

Gartner

將

DataOps納入到數(shù)據(jù)制，質(zhì)量問題一直在源源不斷地產(chǎn)生。加之企業(yè)內(nèi)管理技術(shù)成熟度曲線，定義

DataOps

為“一種協(xié)作性的數(shù)據(jù)管理實(shí)踐，專注于改善整個組織的數(shù)據(jù)管理者和消費(fèi)者之間的溝通、整合和數(shù)據(jù)流的自動部缺少全鏈路的數(shù)據(jù)監(jiān)控，導(dǎo)致數(shù)據(jù)在交付端的質(zhì)量堪憂。據(jù)某大型互聯(lián)網(wǎng)企業(yè)統(tǒng)計，平均每發(fā)現(xiàn)

10個數(shù)據(jù)質(zhì)量問題，其中90%

的問題都是被數(shù)據(jù)使用方發(fā)現(xiàn)。全鏈路監(jiān)測與測試工作的缺失，直接降低了用數(shù)方對數(shù)據(jù)的信任程度。2化”

。對

DataOps

的

定

義

與

當(dāng)

時

組

織

的

發(fā)

展

階

段及

關(guān)

注

的

重

點(diǎn)

問

題

有

很

大

的

關(guān)

系。

總

體

而

言，4．跨域協(xié)同難推進(jìn)DataOps

的提出是建立在大數(shù)據(jù)發(fā)展相對穩(wěn)定和成通常情況下，數(shù)據(jù)研發(fā)團(tuán)隊獨(dú)立存在于軟件研發(fā)、數(shù)據(jù)治理等團(tuán)隊，各自獨(dú)立辦公、獨(dú)立考核。熟之后，提出方多是廠商或咨詢機(jī)構(gòu)，提出的出發(fā)點(diǎn)包括強(qiáng)化數(shù)據(jù)工程的敏捷度、打通數(shù)據(jù)分析的管然而，良好數(shù)據(jù)的應(yīng)用和產(chǎn)品開發(fā)需要明確的業(yè)務(wù)道等。方向、可信與高效的數(shù)據(jù)支撐以及承載的軟件共同支撐。當(dāng)前這種職能上的割裂會導(dǎo)致跨團(tuán)隊間作和溝通成本極高。企業(yè)的組織管理機(jī)制阻礙了數(shù)據(jù)的絲滑流通與交付。的協(xié)5．開發(fā)成本難管控數(shù)據(jù)需求激增的背資源與時間去響應(yīng)需求，但其中一部分的需求是似或利用率較低的。粗獷式的需求響應(yīng)模式的背大量的存算資源與時間成本的付出。據(jù)了解，某互聯(lián)網(wǎng)企業(yè)有

62%

報表在

30

天內(nèi)無人使用，每張報表所浪費(fèi)的成本在

3

萬元

/

月。景下，企業(yè)投入大量的存算相后是面對目前數(shù)據(jù)開發(fā)范式遇到的瓶頸，企業(yè)需要一種現(xiàn)代化的數(shù)據(jù)研發(fā)、運(yùn)營、管理實(shí)踐理論來引導(dǎo)企業(yè)高效用數(shù)、放心用數(shù)，確保數(shù)據(jù)能夠在企業(yè)內(nèi)安全、高質(zhì)量、高效率地運(yùn)轉(zhuǎn)，進(jìn)而釋放出更大的數(shù)據(jù)要素價值，DataOps

理念應(yīng)運(yùn)而生。12"3reasonswhyDataOpsisessentialforbigdatasuccess".IBMBigData&AnalyticsHub.Retrieved2018-08-10."GartnerHypeCycleforDataManagementPositionsThreeTechnologiesintheInnovationTriggerPhasein2018".Gartner.Retrieved2019-07-19.8DataOps

實(shí)踐指南（1.0）02DataOps

概念及作用（一）DataOps

概念定義

/10（二）DataOps

的作用

/1002.DataOps

概念及作用（一）DataOps概念定義（二）DataOps的作用基于對我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展特企業(yè)發(fā)展情況的調(diào)研，為了更好地引導(dǎo)企業(yè)安全、

調(diào)數(shù)據(jù)管理自動化，既能為數(shù)據(jù)工作者提供敏捷的高效、高質(zhì)量釋放數(shù)據(jù)要素價值，重

構(gòu)數(shù)據(jù)生產(chǎn)力，

數(shù)據(jù)開發(fā)支持，同時也簡

化了數(shù)據(jù)交付的周

期，提我們從打造高效用數(shù)流水線，構(gòu)建靈活保障機(jī)制的

升數(shù)據(jù)成產(chǎn)者與數(shù)據(jù)消費(fèi)者的協(xié)同效率，成為企角度提出如下定義：

業(yè)數(shù)字化轉(zhuǎn)型快速釋放數(shù)據(jù)生產(chǎn)力的最佳方案。據(jù)

Gartner

預(yù)測：“到

2025

年以

DataOps

實(shí)踐和數(shù)據(jù)研發(fā)運(yùn)營一體化（DataOps）是工具為指導(dǎo)的數(shù)據(jù)工程團(tuán)隊的工作效率將比不使用DataOps

的團(tuán)隊高

10

倍。”征的研究以及對DataOps

作為一種新興的數(shù)據(jù)管理方法，強(qiáng)數(shù)據(jù)開發(fā)的新范式，將敏捷、精益等理念融入數(shù)據(jù)開發(fā)過程，通過對數(shù)據(jù)相關(guān)人員、工具和流程的重

新組織，打破協(xié)作壁壘，構(gòu)建集開發(fā)、治理、運(yùn)營于一體的自動化數(shù)據(jù)流水線，不斷提高數(shù)據(jù)產(chǎn)品交付效率與質(zhì)量，實(shí)現(xiàn)高質(zhì)量數(shù)字化發(fā)展。1．形成敏捷數(shù)據(jù)產(chǎn)品開發(fā)流程敏捷迭代，快速響應(yīng)需求變化?；椒?，可以實(shí)現(xiàn)在整個數(shù)據(jù)處理流程中使用自動化工具和技術(shù)來實(shí)現(xiàn)快速、可靠和高效的數(shù)據(jù)交付。得注意的是敏捷開發(fā)方法將數(shù)據(jù)處理流程劃分為多個小部分，數(shù)據(jù)研發(fā)效能問題。其關(guān)注的是數(shù)據(jù)研發(fā)運(yùn)營管

并在每個迭代周

期中完成一部分?jǐn)?shù)據(jù)處理任務(wù)，從理的全生命周期，而不僅僅是某一單獨(dú)環(huán)節(jié)。在建

而實(shí)現(xiàn)提速數(shù)據(jù)交付的目標(biāo)。CI/CD

流程可以實(shí)現(xiàn)全局最優(yōu)的研發(fā)流水線的過程中，要快速的數(shù)據(jù)處理流程部署，從而達(dá)成連續(xù)交付和自動化測試等目標(biāo)。于敏捷開發(fā)值，DataOps

解決的最核心問題是設(shè)完善時刻注意與企業(yè)的業(yè)務(wù)戰(zhàn)略對齊，配合相關(guān)的組織保障、安全保障和工具保障進(jìn)行實(shí)踐落地。自助服務(wù)，主動利用數(shù)據(jù)資產(chǎn)。隨著員數(shù)據(jù)文化水平的提高，數(shù)據(jù)需求方可以主動利用自助分析平臺進(jìn)行數(shù)據(jù)指標(biāo)、報表、駕駛艙等任務(wù)的開發(fā)，快速滿足自身需求。同時要求自助分析平臺能夠提供完備的數(shù)據(jù)資產(chǎn)目錄、低門檻的功能組件和嚴(yán)格的數(shù)據(jù)訪問控制及數(shù)據(jù)安全管理。企業(yè)內(nèi)成總之，企業(yè)在數(shù)據(jù)生產(chǎn)端通過敏捷開發(fā)、自動化工具等方法和技術(shù)提升交付效率，在數(shù)據(jù)消費(fèi)端利用自助服務(wù)的形式支撐數(shù)據(jù)消費(fèi)者自主地獲取和處理數(shù)據(jù)，而不需要等待數(shù)據(jù)團(tuán)隊的支持和協(xié)助。圖

1

DataOps

概念示意圖在兩端共同的作用下加速數(shù)據(jù)的交付。10DataOps

實(shí)踐指南（1.0）2．構(gòu)建高效的跨域協(xié)同促進(jìn)跨部門協(xié)作，打造協(xié)同型團(tuán)隊。根據(jù)業(yè)務(wù)

研發(fā)與治理的關(guān)系與責(zé)任，將數(shù)據(jù)治理的過程前置到數(shù)據(jù)開發(fā)環(huán)節(jié)，確保生產(chǎn)出來的數(shù)據(jù)是能夠符合標(biāo)準(zhǔn)和規(guī)范的。機(jī)制設(shè)計階段、開發(fā)階段以及交付階段。明確各階段中需求，組建跨職能的復(fù)合型團(tuán)隊，通過與數(shù)據(jù)消費(fèi)者和業(yè)務(wù)團(tuán)隊的合作，可以更好地了解他們的需求和痛

點(diǎn)，為他們提供更好的數(shù)據(jù)服務(wù)和支持。通過與

IT

團(tuán)隊的合作，可以更好地了解系統(tǒng)架構(gòu)和技術(shù)棧，為數(shù)據(jù)處理和數(shù)據(jù)集成提供更好的支持。一些數(shù)據(jù)驅(qū)動型企業(yè)都設(shè)置了類似“數(shù)據(jù)

BP”的崗位，數(shù)據(jù)人員下沉到一線的業(yè)務(wù)團(tuán)隊中，與業(yè)務(wù)伙伴合打造自動化測試流水線，及時發(fā)現(xiàn)、處理質(zhì)量問題。通過將測試用例自動化執(zhí)行，使用測試工具進(jìn)行自動化測試，來避免人工測試過程中的錯誤和疏漏，并加快測試速度。并將自動化測試融入持續(xù)作滿足業(yè)務(wù)的數(shù)據(jù)需求，共同過了測試，確保數(shù)據(jù)管道的穩(wěn)定性和質(zhì)量。最后，建立良好溝通機(jī)制，塑造協(xié)同實(shí)時監(jiān)控數(shù)據(jù)管道的運(yùn)行狀態(tài)，發(fā)現(xiàn)問題并及時反饋給研發(fā)團(tuán)隊，確保問題能夠快速解決。為業(yè)務(wù)的增長負(fù)責(zé)。集成和持續(xù)交付流程中，確保每次修改和更新都經(jīng)文化。通過建立良好的溝通機(jī)制，數(shù)據(jù)團(tuán)隊可以更好地溝通和協(xié)作，及時發(fā)現(xiàn)和解決問題。利用郵件、即時通訊工具、項目管理等工具建立溝通渠道，通過每日站會等機(jī)與傳統(tǒng)的先投制養(yǎng)成溝通習(xí)慣，借助內(nèi)部

wiki、共享企業(yè)基于數(shù)據(jù)研發(fā)治理一體化流程，能夠在研發(fā)階沉淀共享知識和經(jīng)驗(yàn)。

段便對數(shù)據(jù)治理問題進(jìn)行管控和介入，結(jié)合自動化測試能力能夠在投產(chǎn)前進(jìn)行進(jìn)一步檢查。一方面借助技術(shù)賦能，善用協(xié)同升了交付的數(shù)據(jù)質(zhì)量，另一方面也提升了研發(fā)團(tuán)隊協(xié)作工具，數(shù)據(jù)團(tuán)隊可以更好地協(xié)同工作，提高工

與治理團(tuán)隊的協(xié)同效率。作效率和溝通效率。包括但不限于現(xiàn)代化的項目管理工具、協(xié)同編輯工具、在線會議工具等。減少人力成本。通過自動化工具、流程和自服總之，企業(yè)可以通過組建協(xié)同務(wù)能力來降低企業(yè)的人力成本，減少了重

復(fù)性和低保障機(jī)制并借助協(xié)同工具來共同保障數(shù)據(jù)團(tuán)隊開

效率的工作，讓數(shù)據(jù)科學(xué)家能夠?qū)Ｗ⒂诟邇r值展協(xié)同工作。

工作。產(chǎn)后治理的研發(fā)治理模式相比，文檔等工具提工具。通過采用團(tuán)隊4．建立精細(xì)化的數(shù)據(jù)運(yùn)營體系型團(tuán)隊，建立協(xié)同的3．打造開發(fā)治理一體化流水線構(gòu)研發(fā)治理一體化流程，前置數(shù)據(jù)質(zhì)量管控。對數(shù)據(jù)研發(fā)運(yùn)營管理全生命周

期的各個工作環(huán)節(jié)進(jìn)行梳理，厘清降低運(yùn)營成本。通過自動化運(yùn)維和數(shù)據(jù)全鏈路監(jiān)控等流程，來及時發(fā)現(xiàn)并反饋效能、資源以及質(zhì)量等方面的問題，降低企業(yè)的運(yùn)營成本，提高運(yùn)營運(yùn)維效率和數(shù)據(jù)管道的可靠性。這樣可以讓企業(yè)更加聚焦于業(yè)務(wù)創(chuàng)新，提高企業(yè)競爭力和盈利能力。重數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全等工作在研發(fā)環(huán)節(jié)中的位置，將數(shù)據(jù)治理工作融入到研發(fā)運(yùn)營管理的流水線中，形成“先設(shè)計、后開發(fā)、先標(biāo)準(zhǔn)、后建?！钡哪Ｊ?，在研發(fā)階段對數(shù)據(jù)的質(zhì)量和安全等問題進(jìn)行有效管控。某互聯(lián)網(wǎng)企業(yè)將整構(gòu)造全局?jǐn)?shù)據(jù)觀測視圖。數(shù)據(jù)可觀測性是的數(shù)據(jù)管理手段，它不僅能夠幫助組織充個開發(fā)治理流程分為四個階段，分別是分了解其系統(tǒng)中數(shù)據(jù)的運(yùn)行狀況，而且可以在數(shù)據(jù)一種極其重要需求階段、11DataOps

實(shí)踐指南（1.0）出現(xiàn)故障時及時提醒團(tuán)隊并降低其影響范圍。數(shù)據(jù)可觀測性的實(shí)現(xiàn)需要通過對數(shù)據(jù)鏈路的全面分析和上下文的數(shù)據(jù)可見性，才能有效地監(jiān)控和維護(hù)整個數(shù)據(jù)生態(tài)系統(tǒng)。通過建立高質(zhì)量的數(shù)據(jù)管道和監(jiān)控機(jī)制，數(shù)據(jù)團(tuán)隊可以實(shí)時監(jiān)測和分析關(guān)鍵數(shù)據(jù)資產(chǎn)的健康狀況，以便在出現(xiàn)問題時及時發(fā)現(xiàn)和處理。某科技集團(tuán)基平臺智能化運(yùn)營，利用智能化運(yùn)營體系指標(biāo)對開發(fā)質(zhì)量、數(shù)據(jù)作業(yè)、平臺穩(wěn)定性、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)以及平臺資源進(jìn)行自動化的監(jiān)控、分析與提升，進(jìn)而改善開發(fā)效率、避免合規(guī)風(fēng)險、提升資源用率。于工具平臺支持企業(yè)全球數(shù)據(jù)利總體而言，企業(yè)通過精益化管理在不犧牲數(shù)據(jù)交付效率的情況下，將數(shù)據(jù)流水線中的浪費(fèi)情況降至最低。12DataOps

實(shí)踐指南（1.0）03DataOps

能力框架（一）DataOps

能力模型

/14（二）DataOps

核心環(huán)節(jié)

/15（三）DataOps

實(shí)踐保障

/1603.DataOps

能力框架目前，國內(nèi)

DataOps

的實(shí)踐尚處于探索階段，只有頭部的機(jī)構(gòu)（互聯(lián)網(wǎng)、電信、金融、電力）在進(jìn)行點(diǎn)狀試點(diǎn)，業(yè)界缺少體系化的實(shí)踐和基（一）DataOps能力模型于最佳實(shí)踐的理論框架，阻礙了

DataOps

理念的發(fā)展。2022

年，中國通信標(biāo)準(zhǔn)化協(xié)會大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會（CCSA

TC601）聯(lián)合金融、通信、互聯(lián)工作組通過對

130

多家企業(yè)的走訪與調(diào)研，收集了大量的企業(yè)案例與實(shí)踐，經(jīng)過工作組的抽象和提煉，以及組內(nèi)10

多次的研討，最終形成了一套DataOps

能力模型框架。網(wǎng)行業(yè)頭部企業(yè)以及各大服務(wù)廠商，共同成立了DataOps

能力標(biāo)準(zhǔn)工作組，旨在凝聚共識，建立DataOps

的理論框架和實(shí)踐路徑，搭建交流平臺，培養(yǎng)

DataOps

生態(tài)，推動數(shù)據(jù)驅(qū)動型企業(yè)的能力建設(shè)。經(jīng)過與十余個行業(yè)、百余家企業(yè)的幾百位專家學(xué)者共同探討，我們發(fā)現(xiàn)企業(yè)目前對

DataOps

的實(shí)踐效果主要有兩方面預(yù)期。圖

2

DataOps

能力模型框架一是在數(shù)字化轉(zhuǎn)型的過程中，逐漸認(rèn)識到數(shù)據(jù)文化意

形成“4+3”的組織架構(gòu)，即

4

個環(huán)節(jié)和

3

項保障職能。識的重

性，并開始努力培養(yǎng)這方面的能力。然

具體來看，數(shù)據(jù)開發(fā)流水線能夠劃分為4

個環(huán)節(jié)，包括了數(shù)據(jù)的研發(fā)管理、交付管理、數(shù)據(jù)運(yùn)維和價運(yùn)營，就像大工業(yè)化時代的流水線生產(chǎn)一樣，讓企業(yè)數(shù)據(jù)應(yīng)用開發(fā)以非常高效的狀態(tài)運(yùn)轉(zhuǎn)。在流水線之外，還需要3

項外圍保障職能來支撐流水線的務(wù)，同平滑運(yùn)作，保障職能包括系統(tǒng)工具、組織管理和安支撐業(yè)務(wù)的探索。

全管控。關(guān)注用數(shù)賦能。一些非數(shù)字原生型企業(yè)，

DataOps

能力模型框架圍繞數(shù)據(jù)開發(fā)流水線，要而，由于缺乏相關(guān)經(jīng)驗(yàn)，這些企業(yè)較難提出能夠促進(jìn)業(yè)務(wù)發(fā)展的具體數(shù)據(jù)需求。這些企業(yè)希望借助DataOps

的實(shí)踐，提升用數(shù)據(jù)進(jìn)行決策的能力，養(yǎng)成用數(shù)據(jù)分析的習(xí)慣，從而更好地應(yīng)用數(shù)據(jù)賦能業(yè)值時搭建起一條敏捷高效的數(shù)據(jù)研發(fā)流水線來二是代表的數(shù)字原生型企業(yè)更加關(guān)注數(shù)據(jù)的研發(fā)運(yùn)營效

建立對

DataOps

工作的宏觀視圖，了解

DataOps能，這一類企業(yè)普遍有著較強(qiáng)的數(shù)據(jù)應(yīng)用意識，能

能力建設(shè)的核心主線與保障體系，為企業(yè)的能力夠提出具體的數(shù)據(jù)需求來賦能業(yè)務(wù)的發(fā)展。這類企

建設(shè)提供參考。隨著標(biāo)準(zhǔn)的進(jìn)一步的細(xì)化，能夠業(yè)希望通過

DataOps

的實(shí)踐來提升數(shù)據(jù)供給的效

為企業(yè)提供詳細(xì)的建設(shè)依據(jù)，全面地評價企業(yè)在能，加速數(shù)據(jù)產(chǎn)品的研發(fā)，降低數(shù)據(jù)管理與維護(hù)的

DataOps方面的能力狀況，摸清當(dāng)前的現(xiàn)狀和問題，成本。

指明下一步發(fā)展的方向。關(guān)注研發(fā)效能。另外一些以互聯(lián)網(wǎng)企業(yè)為DataOps

能力模型框架的提出，旨在幫助企業(yè)14DataOps

實(shí)踐指南（1.0）（二）DataOps核心環(huán)節(jié)為了實(shí)現(xiàn)不斷提高數(shù)據(jù)產(chǎn)品程化能力著手，結(jié)合

DataOps

的內(nèi)涵構(gòu)建出高效的數(shù)據(jù)研發(fā)運(yùn)營流水線。包括研發(fā)管理、交付管理、數(shù)據(jù)運(yùn)維和價值運(yùn)營四個環(huán)節(jié)。交付效率與質(zhì)量，實(shí)現(xiàn)高質(zhì)量數(shù)字化發(fā)展的目標(biāo)。DataOps

工作組從數(shù)據(jù)工數(shù)據(jù)研發(fā)管理數(shù)據(jù)交付管理數(shù)據(jù)運(yùn)維價值運(yùn)營部署與發(fā)布管理需求管理設(shè)計管理開自測試管理配監(jiān)控管理資變異持成持量發(fā)助管置管理源更

常

續(xù)

本

續(xù)

化分析管管管優(yōu)管變驅(qū)理理理理化理革動圖

3

DataOps

數(shù)據(jù)流水線框架1.數(shù)據(jù)研發(fā)管理數(shù)據(jù)研發(fā)管理是化管理，目的是構(gòu)建研發(fā)治理一體化能力。企業(yè)在

發(fā)布等環(huán)節(jié)的自動化與標(biāo)準(zhǔn)化，提升交付效率和質(zhì)數(shù)據(jù)開發(fā)階段，構(gòu)建數(shù)據(jù)研發(fā)治理一體化流程，將

量的管理過程。企業(yè)在數(shù)據(jù)的交付與部署階段，通數(shù)據(jù)治理工作左移，把數(shù)據(jù)治理工作與數(shù)據(jù)開發(fā)工

過構(gòu)建自動化的測試和交付流水線，加強(qiáng)數(shù)據(jù)版本作有機(jī)結(jié)合，能夠加強(qiáng)數(shù)據(jù)治理與開發(fā)工作的協(xié)同與代碼質(zhì)量的管理，幫助企業(yè)提升數(shù)據(jù)產(chǎn)品交付的配合，同時降低數(shù)據(jù)治理后置所產(chǎn)生的風(fēng)險。此外，

自動化水平，加快交付速度，提高交付質(zhì)量。2.數(shù)據(jù)交付管理指企業(yè)對數(shù)據(jù)開發(fā)過程的標(biāo)準(zhǔn)數(shù)據(jù)交付管理是指通過對測試、配置、部署和在數(shù)據(jù)研發(fā)階段加強(qiáng)對數(shù)據(jù)需求的約束，并利用自助分析能力來提前探查或解決部分?jǐn)?shù)據(jù)需求，大大提升了數(shù)據(jù)需求的溝通效率，減少了部分研發(fā)工作壓力。數(shù)據(jù)研發(fā)管理包括需求管理、設(shè)計管理、數(shù)據(jù)開發(fā)和自助分析四部分內(nèi)容。數(shù)據(jù)交付管理包括測試管理、配置管理、部署與發(fā)布管理三部分內(nèi)容。?

測試管理：建設(shè)自動化測試流水線，加強(qiáng)對單元測試、集成測試的管理，對代碼質(zhì)量、數(shù)據(jù)質(zhì)量均進(jìn)行測試，提前發(fā)現(xiàn)問題、處理問題。?

配置管理：加強(qiáng)版本控制與環(huán)境管理。對代碼版本與數(shù)據(jù)版本均進(jìn)行管理，保證各階段數(shù)據(jù)的隨時可用性和可驗(yàn)證性。?

需求管理：強(qiáng)化需求評價，明確數(shù)據(jù)需求內(nèi)容，降低溝通成本。?

設(shè)計管理：通過“先設(shè)計，后開發(fā)”的方式，在建模環(huán)節(jié)做好數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量的設(shè)計。?

數(shù)據(jù)開發(fā)：構(gòu)建離線、實(shí)時、數(shù)據(jù)挖掘的一體化開發(fā)能力，并在開發(fā)任務(wù)鏈中嵌入數(shù)據(jù)質(zhì)量稽核能力，及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題。?

部署與發(fā)布管理：建設(shè)自動化部署發(fā)布流水線，加快數(shù)據(jù)部署效率，降低人為操作風(fēng)險。?

自助分析：為業(yè)務(wù)人員提供便務(wù)空間，支持?jǐn)?shù)據(jù)需求自助探查，緩解需求響應(yīng)和

數(shù)據(jù)運(yùn)維是指對數(shù)據(jù)研發(fā)運(yùn)營管理全生命周交付壓力。

的效能、資源、質(zhì)量、成本等方面進(jìn)行系統(tǒng)性的管捷的數(shù)據(jù)自服3.數(shù)據(jù)運(yùn)維期15DataOps

實(shí)踐指南（1.0）理，目的是發(fā)現(xiàn)、處理數(shù)據(jù)問題。企業(yè)通過構(gòu)建全鏈路數(shù)據(jù)可

發(fā)各環(huán)節(jié)堵點(diǎn)問題，深挖問題源頭并持續(xù)改進(jìn)。觀測能力，通過對數(shù)據(jù)研發(fā)運(yùn)營管理全生命周

期的

?

量化驅(qū)動：構(gòu)建完善的量化指標(biāo)體系，對數(shù)效能、資源、質(zhì)量、成本等方面進(jìn)行系統(tǒng)性的監(jiān)測

據(jù)開發(fā)流水線交付效率、需求響應(yīng)速度等進(jìn)行定量評估，不斷優(yōu)化工作流程和資源分配策略。構(gòu)建全鏈路可觀測能力，進(jìn)而持續(xù)監(jiān)控、?

持續(xù)變革：打造反饋機(jī)制，及時收集數(shù)據(jù)研與度量，幫助企業(yè)全面掌握數(shù)據(jù)研發(fā)運(yùn)營的各環(huán)節(jié)情況，及時發(fā)現(xiàn)問題、反饋問題、處理問題，進(jìn)而不斷優(yōu)化數(shù)據(jù)開發(fā)全流程。（三）DataOps實(shí)踐保障數(shù)據(jù)運(yùn)維包括監(jiān)控管理、資源管理、變更管理、為了保證

DataOps

研發(fā)流水線能夠持續(xù)高效異常管理、持續(xù)優(yōu)化五部分內(nèi)容。運(yùn)轉(zhuǎn)和迭代完善南提出了組織、工具和安全三個維度的保障要求。這些要求的目標(biāo)是引導(dǎo)企業(yè)以全局最優(yōu)為目標(biāo)，保，企業(yè)需要有力的保障措施。本指?

監(jiān)控管理：構(gòu)建完整的監(jiān)控體系，對開發(fā)流水線運(yùn)行情況、質(zhì)量情況等進(jìn)行時刻監(jiān)控預(yù)警。障數(shù)據(jù)研發(fā)流水線的平滑運(yùn)作。?

資源管理：對數(shù)據(jù)資源、計算資源、存儲資源等進(jìn)行的調(diào)度優(yōu)化，合理分配相關(guān)資源，優(yōu)化運(yùn)1.系統(tǒng)工具維成本。?

變更管理：打造標(biāo)準(zhǔn)化、敏捷化變更流程，系統(tǒng)工具是自動化、一體化的工具平臺。工具平臺是企業(yè)實(shí)踐DataOps

理念的抓手，幫助企業(yè)內(nèi)部工具研發(fā)團(tuán)隊或外部廠商搭建完整、成熟的

DataOps

工具鏈，為更好的保障企業(yè)形成一體化的數(shù)據(jù)研發(fā)治理能力指圍繞數(shù)據(jù)流水線構(gòu)建的敏捷、應(yīng)對開發(fā)流水線的各類變更場景。?

異常管理：構(gòu)建異常管理知識庫，構(gòu)建自動化運(yùn)維能力，提升運(yùn)維效率。?

持續(xù)優(yōu)化：基于數(shù)據(jù)流水線運(yùn)行情況，持續(xù)對流水線任務(wù)編排情況、平臺配置情況進(jìn)行調(diào)優(yōu)，不斷提升開發(fā)流水線性能。提供技術(shù)支撐。系統(tǒng)工具包括研發(fā)管理、交付管理、運(yùn)營運(yùn)維、數(shù)據(jù)安全四部分內(nèi)容。4.價值運(yùn)營價值運(yùn)營是指通過量化指標(biāo)驅(qū)動數(shù)據(jù)運(yùn)營，從?

研發(fā)管理：支持代碼線上流轉(zhuǎn)，遵從“先設(shè)而提升數(shù)據(jù)研發(fā)的質(zhì)效，目的是計，后開發(fā)”的建設(shè)原則。構(gòu)造精益數(shù)據(jù)運(yùn)營管理能力。企業(yè)基于量化指標(biāo)對數(shù)據(jù)開發(fā)工作的成?

交付管理：構(gòu)建

CI/CT/CD

能力，支撐自動本進(jìn)行精細(xì)化管理，并驅(qū)動企業(yè)對經(jīng)營管理、開發(fā)化的測試流水線與部署流水線功能，能夠?qū)Υa和流程和工具平臺持續(xù)優(yōu)化，形成“以數(shù)治數(shù)，持續(xù)數(shù)據(jù)進(jìn)行版本控制。革新”的閉環(huán)運(yùn)營。?

運(yùn)營運(yùn)維：支持對數(shù)據(jù)研發(fā)全鏈路的監(jiān)測與報警功能，通過大屏展示等形式實(shí)時展現(xiàn)研發(fā)效能、價值運(yùn)營包括成本管理、持續(xù)變革、量化驅(qū)動質(zhì)量等信息。?

數(shù)據(jù)安全：建立全鏈路數(shù)據(jù)安全監(jiān)測與管控三部分內(nèi)容。能力，在數(shù)據(jù)研發(fā)全生命周

期中落實(shí)權(quán)限的管控、?

成本管理：細(xì)化數(shù)據(jù)產(chǎn)品交付和維護(hù)成本核敏感數(shù)據(jù)脫敏加密、高危操作審計等功能。算，精細(xì)控制相關(guān)資源投入，識別并減少浪費(fèi)。16DataOps

實(shí)踐指南（1.0）系統(tǒng)工具組織管理安全管控安全風(fēng)險研交付管理運(yùn)營運(yùn)維數(shù)據(jù)安全組織架構(gòu)崗位角色協(xié)作協(xié)風(fēng)險管安全測試發(fā)管理同策理略圖

4

DataOps

保障措施框架2.組織管理組織管理是的管理，目的是打造為敏捷、協(xié)同的數(shù)據(jù)驅(qū)動型組

理。將安全管控嵌入到數(shù)據(jù)流水線中，通過在各環(huán)織。通過重

構(gòu)組織架構(gòu)、崗位角色及協(xié)同機(jī)制支撐

節(jié)設(shè)置安全屏障來分擔(dān)交付端的安全責(zé)任，提高數(shù)DataOps

流水線運(yùn)行，企業(yè)結(jié)合現(xiàn)狀與發(fā)展需要據(jù)可信度。安全是保障企業(yè)正常生產(chǎn)運(yùn)營的重

中之健全落實(shí)管理規(guī)范和要求，革新數(shù)據(jù)研發(fā)、管理、

，企業(yè)通過健全數(shù)據(jù)研發(fā)全生命周

期的安全意識，運(yùn)營架構(gòu)，完善崗位及晉升考核體系。為長期踐行

以敏捷、全面的方式在數(shù)據(jù)研發(fā)的過程中嵌入安全DataOps

理念，優(yōu)化數(shù)據(jù)開發(fā)流程提供組織保障。

屬性，幫助企業(yè)減少安全事故。3.安全管控指對企業(yè)內(nèi)部組織管理架構(gòu)、角色安全管控是指對數(shù)據(jù)研發(fā)全生命周

期的安全管，重組織管理包括組織架構(gòu)、崗位角色、協(xié)作協(xié)同安全管控包括安全風(fēng)險策略、風(fēng)險管理、安全三部分。

測試三部分內(nèi)容。?

組織架構(gòu)：合理配置企業(yè)內(nèi)部的數(shù)據(jù)技術(shù)架構(gòu)、數(shù)據(jù)人員架構(gòu)