滴滴敏捷數(shù)據(jù)中臺(tái)實(shí)施方案

滴滴數(shù)據(jù)體系介紹精益生產(chǎn)與敏捷創(chuàng)新滴滴數(shù)據(jù)體系介紹精益生產(chǎn)與敏捷創(chuàng)新滴滴概況

|

交通大數(shù)據(jù)超過(guò)4800TB每天處理數(shù)據(jù)超過(guò)150億日均車輛定位數(shù)據(jù)超400億次每日處理路徑規(guī)劃請(qǐng)求數(shù)據(jù)覆蓋了交通路況、用戶叫車信息、司機(jī)駕駛行為、車輛數(shù)據(jù)等多個(gè)維度滴滴目前對(duì)15分鐘后供需預(yù)測(cè)的準(zhǔn)確度已經(jīng)達(dá)到了85%業(yè)務(wù)發(fā)展驅(qū)動(dòng)數(shù)據(jù)進(jìn)化業(yè)務(wù)信息化信息數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)變現(xiàn)化運(yùn)營(yíng)營(yíng)銷信息化從記錄結(jié)果到記錄過(guò)程打破煙囪，盤活資產(chǎn)數(shù)據(jù)平民化研發(fā)生產(chǎn)信息化從副產(chǎn)品到精密設(shè)計(jì)安全合規(guī)與治理數(shù)據(jù)服務(wù)化企業(yè)管理信息化從決策支撐到數(shù)據(jù)驅(qū)動(dòng)從量化到標(biāo)準(zhǔn)到優(yōu)化數(shù)據(jù)智能化業(yè)務(wù)煙囪

計(jì)算存儲(chǔ)落后

數(shù)據(jù)質(zhì)量混亂

使用門檻高創(chuàng)新乏力

數(shù)據(jù)文化薄弱

高投入低產(chǎn)出

變現(xiàn)效率低滴滴的同與不同數(shù)據(jù)資源投入-業(yè)務(wù)價(jià)值產(chǎn)出

微笑曲線

網(wǎng)絡(luò)效應(yīng)研發(fā)

實(shí)驗(yàn)生產(chǎn)

運(yùn)營(yíng)

平臺(tái)類互聯(lián)網(wǎng)企業(yè)營(yíng)銷

滴滴數(shù)據(jù)智能中臺(tái)數(shù)據(jù)體系建設(shè)的核心困難數(shù)據(jù)生產(chǎn)價(jià)值線產(chǎn)品困難：多場(chǎng)景，全鏈路的復(fù)雜需求組織困難：多團(tuán)隊(duì)，多目標(biāo)的協(xié)作需求業(yè)務(wù)人員業(yè)務(wù)分析數(shù)據(jù)科學(xué)數(shù)據(jù)工程產(chǎn)品研發(fā)人工智能數(shù)據(jù)創(chuàng)新價(jià)值線質(zhì)量、效率、成本數(shù)據(jù)

生產(chǎn)

價(jià)值質(zhì)量、效率、成本分析

想法高價(jià)值、高可靠、高效率、低成本的數(shù)據(jù)服務(wù)交付滴滴精益數(shù)據(jù)管理體系精益數(shù)據(jù)生產(chǎn)智能數(shù)據(jù)目錄敏捷數(shù)據(jù)創(chuàng)新價(jià)值鏈

?

分級(jí)

?

監(jiān)控

?

復(fù)盤發(fā)現(xiàn)、理解、信任、協(xié)作、眾包敏捷數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)、安全合規(guī)創(chuàng)新網(wǎng)

?

用結(jié)果

?

自配置

?

模仿做自働化服務(wù)驅(qū)動(dòng)、全面量化、重點(diǎn)攻堅(jiān)自助化數(shù)據(jù)文化持續(xù)改進(jìn)，尊重人數(shù)據(jù)系統(tǒng)工具鏈數(shù)據(jù)基礎(chǔ)設(shè)施兩年來(lái)的建設(shè)成果精益數(shù)據(jù)

生產(chǎn)D0級(jí)事故從

10+降為1核心數(shù)據(jù)產(chǎn)出時(shí)

間提前到5點(diǎn)價(jià)值交付

NPS從19%到60%智能數(shù)據(jù)目錄

–

DataGraph20%員工高頻使用

系統(tǒng)性對(duì)外輸出敏捷數(shù)據(jù)治理

–

DataRank資產(chǎn)分從40到70敏捷數(shù)據(jù)

創(chuàng)新非例行任務(wù)從

2k+到20k+數(shù)據(jù)文化150+次改進(jìn)復(fù)盤，周活1700到5000+

數(shù)據(jù)基礎(chǔ)設(shè)施+系統(tǒng)工具鏈：開始對(duì)外輸出

數(shù)據(jù)服務(wù)滴滴數(shù)據(jù)系統(tǒng)組成業(yè)務(wù)分析?

應(yīng)用埋點(diǎn)

?

運(yùn)營(yíng)分析產(chǎn)品優(yōu)化?

AB

Test

?

地理圍欄營(yíng)銷服務(wù)?

用戶分層

?

標(biāo)簽畫像流程優(yōu)化?

業(yè)務(wù)根因財(cái)務(wù)管控?

多級(jí)管控

?

財(cái)務(wù)根因CXO儀表盤

?

移動(dòng)App自助式自服務(wù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)賦能?

高效率全方位

?

全鏈路能力覆蓋DataGraph?

OneSearch

?

數(shù)據(jù)字典

?

數(shù)據(jù)圖譜DataRank?

資產(chǎn)價(jià)值分?jǐn)?shù)據(jù)建設(shè)?

數(shù)據(jù)全鏈路自助查詢?

協(xié)助模板可視化分析

?

交互分析資產(chǎn)歸屬資產(chǎn)優(yōu)化分級(jí)保障數(shù)據(jù)治理查詢加速數(shù)據(jù)API報(bào)表、儀表盤Notebook數(shù)據(jù)研發(fā)數(shù)據(jù)中間件開發(fā)工作臺(tái)

?

數(shù)據(jù)開發(fā)

?

數(shù)據(jù)測(cè)試

?

數(shù)據(jù)發(fā)布數(shù)據(jù)質(zhì)量

?

監(jiān)控

?

告警

?

運(yùn)維數(shù)據(jù)通道實(shí)時(shí)采集批采集Binlog采集DataHub

?

kafka

?

ES數(shù)據(jù)架構(gòu)實(shí)時(shí)計(jì)算Hadoop體系Key-Value

&

OLAPFlinkHadoopHBaseWoaterHivePrestoDruidSparkClickhouse智能數(shù)據(jù)目錄

—

讓數(shù)據(jù)越用越好用統(tǒng)一的元數(shù)據(jù)檢索能力，支持Hive、

報(bào)表等多種數(shù)據(jù)實(shí)體的統(tǒng)一搜索基于數(shù)據(jù)價(jià)值或熱度的綜合排序業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)圖譜眾包協(xié)作的知識(shí)沉淀穩(wěn)定性建設(shè)精益數(shù)據(jù)生產(chǎn)

—

讓數(shù)據(jù)持續(xù)可信賴如何做好數(shù)據(jù)的基礎(chǔ)質(zhì)量？1234核心數(shù)據(jù)5點(diǎn)產(chǎn)出（業(yè)內(nèi)普遍7-8點(diǎn)）

開發(fā)效率提升35%指導(dǎo)數(shù)據(jù)優(yōu)化方向精細(xì)化建設(shè)數(shù)據(jù)上下游聯(lián)動(dòng)（全鏈路

SLA）埋點(diǎn)管理數(shù)據(jù)采集運(yùn)維/質(zhì)量監(jiān)控90%復(fù)盤率建立數(shù)據(jù)委員會(huì)，推進(jìn)業(yè)務(wù)-運(yùn)維-數(shù)據(jù)的

協(xié)同機(jī)制一鍵埋點(diǎn)，用戶行為軌跡全記錄數(shù)據(jù)采集秒級(jí)同步，準(zhǔn)確性99.999%

數(shù)據(jù)鏈路全監(jiān)控，自動(dòng)定位關(guān)鍵節(jié)點(diǎn)如何更快更簡(jiǎn)單的使用數(shù)據(jù)？分級(jí)保障數(shù)據(jù)圖譜與數(shù)據(jù)中間層成本優(yōu)化數(shù)據(jù)價(jià)值量化如何找到需要的數(shù)據(jù)？體系化建設(shè)指標(biāo)口徑管理（數(shù)據(jù)字典）元數(shù)據(jù)（數(shù)據(jù)地圖+OneSearch）資產(chǎn)價(jià)值評(píng)估體系（DataRank）數(shù)據(jù)開放數(shù)據(jù)安全規(guī)范指標(biāo)口徑變動(dòng)100%管控所有元數(shù)據(jù)信息一鍵快速查詢精準(zhǔn)評(píng)估每一張表的數(shù)據(jù)影響和價(jià)值

數(shù)據(jù)開放率99.04%隱私數(shù)據(jù)全脫敏，完備的權(quán)限管控機(jī)制，

數(shù)據(jù)泄露0事故標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)

—

讓數(shù)據(jù)持續(xù)可依靠交互式查詢接口

|

數(shù)據(jù)圖譜

|

數(shù)據(jù)地圖

|

DataRank管理

|

數(shù)據(jù)API查詢加速數(shù)據(jù)層各業(yè)務(wù)主題分析數(shù)據(jù)層小時(shí)級(jí)延遲近源數(shù)據(jù)層業(yè)務(wù)ER關(guān)系還原

中間數(shù)據(jù)層數(shù)據(jù)開發(fā)工作臺(tái)標(biāo)準(zhǔn)多維立方體監(jiān)控&告警實(shí)時(shí)數(shù)據(jù)集成服務(wù)

—

讓活數(shù)據(jù)無(wú)處不在采集集群總規(guī)模約300+數(shù)據(jù)源約4500+個(gè)，Agent

數(shù)量27000個(gè)峰值攝入數(shù)據(jù)條數(shù)2900w/s日均查詢2千萬(wàn)次平均響應(yīng)時(shí)間<1S穩(wěn)定性99.996%敏捷運(yùn)營(yíng)分析

—

讓業(yè)務(wù)持續(xù)可創(chuàng)新基于數(shù)據(jù)湖解決方案，實(shí)現(xiàn)快速找數(shù)據(jù)、即時(shí)分析數(shù)據(jù)，沉淀并復(fù)用分析過(guò)程找數(shù)據(jù)知識(shí)推

薦數(shù)據(jù)價(jià)值

識(shí)別全類數(shù)據(jù)一站式搜索關(guān)鍵詞檢索數(shù)據(jù)圖譜極速分析智能SQL

IDE

標(biāo)準(zhǔn)SQL語(yǔ)法數(shù)據(jù)科學(xué)每日超Book

十萬(wàn)任務(wù)比hive/spark快10倍工作復(fù)用模板分享定時(shí)執(zhí)行

權(quán)限管理?？燔囘\(yùn)營(yíng)日?qǐng)?bào)可視化洞察傻瓜式操作十余類可視化方式周期性數(shù)據(jù)需求，

可以制作成模板分析師/BI收到數(shù)據(jù)需求：統(tǒng)計(jì)?？燔嚪?/p>

城市的運(yùn)營(yíng)指

標(biāo)運(yùn)營(yíng)/業(yè)務(wù)人員