滴滴敏捷數(shù)據(jù)中臺實踐課件

1、滴滴數(shù)據(jù)體系介紹精益生產(chǎn)與敏捷創(chuàng)新第1頁，共18頁。滴滴數(shù)據(jù)體系介紹精益生產(chǎn)與敏捷創(chuàng)新張茂森第2頁，共18頁。滴滴概況 | 交通大數(shù)據(jù)超過4800TB超過150億超400億次每天處理數(shù)據(jù)日均車輛定位數(shù)據(jù)每日處理路徑規(guī)劃請求數(shù)據(jù)覆蓋了交通路況、用戶叫車信息、司機駕駛行為、車輛數(shù)據(jù)等多個維度滴滴目前對15分鐘后供需預測的準確度已經(jīng)達到了85%第3頁，共18頁。業(yè)務發(fā)展驅動數(shù)據(jù)進化業(yè)務信息化 運營營銷信息化 研發(fā)生產(chǎn)信息化 企業(yè)管理信息化信息數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)變現(xiàn)化 數(shù)據(jù)平民化 數(shù)據(jù)服務化 數(shù)據(jù)智能化 從記錄結果到記錄過程 從副產(chǎn)品到精密設計 從決策支撐到數(shù)據(jù)驅動 打破煙囪，盤活資產(chǎn) 安全合規(guī)與治

2、理 從量化到標準到優(yōu)化 業(yè)務煙囪 創(chuàng)新乏力 計算存儲落后 數(shù)據(jù)文化薄弱 數(shù)據(jù)質量混亂 高投入低產(chǎn)出 使用門檻高 變現(xiàn)效率低第4頁，共18頁。滴滴的同與不同數(shù)據(jù)資源投入-業(yè)務價值產(chǎn)出微笑曲線網(wǎng)絡效應研發(fā)實驗生產(chǎn)運營營銷滴滴數(shù)據(jù)智能平臺類互聯(lián)網(wǎng)企業(yè)第5頁，共18頁。中臺數(shù)據(jù)體系建設的核心困難質量、效率、成本數(shù)據(jù) 生產(chǎn) 價值數(shù)據(jù)生產(chǎn)價值線產(chǎn)品困難：多場景，全鏈路的復雜需求組織困難：多團隊，多目標的協(xié)作需求分析 業(yè)務人員 業(yè)務分析 數(shù)據(jù)科學 數(shù)據(jù)工程 產(chǎn)品研發(fā) 人工智能想法數(shù)據(jù)創(chuàng)新價值線第6頁，共18頁。高價值、高可靠、高效率、低成本的數(shù)據(jù)服務交付滴精益數(shù)據(jù)生產(chǎn)敏捷數(shù)據(jù)創(chuàng)新智能數(shù)據(jù)目錄發(fā)現(xiàn)、理解、信任

3、、協(xié)作、眾包滴精價值鏈 分級 監(jiān)控 復盤 自働化創(chuàng)新網(wǎng)益 用結果 自配置 模仿做 自助化數(shù)敏捷數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)、安全合規(guī)服務驅動、全面量化、重點攻堅據(jù)管理數(shù)據(jù)文化持續(xù)改進，尊重人體系數(shù)據(jù)系統(tǒng)工具鏈數(shù)據(jù)基礎設施第7頁，共18頁。兩年來的建設成果價值交付NPS從19%到60%精益數(shù)據(jù)生產(chǎn) DataGraph敏捷數(shù)據(jù)創(chuàng)新智能數(shù)據(jù)目錄20%員工高頻使用系統(tǒng)性對外輸出D0級事故從10+降為1核心數(shù)據(jù)產(chǎn)出時間提前到5點非例行任務從敏捷數(shù)據(jù)治理 DataRank2k+到20k+資產(chǎn)分從40到70數(shù)據(jù)文化150+次改進復盤，周活1700到5000+數(shù)據(jù)基礎設施+系統(tǒng)工具鏈：開始對外輸出第8頁，共18頁。數(shù)據(jù)服

4、務滴滴數(shù)據(jù)系統(tǒng)組成CXO儀表盤 移動App業(yè)務分析產(chǎn)品優(yōu)化營銷服務流程優(yōu)化財務管控 應用埋點 AB Test 用戶分層 業(yè)務根因 多級管控 運營分析 地理圍欄 標簽畫像 財務根因 自助式自服務 高效率全方位 全鏈路能力覆蓋數(shù)據(jù)資產(chǎn)數(shù)據(jù)賦能DataGraph OneSearch 數(shù)據(jù)字典 數(shù)據(jù)圖譜DataRank數(shù)據(jù)建設自助查詢可視化分析 資產(chǎn)價值分 資產(chǎn)歸屬 資產(chǎn)優(yōu)化 數(shù)據(jù)全鏈路 分級保障 數(shù)據(jù)治理 協(xié)助模板 交互分析 查詢加速 報表、儀表盤 數(shù)據(jù)API Notebook數(shù)據(jù)研發(fā)數(shù)據(jù)中間件開發(fā)工作臺 數(shù)據(jù)開發(fā) 數(shù)據(jù)測試 數(shù)據(jù)發(fā)布數(shù)據(jù)質量 監(jiān)控 告警 運維數(shù)據(jù)通道DataHub kafka ES

5、實時采集批采集Binlog采集數(shù)據(jù)架構實時計算 Flink Woater DruidHadoop體系Key-Value & OLAP HBase Hadoop Hive Presto Spark Clickhouse第9頁，共18頁。智能數(shù)據(jù)目錄 讓數(shù)據(jù)越用越好用 統(tǒng)一的元數(shù)據(jù)檢索能力，支持Hive、報表等多種數(shù)據(jù)實體的統(tǒng)一搜索 基于數(shù)據(jù)價值或熱度的綜合排序 業(yè)務驅動的數(shù)據(jù)圖譜 眾包協(xié)作的知識沉淀第10頁，共18頁。精益數(shù)據(jù)生產(chǎn) 讓數(shù)據(jù)持續(xù)可信賴如何找到需要的數(shù)據(jù)？如何做好數(shù)據(jù)的基礎質量？體系化建設穩(wěn)定性建設指標口徑管理（數(shù)據(jù)字典）數(shù)據(jù)上下游聯(lián)動（全鏈路SLA）元數(shù)據(jù)（數(shù)據(jù)地圖資產(chǎn)價值評估體系

6、（數(shù)據(jù)開放+OneSearch）埋點管理DataRank）數(shù)據(jù)采集運維/質量監(jiān)控90%復盤率數(shù)據(jù)安全規(guī)范指標口徑變動100%管控建立數(shù)據(jù)委員會，推進業(yè)務-運維-數(shù)據(jù)的協(xié)同機制一鍵埋點，用戶行為軌跡全記錄數(shù)據(jù)采集秒級同步，準確性99.999%數(shù)據(jù)鏈路全監(jiān)控，自動定位關鍵節(jié)點所有元數(shù)據(jù)信息一鍵快速查詢精準評估每一張表的數(shù)據(jù)影響和價值數(shù)據(jù)開放率99.04%隱私數(shù)據(jù)全脫敏，完備的權限管控機制，數(shù)據(jù)泄露0事故3如何更快更簡單的使用數(shù)據(jù)？2精細化建設1核心數(shù)據(jù)5點產(chǎn)出（業(yè)內(nèi)普遍7-8點）開發(fā)效率提升35%指導數(shù)據(jù)優(yōu)化方向分級保障數(shù)據(jù)圖譜與數(shù)據(jù)中間層成本優(yōu)化數(shù)據(jù)價值量化第11頁，共18頁。標準化數(shù)據(jù)服務 讓

7、數(shù)據(jù)持續(xù)可依靠交互式查詢接口 | 數(shù)據(jù)圖譜 | 數(shù)據(jù)地圖 | DataRank管理 | 數(shù)據(jù)API查詢加速數(shù)據(jù)層各業(yè)務主題分析數(shù)據(jù)層小時級延遲近源數(shù)據(jù)層業(yè)務ER關系還原標準多維立方體中間數(shù)據(jù)層數(shù)據(jù)開發(fā)工作臺監(jiān)控&告警第12頁，共18頁。實時數(shù)據(jù)集成服務 讓活數(shù)據(jù)無處不在 采集集群總規(guī)模約300+ 日均查詢2千萬次 平均響應時間1S 穩(wěn)定性99.996% 數(shù)據(jù)源約4500+個，Agent數(shù)量27000個 峰值攝入數(shù)據(jù)條數(shù)2900w/s第13頁，共18頁。敏捷運營分析 讓業(yè)務持續(xù)可創(chuàng)新基于數(shù)據(jù)湖解決方案，實現(xiàn)快速找數(shù)據(jù)、即時分析數(shù)據(jù)，沉淀并復用分析過程分析師/BI極速分析可視化洞察找數(shù)據(jù)知識推薦智能SQL IDE 標準SQL語法傻瓜式操作關鍵詞檢索數(shù)據(jù)圖譜收到數(shù)據(jù)需求：數(shù)據(jù)科學統(tǒng)計?？燔嚪殖鞘械倪\營指標數(shù)據(jù)價值識別Book每日超十萬任務比hive/spark快10倍十余類可視化方式全類數(shù)據(jù)一站式搜索求 缺數(shù)據(jù)，向運營/業(yè)務人員工作復用模板分享提周期性數(shù)據(jù)需求，可以制作成模板需已有SQL模板，可以自己分析數(shù)據(jù)了定時執(zhí)行權限管理專快車運營日報數(shù)據(jù)湖第14頁，共18頁。數(shù)據(jù)驅動營銷 賦能AI放大價