滴滴數(shù)據(jù)資產管理實踐

2019

中國數(shù)

智能管理峰會滴滴數(shù)據(jù)資產管理實踐2019

中國數(shù)據(jù)智能管理峰會平臺建設之數(shù)據(jù)開發(fā)平臺滴滴的數(shù)據(jù)資產概述平臺建設之資產管理平臺平臺建設之數(shù)據(jù)應用平臺目錄/Contents01030402滴滴的數(shù)據(jù)資產概述2019

中國數(shù)據(jù)智能管理峰會車?

靜態(tài)信息：歸屬人/公司、

車牌號、車型

…?

動態(tài)信息：里程數(shù)、維保

記錄2019

中國數(shù)據(jù)智能管理峰會路?

靜態(tài)信息：全球、全國、

城市等各粒度?

動態(tài)信息：行程軌跡日均處理處理4875+TB數(shù)據(jù)日新增106TB＋數(shù)據(jù)150億日定位數(shù)據(jù)700億日ETA請求1000+座

全球城市人?

司機

?

乘客滴滴的數(shù)據(jù)資產5.5億+用戶2019

中國數(shù)據(jù)智能管理峰會020103地理位置、軌跡相關的數(shù)據(jù)占比高結構化數(shù)據(jù)為主，價值密度高滴滴的數(shù)據(jù)特色實時數(shù)據(jù)占比高

滴滴的數(shù)據(jù)平臺業(yè)務架構?元數(shù)據(jù)打通，更準確識別公司核心數(shù)據(jù)資產，輔助資產信息的完

善，從而沉淀數(shù)據(jù)資產2019

中國數(shù)據(jù)智能管理峰會

統(tǒng)一數(shù)據(jù)門戶

PC

APP-H5

數(shù)據(jù)應用產品平臺

BI自助分析

決策分析

業(yè)務分析

看板分析

技

術

&

業(yè)

務

元

數(shù)

據(jù)

打

通離線引擎實時引擎機器學習引擎數(shù)據(jù)

公共層指標管理平臺資產管理平臺數(shù)據(jù)服務化…數(shù)據(jù)大屏

大屏用戶數(shù)據(jù)內容建設數(shù)據(jù)開

發(fā)平臺業(yè)務應用/DS內部用戶/DS數(shù)據(jù)同步數(shù)據(jù)開發(fā)監(jiān)控告

警項目管理數(shù)據(jù)質量權限管理數(shù)據(jù)接入數(shù)據(jù)消費工具調度平臺建設之數(shù)據(jù)開發(fā)平臺2019

中國數(shù)據(jù)智能管理峰會極致簡單只要會SQL，人人都是數(shù)據(jù)玩家！完整閉環(huán)?

一站式數(shù)據(jù)開發(fā)生產平臺?底層封裝、模塊中心化、平臺應用模塊智能聯(lián)動，提升開發(fā)效率安全保障?

權限控制責任到人，權限到字段?開發(fā)生產數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全行業(yè)領先?

基于開源引擎?基線監(jiān)控機制，標記最核心計算通路，確保核心數(shù)據(jù)及時產出經驗積累國內領先的大數(shù)據(jù)體系建設及數(shù)據(jù)治理經驗2019

中國數(shù)據(jù)智能管理峰會一站式智能數(shù)據(jù)開發(fā)、生產平臺——數(shù)據(jù)中臺(數(shù)據(jù)夢工場)數(shù)據(jù)開發(fā)數(shù)據(jù)質量…

…內置規(guī)范產出語義明確的元數(shù)據(jù)衍生更智能化的平臺服務數(shù)易BI實時監(jiān)控監(jiān)控大屏北極星把脈

Omega數(shù)據(jù)夢工場高質量的

元數(shù)據(jù)數(shù)據(jù)應用產品離線計算引擎Hive

、Spark智能地圖消息隊列Kafka、DDMQ機器學習TensorFlow流計算引擎Flink數(shù)據(jù)檢索ESHbase

Phoenix數(shù)據(jù)地圖數(shù)據(jù)安全標簽系統(tǒng)算法平臺機器學習監(jiān)控告警資產管理同步中心調度…

…2019

中國數(shù)據(jù)智能管理峰會穩(wěn)定高效異構數(shù)據(jù)源同步服務。1）集成實時、離線兩種方式；2）快速擴展，插件式拓展多種同步類型；3）自主運維，同步相關指標清晰可見；4）為流計算提供實時數(shù)據(jù)源；項目管理和權限管理產品功能調度系統(tǒng)監(jiān)控報警數(shù)據(jù)質量數(shù)據(jù)開發(fā)數(shù)據(jù)同步1）智能編輯器，支持各種庫表、函數(shù)、變量聯(lián)想輸入、動態(tài)語法檢查等2）提供SQL格式化、錯誤提示，提供更順滑

的SQL開發(fā)體驗3）支持各種SQL（Hive、Spark、

Presto）、

Shell、

PySpark等類型任務支持，4）支持文件多版本、任務回滾；5）直通調度，字段檢測依賴，方便測試和上2019

中國數(shù)據(jù)智能管理峰會線任務。6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經過安全審批）針對數(shù)據(jù)開發(fā)、臨時查詢場景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗：項目管理和權限管理產品功能數(shù)據(jù)質量調度系統(tǒng)監(jiān)控報警數(shù)據(jù)同步數(shù)據(jù)開發(fā)1）提供開發(fā)、生產兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任

務類型的任務調度3）支持小時、天、周、月多種調度周期

配置4）數(shù)據(jù)回溯簡單易用：支持重跑、支持

多維度運維2019

中國數(shù)據(jù)智能管理峰會支持百萬級的離線例行任務調度，保障業(yè)務穩(wěn)定運行。項目管理和權限管理產品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調度系統(tǒng)監(jiān)控報警數(shù)據(jù)質量2019

中國數(shù)據(jù)智能管理峰會智能監(jiān)控任務運行情況，異常時發(fā)出告警。體系化解決“是否報警、何時報警、如何報警、給誰報警”，

杜絕無效報警；?表規(guī)則監(jiān)控?字段規(guī)則監(jiān)

控?自定義監(jiān)控數(shù)據(jù)加工?任務出錯?任務延遲數(shù)據(jù)質量?抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時產出，并動態(tài)規(guī)劃相關任務優(yōu)先級。?結合算法，預測可能的數(shù)據(jù)延遲，提前預警，

將影響面降到最低。?升級邏輯，避免漏處理。?數(shù)據(jù)量?流量?異常數(shù)據(jù)項目管理和權限管理產品功能數(shù)據(jù)同步調度系統(tǒng)監(jiān)控報警數(shù)據(jù)質量數(shù)據(jù)開發(fā)?存儲告警?計算告警數(shù)據(jù)接入資源告警1）完整配置VS快速配置2）強規(guī)則

VS弱規(guī)則3）表規(guī)則

VS字段規(guī)則4）預設規(guī)則

VS

SQL規(guī)則41%2019

中國數(shù)據(jù)智能管理峰會全鏈路的數(shù)據(jù)質量管控，實現(xiàn)數(shù)據(jù)質量校驗、通知、管理能力項目管理和權限管理產品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)監(jiān)控報警數(shù)據(jù)質量調度系統(tǒng)1）項目管理提供項目自身的增刪改查以及項目內的人員、角色、生產賬號、庫表、存儲和隊列等資產管理功能。2）權限管理針對人員、角色的權限申請和主動授權，以及過期權

限、閑置權限的回收和權限審計

等功能。2019

中國數(shù)據(jù)智能管理峰會表任務quota數(shù)據(jù)量

數(shù)據(jù)流

趨勢統(tǒng)一便捷的進行項目管理和權限管理。項目管理和權限管理產品功能數(shù)據(jù)質量監(jiān)控報警數(shù)據(jù)同步數(shù)據(jù)開發(fā)調度系統(tǒng)應用概覽趨勢&明細數(shù)據(jù)編目資產分析資產明細成本管理表管理應用血緣資產管理業(yè)務全局管理我的資產數(shù)據(jù)管理我的應用資產概覽全局資產個人資產數(shù)據(jù)加工者數(shù)據(jù)管理者趨勢待辦大盤表任務單應用管理資產儀表盤2019

中國數(shù)據(jù)智能管理峰會項目

管理權限

管理提交實時任務告警觸發(fā)監(jiān)控

告警機器

學習數(shù)據(jù)

質量數(shù)據(jù)

開發(fā)離線

調度數(shù)據(jù)

同步實時

運維夢工場-模塊關系圖ML任務告警實時數(shù)據(jù)源質量告警觸發(fā)提交提交2019

中國數(shù)據(jù)智能管理峰會日志數(shù)據(jù)導入實時同步離線同步實時同步實時同步其他來源數(shù)據(jù)數(shù)據(jù)庫導入夢工場-典型的離線場景計算8計算7計算6數(shù)據(jù)加工數(shù)據(jù)導入數(shù)據(jù)導出日志

check導入6導入4計算3導入1計算1導入2導入3計算2導入5計算5計算4導出1

導出2導出4導出5導出3實時同步實時同步導入計算2計算3計算1計算4計算6計算5計算7計算85導出335實時同步2351253其他來源數(shù)據(jù)51日志數(shù)據(jù)導入離線同步數(shù)據(jù)庫導入3534

導出41

2導出1

導出235

導出5數(shù)據(jù)導出數(shù)據(jù)導入數(shù)據(jù)加工2019

中國數(shù)據(jù)智能管理峰會基線(業(yè)務)->任務

->調度機

->yarn全流程打通夢工場-優(yōu)先級上推策略2019

中國數(shù)據(jù)智能管理峰會實時同步日志數(shù)據(jù)導入離線同步實時同步實時同步其他來源數(shù)據(jù)數(shù)據(jù)庫導入計算8計算7計算6數(shù)據(jù)加工夢工場-業(yè)務下線日志

check導入6計算3導入4導入1計算1計算2導入2導入3導出2導入5導出5計算5計算4導出1導出4數(shù)據(jù)導出數(shù)據(jù)導入業(yè)務下線導出3平臺建設之數(shù)據(jù)應用平臺2019

中國數(shù)據(jù)智能管理峰會數(shù)易解決用戶三大痛點問題： Where：去哪兒看數(shù)據(jù)

What：數(shù)據(jù)分析、可視化可以產出哪些內容？

How：業(yè)務需求那么多，如何快速響應，

更方便、自助實現(xiàn)數(shù)據(jù)可視化？2019

中國數(shù)據(jù)智能管理峰會數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺。數(shù)易分析可視化查詢層數(shù)據(jù)存儲層2019

中國數(shù)據(jù)智能管理峰會開放分析功能的查詢接口擴展對接多種數(shù)據(jù)源可對接實時、離線、文件多種

源數(shù)據(jù)類型無縫對接主

流大數(shù)據(jù)處

理套件可視化能力開放的API接口數(shù)易技術特點存儲層的可擴展性查詢層的可擴展性BI層的可擴展性滴滴數(shù)據(jù)App，讓用戶隨時隨地第一時間觸達數(shù)據(jù)，掌握業(yè)務，結合數(shù)據(jù)知識圈子分享，是滴滴內部的一站式數(shù)據(jù)移動平臺。2019

中國數(shù)據(jù)智能管理峰會數(shù)據(jù)APP2019

中國數(shù)據(jù)智能管理峰會標簽系統(tǒng)是基于海量標簽進行用戶分群、快速圈出特定人群、對人群進行計算及分析，支持精細化運營和廣告投放等活動的運營支持服務系統(tǒng)。數(shù)據(jù)分析

分析速度快

數(shù)據(jù)顆粒度足夠細

數(shù)據(jù)交叉分析效果追蹤

策略收益分析

目標人群關鍵指

標趨勢分析產品策略

快速制定策略

提供策略服務

尋找相似人群標簽系統(tǒng)2019

中國數(shù)據(jù)智能管理峰會標簽系統(tǒng)多維度數(shù)據(jù)分析重點用戶關鍵指標趨勢追蹤用戶單一維度構成分析用戶核心路徑漏斗分析交叉維度分析2019

中國數(shù)據(jù)智能管理峰會快速圈定目標用戶制定千人千面的策略人群相似性擴展探索業(yè)務增長標簽系統(tǒng)策略制定

業(yè)務監(jiān)控大屏監(jiān)控滴滴核心業(yè)務指標，是管理者、產品、運營等觀察業(yè)務狀況的“眼睛”。基于實時計算能力分鐘級別發(fā)現(xiàn)業(yè)務故障2019

中國數(shù)據(jù)智能管理峰會

圖表配置簡單靈活

支持多源數(shù)據(jù)接入

支持多維度分析業(yè)務BI監(jiān)控訂單數(shù)據(jù)毫秒級更新，適配實時數(shù)據(jù)彰顯酷炫視覺特效

實時業(yè)務核心數(shù)據(jù)監(jiān)控+儀表盤的展示

短信/電話預警配置

支持實時、離線數(shù)據(jù)大屏

各類展廳、展會數(shù)據(jù)大屏2019

中國數(shù)據(jù)智能管理峰會監(jiān)控大屏平臺建設之資產管理平臺2019

中國數(shù)據(jù)智能管理峰會2019

中國數(shù)據(jù)智能管理峰會一站式資源管理平臺一體化的元數(shù)據(jù)2019