滴滴數(shù)據(jù)資產(chǎn)管理實踐

滴滴數(shù)據(jù)資產(chǎn)管理實踐目錄

/

Contents010302滴滴的數(shù)據(jù)資產(chǎn)概述平臺建設(shè)

之

數(shù)據(jù)開發(fā)平臺04平臺建設(shè)

之

數(shù)據(jù)應(yīng)用平臺平臺建設(shè)

之

資產(chǎn)管理平臺2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會滴滴的數(shù)據(jù)資產(chǎn)概述2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會滴滴的數(shù)據(jù)資產(chǎn)5.5億+1000+座全球城市700億日ETA請求150億日定位數(shù)據(jù)用戶日新增106TB＋數(shù)據(jù)日均處理處理4875+TB數(shù)據(jù)人路車??司機乘客??靜態(tài)信息：全球、全國、城市等各粒度動態(tài)信息：行程軌跡??靜態(tài)信息：歸屬人/公司、車牌號、車型…動態(tài)信息：里程數(shù)、維保記錄2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會滴滴的數(shù)據(jù)特色030201地理位置、軌跡相關(guān)的數(shù)據(jù)占比高實時數(shù)據(jù)占比高結(jié)構(gòu)化數(shù)據(jù)為主，價值密度高2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會滴滴的數(shù)據(jù)平臺業(yè)務(wù)架構(gòu)?

元數(shù)據(jù)打通，更準(zhǔn)確識別公司核心數(shù)據(jù)資產(chǎn)，輔助資產(chǎn)信息的完善，從而沉淀數(shù)據(jù)資產(chǎn)業(yè)務(wù)應(yīng)用/DS內(nèi)部用戶/DS大屏用戶數(shù)據(jù)消費統(tǒng)一數(shù)據(jù)門戶數(shù)據(jù)大屏PCAPP-H5數(shù)據(jù)應(yīng)用產(chǎn)品平臺

BI自助分析工具決策分析…看板分析技術(shù)&業(yè)務(wù)元數(shù)據(jù)打通數(shù)數(shù)據(jù)服務(wù)化據(jù)內(nèi)容建設(shè)指標(biāo)管理平臺資產(chǎn)管理平臺數(shù)據(jù)開發(fā)平臺數(shù)據(jù)同步數(shù)據(jù)開監(jiān)控告警數(shù)據(jù)質(zhì)量項目管理權(quán)限管調(diào)度發(fā)理離線引擎實時引擎機器學(xué)習(xí)引擎數(shù)據(jù)接入2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會平臺建設(shè)之?dāng)?shù)據(jù)開發(fā)平臺2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會數(shù)據(jù)夢工場極致簡單數(shù)據(jù)應(yīng)用產(chǎn)品只要會SQL，人人都是數(shù)據(jù)玩家！數(shù)易BI實時監(jiān)控監(jiān)控大屏北極星把脈Omega標(biāo)簽系統(tǒng)智能地圖……一站式智能數(shù)據(jù)開發(fā)、生產(chǎn)平臺——數(shù)據(jù)中臺(數(shù)據(jù)夢工場)完整閉環(huán)數(shù)據(jù)開發(fā)調(diào)度同步中心數(shù)據(jù)安全機器學(xué)習(xí)一站式數(shù)據(jù)開發(fā)生產(chǎn)平臺底層封裝、模塊中心化、平臺應(yīng)用模塊智能聯(lián)動，提升開發(fā)效率??數(shù)據(jù)地圖監(jiān)控告警數(shù)據(jù)質(zhì)量資產(chǎn)管理算法平臺…安全保障?權(quán)限控制責(zé)任到人，權(quán)限到字段離線計算引擎Hive

、流計算引擎Flink數(shù)據(jù)檢索ES消息隊列Kafka、DDMQHbasePhoenix機器學(xué)習(xí)TensorFlowSpark?

開發(fā)生產(chǎn)數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全內(nèi)置衍生規(guī)范產(chǎn)出語義明確的元數(shù)據(jù)更智能化的行業(yè)領(lǐng)先??基于開源引擎基線監(jiān)控機制，標(biāo)記最核心計算通路，確保核心數(shù)據(jù)及時產(chǎn)出平臺服務(wù)高質(zhì)量的元數(shù)據(jù)經(jīng)驗積累國內(nèi)領(lǐng)先的大數(shù)據(jù)體系建設(shè)及數(shù)據(jù)治理經(jīng)驗2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理穩(wěn)定高效異構(gòu)數(shù)據(jù)源同步服務(wù)。1）集成實時、離線兩種方式；2）快速擴展，插件式拓展多種同步類型；3）自主運維，同步相關(guān)指標(biāo)清晰可見；4）為流計算提供實時數(shù)據(jù)源；2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理針對數(shù)據(jù)開發(fā)、臨時查詢場景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗：）智能編輯器，支持各種庫表、函數(shù)、變量想輸入、動態(tài)語法檢查等）提供SQL格式化、錯誤提示，提供更順滑SQL開發(fā)體驗）支持各種SQL（Hive、Spark、Presto）、hell、PySpark等類型任務(wù)支持，）支持文件多版本、任務(wù)回滾；）直通調(diào)度，字段檢測依賴，方便測試和上線任務(wù)。6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經(jīng)過安全審批）2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理支持百萬級的離線例行任務(wù)調(diào)度，保障業(yè)務(wù)穩(wěn)定運行。1）提供開發(fā)、生產(chǎn)兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任務(wù)類型的任務(wù)調(diào)度3）支持小時、天、周、月多種調(diào)度周期配置4）數(shù)據(jù)回溯簡單易用：支持重跑、支持多維度運維2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理智能監(jiān)控任務(wù)運行情況，異常時發(fā)出告警。體系化解決“是否警”，

杜絕無效報警；?表規(guī)則監(jiān)控?數(shù)據(jù)量?流量數(shù)據(jù)接入資源告警?字段規(guī)則監(jiān)控?存儲告警?計算告警?異常數(shù)據(jù)?自定義監(jiān)控?

抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時產(chǎn)出，并動態(tài)規(guī)劃相關(guān)任務(wù)優(yōu)先級。?

結(jié)合算法，預(yù)測可能的數(shù)據(jù)延遲，提前預(yù)警，將影響面降到最低。?

升級邏輯，避免漏處理。中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理全鏈路的數(shù)據(jù)質(zhì)量管控，實現(xiàn)數(shù)據(jù)質(zhì)量校驗、通知、管理能力1）完整配置

VS

快速配置2）強規(guī)則

VS

弱規(guī)則3）表規(guī)則

VS

字段規(guī)則4）預(yù)設(shè)規(guī)則

VS

SQL規(guī)則41%2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理統(tǒng)一便捷的進(jìn)行項目管理和權(quán)限管理。個人資產(chǎn)1）項目管理提供項目自身的增刪資產(chǎn)概覽大盤表待辦任務(wù)趨勢我的資產(chǎn)我的應(yīng)用數(shù)據(jù)管理改查以及項目內(nèi)的人員、角色、生產(chǎn)賬號、庫表、存儲和隊列等資產(chǎn)管理功能。資產(chǎn)明細(xì)應(yīng)用概覽單應(yīng)用管理表管理趨勢&明細(xì)成本管理數(shù)據(jù)編目數(shù)據(jù)加工者數(shù)據(jù)管理者全局資產(chǎn)2）權(quán)限管理針對人員、角色的權(quán)限申請和主動授權(quán)，以及過期權(quán)限、閑置權(quán)限的回收和權(quán)限審計等功能。資產(chǎn)儀表盤數(shù)據(jù)量表數(shù)據(jù)流趨勢資產(chǎn)管理資產(chǎn)分析業(yè)務(wù)任務(wù)quota全局管理應(yīng)用血緣2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會夢工場-模塊關(guān)系圖同步質(zhì)量實時數(shù)據(jù)源質(zhì)量告警觸發(fā)觸發(fā)項目管理提交開發(fā)告警權(quán)限管理提交實時任務(wù)告警ML任務(wù)告警2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會夢工場-典型的離線場景數(shù)據(jù)庫導(dǎo)入日志數(shù)據(jù)導(dǎo)入實時同步其他來源數(shù)據(jù)實時同步數(shù)據(jù)導(dǎo)入離線同步實時同步日志check導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出計算1計算2計算3計算4計算5計算6計算7導(dǎo)出3計算8導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出52019中

國

數(shù)

據(jù)

智

能

管

理

峰

會夢工場-優(yōu)先級上推策略基線(業(yè)務(wù))->任務(wù)

->

調(diào)度機

->

yarn

全流程打通2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會夢工場-業(yè)務(wù)下線數(shù)據(jù)庫導(dǎo)入日志數(shù)據(jù)導(dǎo)入實時同步其他來源數(shù)據(jù)實時同步數(shù)據(jù)導(dǎo)入離線同步實時同步日志check導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出計算1計算2計算3計算7計算4計算5計算6計算8業(yè)務(wù)下線導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出52019中

國

數(shù)

據(jù)

智

能

管

理

峰

會平臺建設(shè)之?dāng)?shù)據(jù)應(yīng)用平臺2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會數(shù)易數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺。數(shù)易解決用戶三大痛點問題：?

Where：去哪兒看數(shù)據(jù)?

What：數(shù)據(jù)分析、可視化可以產(chǎn)出哪些內(nèi)容？?

How：業(yè)務(wù)需求那么多，如何快速響應(yīng)，更方便、自助實現(xiàn)數(shù)據(jù)可視化？2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會數(shù)易技術(shù)特點可視化能力開放的

API

接口分析可視化BI層的可擴展性無縫對接主流大數(shù)據(jù)處理套件查詢層查詢層的可擴展性開放分析功能的查詢接口擴展對接多種數(shù)據(jù)源數(shù)據(jù)存儲層可對接實時、離線、文件多種源數(shù)據(jù)類型存儲層的可擴展性2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會數(shù)據(jù)APP滴滴數(shù)據(jù)App，讓用戶隨時隨地第一時間觸達(dá)數(shù)據(jù)，掌握業(yè)務(wù)，結(jié)合數(shù)據(jù)知識圈子分享，是滴滴內(nèi)部的一站式數(shù)據(jù)移動平臺。2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會標(biāo)簽系統(tǒng)標(biāo)簽系統(tǒng)是基于海量標(biāo)簽進(jìn)行用戶分群、快速圈出特定人群、對人群進(jìn)行計算及分析，支持精細(xì)化運營和廣告投放等活動的運營支持服務(wù)系統(tǒng)。數(shù)據(jù)分析產(chǎn)品策略效果追蹤?

分析速度快?

快速制定策略?

提供策略服務(wù)?

尋找相似人群?

策略收益分析?

目標(biāo)人群關(guān)鍵指標(biāo)趨勢分析?

數(shù)據(jù)顆粒度足夠細(xì)?

數(shù)據(jù)交叉分析2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會標(biāo)簽系統(tǒng)

多維度數(shù)據(jù)分析用戶單一維度構(gòu)成分析交叉維度分析用戶核心路徑漏斗分析重點用戶關(guān)鍵指標(biāo)趨勢追蹤峰

會標(biāo)簽系統(tǒng)

策略制定快速圈定目標(biāo)用戶

制定千人千面的策略人群相似性擴展

探索業(yè)務(wù)增長2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會業(yè)務(wù)BI監(jiān)控業(yè)務(wù)監(jiān)控大屏監(jiān)控滴滴核心業(yè)務(wù)指標(biāo)，是管理者、產(chǎn)品、運營等觀察業(yè)務(wù)狀況的“眼睛”?；趯崟r計算能力分鐘級別發(fā)現(xiàn)業(yè)務(wù)故障???圖表配置簡單靈活支持多源數(shù)據(jù)接入支持多維度分析2019監(jiān)控大屏訂單數(shù)據(jù)毫秒級更新，適配實時數(shù)據(jù)彰顯酷炫視覺特效?

實時業(yè)務(wù)核心數(shù)據(jù)監(jiān)控+儀表盤的展示?

短信/電話預(yù)警配置?

支持實時、離線數(shù)據(jù)大屏?

各類展廳、展會數(shù)據(jù)大屏2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會平臺建設(shè)之資產(chǎn)管理平臺2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會一站式資源管理平臺2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會資產(chǎn)管理平臺?

刪除數(shù)據(jù)?

生命周期管理?

下線任務(wù)?

轉(zhuǎn)交?

團隊視圖?

紅黑榜??

資產(chǎn)概覽?

賬單明細(xì)?

歷史對比……一體化的元數(shù)據(jù)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會數(shù)據(jù)存儲和計算治理將治理的控制權(quán)交還給每一個使用者，根據(jù)業(yè)務(wù)的發(fā)展情況，即時即刻的去管理所屬的存儲和治理需求。個人資產(chǎn)治理（存儲、計算）團隊部門存儲治理計算治理暴利掃描相似計算無效計算數(shù)據(jù)傾斜參數(shù)不合理……同源導(dǎo)入