陌陌數(shù)據(jù)治理系統(tǒng)詳解

1、陌陌數(shù)據(jù)治理系統(tǒng)詳解技術(shù)創(chuàng)新，變革未來業(yè)務(wù)技術(shù)日志源 數(shù)據(jù)應(yīng)用方數(shù)據(jù)資產(chǎn)1 數(shù)據(jù)生產(chǎn) 與保障2 數(shù)據(jù)使用賦能3 基礎(chǔ)能力開放業(yè)務(wù)訴求離不開數(shù)據(jù)TEAM團(tuán)隊(duì)介紹陌陌-數(shù)據(jù)基礎(chǔ)架構(gòu)團(tuán)隊(duì)數(shù)據(jù)倉庫/數(shù)據(jù)系統(tǒng) |數(shù)據(jù)平臺(tái)WHY為什么上層建筑經(jīng)濟(jì)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)體系數(shù)據(jù)治理系統(tǒng)數(shù)據(jù)平臺(tái)規(guī)模業(yè)務(wù)復(fù)雜程度數(shù)據(jù)使用范圍業(yè)務(wù)體系量級(jí)決 定反 作 用數(shù)據(jù)生產(chǎn)力發(fā)展StartUpBusinessPlatFormDataSet :100+1000+10000+DataUser:10+100+1000+Solution:WhatEverDataWarehouseDataLakeWHAT是什么高效率 &易使用工具化 & 自動(dòng)化

2、標(biāo)準(zhǔn)化 & 規(guī)范化數(shù)據(jù)治理方法論什么是數(shù)據(jù)倉庫WHO誰需要業(yè)務(wù)方算法策略數(shù)據(jù)倉庫技術(shù)誰需要用數(shù)據(jù)+誰管理規(guī)整數(shù)據(jù)DATALAYOUT數(shù)據(jù)分層技術(shù)有什么業(yè)務(wù)要什么倉庫存什么底 體 設(shè) 計(jì)頂 體 設(shè) 計(jì)業(yè)務(wù)應(yīng)用層中間匯總層基礎(chǔ)加工層原始接入層OLAP分析報(bào)表 | Dashboard | 用戶標(biāo)簽服務(wù) DataChangeLog | EventLog | DataBaseSnapshot字段命名統(tǒng)一 | 度量單位統(tǒng)一 | 異常數(shù)據(jù)處理 對(duì)象維度信息 | 主題匯總信息 | 維度匯總信息 業(yè)務(wù)指標(biāo)與維度分析計(jì)算密集型數(shù)據(jù)服務(wù)多方復(fù)用的中間結(jié)果關(guān)聯(lián)緊密的維度 JOIN數(shù)據(jù)庫 Schema字段業(yè)務(wù)含義事件埋

3、點(diǎn)信息DATAFLOW & DATAMODEL數(shù)據(jù)流 & 數(shù)據(jù)模型粒度維度事件明細(xì)事件多維匯總對(duì)象明細(xì)對(duì)象維度對(duì)象事件匯總匯總多維報(bào)表/粒 度 變 化維 度 變 化數(shù)據(jù)流設(shè)計(jì)1. 維度越來越少-區(qū)分粒度的信息減少數(shù)據(jù)表設(shè)計(jì)1. 維度的取舍與命名-哪些信息在哪一粒度下有效度量UNIFORM & STANDARD規(guī)范 & 標(biāo)準(zhǔn)表征統(tǒng)一表名規(guī)范-分層名 + 業(yè)務(wù)數(shù)據(jù)流名 + 維度內(nèi)容名 + 粒度 名字段名規(guī)范- 相同實(shí)體對(duì)象標(biāo)志一致 | 相同描述維度名稱一 致3. 維度值規(guī)范- 異常取值邏輯與結(jié)果一致 |度量實(shí)體單位一致主題維度匯聚在中間匯總層做- 線上庫生產(chǎn)SLA| 線下庫業(yè)務(wù)測(cè)試 | 臨時(shí)庫 A

4、d-hoc 使用邏輯統(tǒng)一統(tǒng)一處理邏輯所處層級(jí)-事件分流在基礎(chǔ)加工層做 |指標(biāo)處理邏輯統(tǒng)一- 精確度統(tǒng)一| 定義原則統(tǒng)一3. 庫作用統(tǒng)一知識(shí)沉淀新人學(xué)習(xí)培養(yǎng)-快速掌握學(xué)習(xí)遷移提高用戶使用- 培訓(xùn)文檔 | 需求模板質(zhì)量易操作易管理+PROJECT FLOW項(xiàng)目流程功能開發(fā)時(shí)補(bǔ)充設(shè)計(jì)功能迭代時(shí)初始化構(gòu)建數(shù)據(jù)設(shè)計(jì)業(yè)務(wù)發(fā)現(xiàn)遺漏時(shí)數(shù)據(jù)流合并分裂數(shù)據(jù)模型變更數(shù)據(jù)流與模型設(shè)計(jì)PROCESS角色與流程需求方數(shù)據(jù)產(chǎn)品|分析數(shù)據(jù)倉庫技術(shù)開發(fā)應(yīng)用需求數(shù)據(jù)需求 模型評(píng)審倉庫測(cè)試驗(yàn)收上線 數(shù)據(jù)交付流程 / 角色負(fù)責(zé)參與TOOLS & AUTOMATION自動(dòng)化 & 工具化元數(shù)據(jù)管理數(shù)據(jù)血緣數(shù)據(jù)質(zhì)量TOOLS & AUTO

5、MATION元數(shù)據(jù)管理數(shù)據(jù)洞察-業(yè)務(wù),標(biāo)簽搜索|scheme信息 倉庫存儲(chǔ)信息/質(zhì)量報(bào)告數(shù)據(jù)集成- 數(shù)據(jù)源信息|同步配置數(shù)據(jù)開發(fā)- 作業(yè)配置|調(diào)度配置運(yùn)維管理運(yùn)行日志|監(jiān)控報(bào)警信息|資源成本存儲(chǔ)管理: | : | : | : | : | : | TOOLS & AUTOMATION數(shù)據(jù)血緣數(shù)倉血緣-表、字段血緣|作業(yè)|應(yīng)用血緣應(yīng)用-冷熱數(shù)據(jù)分析 |鏈路分析-質(zhì)量故障的數(shù)據(jù)修復(fù)(N eo4j)TOOLS & AUTOMATION數(shù)據(jù)質(zhì)量支持多規(guī)則的數(shù)據(jù)質(zhì)量報(bào)告-完整性|準(zhǔn)確性|及時(shí)性數(shù)據(jù)質(zhì)量故障的熔斷- 阻止下游擴(kuò)散智能報(bào)警-延遲,異常波動(dòng)|故障報(bào)告WHATS MORE更進(jìn)一步呢?數(shù)據(jù)成本管理-計(jì)算成本數(shù)據(jù)服務(wù)-用戶標(biāo)簽及畫像.數(shù)據(jù)產(chǎn)品-用戶行為分析.實(shí)時(shí)應(yīng)用-實(shí)時(shí)訂單.數(shù)倉架構(gòu)圖SKILL MODEL能力模型KV, 關(guān)較強(qiáng)的主觀能動(dòng)性, 團(tuán)隊(duì)合作意識(shí)強(qiáng)-溝通業(yè)務(wù)需求, 優(yōu)化數(shù)據(jù)使用流程掌握社交數(shù)據(jù)倉庫設(shè)計(jì)模式-了解不同存儲(chǔ)數(shù)據(jù)庫設(shè)計(jì)方法并能夠