云音樂數(shù)據(jù)治理探索與實(shí)踐

|DataFunSummit2021CONTENTS02音樂數(shù)倉概況Subject數(shù)據(jù)規(guī)范Subject02音樂數(shù)倉概況Subject數(shù)據(jù)規(guī)范Subject04埋點(diǎn)治理Subject資產(chǎn)治理Subject04埋點(diǎn)治理Subject資產(chǎn)治理Subject|01音樂數(shù)倉概況Subject|整體情況?APP：云音樂主站（音樂、視頻、播客、社交）|問題與挑戰(zhàn)數(shù)據(jù)規(guī)范數(shù)據(jù)生產(chǎn)|02數(shù)據(jù)規(guī)范Subject|設(shè)計規(guī)范-問題和痛點(diǎn)缺乏頂層設(shè)計缺乏頂層設(shè)計?從原始日志、業(yè)務(wù)表提取分析數(shù)據(jù)到報表系統(tǒng)數(shù)據(jù)孤島?按業(yè)務(wù)劃分，相對獨(dú)立，難以應(yīng)付跨業(yè)務(wù)需求數(shù)據(jù)孤島?按業(yè)務(wù)劃分，相對獨(dú)立，難以應(yīng)付跨業(yè)務(wù)需求數(shù)據(jù)質(zhì)量效率質(zhì)量|設(shè)計規(guī)范-數(shù)據(jù)域|設(shè)計規(guī)范-數(shù)據(jù)域流量+流量+互動+支付| |設(shè)計規(guī)范-平臺管控|數(shù)據(jù)規(guī)范-開發(fā)規(guī)范?多表多任務(wù)合并在一個workf?多workflow間數(shù)據(jù)檢查提高開發(fā)效率提高開發(fā)效率優(yōu)化任務(wù)管理優(yōu)化任務(wù)管理簡化任務(wù)運(yùn)維簡化任務(wù)運(yùn)維完備數(shù)據(jù)血緣|數(shù)據(jù)規(guī)范-DQC|03埋點(diǎn)治理Subject|埋點(diǎn)治理-問題和痛點(diǎn)格式凌亂字段含義不統(tǒng)一規(guī)則含義不精確管理平臺功能單一，埋點(diǎn)查找困難開發(fā)效率低數(shù)據(jù)需求直接從原始日志解析質(zhì)量低下上線較為隨意，多錯漏難以檢查面向單次需求開發(fā)，新老埋點(diǎn)相互影響埋點(diǎn)問題造成的數(shù)據(jù)異常頻出看數(shù)困難無法支持自動化取數(shù)看數(shù)無法支持精細(xì)化指標(biāo)產(chǎn)出取數(shù)平臺？流量羅盤？更新繁瑣周期長|技術(shù)方案-SDK|技術(shù)方案-數(shù)據(jù)倉庫實(shí)時特征離線DWS/ADS實(shí)時特征離線DWS/ADS實(shí)時業(yè)務(wù)需求實(shí)時算法需求離線業(yè)務(wù)需求離線算法需求通用模型通用解析實(shí)時業(yè)務(wù)需求實(shí)時算法需求離線業(yè)務(wù)需求離線算法需求通用模型通用解析實(shí)時DWD離線DWD實(shí)時DWD離線DWD統(tǒng)一數(shù)據(jù)源統(tǒng)一數(shù)據(jù)源|技術(shù)方案-歸因設(shè)計_psrefer頁面對象創(chuàng)建（首次曝光）時生成的來源對象_pgrefer頁面（每一次）曝光時生成的來源對象_pgrefer頁面（每一次）曝光時生成的來源對象_hsreferApp內(nèi)消費(fèi)起始的來源對象_hsreferApp內(nèi)消費(fèi)起始的來源對象_multirefers_multirefers行為鏈路的5級頁面的_psrefer順序拼接_addrefer觸發(fā)內(nèi)容添加到播放列表的對象_addrefer觸發(fā)內(nèi)容添加到播放列表的對象_playrefer觸發(fā)內(nèi)容播放的對象_playrefer觸發(fā)內(nèi)容播放的對象|埋點(diǎn)治理-流程管理|埋點(diǎn)治理-埋點(diǎn)平臺?|技術(shù)支撐客戶端（效率提升）數(shù)據(jù)倉庫（效率提升，數(shù)據(jù)價值提升）埋點(diǎn)治理-預(yù)期成效技術(shù)支撐客戶端（效率提升）數(shù)據(jù)倉庫（效率提升，數(shù)據(jù)價值提升）埋點(diǎn)需求提出->需求評估->埋點(diǎn)設(shè)計（規(guī)范落地）->埋點(diǎn)開發(fā)（質(zhì)量控制）->數(shù)據(jù)接入->數(shù)據(jù)賦能|04資產(chǎn)治理Subject|任務(wù)數(shù)半年增長15%+|?分層模型數(shù)據(jù)流?單任務(wù)內(nèi)數(shù)據(jù)流可沉淀的公共數(shù)據(jù)不可加指標(biāo)自定義規(guī)則標(biāo)簽ADS客觀事實(shí)派生指標(biāo)原子指標(biāo)多團(tuán)隊(duì)一致可沉淀的公共數(shù)據(jù)不可加指標(biāo)自定義規(guī)則標(biāo)簽ADS客觀事實(shí)派生指標(biāo)原子指標(biāo)多團(tuán)隊(duì)一致復(fù)雜指標(biāo)數(shù)據(jù)指標(biāo)需求數(shù)據(jù)產(chǎn)品自定義多維分析多維分析|資產(chǎn)治理-數(shù)據(jù)流治理?分層模型數(shù)據(jù)流?單任務(wù)內(nèi)數(shù)據(jù)流-大任務(wù)拆解策略優(yōu)化執(zhí)行過程，降低任務(wù)失敗/延遲恢復(fù)成本需要緩存的避免重復(fù)計算中間結(jié)果拆避免重復(fù)計算解沒有性能收益避免拆解為串行任務(wù)沒有性能收益依賴產(chǎn)出不穩(wěn)定的多個依賴產(chǎn)出不穩(wěn)定的多個部分拆解|資產(chǎn)治理-生命周期治理識別表的引用和訪問狀況，自動生命周期診斷緣主動設(shè)置表生命周期，下線緣成本分析成本分析高計算/存儲成本資產(chǎn)的輔助優(yōu)化/下線決策|