趙國祥：抖音集團大數(shù)據(jù)血緣演進與應用

DAMSDATA&AIMANAGEMENTsUMMIT抖音集團大數(shù)據(jù)血緣演進與應用抖音數(shù)據(jù)資產(chǎn)管理平臺消費促生產(chǎn)消費促生產(chǎn)數(shù)據(jù)檢索表類資產(chǎn)資產(chǎn)日錄資產(chǎn)使用資產(chǎn)互動資產(chǎn)級生產(chǎn)類數(shù)據(jù)分析類數(shù)據(jù)指標類數(shù)據(jù)我的庫表管理中心理能力開放高線元數(shù)A&實驗類數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)DAMS中國數(shù)據(jù)智能管理峰會抖音集團血緣整體介紹抖音集團血緣系統(tǒng)架構(gòu)抖音集團血緣應用場景未來展望DAMS中國數(shù)據(jù)智能管理峰會抖音集團血緣整體介紹億級元數(shù)據(jù)：Metadata,指描述數(shù)據(jù)的數(shù)據(jù)，提供了有關(guān)數(shù)據(jù)的信息，具體實現(xiàn)時分為數(shù)據(jù)實體和數(shù)據(jù)血緣數(shù)據(jù)實體：大數(shù)據(jù)領(lǐng)域元數(shù)據(jù)方向，數(shù)據(jù)對象通常被抽象為邏輯實體存儲，具備唯一ID和實體屬性數(shù)據(jù)血緣：大數(shù)據(jù)領(lǐng)域元數(shù)據(jù)方向，元數(shù)據(jù)實體之間關(guān)系單獨抽象，也是大數(shù)據(jù)任務(wù)代碼的結(jié)構(gòu)化描述語宣抖音集團血緣建設(shè)背景■看鏈路：大數(shù)據(jù)是一個超大的數(shù)據(jù)鏈路，抖音有百萬級調(diào)度任務(wù)，需要結(jié)合數(shù)據(jù)血緣才能看清整體■保質(zhì)量：每日萬級線上數(shù)據(jù)任務(wù)變更，需要考慮對于鏈路影響，需要借助血緣評估全鏈路影響面■保安全：產(chǎn)品體系中用戶類、高密指標等敏感數(shù)據(jù)，也需要依賴血緣數(shù)據(jù)傳播能力，能夠精準發(fā)現(xiàn)高密數(shù)據(jù)■降成本：公司消耗超大規(guī)模的計算/存儲資源，需結(jié)合血緣系統(tǒng)精準發(fā)現(xiàn)低價值無效資源，進行有效治理大數(shù)據(jù)鏈路大數(shù)據(jù)鏈路數(shù)據(jù)采集血緣埋點血緣數(shù)據(jù)生產(chǎn)血緣數(shù)據(jù)采集血緣埋點血緣數(shù)據(jù)生產(chǎn)血緣服務(wù)血緣產(chǎn)品血緣血緣粒度實體級血緣列級血緣行級血緣算子級血緣血緣模型抽象數(shù)據(jù)血緣簡單的抽象為點和邊，就能解決所有問題嗎?模型1:寫慢讀快columncolumntbc1.)tac2.模型2:寫快讀慢血緣模型抽象3類6類實體抽象血緣衡量指標血血緣質(zhì)量分血緣覆蓋率：任務(wù)成功解析數(shù)量/任務(wù)接入數(shù)量任務(wù)接入數(shù)量血緣完整率：完整任務(wù)數(shù)量/任務(wù)接入數(shù)量血緣質(zhì)量分92血緣應用血緣血緣應用血緣分析數(shù)據(jù)處理數(shù)據(jù)接入數(shù)據(jù)源口徑探查口徑探查血緣分析產(chǎn)品血緣效能工具箱全鏈路覆蓋精細化血緣精準度高PUSH接入模式PUSH接入模式應用場景廣手動手動DAMS中國數(shù)據(jù)智能管理峰會抖音集團血緣系統(tǒng)架構(gòu)血緣系統(tǒng)建設(shè)挑戰(zhàn)風風全面精準的血緣血緣系統(tǒng)解決方案架構(gòu)置息配信置息配信血緣應用表血緣應用統(tǒng)一解析服務(wù)統(tǒng)一解析服務(wù)分析統(tǒng)一解析服務(wù)血緣解析問題·Atlr:開源語法分析器，可解析所有代碼血緣血緣DAMS中國數(shù)據(jù)智能管理峰會血緣接入服務(wù)-生產(chǎn)血緣統(tǒng)一Schema,將計算任務(wù)代碼白盒化，實現(xiàn)任務(wù))(計算任務(wù)平臺，標識，狀態(tài)簽關(guān)鍵點1:Schenaless支持MO、Redis等Schemeless血緣計算平臺通過Non-DDL方式讀寫sohemaless存儲解析白動關(guān)聯(lián)Scheneless表、字段上下游血緣表血緣輸出表表血緣(表，邏輯表關(guān)鍵點2:算子血緣支持SQLselect,non-select字段血緣解析(where.join.order.group算子級標簽，支持業(yè)務(wù)全鏈路傳據(jù)消除不同Region之間的血緣斷裂問題，打通全Region血緣C區(qū)域血緣元數(shù)據(jù)總線CatalogDAMS中國數(shù)據(jù)智能管理峰會血緣接入服務(wù)-應用血緣連通數(shù)據(jù)產(chǎn)品應用末端與大數(shù)據(jù)之間的血緣，真正實現(xiàn)全鏈路血緣業(yè)務(wù)產(chǎn)品業(yè)務(wù)產(chǎn)品定制產(chǎn)品頁面(人工)頁面(人工)DAMSDAMS中國數(shù)據(jù)智能管理峰會抖音集團血緣應用場景血緣應用整體介紹數(shù)據(jù)開發(fā)場景的應用數(shù)據(jù)變更的影響面評估(01精準選擇待回溯鏈路04上游數(shù)據(jù)變化及時感知05實時開發(fā)任務(wù)提效03DAMS中國數(shù)據(jù)智能管理峰會數(shù)據(jù)治理場景的應用及時性保障：及時性保障：SLA簽署、鏈路調(diào)度、鏈路告警成本計算：成本大盤、治理成本計算：成本大盤、治理RO1評估00+100+1000+100+10