數(shù)據(jù)質(zhì)量中心的設計與實現(xiàn)課件

大數(shù)據(jù)時代的數(shù)據(jù)質(zhì)量保障--數(shù)據(jù)質(zhì)量中心的設計與實現(xiàn)yuwen.xm@阿里巴巴-CDO數(shù)據(jù)平臺事業(yè)部雨玟大數(shù)據(jù)時代的數(shù)據(jù)質(zhì)量保障yuwen.xm@taobao.co主要內(nèi)容大數(shù)據(jù)時代的質(zhì)量難題數(shù)據(jù)質(zhì)量中心架構設計數(shù)據(jù)質(zhì)量中心的實踐主要內(nèi)容大數(shù)據(jù)時代的質(zhì)量難題

阿里的數(shù)據(jù)中心CDO 阿里的數(shù)據(jù)中心CDO數(shù)據(jù)質(zhì)量中心的設計與實現(xiàn)課件

大數(shù)據(jù)時代的質(zhì)量難題 大數(shù)據(jù)時代的質(zhì)量難題質(zhì)量難題在數(shù)據(jù)處理流程中在那一部分數(shù)據(jù)出問題，不知道？不同系統(tǒng)間數(shù)據(jù)流通，是否有損失？表記錄數(shù)據(jù)波動，與上期同比波動或與固定數(shù)據(jù)一致性比較是否正常？字段平均值字段最大值字段最小值字段匯總值字段空值個數(shù)字段重復值個數(shù)離散值帶業(yè)務過濾條件的數(shù)據(jù)波動，精確監(jiān)控難數(shù)據(jù)校驗方法多樣性難，平均值？方差？周期性？固定值？字段的唯一值個數(shù)質(zhì)量難題在數(shù)據(jù)處理流程中在那一部分數(shù)據(jù)出問題，不知道？不同質(zhì)量保證歷程質(zhì)量保證歷程

數(shù)據(jù)質(zhì)量中心架構設計 數(shù)據(jù)質(zhì)量中心架構設計數(shù)據(jù)質(zhì)量中心--DataQualityCenter（DQC）產(chǎn)品介紹數(shù)據(jù)質(zhì)量中心--DataQualityCenter（DQ整體設計—核心內(nèi)容數(shù)據(jù)監(jiān)控數(shù)據(jù)清洗數(shù)據(jù)度量整體設計—核心內(nèi)容數(shù)據(jù)監(jiān)控數(shù)據(jù)清洗數(shù)據(jù)度量交互產(chǎn)品DQC離線計算平臺元數(shù)據(jù)云調(diào)度告警數(shù)據(jù)通道交互產(chǎn)品DQC離線計算平臺元數(shù)據(jù)云調(diào)度告警數(shù)據(jù)數(shù)據(jù)質(zhì)量DBGATEWAYS… 數(shù)據(jù)傳輸通道/離線處理

平臺

DQCHOOK DQCEXECUTOR 數(shù)據(jù)質(zhì)量WEB服務

數(shù)據(jù)質(zhì)量服務DQCENGINE DQC規(guī)則中心DQC質(zhì)量校驗中心DQC任務POOL DQC報警模塊

多級容錯機制DQC規(guī)則同步工具DQC樣本對比工具DQC告警對比工具DQC規(guī)則/模板配置DQC項目級管理DQC報告展現(xiàn)任務及質(zhì)量展現(xiàn)離線處理調(diào)度系統(tǒng)

整體設計—架構示圖數(shù)據(jù)質(zhì)量DBGATEWAYS… 數(shù)據(jù)傳輸通道/離線處整體設計—報警分級紅色報警Red橙色報警Orange整體設計—報警分級紅色報警Red橙色報警Orange整體設計—規(guī)則分級blockRulecheckalertweak……整體設計—規(guī)則分級blockRulecheckalertwe整體設計—阻塞邏輯Redblock下游任務阻塞整體設計—阻塞邏輯Redblock下游任務阻塞HiveHDFS其他離線處理平臺多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫存儲ShellMR應用之前HiveHDFS其他離線處理平臺多種數(shù)據(jù)庫存儲ShellMRHiveHDFSShellMRDQC應用之后其他離線處理平臺多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫存儲HiveHDFSShellMRDQC應用之后其他離線處理平臺

DQC在數(shù)據(jù)生態(tài)鏈中的位置 DQC在數(shù)據(jù)生態(tài)鏈中的位置整體設計—Y軸DB1DB2DB3S1DWS2OLAPOLAPS3report數(shù)據(jù)傳輸實時傳輸businessbusinessS4數(shù)據(jù)傳輸整體設計—Y軸DB1DB2DB3S1DWS2OLAPOLAP整體設計—X軸DW數(shù)據(jù)傳輸DB1時間維度DT：數(shù)據(jù)傳輸通道整體設計—X軸DW數(shù)據(jù)傳輸DB1時間DT：數(shù)據(jù)傳輸通道

數(shù)據(jù)質(zhì)量中心的實踐 數(shù)據(jù)質(zhì)量中心的實踐示例舉例1某應用源數(shù)據(jù)s*表，發(fā)現(xiàn)“當日旺旺在線時長”有>24小時的情況On_line_time>24hRULEDataRunGetODPSDataDataResultsCheck示例舉例1某應用源數(shù)據(jù)s*表，發(fā)現(xiàn)“當日旺旺在線時長”有>2示例舉例2某應用訂單交易明細表的訂單總金額相比昨天波動-98.6%Sum(amount)RULEDataRunGetODPSDataDataResultsCheckHistoricalsamples示例舉例2某應用訂單交易明細表的訂單總金額相比昨天波動-98示例舉例3某日志統(tǒng)計r*表，發(fā)現(xiàn)存在pv=0而uv>0的數(shù)據(jù)Count(*)>0pv=0uv>0RULEDataRunDataResultsCheck方法1：如舉例1圖方法2：如舉例3圖示例舉例3某日志統(tǒng)計r*表，發(fā)現(xiàn)存在pv=0而uv>0DQC淘寶天貓一淘支付寶ICBU阿里金融阿里云CBUCDO聚劃算應用情況DQC淘寶天貓一淘支付寶ICBU阿里阿里云CBUCDO聚劃算應用情況應用情況應用優(yōu)點智能閾值算法體系多級容錯、緩存校驗規(guī)則與生產(chǎn)任務異步模板規(guī)則靈活，可擴展校驗，預警分級別ODPS緊密結合的數(shù)據(jù)采集器獨立計算，不耗生產(chǎn)slots應用優(yōu)點智能閾值算法體系多級容錯、緩存校驗規(guī)則與生產(chǎn)任務異步DQC后續(xù)發(fā)展支付寶ICBU淘寶天貓一淘阿里金融阿里云CBUCDO聚劃算DQC后續(xù)發(fā)展支付寶ICBU淘寶天貓一淘阿里阿里云CBUCDHiveHDFSShellMRDQC后續(xù)發(fā)展其他離線處理平臺多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫存儲HiveHDFSS