基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案PPT

基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實踐整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行1數(shù)據(jù)質(zhì)量問題產(chǎn)生的背景2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實踐整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數(shù)據(jù)質(zhì)量管理體系的構(gòu)成為建立全方位的數(shù)據(jù)質(zhì)量管理體系，應(yīng)同時關(guān)注組織、技術(shù)和流程三大核心部分，三部分相輔相成才能形成完整的數(shù)據(jù)質(zhì)量管理體系。數(shù)據(jù)質(zhì)量體系建設(shè)五個原則目標提升數(shù)據(jù)質(zhì)量問題解決效率，提升企業(yè)數(shù)據(jù)質(zhì)量全程監(jiān)控：從數(shù)據(jù)的定義、錄入、存儲、加工、交互、使用全過程進行數(shù)據(jù)質(zhì)量監(jiān)控，明確各部門在全過程中的責任，全方位保證數(shù)據(jù)質(zhì)量主動管理：強化對企業(yè)發(fā)現(xiàn)的各IT系統(tǒng)數(shù)據(jù)質(zhì)量問題的主動管理，協(xié)同相關(guān)部門推動問題的有效解決閉環(huán)管理：建立數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)、通報、整改和反饋等環(huán)節(jié)具體流程，形成數(shù)據(jù)質(zhì)量問題的閉環(huán)管理自動管理：深入分析業(yè)務(wù)人員發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題的業(yè)務(wù)規(guī)則和成因，科技部門將其轉(zhuǎn)化為技術(shù)規(guī)則落地到系統(tǒng)中，實現(xiàn)數(shù)據(jù)質(zhì)量問題的自動篩選。全員參與：業(yè)務(wù)人員、技術(shù)人員和運維人員要共同參與數(shù)據(jù)質(zhì)量提升工作。12345全程監(jiān)控—事前、事中、事后三階段管理事前預(yù)防事中監(jiān)控事后改善數(shù)據(jù)質(zhì)量主動保證，側(cè)重面向未來的數(shù)據(jù)（指業(yè)務(wù)運營過程中新增的數(shù)據(jù)），通過業(yè)務(wù)流程優(yōu)化、源系統(tǒng)改造和數(shù)據(jù)標準規(guī)范來提升數(shù)據(jù)質(zhì)量。未來數(shù)據(jù)數(shù)據(jù)質(zhì)量持續(xù)監(jiān)控與優(yōu)化，側(cè)重面向當前的數(shù)據(jù)（當前數(shù)據(jù)質(zhì)量檢查周期內(nèi)更新的數(shù)據(jù)），根據(jù)數(shù)據(jù)質(zhì)量檢核規(guī)則，對數(shù)據(jù)進行持續(xù)、周期性監(jiān)測。當前數(shù)據(jù)歷史數(shù)據(jù)數(shù)據(jù)質(zhì)量清洗提升，側(cè)重面向歷史數(shù)據(jù)(指某個時間點前已經(jīng)生成的數(shù)據(jù))。按業(yè)務(wù)系統(tǒng)或主題分批對數(shù)據(jù)質(zhì)量分析、清洗，提高既有數(shù)據(jù)的質(zhì)量。從發(fā)現(xiàn)到改進閉環(huán)管理建立數(shù)據(jù)質(zhì)量閉環(huán)管理機制、明確各部門關(guān)于數(shù)據(jù)質(zhì)量提升工作的分工職責并強化執(zhí)行；同時基于數(shù)據(jù)管理工具，固化流程，線上支撐企業(yè)級數(shù)據(jù)質(zhì)量管理，確保企業(yè)級數(shù)據(jù)質(zhì)量穩(wěn)步提升。固化流程、全員參與借助工具、自動管理數(shù)據(jù)質(zhì)量管理員技術(shù)人員業(yè)務(wù)人員問題定義問題發(fā)現(xiàn)/分析問題跟蹤問題處理評估和統(tǒng)計數(shù)據(jù)質(zhì)量問題需求提出,選擇系統(tǒng)（檢核對象業(yè)務(wù)實體、屬性）需求轉(zhuǎn)化檢核規(guī)則，通過可配置化方式，自動生成檢核腳本，批量檢核問題數(shù)據(jù)。輸入數(shù)據(jù)質(zhì)量問題管理，疑似問題發(fā)布數(shù)據(jù)質(zhì)量問題整改。采用問題認責方式，保證問題處理及時行。數(shù)據(jù)質(zhì)量問題整改效果確認。未及時處理的問題，納入考核計分數(shù)據(jù)質(zhì)量問題評估與分析，圖形化展示統(tǒng)計報表。1）檢核維度報表2）機構(gòu)問題統(tǒng)計報表。3）問題整改效果報表。4）問題分布報表。檢核目標庫輸出企業(yè)級元數(shù)據(jù)管理流程自動化sql腳本引擎問題存儲庫數(shù)據(jù)質(zhì)量問題分析。元數(shù)據(jù)模塊提供影響分析，為下游問題預(yù)警提升意識、主動管理因子項關(guān)聯(lián)定義數(shù)據(jù)標準明確數(shù)據(jù)責任人開展數(shù)據(jù)質(zhì)量宣貫提升數(shù)據(jù)質(zhì)量意識3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則4數(shù)據(jù)質(zhì)量行業(yè)實踐功能架構(gòu)應(yīng)用功能層接口服務(wù)數(shù)據(jù)質(zhì)量報告數(shù)據(jù)質(zhì)量分析質(zhì)量監(jiān)控獲層取角色管理日志管理權(quán)限管理用戶管理參數(shù)管理ODS/EDW/hadoop方式一：檢核結(jié)果文件方式二：直連數(shù)據(jù)庫任務(wù)手工調(diào)度任務(wù)自動調(diào)度調(diào)度參數(shù)管理并發(fā)跑批設(shè)置度量規(guī)則定義度量規(guī)則類別度量規(guī)則管理檢核方法管理檢核腳本生成檢核方法導入檢核方法導出檢核結(jié)果管理問題顯示配置問題發(fā)布管理問題處理跟蹤問題查詢管理問題考核管理問題導入/導出消息管理通知人管理消息模板管理發(fā)送任務(wù)管理知識庫管理知識分類管理知識內(nèi)容管理知識庫查詢多維度數(shù)據(jù)質(zhì)量報告數(shù)據(jù)質(zhì)量報告導出數(shù)據(jù)質(zhì)量匯總分析影響/血統(tǒng)/趨勢分析重點問題監(jiān)控問題整改監(jiān)控檢核結(jié)果接口檢核方法接口關(guān)鍵技術(shù)—檢核腳本自動生成SQLEngine方式一：參數(shù)化配置空值檢核01）基礎(chǔ)類度量規(guī)則02）復雜業(yè)務(wù)度量規(guī)則非法值檢核非法代碼檢核主鍵重復檢核系統(tǒng)間一致性檢核數(shù)據(jù)總數(shù)檢核表間關(guān)系檢核業(yè)務(wù)邏輯Sql存儲過程定時調(diào)度方式二：模板導入按照度量規(guī)則類別，自動生成檢核Sql語句。對業(yè)務(wù)邏輯復雜的檢核方法，支持編寫存儲過程腳本對問題檢核。問題跑批處理：1、支持與第三方調(diào)度工具的集成。2、產(chǎn)品自身提供跑批調(diào)度管理。業(yè)務(wù)人員通過系統(tǒng)界面進行規(guī)則定義或者通過模板導入方式進行，屏蔽技術(shù)細節(jié)?？s短度量規(guī)則轉(zhuǎn)化為檢核方法的時間。采用模板配置和頁面參數(shù)配置方式輸入檢核規(guī)則，通過系統(tǒng)內(nèi)置SQL引擎，實現(xiàn)檢核腳本自動化生成。降低業(yè)務(wù)規(guī)則轉(zhuǎn)化為技術(shù)實現(xiàn)的成本，提高業(yè)務(wù)規(guī)則的實現(xiàn)效率。關(guān)鍵技術(shù)—數(shù)據(jù)問題檢核架構(gòu)檢核系統(tǒng)2數(shù)據(jù)庫數(shù)據(jù)質(zhì)量系統(tǒng)調(diào)度平臺（或數(shù)據(jù)質(zhì)量調(diào)度模塊）檢核規(guī)則、方法梳理模板檢核腳本生產(chǎn)組件公共檢核執(zhí)行組件調(diào)度組件檢核腳本存儲表檢核系統(tǒng)檢核結(jié)果存儲表線程1線程2線程nEDW/Hadoop檢核系統(tǒng)1數(shù)據(jù)庫格式化數(shù)據(jù)文件分發(fā)組件關(guān)鍵技術(shù)·數(shù)據(jù)質(zhì)量問題報告4數(shù)據(jù)質(zhì)量行業(yè)實踐1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)考核