基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案

基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案2023年1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實踐1數(shù)據(jù)質(zhì)量問題產(chǎn)生的背景2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實踐數(shù)據(jù)質(zhì)量問題的產(chǎn)生來源在企業(yè)信息化初期，各類業(yè)務(wù)系統(tǒng)恣意生長，這個階段就像沒有修筑大堤前的黃河，河水雖然漫流，但是河道寬闊，雖然也有數(shù)據(jù)問題，但不明顯。在企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的背景下，尤其是搭建了數(shù)據(jù)中臺的組織，需要按照統(tǒng)一的結(jié)構(gòu)和標(biāo)準(zhǔn)把各類數(shù)據(jù)集成起來，就像筑堤束水之后的黃河，泄流不暢、決口不斷等問題紛紛出現(xiàn)，數(shù)據(jù)不一致、不完整、不準(zhǔn)確等各種問題鋪面而來。數(shù)據(jù)質(zhì)量問題域數(shù)據(jù)質(zhì)量問題域示例很顯然，步驟①～⑤任何一步出錯都會導(dǎo)致整個結(jié)論分析失真。而且，分析者、運營部門和企業(yè)管理者可能對質(zhì)量都有著各自不同的關(guān)心和理解。在某種意義上講，分析者所做出的決策的正確性來源于企業(yè)信息源的質(zhì)量、數(shù)據(jù)倉庫本身的質(zhì)量、數(shù)據(jù)集市的質(zhì)量以及數(shù)據(jù)倉庫各過程的質(zhì)量。整理制作郎豐利1519數(shù)據(jù)質(zhì)量問題危害低質(zhì)量的數(shù)據(jù)對任何組織來說都意味著損耗。帶來的隱形成本包括：1、廢棄和返工。2、臨時措施和矯正流程。3、組織的低效活動或生產(chǎn)力低下。4、組織的沖突。5、工作滿意度低。6、客戶不滿意。7、機(jī)會成本，包括創(chuàng)新乏力而丟失的機(jī)會成本。8、執(zhí)行成本和罰金。9、聲譽(yù)和公關(guān)成本。2數(shù)據(jù)質(zhì)量體系建設(shè)原則1數(shù)據(jù)質(zhì)量問題背景及分類3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實踐借鑒古人治水的方案歸納總結(jié)下古人治理黃河水患，主要有兩種套路，一種是“疏通”，上策遷移民眾和中策分流黃河水患，都是具體體現(xiàn)；另一種是“圍堵”，加高增厚堤防，抑制河水爛漫方案概述數(shù)據(jù)質(zhì)量管理的最佳實踐是采用“疏”和“堵”相結(jié)合的方式，需要將組織、技術(shù)和流程三者進(jìn)行有機(jī)結(jié)合，從業(yè)務(wù)出發(fā)做問題定義，由工具自動、及時發(fā)現(xiàn)問題，跟蹤問題整改進(jìn)度，并建立相應(yīng)的質(zhì)量問題評估KPI。通過采用數(shù)據(jù)質(zhì)量問題全過程的管理的“疏”和“堵”結(jié)合方式，才能最終實現(xiàn)提升數(shù)據(jù)質(zhì)量持續(xù)提升的目標(biāo)數(shù)據(jù)質(zhì)量管理體系的構(gòu)成為建立全方位的數(shù)據(jù)質(zhì)量管理體系，應(yīng)同時關(guān)注組織、技術(shù)和流程三大核心部分，三部分相輔相成才能形成完整的數(shù)據(jù)質(zhì)量管理體系。數(shù)據(jù)質(zhì)量體系建設(shè)五個原則目標(biāo)提升數(shù)據(jù)質(zhì)量問題解決效率，提升企業(yè)數(shù)據(jù)質(zhì)量全程監(jiān)控：從數(shù)據(jù)的定義、錄入、存儲、加工、交互、使用全過程進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控，明確各部門在全過程中的責(zé)任，全方位保證數(shù)據(jù)質(zhì)量主動管理：強(qiáng)化對企業(yè)發(fā)現(xiàn)的各IT系統(tǒng)數(shù)據(jù)質(zhì)量問題的主動管理，協(xié)同相關(guān)部門推動問題的有效解決閉環(huán)管理：建立數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)、通報、整改和反饋等環(huán)節(jié)具體流程，形成數(shù)據(jù)質(zhì)量問題的閉環(huán)管理自動管理：深入分析業(yè)務(wù)人員發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題的業(yè)務(wù)規(guī)則和成因，科技部門將其轉(zhuǎn)化為技術(shù)規(guī)則落地到系統(tǒng)中，實現(xiàn)數(shù)據(jù)質(zhì)量問題的自動篩選。全員參與：業(yè)務(wù)人員、技術(shù)人員和運維人員要共同參與數(shù)據(jù)質(zhì)量提升工作。12345全程監(jiān)控—事前、事中、事后三階段管理事前預(yù)防事中監(jiān)控事后改善數(shù)據(jù)質(zhì)量主動保證，側(cè)重面向未來的數(shù)據(jù)（指業(yè)務(wù)運營過程中新增的數(shù)據(jù)），通過業(yè)務(wù)流程優(yōu)化、源系統(tǒng)改造和數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范來提升數(shù)據(jù)質(zhì)量。未來數(shù)據(jù)數(shù)據(jù)質(zhì)量持續(xù)監(jiān)控與優(yōu)化，側(cè)重面向當(dāng)前的數(shù)據(jù)（當(dāng)前數(shù)據(jù)質(zhì)量檢查周期內(nèi)更新的數(shù)據(jù)），根據(jù)數(shù)據(jù)質(zhì)量檢核規(guī)則，對數(shù)據(jù)進(jìn)行持續(xù)、周期性監(jiān)測。當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)數(shù)據(jù)質(zhì)量清洗提升，側(cè)重面向歷史數(shù)據(jù)(指某個時間點前已經(jīng)生成的數(shù)據(jù))。按業(yè)務(wù)系統(tǒng)或主題分批對數(shù)據(jù)質(zhì)量分析、清洗，提高既有數(shù)據(jù)的質(zhì)量。從發(fā)現(xiàn)到改進(jìn)閉環(huán)管理建立數(shù)據(jù)質(zhì)量閉環(huán)管理機(jī)制、明確各部門關(guān)于數(shù)據(jù)質(zhì)量提升工作的分工職責(zé)并強(qiáng)化執(zhí)行；同時基于數(shù)據(jù)管理工具，固化流程，線上支撐企業(yè)級數(shù)據(jù)質(zhì)量管理，確保企業(yè)級數(shù)據(jù)質(zhì)量穩(wěn)步提升。固化流程、全員參與借助工具、自動管理數(shù)據(jù)質(zhì)量管理員技術(shù)人員業(yè)務(wù)人員問題定義問題發(fā)現(xiàn)/分析問題跟蹤問題處理評估和統(tǒng)計數(shù)據(jù)質(zhì)量問題需求提出,選擇系統(tǒng)（檢核對象業(yè)務(wù)實體、屬性）需求轉(zhuǎn)化檢核規(guī)則，通過可配置化方式，自動生成檢核腳本，批量檢核問題數(shù)據(jù)。輸入數(shù)據(jù)質(zhì)量問題管理，疑似問題發(fā)布數(shù)據(jù)質(zhì)量問題整改。采用問題認(rèn)責(zé)方式，保證問題處理及時行。數(shù)據(jù)質(zhì)量問題整改效果確認(rèn)。未及時處理的問題，納入考核計分?jǐn)?shù)據(jù)質(zhì)量問題評估與分析，圖形化展示統(tǒng)計報表。1）檢核維度報表2）機(jī)構(gòu)問題統(tǒng)計報表。3）問題整改效果報表。4）問題分布報表。檢核目標(biāo)庫輸出企業(yè)級元數(shù)據(jù)管理流程自動化sql腳本引擎問題存儲庫數(shù)據(jù)質(zhì)量問題分析。元數(shù)據(jù)模塊提供影響分析，為下游問題預(yù)警提升意識、主動管理數(shù)據(jù)標(biāo)準(zhǔn)主題域業(yè)務(wù)領(lǐng)域子分類業(yè)務(wù)實體數(shù)據(jù)項定義責(zé)任人標(biāo)準(zhǔn)數(shù)據(jù)服務(wù)指標(biāo)樹指標(biāo)分類指標(biāo)項定義責(zé)任人算法基礎(chǔ)標(biāo)準(zhǔn)標(biāo)準(zhǔn)分類數(shù)據(jù)項字段內(nèi)容因子項關(guān)聯(lián)定義數(shù)據(jù)標(biāo)準(zhǔn)明確數(shù)據(jù)責(zé)任人開展數(shù)據(jù)質(zhì)量宣貫提升數(shù)據(jù)質(zhì)量意識3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則4數(shù)據(jù)質(zhì)量行業(yè)實踐功能架構(gòu)應(yīng)用功能層接口服務(wù)數(shù)據(jù)質(zhì)量報告數(shù)據(jù)質(zhì)量分析質(zhì)量監(jiān)控獲層取角色管理日志管理權(quán)限管理用戶管理參數(shù)管理ODS/EDW/hadoop方式一：檢核結(jié)果文件方式二：直連數(shù)據(jù)庫任務(wù)手工調(diào)度任務(wù)自動調(diào)度調(diào)度參數(shù)管理并發(fā)跑批設(shè)置度量規(guī)則定義度量規(guī)則類別度量規(guī)則管理檢核方法管理檢核腳本生成檢核方法導(dǎo)入檢核方法導(dǎo)出檢核結(jié)果管理問題顯示配置問題發(fā)布管理問題處理跟蹤問題查詢管理問題考核管理問題導(dǎo)入/導(dǎo)出消息管理通知人管理消息模板管理發(fā)送任務(wù)管理知識庫管理知識分類管理知識內(nèi)容管理知識庫查詢多維度數(shù)據(jù)質(zhì)量報告數(shù)據(jù)質(zhì)量報告導(dǎo)出數(shù)據(jù)質(zhì)量匯總分析影響/血統(tǒng)/趨勢分析重點問題監(jiān)控問題整改監(jiān)控檢核結(jié)果接口檢核方法接口關(guān)鍵技術(shù)—檢核腳本自動生成

SQLEngine方式一：參數(shù)化配置空值檢核01）基礎(chǔ)類度量規(guī)則02）復(fù)雜業(yè)務(wù)度量規(guī)則非法值檢核非法代碼檢核主鍵重復(fù)檢核系統(tǒng)間一致性檢核數(shù)據(jù)總數(shù)檢核表間關(guān)系檢核業(yè)務(wù)邏輯Sql存儲過程定時調(diào)度方式二：模板導(dǎo)入按照度量規(guī)則類別，自動生成檢核Sql語句。對業(yè)務(wù)邏輯復(fù)雜的檢核方法，支持編寫存儲過程腳本對問題檢核。問題跑批處理：1、支持與第三方調(diào)度工具的集成。2、產(chǎn)品自身提供跑批調(diào)度管理。業(yè)務(wù)人員通過系統(tǒng)界面進(jìn)行規(guī)則定義或者通過模板導(dǎo)入方式進(jìn)行，屏蔽技術(shù)細(xì)節(jié)?？s短度量規(guī)則轉(zhuǎn)化為檢核方法的時間。采用模板配置和頁面參數(shù)配置方式輸入檢核規(guī)則，通過系統(tǒng)內(nèi)置SQL引擎，實現(xiàn)檢核腳本自動化生成。降低業(yè)務(wù)規(guī)則轉(zhuǎn)化為技術(shù)實現(xiàn)的成本，提高業(yè)務(wù)規(guī)則的實現(xiàn)效率。關(guān)鍵技術(shù)—數(shù)據(jù)問題檢核架構(gòu)檢核系統(tǒng)2數(shù)據(jù)庫數(shù)據(jù)質(zhì)量系統(tǒng)調(diào)度平臺（或數(shù)據(jù)質(zhì)量調(diào)度模塊）檢核規(guī)則、方法梳理模板檢核腳本生產(chǎn)組件公共檢核執(zhí)行組件調(diào)度組件檢核腳本存儲表檢核系統(tǒng)檢核結(jié)果存儲表線程1線程2線程nEDW/Hadoop檢核系統(tǒng)1數(shù)據(jù)庫格式化數(shù)據(jù)文件分發(fā)組件關(guān)鍵技術(shù)·數(shù)據(jù)質(zhì)量問題報告4數(shù)據(jù)質(zhì)量行業(yè)實踐1數(shù)據(jù)質(zhì)量問題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)考核是推進(jìn)數(shù)據(jù)質(zhì)量提升工作的利器產(chǎn)品種類完整性產(chǎn)品種類正確性表外產(chǎn)品一致性客戶類別完整性客戶是否金融機(jī)構(gòu)完整性客戶是否金融機(jī)構(gòu)