DW Concept 數(shù)據(jù)質(zhì)量分冊

整體技術(shù)部DWConceptPAGE內(nèi)部資料注意保密第14頁DWConcept數(shù)據(jù)質(zhì)量分冊作者任少斌時(shí)間審核時(shí)間批準(zhǔn)時(shí)間北京用友華表軟件技術(shù)有限公司修訂記錄版本號發(fā)布日期編制人審核人/批準(zhǔn)人修改章節(jié)號V1.0前言目的本規(guī)范的制定是為了更好的實(shí)施數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量管理的建設(shè)，數(shù)據(jù)質(zhì)量的監(jiān)控和全視圖使得我們在數(shù)據(jù)處理的各個(gè)環(huán)節(jié)中能及時(shí)發(fā)現(xiàn)、定位和解決各類數(shù)據(jù)質(zhì)量問題，確保數(shù)據(jù)質(zhì)量的穩(wěn)定可靠，是信息交付的保障。范圍本文檔規(guī)定了一般數(shù)據(jù)倉庫過程中數(shù)據(jù)質(zhì)量管理的建設(shè)內(nèi)容，供數(shù)據(jù)質(zhì)量管理系統(tǒng)設(shè)計(jì)開發(fā)人員及欲了解數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量管理的同事共同使用，內(nèi)容涉及數(shù)據(jù)質(zhì)量監(jiān)控與問題處理（數(shù)據(jù)質(zhì)量規(guī)則庫、采集、告警或質(zhì)量報(bào)告、質(zhì)量問題處理）、元數(shù)據(jù)變更監(jiān)控、數(shù)據(jù)質(zhì)量知識(shí)庫以及數(shù)據(jù)質(zhì)量對外服務(wù)等。引用文件下列文件為本規(guī)范引用文件列表?！禗WConcept數(shù)據(jù)建模分冊.doc》《DWConcept元數(shù)據(jù)分冊.doc》縮略語解釋字母名詞解釋S數(shù)據(jù)質(zhì)量監(jiān)控自動(dòng)獲取數(shù)據(jù)倉庫各環(huán)節(jié)的數(shù)據(jù)質(zhì)量信息，結(jié)合元數(shù)據(jù)庫中的有關(guān)檢查規(guī)則，對數(shù)據(jù)質(zhì)量情況進(jìn)行診斷，并及時(shí)向數(shù)據(jù)質(zhì)量監(jiān)控人員報(bào)告S數(shù)據(jù)質(zhì)量知識(shí)庫數(shù)據(jù)質(zhì)量管理系統(tǒng)存儲(chǔ)層上的存儲(chǔ)信息庫，主要包括各種檢查規(guī)則和檢查結(jié)果報(bào)告(包括告警)，以及數(shù)據(jù)質(zhì)量問題的處理過程信息UUSP統(tǒng)一調(diào)度平臺(tái)，即數(shù)據(jù)倉庫工作流引擎Y元數(shù)據(jù)元數(shù)據(jù)(MetaData)泛指描述領(lǐng)域概念(DomainConcepts)、領(lǐng)域關(guān)系(DomainRoles)、領(lǐng)域規(guī)則(DomainRules)的數(shù)據(jù)，其中，領(lǐng)域語義(Semantics)和知識(shí)(Knowledge)也屬于元數(shù)據(jù)的范疇Y元數(shù)據(jù)變更監(jiān)控元數(shù)據(jù)變更監(jiān)控是獲取元數(shù)據(jù)變更信息，調(diào)用元數(shù)據(jù)管理系統(tǒng)相關(guān)分析功能對元數(shù)據(jù)變更進(jìn)行影響分析，對元數(shù)據(jù)變更進(jìn)行關(guān)鍵實(shí)體影響的監(jiān)控?cái)?shù)據(jù)質(zhì)量概述數(shù)據(jù)質(zhì)量管理系統(tǒng)是數(shù)據(jù)倉庫數(shù)據(jù)管理域的重要組成部分。本章從數(shù)據(jù)質(zhì)量概述、建設(shè)目標(biāo)和數(shù)據(jù)質(zhì)量問題域三個(gè)方面對數(shù)據(jù)質(zhì)量管理系統(tǒng)進(jìn)行概要描述。數(shù)據(jù)質(zhì)量概述數(shù)據(jù)質(zhì)量管理系統(tǒng)包括對數(shù)據(jù)源接口、數(shù)據(jù)實(shí)體、數(shù)據(jù)處理過程、數(shù)據(jù)應(yīng)用和業(yè)務(wù)指標(biāo)等相關(guān)內(nèi)容的管控機(jī)制和處理流程，也包括對數(shù)據(jù)質(zhì)量管控和處理的信息總結(jié)和知識(shí)應(yīng)用等輔助內(nèi)容。本手冊描述了數(shù)據(jù)質(zhì)量管理的范圍和要求，描述了數(shù)據(jù)質(zhì)量管理體系結(jié)構(gòu)，規(guī)定了數(shù)據(jù)質(zhì)量管理系統(tǒng)的基礎(chǔ)功能和處理流程，強(qiáng)調(diào)了元數(shù)據(jù)變更聯(lián)動(dòng)機(jī)制的構(gòu)建，強(qiáng)調(diào)了數(shù)據(jù)質(zhì)量管控信息總結(jié)、知識(shí)沉淀和經(jīng)驗(yàn)重用。本規(guī)范要求形成由數(shù)據(jù)質(zhì)量監(jiān)控與問題處理（數(shù)據(jù)質(zhì)量規(guī)則庫、采集、告警或質(zhì)量報(bào)告、質(zhì)量問題處理）、元數(shù)據(jù)變更監(jiān)控、數(shù)據(jù)質(zhì)量知識(shí)庫以及數(shù)據(jù)質(zhì)量對外服務(wù)等功能構(gòu)成的數(shù)據(jù)質(zhì)量管理系統(tǒng)，以及基于該系統(tǒng)的數(shù)據(jù)質(zhì)量管控流程和技術(shù)要求。數(shù)據(jù)質(zhì)量管理系統(tǒng)的某些功能將引用元數(shù)據(jù)管理系統(tǒng)的相關(guān)支持，詳見《DWConcept元數(shù)據(jù)分冊.doc》。一般監(jiān)控流程數(shù)據(jù)質(zhì)量管理一般流程如下圖所示。系統(tǒng)建設(shè)目標(biāo)數(shù)據(jù)質(zhì)量管理系統(tǒng)以“深化數(shù)據(jù)質(zhì)量管控能力，構(gòu)建元數(shù)據(jù)變更聯(lián)動(dòng)機(jī)制”為建設(shè)目標(biāo)，具體包括：實(shí)現(xiàn)對元數(shù)據(jù)變更的監(jiān)控管理，通過對元數(shù)據(jù)變更的獲取及影響分析，在數(shù)據(jù)質(zhì)量管控基礎(chǔ)上，盡快暴露由各種實(shí)體變更或者數(shù)據(jù)處理過程變更而引起的數(shù)據(jù)質(zhì)量問題，構(gòu)建元數(shù)據(jù)變更聯(lián)動(dòng)機(jī)制。建立有效的數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制,在數(shù)據(jù)倉庫數(shù)據(jù)處理主要階段設(shè)置數(shù)據(jù)質(zhì)量檢測點(diǎn)，實(shí)現(xiàn)關(guān)鍵實(shí)體監(jiān)控、實(shí)體關(guān)系監(jiān)控、明細(xì)匯總監(jiān)控、關(guān)鍵指標(biāo)監(jiān)控以及元數(shù)據(jù)變更監(jiān)控，實(shí)現(xiàn)從源系統(tǒng)接口層到應(yīng)用層的全流程數(shù)據(jù)質(zhì)量監(jiān)控，便于數(shù)據(jù)質(zhì)量問題提前發(fā)現(xiàn)和及時(shí)處理。同時(shí)，管理在數(shù)據(jù)質(zhì)量監(jiān)控中產(chǎn)生的告警信息，并集成元數(shù)據(jù)信息，實(shí)現(xiàn)拓?fù)涑尸F(xiàn)，提供數(shù)據(jù)處理狀態(tài)和質(zhì)量狀況的全局視圖。建立數(shù)據(jù)質(zhì)量報(bào)告功能，實(shí)現(xiàn)對數(shù)據(jù)質(zhì)量管理系統(tǒng)各種信息的匯總、梳理、統(tǒng)計(jì)和分析，提供全面及時(shí)的數(shù)據(jù)質(zhì)量報(bào)告，預(yù)防和控制錯(cuò)誤范圍的擴(kuò)大，便于數(shù)據(jù)質(zhì)量管控信息總結(jié)、知識(shí)沉淀和經(jīng)驗(yàn)重用。數(shù)據(jù)質(zhì)量問題域數(shù)據(jù)質(zhì)量問題按照來源和具體原因，可以分為信息、技術(shù)、流程和管理四個(gè)問題域，如下圖所示。信息問題域信息類問題是由于對數(shù)據(jù)本身的描述、理解及其度量標(biāo)準(zhǔn)偏差而造成的數(shù)據(jù)質(zhì)量問題，如下圖所示。產(chǎn)生這類數(shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù)度量得不到保證和變化頻度不恰當(dāng)?shù)?。?shù)據(jù)度量主要包括完整性、唯一性、一致性、準(zhǔn)確性和合法性。變化頻度主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)的變化周期和實(shí)體數(shù)據(jù)的刷新周期。信息類問題中易引起描述及理解錯(cuò)誤的元數(shù)據(jù)主要包括：業(yè)務(wù)元數(shù)據(jù)——主要包括業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語和業(yè)務(wù)指標(biāo)口徑等；技術(shù)元數(shù)據(jù)——主要包括數(shù)據(jù)源接口規(guī)范、依賴關(guān)系、ETL轉(zhuǎn)換、數(shù)據(jù)建模和工具等方面的內(nèi)容。技術(shù)域問題技術(shù)類問題是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)異常而造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實(shí)現(xiàn)上的某種缺陷，如下圖所示。技術(shù)類數(shù)據(jù)質(zhì)量問題主要產(chǎn)生在數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳遞、數(shù)據(jù)裝載、數(shù)據(jù)使用和數(shù)據(jù)維護(hù)等環(huán)節(jié)，具體描述如下：數(shù)據(jù)創(chuàng)建質(zhì)量問題主要包括：業(yè)務(wù)系統(tǒng)數(shù)據(jù)延遲入庫、創(chuàng)建數(shù)據(jù)默認(rèn)值不當(dāng)和數(shù)據(jù)錄入的校驗(yàn)規(guī)則不當(dāng)，導(dǎo)致指標(biāo)統(tǒng)計(jì)結(jié)果不一致、數(shù)據(jù)無效和記錄重復(fù)等；數(shù)據(jù)獲取質(zhì)量問題主要包括：數(shù)據(jù)源不當(dāng)、取數(shù)時(shí)間點(diǎn)不正確以及接口數(shù)據(jù)在獲取過程中失真。如：編碼轉(zhuǎn)換處理錯(cuò)誤或精度不夠，導(dǎo)致指標(biāo)統(tǒng)計(jì)結(jié)果不一致或數(shù)據(jù)無效等；數(shù)據(jù)傳遞質(zhì)量問題主要包括：接口數(shù)據(jù)及時(shí)率低、接口數(shù)據(jù)漏傳和網(wǎng)絡(luò)傳輸過程不可靠，如包丟失、文件傳輸方式錯(cuò)誤、傳輸技術(shù)問題和協(xié)議使用不當(dāng)導(dǎo)致的數(shù)據(jù)不完整等；數(shù)據(jù)裝載質(zhì)量問題主要包括：數(shù)據(jù)清洗算法、數(shù)據(jù)轉(zhuǎn)換算法、數(shù)據(jù)加載算法的錯(cuò)誤和調(diào)度機(jī)制不合理等；數(shù)據(jù)使用質(zhì)量問題主要包括：展示工具使用錯(cuò)誤、展示方式不合理和展示周期不合理等；數(shù)據(jù)維護(hù)質(zhì)量問題主要包括：數(shù)據(jù)備份/恢復(fù)錯(cuò)誤、數(shù)據(jù)的存儲(chǔ)能力有限、維護(hù)過程缺乏驗(yàn)證機(jī)制和人為后臺(tái)調(diào)整數(shù)據(jù)等。流程問題域流程類問題是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，如下圖所示。流程類問題主要來源于數(shù)據(jù)創(chuàng)建流程、數(shù)據(jù)傳遞流程、數(shù)據(jù)裝載流程、數(shù)據(jù)使用流程、數(shù)據(jù)維護(hù)流程和稽核流程等各環(huán)節(jié)，具體描述如下：數(shù)據(jù)創(chuàng)建流程質(zhì)量問題主要指操作員數(shù)據(jù)錄入時(shí)缺乏審核流程；數(shù)據(jù)傳遞流程質(zhì)量問題主要指通信流程溝通不暢；數(shù)據(jù)裝載流程質(zhì)量問題主要指清洗流程缺乏/不當(dāng)、調(diào)度流程邏輯錯(cuò)誤、數(shù)據(jù)加載流程邏輯錯(cuò)誤及數(shù)據(jù)轉(zhuǎn)換流程邏輯錯(cuò)誤；數(shù)據(jù)使用流程質(zhì)量問題主要指數(shù)據(jù)使用流程缺乏流程管理；數(shù)據(jù)維護(hù)流程質(zhì)量問題主要指缺乏變更維護(hù)流程、缺乏錯(cuò)誤數(shù)據(jù)維護(hù)流程、缺乏數(shù)據(jù)測試流程以及對人工后臺(tái)調(diào)整數(shù)據(jù)沒有嚴(yán)格的流程監(jiān)控；稽核流程質(zhì)量問題主要指缺乏數(shù)據(jù)檢查及問題反饋流程。管理問題域管理類問題是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題，如下圖所示。管理類問題主要包括人員的管理、培訓(xùn)和激勵(lì)等方面的措施不當(dāng)導(dǎo)致的管理缺失。人員培訓(xùn)所產(chǎn)生的質(zhì)量問題主要指對數(shù)據(jù)質(zhì)量相關(guān)人員缺少長期培訓(xùn)計(jì)劃；人員管理所產(chǎn)生的質(zhì)量問題主要指缺乏管理目標(biāo)、責(zé)任人缺失或有關(guān)人員缺乏責(zé)任心和工作的優(yōu)先級安排不當(dāng)；人員激勵(lì)所產(chǎn)生的質(zhì)量問題主要指缺乏獎(jiǎng)懲制度、獎(jiǎng)懲制度的執(zhí)行不到位、激勵(lì)反饋渠道不暢和缺乏反饋機(jī)制。數(shù)據(jù)質(zhì)量管理體系結(jié)構(gòu)本章從功能結(jié)構(gòu)和技術(shù)結(jié)構(gòu)兩個(gè)方面簡單介紹了數(shù)據(jù)質(zhì)量管理系統(tǒng)的體系結(jié)構(gòu)，在功能結(jié)構(gòu)一節(jié)簡要描述了各個(gè)層次的功能，在技術(shù)結(jié)構(gòu)一節(jié)描述了各個(gè)組件的實(shí)現(xiàn)方式以及數(shù)據(jù)質(zhì)量管理系統(tǒng)與相關(guān)外系統(tǒng)的關(guān)系。系統(tǒng)功能結(jié)構(gòu)數(shù)據(jù)質(zhì)量管理功能結(jié)構(gòu)如下圖所示。數(shù)據(jù)質(zhì)量管理系統(tǒng)功能按層次劃分為獲取層、存儲(chǔ)層以及功能層。下面簡要描述各層要求實(shí)現(xiàn)的功能：獲取層本層主要實(shí)現(xiàn)的是數(shù)據(jù)質(zhì)量數(shù)據(jù)的采集功能。數(shù)據(jù)質(zhì)量管理系統(tǒng)采集所需的質(zhì)量監(jiān)控?cái)?shù)據(jù)，它是數(shù)據(jù)質(zhì)量功能和應(yīng)用的基礎(chǔ)。采集的數(shù)據(jù)范圍有：關(guān)鍵實(shí)體信息采集、實(shí)體關(guān)系信息采集、明細(xì)匯總信息采集、關(guān)鍵指標(biāo)信息采集以及元數(shù)據(jù)變更信息采集。存儲(chǔ)層存儲(chǔ)層中存儲(chǔ)的數(shù)據(jù)質(zhì)量信息主要包括三個(gè)部分：數(shù)據(jù)質(zhì)量規(guī)則庫：存儲(chǔ)數(shù)據(jù)質(zhì)量系統(tǒng)的相關(guān)規(guī)則信息，包括數(shù)據(jù)質(zhì)量配置規(guī)則（監(jiān)控的實(shí)體或域、監(jiān)控內(nèi)容以及告警或報(bào)告推送配置）、數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則（質(zhì)量校驗(yàn)準(zhǔn)則或表達(dá)式）、數(shù)據(jù)質(zhì)量采集規(guī)則（獲取層的采集調(diào)度規(guī)則）；數(shù)據(jù)質(zhì)量信息庫：存儲(chǔ)所有的數(shù)據(jù)質(zhì)量采集信息、告警信息、報(bào)告內(nèi)容以及數(shù)據(jù)據(jù)質(zhì)量問題處理信息等；數(shù)據(jù)質(zhì)量知識(shí)庫：存儲(chǔ)元數(shù)據(jù)變更監(jiān)控知識(shí)（介紹元數(shù)據(jù)內(nèi)容、變更監(jiān)控的原理以及元數(shù)據(jù)變更監(jiān)控的實(shí)例等）、數(shù)據(jù)質(zhì)量監(jiān)控知識(shí)（介紹數(shù)據(jù)質(zhì)量管理系統(tǒng)提供的質(zhì)量監(jiān)控方式、相應(yīng)規(guī)則配置、哪些環(huán)節(jié)應(yīng)當(dāng)實(shí)施監(jiān)控以及一些監(jiān)控實(shí)例等）以及數(shù)據(jù)質(zhì)量問題處理知識(shí)（記錄每次質(zhì)量問題的原因、改善方法等，以便再次碰到這個(gè)問題時(shí)可有參考）。功能層功能層包含了數(shù)據(jù)質(zhì)量管理系統(tǒng)的基礎(chǔ)功能，它為數(shù)據(jù)質(zhì)量管理的服務(wù)提供了基本的功能支撐，主要包括以下五個(gè)部分的功能：數(shù)據(jù)質(zhì)量監(jiān)控：數(shù)據(jù)質(zhì)量監(jiān)控是根據(jù)配置的規(guī)則庫，對采集數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控，對發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量情況進(jìn)行告警或形成報(bào)告的過程，包括關(guān)鍵實(shí)體監(jiān)控、實(shí)體關(guān)系監(jiān)控、明細(xì)匯總監(jiān)控、關(guān)鍵指標(biāo)監(jiān)控、規(guī)則配置以及告警管理等功能。元數(shù)據(jù)變更監(jiān)控：元數(shù)據(jù)變更監(jiān)控可以使得相關(guān)人員獲取數(shù)據(jù)處理過程中的實(shí)體變更或者處理過程變更信息（尤其是源系統(tǒng)的變更），調(diào)用元數(shù)據(jù)管理系統(tǒng)的相關(guān)分析功能對實(shí)體變更信息進(jìn)行影響分析，以對關(guān)鍵的變更信息進(jìn)行及時(shí)報(bào)警，將會(huì)引起的質(zhì)量問題盡早曝光。數(shù)據(jù)質(zhì)量報(bào)告：數(shù)據(jù)質(zhì)量報(bào)告是對數(shù)據(jù)質(zhì)量管理各環(huán)節(jié)累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計(jì)和分析，形成統(tǒng)計(jì)報(bào)告的過程，基本功能主要包括：報(bào)告生成、報(bào)告推送和報(bào)告歸檔。數(shù)據(jù)質(zhì)量知識(shí)庫：數(shù)據(jù)質(zhì)量知識(shí)庫作為質(zhì)量知識(shí)普及、質(zhì)量監(jiān)控配置指南以及質(zhì)量問題處理的經(jīng)驗(yàn)沉淀，希望對數(shù)據(jù)質(zhì)量關(guān)注人員提供一些幫助，包括知識(shí)產(chǎn)生和知識(shí)應(yīng)用。數(shù)據(jù)質(zhì)量對外服務(wù)：數(shù)據(jù)質(zhì)量對外服務(wù)負(fù)責(zé)數(shù)據(jù)質(zhì)量管理系統(tǒng)與外部系統(tǒng)的信息交互。功能層的詳細(xì)說明與要求，詳見第5章。系統(tǒng)技術(shù)結(jié)構(gòu)數(shù)據(jù)質(zhì)量管理系統(tǒng)的技術(shù)結(jié)構(gòu)包括數(shù)據(jù)質(zhì)量存儲(chǔ)庫、功能組件（采集組件與分析組件）、數(shù)據(jù)質(zhì)量控制臺(tái)和數(shù)據(jù)質(zhì)量對外服務(wù)接口等部分，如下圖所示。數(shù)據(jù)質(zhì)量存儲(chǔ)庫存儲(chǔ)數(shù)據(jù)質(zhì)量規(guī)則庫、數(shù)據(jù)質(zhì)量信息庫以及數(shù)據(jù)質(zhì)量知識(shí)庫的所有數(shù)據(jù)。功能組件數(shù)據(jù)質(zhì)量采集組件：數(shù)據(jù)質(zhì)量采集組件是構(gòu)成系統(tǒng)的重要組件。從數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)文件通過接口機(jī)進(jìn)入數(shù)據(jù)倉庫，并經(jīng)過ETL處理、倉庫處理、數(shù)據(jù)集市處理、數(shù)據(jù)應(yīng)用處理以及前端應(yīng)用處理等環(huán)節(jié)，在每個(gè)數(shù)據(jù)處理環(huán)節(jié)中，均需要根據(jù)業(yè)務(wù)特點(diǎn)部署數(shù)據(jù)質(zhì)量采集點(diǎn)，執(zhí)行與處理相關(guān)的數(shù)據(jù)采集功能。采集到的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)質(zhì)量存儲(chǔ)庫中，并作為監(jiān)控檢查的輸入。數(shù)據(jù)質(zhì)量分析組件：數(shù)據(jù)質(zhì)量監(jiān)控告警：由數(shù)據(jù)質(zhì)量采集組件輸入的采集數(shù)據(jù)，根據(jù)校驗(yàn)規(guī)則進(jìn)行質(zhì)量校驗(yàn)，判斷是否生成告警信息，推送告警，與USP交互，保存管理告警信息日志等。數(shù)據(jù)質(zhì)量報(bào)告生成：由數(shù)據(jù)質(zhì)量采集組件輸入的采集數(shù)據(jù)生成相關(guān)報(bào)告，推送報(bào)告，報(bào)告歸檔等。數(shù)據(jù)質(zhì)量規(guī)則引擎：負(fù)責(zé)將用戶配置的數(shù)據(jù)質(zhì)量規(guī)則庫，轉(zhuǎn)換為相應(yīng)的可執(zhí)行的SQL代碼，并輸送給數(shù)據(jù)質(zhì)量采集組件。元數(shù)據(jù)變更分析：負(fù)責(zé)和元數(shù)據(jù)管理系統(tǒng)的相關(guān)模塊進(jìn)行交互，得到實(shí)體或處理過程的變更信息，調(diào)用影響分析接口，得到變更將會(huì)影響到的實(shí)體或處理過程，并將影響列表發(fā)送給關(guān)注人。數(shù)據(jù)質(zhì)量控制臺(tái)數(shù)據(jù)質(zhì)量控制臺(tái)是相關(guān)人員操作的界面，包括規(guī)則庫的配置、信息庫的查詢以及知識(shí)庫的管理等?？刂婆_(tái)界面可以通過Portlet/iFrame等方式嵌入到數(shù)據(jù)門戶中。數(shù)據(jù)質(zhì)量對外服務(wù)接口對外服務(wù)接口是數(shù)據(jù)質(zhì)量管理系統(tǒng)提供給外部使用的服務(wù)接口，通過接口調(diào)用可以實(shí)現(xiàn)數(shù)據(jù)質(zhì)量告警或者報(bào)告的推送，與調(diào)度系統(tǒng)USP的交互，向元數(shù)據(jù)管理系統(tǒng)展示實(shí)體的數(shù)據(jù)質(zhì)量信息等。數(shù)據(jù)質(zhì)量管理詳細(xì)功能本章詳細(xì)說明元數(shù)據(jù)管理模塊的獲取層、存儲(chǔ)層和功能層的各項(xiàng)功能要求。數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量監(jiān)控是根據(jù)預(yù)先配置的規(guī)則或算法，進(jìn)行監(jiān)控?cái)?shù)據(jù)采集和規(guī)則校驗(yàn)，并依據(jù)稽核和檢查過程中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量異常情況進(jìn)行告警的過程。數(shù)據(jù)質(zhì)量監(jiān)控由四個(gè)主要功能環(huán)節(jié)構(gòu)成，包括關(guān)鍵實(shí)體監(jiān)控、實(shí)體關(guān)系監(jiān)控、明細(xì)匯總監(jiān)控以及關(guān)鍵指標(biāo)監(jiān)控。下面對每個(gè)功能環(huán)節(jié)分別進(jìn)行說明。關(guān)鍵實(shí)體監(jiān)控關(guān)鍵實(shí)體監(jiān)控是對數(shù)據(jù)處理所有環(huán)節(jié)中的單個(gè)關(guān)鍵實(shí)體對象進(jìn)行多方面的質(zhì)量監(jiān)控。行數(shù)：關(guān)鍵實(shí)體數(shù)據(jù)行數(shù)的同比環(huán)比或者閥值監(jiān)控。分布：關(guān)鍵實(shí)體關(guān)鍵域的值分布，即特定取值的行數(shù)與總行數(shù)的比例，可以有同比環(huán)比或者閥值的監(jiān)控?？罩担宏P(guān)鍵實(shí)體關(guān)鍵域的空值監(jiān)控，對實(shí)體關(guān)鍵域?yàn)榭盏男袛?shù)進(jìn)行監(jiān)控，可以有同比環(huán)比或者閥值的監(jiān)控。域范圍：關(guān)鍵實(shí)體關(guān)鍵域的取值范圍監(jiān)控，對實(shí)體關(guān)鍵域的取值范圍可以進(jìn)行樣本數(shù)據(jù)采集，監(jiān)控其區(qū)間值或枚舉值是否合理。關(guān)鍵域匯總：關(guān)鍵實(shí)體關(guān)鍵域的匯總值監(jiān)控，可以有同比環(huán)比或者閥值的監(jiān)控。唯一性：關(guān)鍵實(shí)體業(yè)務(wù)鍵值的唯一性監(jiān)控，即監(jiān)控是否有關(guān)鍵業(yè)務(wù)數(shù)據(jù)的重復(fù)。時(shí)效性：關(guān)鍵實(shí)體業(yè)務(wù)的實(shí)效性監(jiān)控，即關(guān)鍵實(shí)體對象的加工完成時(shí)間點(diǎn)要符合一定的業(yè)務(wù)需求。實(shí)體關(guān)系監(jiān)控引用完整性監(jiān)控：關(guān)鍵實(shí)體對維表引用或者其它實(shí)體引用時(shí)，是否會(huì)造成業(yè)務(wù)數(shù)據(jù)的缺失。實(shí)體一致性監(jiān)控：多個(gè)業(yè)務(wù)相關(guān)的關(guān)鍵實(shí)體間的一致性監(jiān)控，即實(shí)體行數(shù)的對比。域匯總值關(guān)系監(jiān)控：多個(gè)關(guān)鍵實(shí)體的關(guān)鍵域的匯總值之間關(guān)系的監(jiān)控，如匯總值要匹配或者匯總值1+匯總值2=匯總值3等明細(xì)匯總監(jiān)控對關(guān)鍵實(shí)體和其匯總表的關(guān)鍵域分別進(jìn)行匯總，對比匯總值，在業(yè)務(wù)平衡上要求其值基本一致，如訂單明細(xì)表的金額和訂單匯總表的金額對比。關(guān)鍵指標(biāo)監(jiān)控對關(guān)鍵業(yè)務(wù)指標(biāo)的監(jiān)控，包括指標(biāo)波動(dòng)、指標(biāo)平衡以及閥值監(jiān)控。指標(biāo)波動(dòng)：對關(guān)鍵業(yè)務(wù)指標(biāo)的值進(jìn)行監(jiān)控，計(jì)算其同比、環(huán)比的波動(dòng)，以及節(jié)假日對指標(biāo)值的影響。指標(biāo)平衡：對多個(gè)相關(guān)的業(yè)務(wù)指標(biāo)進(jìn)行平衡監(jiān)控，使其在業(yè)務(wù)層面上比較合理，如指標(biāo)A=（B+C）×系數(shù)。指標(biāo)閥值：對關(guān)鍵業(yè)務(wù)指標(biāo)的閥值如果預(yù)先可以估計(jì)，則可以設(shè)置監(jiān)控，提前發(fā)現(xiàn)其異常值。元數(shù)據(jù)變更監(jiān)控源系統(tǒng)的業(yè)務(wù)流程變更或庫表、維度以及數(shù)據(jù)處理過程變更，可能會(huì)引起一系列潛在的數(shù)據(jù)質(zhì)量問題。元數(shù)據(jù)變更監(jiān)控可以使得相關(guān)人員獲取數(shù)據(jù)處理過程中的實(shí)體變更或者處理過程變更信息（尤其是源系統(tǒng)的變更），調(diào)用元數(shù)據(jù)管理系統(tǒng)的相關(guān)分析功能對實(shí)體變更信息進(jìn)行影響分析，以對關(guān)鍵的變更信息進(jìn)行及時(shí)報(bào)警，將會(huì)引起的質(zhì)量問題盡早曝光。數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量報(bào)告是對數(shù)據(jù)質(zhì)量管理系統(tǒng)累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計(jì)和分析，形成統(tǒng)計(jì)報(bào)告的過程。數(shù)據(jù)質(zhì)量報(bào)告提供了一個(gè)集中展示數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量狀況的窗口，數(shù)據(jù)質(zhì)量關(guān)注人員對數(shù)據(jù)質(zhì)量報(bào)告進(jìn)行分析討論，以總結(jié)經(jīng)驗(yàn)、沉淀知識(shí)和改進(jìn)方法，不斷提高數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量問題的處理能力。報(bào)告生成數(shù)據(jù)質(zhì)量報(bào)告按照統(tǒng)計(jì)方式不同可以分為兩方面內(nèi)容：數(shù)據(jù)質(zhì)量事項(xiàng)列表報(bào)告和數(shù)據(jù)質(zhì)量事項(xiàng)匯總統(tǒng)計(jì)分析報(bào)告。數(shù)據(jù)質(zhì)量事項(xiàng)列表統(tǒng)計(jì)報(bào)告數(shù)據(jù)質(zhì)量事項(xiàng)列表統(tǒng)計(jì)報(bào)告是對各種日常監(jiān)控的數(shù)據(jù)如告警、問題接收與處理、知識(shí)錄入等進(jìn)行詳細(xì)列表統(tǒng)計(jì)的過程，包括對象名稱、發(fā)生時(shí)間、級別、狀態(tài)、結(jié)果等相關(guān)屬性信息。數(shù)據(jù)質(zhì)量事項(xiàng)匯總統(tǒng)計(jì)報(bào)告數(shù)據(jù)質(zhì)量事項(xiàng)匯總統(tǒng)計(jì)報(bào)告是對一段時(shí)間的監(jiān)控?cái)?shù)據(jù)或質(zhì)量評估的結(jié)果做匯總性分析的過程，包括但不限于以下：數(shù)據(jù)事項(xiàng)總數(shù)量：指在一定時(shí)間范圍內(nèi)，出現(xiàn)數(shù)據(jù)質(zhì)量事項(xiàng)的總數(shù)量（包括重復(fù)出現(xiàn)次數(shù)）；問題處理完成比率：指在一定時(shí)間范圍內(nèi)，處理完成的數(shù)據(jù)質(zhì)量問題數(shù)量與數(shù)據(jù)質(zhì)量問題總數(shù)量的比值；問題平均處理時(shí)長：指在一定時(shí)間范圍內(nèi)，數(shù)據(jù)質(zhì)量問題處理總時(shí)長與數(shù)據(jù)質(zhì)量問題總數(shù)量的比值；重大事項(xiàng)出現(xiàn)次數(shù)：指在一定時(shí)間范圍內(nèi)，出現(xiàn)重大數(shù)據(jù)質(zhì)量事項(xiàng)的次數(shù)；數(shù)據(jù)質(zhì)量綜合評估：指綜合評估某一集合數(shù)據(jù)的質(zhì)量狀況。報(bào)告發(fā)布質(zhì)量報(bào)告根據(jù)不同數(shù)據(jù)源和不同周期定期或根據(jù)訂閱要求在質(zhì)量報(bào)告模塊上進(jìn)行發(fā)布。從時(shí)間周期上可分為日報(bào)告、周報(bào)告、月報(bào)告、季報(bào)告和年報(bào)告等，還可從報(bào)告級別或地域維度等維度對報(bào)告內(nèi)容進(jìn)行分類。數(shù)據(jù)質(zhì)量報(bào)告的發(fā)布要求具備一定的時(shí)效性。數(shù)據(jù)質(zhì)量報(bào)告的發(fā)布需與用戶的角色和權(quán)限對應(yīng)，用戶應(yīng)在所賦權(quán)限范圍內(nèi)查看質(zhì)量報(bào)告，數(shù)據(jù)質(zhì)量報(bào)告按需采用界面或EMAIL等方式發(fā)送給相關(guān)質(zhì)量關(guān)注人員。報(bào)告歸檔數(shù)據(jù)質(zhì)量報(bào)告是數(shù)據(jù)質(zhì)量子系統(tǒng)的一種知識(shí)沉淀方式，包括了數(shù)據(jù)質(zhì)量管理各個(gè)環(huán)節(jié)的統(tǒng)計(jì)數(shù)據(jù)、分析結(jié)果和處理意見。數(shù)據(jù)質(zhì)量報(bào)告的歸檔可以將相關(guān)報(bào)告按照分類如模塊、時(shí)間和級別等知識(shí)庫格式要求歸檔到數(shù)據(jù)質(zhì)量知識(shí)庫中，作為后續(xù)數(shù)據(jù)質(zhì)量問題處理和分析的參照。另外質(zhì)量報(bào)告歸檔要求可以將報(bào)告導(dǎo)出成文件（Excel、Text或其他格式），存放到文件服務(wù)器中以方便查詢和調(diào)閱。數(shù)據(jù)質(zhì)量知識(shí)庫數(shù)據(jù)質(zhì)量知識(shí)主要來源于對數(shù)據(jù)質(zhì)量問題的總結(jié)，同時(shí)，對數(shù)據(jù)質(zhì)量問題的不同解決方案，以及對知識(shí)本身的評價(jià)，也是對數(shù)據(jù)質(zhì)量知識(shí)的補(bǔ)充與完善。通過數(shù)據(jù)質(zhì)量管理系統(tǒng)的知識(shí)庫管理界面可以提交數(shù)據(jù)質(zhì)量知識(shí)。數(shù)據(jù)質(zhì)量知識(shí)庫中包括了以下經(jīng)驗(yàn)的集合：元數(shù)據(jù)變更監(jiān)控知識(shí)（介紹元數(shù)據(jù)內(nèi)容、變更監(jiān)控的原