數(shù)據(jù)治理系列5：淺談數(shù)據(jù)質(zhì)量管理

1、數(shù)據(jù)治理系列5:淺談數(shù)據(jù)質(zhì)量管理“數(shù)據(jù)質(zhì)量理是對數(shù)據(jù)從計劃、獲取、存儲、共享、維護(hù)、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問題，進(jìn)行識別、度量、監(jiān)控、預(yù)警系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)步提高。數(shù)據(jù)質(zhì)量管理的終極目標(biāo)是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值，并最終為企業(yè)贏得經(jīng)濟(jì)效益?！币灰灰陨蟽?nèi)容摘自百度百科。筆者觀點(diǎn)：“數(shù)據(jù)質(zhì)量管理不單純是一個概念，也不單純是一項(xiàng)技術(shù)、也不單純是一個系統(tǒng)，更不單純是一套管理流程，數(shù)據(jù)質(zhì)理是一個集方法論、技術(shù)、業(yè)務(wù)和理為一體的解決方案。通過有效的數(shù)據(jù)質(zhì)量控制手段，進(jìn)行數(shù)據(jù)的管理和控制，消除數(shù)據(jù)質(zhì)量問題進(jìn)而提升企業(yè)數(shù)據(jù)變現(xiàn)的

2、能力。在數(shù)據(jù)治理過程中，一切業(yè)務(wù)、技術(shù)和管理活動都圍繞這個目標(biāo)和開展”。數(shù)據(jù)質(zhì)量問題盤點(diǎn)接下來我們盤點(diǎn)下企業(yè)一般都會遇到哪些數(shù)據(jù)質(zhì)量問題:靠的原始統(tǒng)計數(shù)據(jù)是企業(yè)統(tǒng)計工作的靈魂，是一切管理工作的基礎(chǔ)，是經(jīng)營者進(jìn)行正確經(jīng)營決策必不可少的第一手資料。數(shù)據(jù)崖曲疆準(zhǔn)確性血可靠性是用于分析和識別哪疊是不準(zhǔn)確的或圖的數(shù)據(jù)，不可靠的數(shù)據(jù)可能會導(dǎo)致嚴(yán)重的問題，會造成有缺陷的方法和糟糕的決策。協(xié)同、流程無法追溯的重要因素，也是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。數(shù)據(jù)完整性:數(shù)據(jù)完整性問題包括：模型設(shè)計不完整，例如：唯一性約束不完整、參照不完整；數(shù)據(jù)條目不完整，例如：數(shù)據(jù)記錄丟失或不可用；數(shù)據(jù)屬性不完整，例如：數(shù)據(jù)

3、屬性空值。不完整的數(shù)據(jù)所能借鑒的價值就會大大降低，也是數(shù)據(jù)質(zhì)量問題最為基礎(chǔ)和常見的一類問題。致、約束規(guī)則不一致。數(shù)據(jù)實(shí)體不一致，例如：數(shù)據(jù)編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致。相同的數(shù)據(jù)有多個副本的情況下的數(shù)據(jù)不一致、數(shù)據(jù)內(nèi)容沖突的問題。數(shù)據(jù)理聯(lián)性：數(shù)據(jù)關(guān)聯(lián)性問!題是指存在數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)關(guān)系缺失或錯誤例如:函數(shù)關(guān)系、相關(guān)系數(shù)、主外鍵關(guān)系、索引關(guān)系等。存在數(shù)據(jù)關(guān)聯(lián)性問題，會直接影響數(shù)據(jù)分析的結(jié)果，進(jìn)而影響管理決策。數(shù)據(jù)弟性：數(shù)尉S及時性（InMm是指能否在需要的時候獲到數(shù)據(jù)據(jù)I的及時性與企業(yè)的數(shù)據(jù)處理速度及效率有直接的關(guān)系，是影響業(yè)務(wù)處理和管理效率的關(guān)鍵指標(biāo)。數(shù)據(jù)質(zhì)量問題

4、根因分析說到數(shù)據(jù)質(zhì)量問題的原因，做過BI或數(shù)倉項(xiàng)目的小伙伴肯定都知道，這是一個業(yè)務(wù)和技術(shù)經(jīng)常扯來扯去、互相推諉的問題。在很多情況下，企業(yè)都會把數(shù)據(jù)質(zhì)量問題推給技術(shù)部門，讓技術(shù)部門去查找和處理。但是企業(yè)的數(shù)據(jù)質(zhì)量問題真的都是技術(shù)引起的嗎，技術(shù)部門人一定會說：“這個鍋我不背！”其實(shí)，影響數(shù)據(jù)質(zhì)量的因素主要就技術(shù)、業(yè)務(wù)、管理三個方面，下面我們就來從這三方面分析下產(chǎn)生數(shù)據(jù)質(zhì)量問題都有哪些原因。1、技術(shù)方面數(shù)據(jù)模型設(shè)計的質(zhì)量問題，例如：數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)庫約束條件、數(shù)據(jù)校驗(yàn)規(guī)則的設(shè)計開發(fā)不合理，造成數(shù)據(jù)錄入無法校驗(yàn)或校驗(yàn)不當(dāng)，引起數(shù)據(jù)重復(fù)、不完整、不準(zhǔn)確。數(shù)據(jù)源存在數(shù)據(jù)質(zhì)量問題，例如：有些數(shù)據(jù)是從生產(chǎn)系

5、統(tǒng)采集過來的，在生產(chǎn)系統(tǒng)中這些數(shù)據(jù)就存在重復(fù)、不完整、不準(zhǔn)確等問題，而采集過程有沒有對這些問題做清洗處理，這種情況也比較常見。數(shù)據(jù)采集過程質(zhì)量問題，例如：采集點(diǎn)、采集頻率、采集內(nèi)容、映射關(guān)系等采集參數(shù)和流程設(shè)置的不正確，數(shù)據(jù)采集接口效率低，導(dǎo)致的數(shù)據(jù)采集失敗、數(shù)據(jù)丟失、數(shù)據(jù)映射和轉(zhuǎn)換失敗。數(shù)據(jù)傳輸過程的問題，例如：數(shù)據(jù)接口本身存在問題、數(shù)據(jù)接口參數(shù)配置錯誤、網(wǎng)絡(luò)不可靠等都會造成數(shù)據(jù)傳輸過程中的發(fā)生數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)裝載過程的問題，例如：數(shù)據(jù)清洗規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)裝載規(guī)則配置有問題。數(shù)據(jù)存儲的質(zhì)量問題，例如：數(shù)據(jù)存儲設(shè)計不合理，數(shù)據(jù)的存儲能力有限，人為后臺調(diào)整數(shù)據(jù)，引起的數(shù)據(jù)丟失、數(shù)據(jù)無效

6、、數(shù)據(jù)失真、記錄重復(fù)。業(yè)務(wù)系統(tǒng)各自為政，煙囪式建設(shè)，系統(tǒng)之間的數(shù)據(jù)不一致問題嚴(yán)重。2、業(yè)務(wù)方面業(yè)務(wù)需求不清晰，例如：數(shù)據(jù)的業(yè)務(wù)描述、業(yè)務(wù)規(guī)則不清晰，導(dǎo)致技術(shù)無法構(gòu)建出合理、正確的數(shù)據(jù)模型。業(yè)務(wù)需求的變更，這個問題其實(shí)是對數(shù)據(jù)質(zhì)量影響非常大的，需求一變，數(shù)據(jù)模型設(shè)計、數(shù)據(jù)錄入、數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)存儲等環(huán)節(jié)都會受到影響，稍有不慎就會導(dǎo)致數(shù)據(jù)質(zhì)量問題的發(fā)生。業(yè)務(wù)端數(shù)據(jù)輸入不規(guī)范，常見的數(shù)據(jù)錄入問題，如：大小寫、全半角、特殊字符等一不小心就會錄錯。人工錄入的數(shù)據(jù)質(zhì)量與錄數(shù)據(jù)的業(yè)務(wù)人員密切相關(guān)，錄數(shù)據(jù)的人工作嚴(yán)謹(jǐn)、認(rèn)真，數(shù)據(jù)質(zhì)量就相對較好，反之就較差。數(shù)據(jù)作假，對，你沒看錯，就是數(shù)據(jù)作假

7、！操作人員為了提高或降低考核指標(biāo)，對一些數(shù)據(jù)進(jìn)行處理，使得數(shù)據(jù)真實(shí)性無法保證。3、管理方面認(rèn)知問題。企業(yè)管理缺乏數(shù)據(jù)思維，沒有認(rèn)識到數(shù)據(jù)質(zhì)量的重要性，重系統(tǒng)而輕數(shù)據(jù)，認(rèn)為系統(tǒng)是萬能的，數(shù)據(jù)質(zhì)量差些也沒關(guān)系。沒有明確數(shù)據(jù)歸口管理部門或崗位，缺乏數(shù)據(jù)認(rèn)責(zé)機(jī)制，出現(xiàn)數(shù)據(jù)質(zhì)量問題找不到負(fù)責(zé)人。缺乏數(shù)據(jù)規(guī)劃，沒有明確的數(shù)據(jù)質(zhì)量目標(biāo)，沒有制定數(shù)據(jù)質(zhì)量相關(guān)的政策和制度。數(shù)據(jù)輸入規(guī)范不統(tǒng)一，不同的業(yè)務(wù)部門、不同的時間、甚至在處理相同業(yè)務(wù)的時候，由于數(shù)據(jù)輸入規(guī)范不同，造成數(shù)據(jù)沖突或矛盾。缺乏有效的數(shù)據(jù)質(zhì)量問題處理機(jī)制，數(shù)據(jù)質(zhì)量問題從發(fā)現(xiàn)、指派、處理、優(yōu)化沒有一個統(tǒng)一的流程和制度支撐，數(shù)據(jù)質(zhì)量問題無法閉環(huán)。缺乏有

8、效的數(shù)據(jù)管控機(jī)制，對歷史數(shù)據(jù)質(zhì)量檢查、新增數(shù)據(jù)質(zhì)量校驗(yàn)沒有明確和有效的控制措施，出現(xiàn)數(shù)據(jù)質(zhì)量問題無法考核。小結(jié)：影響數(shù)據(jù)質(zhì)量的因素，可以總結(jié)為兩類，客觀因素和主觀因素?？陀^因素：在數(shù)據(jù)各環(huán)節(jié)流轉(zhuǎn)中，由于系統(tǒng)異常和流程設(shè)置不當(dāng)?shù)纫蛩兀瑥亩鸬臄?shù)據(jù)質(zhì)量問題。主觀因素：在數(shù)據(jù)各環(huán)節(jié)處理中，由于人員素質(zhì)低和管理缺陷等因素，從而操作不當(dāng)而引起的數(shù)據(jù)質(zhì)量問題。三、數(shù)據(jù)質(zhì)量管理的方法論在數(shù)據(jù)治理方面，不論是國際的還是國內(nèi)的，我們能找到很多數(shù)據(jù)治理成熟度評估模型這樣的理論框架，作為企業(yè)實(shí)施的指引。而說到數(shù)據(jù)質(zhì)量管理的方法論，其實(shí)業(yè)內(nèi)還沒有一套科學(xué)、完整的數(shù)據(jù)質(zhì)量管理的體系。很多企業(yè)對數(shù)據(jù)質(zhì)量的重視程度還不夠

9、，即使部分企業(yè)在朝著這個方向努力，也是摸著石頭過河。數(shù)據(jù)是數(shù)字化時代企業(yè)的重要資產(chǎn)，數(shù)據(jù)可以以產(chǎn)品或服務(wù)的形態(tài)為企業(yè)創(chuàng)造價值。既然數(shù)據(jù)可以是產(chǎn)品、可以是服務(wù)，那問題就簡單了。雖然數(shù)據(jù)質(zhì)量管理沒有成熟方法論支撐，但是產(chǎn)品和服務(wù)的質(zhì)量管理體系卻已非常的成熟了，何不嘗試用產(chǎn)品和服務(wù)的質(zhì)量管理體系來管理數(shù)據(jù)質(zhì)量？！那國際上最權(quán)威的質(zhì)量管理體系IOS9OO1是否也適用于企業(yè)的數(shù)據(jù)質(zhì)量管理呢？下圖是ISO9001基于PDCA的質(zhì)量管理核心思想，其重點(diǎn)強(qiáng)調(diào)以客戶為關(guān)注焦點(diǎn)、領(lǐng)導(dǎo)作用、全員參與、過程方法、持續(xù)改進(jìn)、循證決策和關(guān)系管理。注：圖中的數(shù)字代表的是本標(biāo)準(zhǔn)在ISO9O01的相關(guān)章節(jié)，無業(yè)務(wù)含義。以下內(nèi)容

10、是根據(jù)筆者對質(zhì)量體系相關(guān)資料的查閱和粗淺理解，給出數(shù)據(jù)質(zhì)量管理的方法論，不免有所偏誤，歡迎拍磚和指正。依據(jù)IS09001以及企業(yè)在數(shù)據(jù)治理方面的相關(guān)經(jīng)驗(yàn)，筆者認(rèn)為企業(yè)數(shù)據(jù)質(zhì)量管理應(yīng)從以下幾個方面著手：1、組織環(huán)境我們在數(shù)據(jù)治理框架、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理等章節(jié)，都提到了組織機(jī)構(gòu)的設(shè)置，這里再次強(qiáng)調(diào)一個強(qiáng)有力的數(shù)據(jù)管理組織的建設(shè)是數(shù)據(jù)治理項(xiàng)目成功的最根本的保證。其作業(yè)是兩個層面：一是在制度層面，制定企業(yè)數(shù)據(jù)治理的相關(guān)制度和流程，并在企業(yè)內(nèi)推廣，融入企業(yè)文化。二是在執(zhí)行層面，為各項(xiàng)業(yè)務(wù)應(yīng)用提供高可靠的數(shù)據(jù)。為了改進(jìn)和提高數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從管理入手，對數(shù)據(jù)運(yùn)行的全過程進(jìn)行監(jiān)

11、控，強(qiáng)化全面數(shù)據(jù)質(zhì)量管理的思想觀念，把這一觀念滲透到數(shù)據(jù)生命周期的全過程。數(shù)據(jù)質(zhì)量問題是影響系統(tǒng)運(yùn)行、業(yè)務(wù)效率、決策能力的重要因素，在數(shù)字化時代，數(shù)據(jù)質(zhì)量問題影響的不僅僅是信息化建設(shè)的成敗，更是影響企業(yè)降本增效、業(yè)務(wù)創(chuàng)新的核心要素，對于數(shù)據(jù)質(zhì)量問題的管理，深度執(zhí)行的總體策略“垃圾進(jìn)，垃圾出(garbagein，garbageout)”，采用事前預(yù)防控制、事中過程控制、事后監(jiān)督控制的方式進(jìn)行數(shù)據(jù)質(zhì)量問題的管理和控制，持續(xù)提升企業(yè)數(shù)據(jù)質(zhì)量水平。關(guān)于質(zhì)量問題的分析，筆者推薦采用經(jīng)典的六西格瑪（縮寫：6?；?Sigma）,六西格瑪是一種改善企業(yè)質(zhì)量流程管理的技術(shù)，以“零缺陷”的完美商業(yè)追求，以客戶為導(dǎo)

12、向，以業(yè)界最佳為目標(biāo)，以數(shù)據(jù)為基礎(chǔ)，以事實(shí)為依據(jù)，以流程績效和財務(wù)評價為結(jié)果，持續(xù)改進(jìn)企業(yè)經(jīng)營管理的思想方法、實(shí)踐活動和文化理念。六西格瑪重點(diǎn)強(qiáng)調(diào)質(zhì)量的持續(xù)改進(jìn)，對于數(shù)據(jù)質(zhì)問題的分析和管理，該方法依然適用。（1）定義階段（D階段）。界定數(shù)據(jù)質(zhì)量治理的范圍，并將數(shù)據(jù)質(zhì)量改進(jìn)的方向和內(nèi)容界定在合理的范圍內(nèi)。通過使用主數(shù)據(jù)識別法、專家小組法、問卷調(diào)查法、漏斗法等方法，定義出數(shù)據(jù)治理的對象和范圍。企業(yè)數(shù)據(jù)質(zhì)量治理對象一般主要包括兩類數(shù)據(jù)：一類是操作型數(shù)據(jù)，例如：主數(shù)據(jù)、參照數(shù)據(jù)和交易數(shù)據(jù)。另一類是分析型數(shù)據(jù)，例如：主題數(shù)據(jù)、指標(biāo)數(shù)據(jù)等。注：根據(jù)筆者經(jīng)驗(yàn)以及80/20法則，企業(yè)的數(shù)據(jù)質(zhì)問題80%是由于管

13、理不當(dāng)或業(yè)務(wù)操作不規(guī)范弓I起的，參考：主數(shù)據(jù)的3大特點(diǎn)、4個超越和三個80/20原則。（2）測量階段（M階段）。在定義出數(shù)據(jù)治理對象和內(nèi)容后，需要選取以下若干個指標(biāo)來作為數(shù)據(jù)質(zhì)量評價指標(biāo)，建立數(shù)據(jù)質(zhì)量評估模型，對企業(yè)的數(shù)據(jù)進(jìn)行評估和測量。常用的數(shù)據(jù)質(zhì)量評價指標(biāo)就是我們上述提到的：數(shù)據(jù)唯一性、數(shù)據(jù)完整性、數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時性等。（3）分析階段（A階段）。基于數(shù)據(jù)質(zhì)量評估模型，執(zhí)行數(shù)據(jù)質(zhì)量分析任務(wù)，通過數(shù)據(jù)分析，找到發(fā)生數(shù)據(jù)質(zhì)量問題的重災(zāi)區(qū)，確定出影響數(shù)據(jù)質(zhì)量的關(guān)鍵因素。數(shù)據(jù)治理和大數(shù)據(jù)分析是密不可分的，數(shù)據(jù)治理的目標(biāo)是提升數(shù)據(jù)質(zhì)量從而提高數(shù)據(jù)分析的準(zhǔn)確性，而大數(shù)據(jù)分析技

14、術(shù)也可反向作用于數(shù)據(jù)治理，通過大數(shù)據(jù)分析算法和大數(shù)據(jù)可視化技術(shù)，能夠更準(zhǔn)確、更直觀的定位到發(fā)生數(shù)據(jù)質(zhì)量問題的癥結(jié)所在。該階段可以用的大數(shù)據(jù)技術(shù)包括：回歸分析、因子分析、魚骨圖分析、帕累托分析、矩陣數(shù)據(jù)分析等。（4）改進(jìn)階段（I階段）。通過制定改進(jìn)管理和業(yè)務(wù)流程、優(yōu)化數(shù)據(jù)質(zhì)量的方案，消除數(shù)據(jù)質(zhì)量問題或?qū)?shù)據(jù)質(zhì)量問題帶來的影響降低到最小程度。我們一直在強(qiáng)調(diào)數(shù)據(jù)質(zhì)量的優(yōu)化和提升，絕不單單是技術(shù)問題，應(yīng)從管理和業(yè)務(wù)入手，找出數(shù)據(jù)質(zhì)量問題發(fā)生的根因，再對癥下藥。同時，數(shù)據(jù)質(zhì)量管理是一個持續(xù)優(yōu)化的過程，需要企業(yè)全員參與，并逐步培養(yǎng)起全員的數(shù)據(jù)質(zhì)量意識和數(shù)據(jù)思維。該過程主要用到方法：流程再造、績效激勵等。（

15、5）控制階段（C階段）。固化數(shù)據(jù)標(biāo)準(zhǔn)，優(yōu)化數(shù)據(jù)管理流程，并通過數(shù)據(jù)管理和監(jiān)控手段，確保流程改進(jìn)成果，提升數(shù)據(jù)質(zhì)量。主要方法有：標(biāo)準(zhǔn)化、程序化、制度化等。數(shù)據(jù)質(zhì)量監(jiān)控可以分為數(shù)據(jù)質(zhì)量的事前預(yù)防控制、事中過程控制和事后監(jiān)督控制：事前預(yù)防控制建立數(shù)據(jù)標(biāo)準(zhǔn)化模型，對每個數(shù)據(jù)元素的業(yè)務(wù)描述、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則、管理規(guī)則、采集規(guī)則進(jìn)行清晰的定義，以上的數(shù)據(jù)質(zhì)量的校驗(yàn)規(guī)則、采集規(guī)則本身也是一種數(shù)據(jù)，在元數(shù)據(jù)中定義。面對龐大的數(shù)據(jù)種類和結(jié)構(gòu)，如果沒有元數(shù)據(jù)來描述這些數(shù)據(jù)，使用者無法準(zhǔn)確地獲取所需信息。正是通過元數(shù)據(jù)，使得數(shù)據(jù)才可以被理解、使用，才會產(chǎn)生價值。構(gòu)建數(shù)據(jù)分類和編碼體系，形成企業(yè)數(shù)據(jù)資源目

16、錄，讓用戶能夠輕松地查找和定位到相關(guān)的數(shù)據(jù)。實(shí)踐告訴我們做好元數(shù)據(jù)管理，是預(yù)防數(shù)據(jù)質(zhì)量問題的基礎(chǔ)。用戶-實(shí)薦對-f-齊序迫區(qū)tgl吉翼助對ItSJKflE-莒iif親則為歎據(jù)庫的剝血僵名T-SQLS5QL的加來版at培is童約車-元數(shù)據(jù)模型妄全一報內(nèi)9H.還應(yīng)采宦核則-戴丸站城-H15華嘲1迎-苗展定義戦懾芒訶扯曲攔討T-SQL#-數(shù)據(jù)質(zhì)量問題的預(yù)防控制最有效的方法就是找出發(fā)生數(shù)據(jù)質(zhì)量問題的根本原因并采取相關(guān)的策略進(jìn)行解決。1）確定根本原因：確定引起數(shù)據(jù)質(zhì)量問題的相關(guān)因素，并區(qū)分它們的優(yōu)先次序，以及為解決這些問題形成具體的建議。2）制定和實(shí)施改進(jìn)方案：最終確定關(guān)于行動的具體建議和措施，基于這些

17、建議制定并且執(zhí)行提高方案，預(yù)防未來數(shù)據(jù)質(zhì)量問題的發(fā)生。事中過程控制事中數(shù)據(jù)質(zhì)量的控制，即在數(shù)據(jù)的維護(hù)和使用過程中去監(jiān)控和處理數(shù)據(jù)質(zhì)量。通過建立數(shù)據(jù)質(zhì)量的流程化控制體系，對數(shù)據(jù)的新建、變更、采集、加工、裝載、應(yīng)用等各個環(huán)節(jié)進(jìn)行流程化控制。數(shù)據(jù)質(zhì)量的過程控制，要做好兩個強(qiáng)化：（1）強(qiáng)化數(shù)據(jù)的標(biāo)準(zhǔn)化生產(chǎn)，從數(shù)據(jù)的源頭控制好數(shù)據(jù)質(zhì)量，該過程可以采用系統(tǒng)自動化校驗(yàn)和人工干預(yù)審核相結(jié)合的方式進(jìn)行管理，數(shù)據(jù)的新增和變更方面通過系統(tǒng)進(jìn)行數(shù)據(jù)校驗(yàn)，對于不符合質(zhì)量規(guī)則的數(shù)據(jù)不允許保持，另一方面采集流程驅(qū)動的數(shù)據(jù)管理模式，數(shù)據(jù)的新增和變更操作都需要人工進(jìn)行審核，只有審核通過才能生效。（2）強(qiáng)化數(shù)據(jù)質(zhì)量預(yù)警機(jī)制，對于

18、數(shù)據(jù)質(zhì)量邊界模糊的數(shù)據(jù)采用數(shù)據(jù)質(zhì)量預(yù)警機(jī)制。數(shù)據(jù)預(yù)警機(jī)制是對數(shù)據(jù)相似性和數(shù)據(jù)關(guān)聯(lián)性指標(biāo)的重要控制方法。針對待管理的數(shù)據(jù)元素，配置數(shù)據(jù)相似性算法或數(shù)據(jù)關(guān)聯(lián)性算法，在數(shù)據(jù)新增、變更、處理、應(yīng)用等環(huán)節(jié)調(diào)用預(yù)置的數(shù)據(jù)質(zhì)量算法，進(jìn)行相識度或關(guān)聯(lián)性分析，并給出數(shù)據(jù)分析的結(jié)果。數(shù)據(jù)預(yù)警機(jī)制常用在業(yè)務(wù)活動的交易風(fēng)險控制等場景。事后監(jiān)督控制是不是我們最好了事前預(yù)防控制和事中過程控制，就不會再有數(shù)據(jù)質(zhì)量問題的發(fā)生了？答案顯然是否定的。而事實(shí)上，不論我們做了多少預(yù)防措施、多嚴(yán)格的過程控制，總是還有數(shù)據(jù)質(zhì)量問題的“漏網(wǎng)之魚”，你會發(fā)現(xiàn)只要是人為干預(yù)的過程，總會存在數(shù)據(jù)質(zhì)量的問題。數(shù)據(jù)質(zhì)量問題一旦產(chǎn)生就已經(jīng)是“木已成舟

19、”，為了避免或減低其對業(yè)務(wù)的影響，我們需要及時的發(fā)現(xiàn)它。這里，數(shù)據(jù)質(zhì)量的事后監(jiān)督控制就尤為重要了。定期開展數(shù)據(jù)質(zhì)量的檢查和清洗工作應(yīng)作為企業(yè)數(shù)據(jù)質(zhì)量治理的常態(tài)工作來抓。1）設(shè)置數(shù)據(jù)質(zhì)量規(guī)則。基于數(shù)據(jù)的元模型配置數(shù)據(jù)質(zhì)量規(guī)則，即針對不同的數(shù)據(jù)對象，配置相應(yīng)的數(shù)據(jù)質(zhì)量指標(biāo)，不限于：數(shù)據(jù)唯一性、數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時性等。2）設(shè)置數(shù)據(jù)檢查任務(wù)。設(shè)置成手動執(zhí)行或定期自動執(zhí)行的系統(tǒng)任務(wù)，通過執(zhí)行檢查任務(wù)對存量數(shù)據(jù)進(jìn)行檢查，形成數(shù)據(jù)質(zhì)量問題清單。3）出具數(shù)據(jù)質(zhì)量問題報告。根據(jù)數(shù)據(jù)質(zhì)量問題清單匯總形成數(shù)據(jù)質(zhì)量報告，數(shù)據(jù)質(zhì)量報告支持查詢、下載等操作。4）制定和實(shí)施數(shù)據(jù)質(zhì)量改進(jìn)

20、方案，進(jìn)行數(shù)據(jù)質(zhì)量問題的處理。5）評估與考核。通過定期對系統(tǒng)開展全面的數(shù)據(jù)質(zhì)量狀況評估，從問題率、解決率、解決時效等方面建立評價指標(biāo)進(jìn)行整改評估，根據(jù)整改優(yōu)化結(jié)果，進(jìn)行適當(dāng)?shù)目冃Э己?。筆者觀點(diǎn)：數(shù)據(jù)治理的“常態(tài)化”才是數(shù)據(jù)質(zhì)量問題的最好解決方式，而要實(shí)現(xiàn)常態(tài)化治理就需要改變原來的企業(yè)組織形式、管理流程、轉(zhuǎn)變觀念，以適應(yīng)這種變化。數(shù)據(jù)治理的“常態(tài)化”要經(jīng)得起折騰，所以千萬不能老做些重新發(fā)明輪子的亊情！5、數(shù)據(jù)全周期理數(shù)據(jù)的生命周期從數(shù)據(jù)規(guī)劃開始，中間是一個包括設(shè)計、創(chuàng)建、處理、部署、應(yīng)用、監(jiān)控、存檔、銷毀這幾個階段并不斷循環(huán)的過程。企業(yè)的數(shù)據(jù)質(zhì)量管理應(yīng)貫穿數(shù)據(jù)生命周期的全過程，覆蓋數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)劃設(shè)計、數(shù)據(jù)的建模、數(shù)據(jù)質(zhì)量的監(jiān)控、數(shù)據(jù)問題診斷、數(shù)據(jù)清洗、優(yōu)化完善等方面。(1)數(shù)據(jù)規(guī)劃。從企業(yè)戰(zhàn)略的角度不斷完善企業(yè)數(shù)