數(shù)據(jù)質(zhì)量管理

1、數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量量管理1、什么是是數(shù)據(jù)質(zhì)質(zhì)量2、為什么么要建立立數(shù)據(jù)質(zhì)質(zhì)量管理理體系3、數(shù)據(jù)質(zhì)質(zhì)量管理的范圍4、數(shù)據(jù)質(zhì)質(zhì)量管理理項(xiàng)目構(gòu)構(gòu)架什么是數(shù)數(shù)據(jù)質(zhì)量量何謂數(shù)據(jù)據(jù)質(zhì)量可可從兩個(gè)個(gè)方面來(lái)來(lái)理解：第一：數(shù)數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量量數(shù)據(jù)的真實(shí)性：數(shù)據(jù)必須真實(shí)實(shí)準(zhǔn)確的的反映實(shí)實(shí)際發(fā)生生的業(yè)務(wù)務(wù)。數(shù)據(jù)的完備性：數(shù)據(jù)的完備性性是說(shuō)數(shù)數(shù)據(jù)是充充分的，任何有有關(guān)操作作的數(shù)據(jù)據(jù)都沒(méi)有有被遺漏。什么是數(shù)數(shù)據(jù)質(zhì)量量數(shù)據(jù)的自自洽性：數(shù)據(jù)并不不是孤立立存在的的，數(shù)據(jù)據(jù)之間往往往存在在著各種種各樣的的約束，這種約約束描述述了數(shù)據(jù)據(jù)的關(guān)聯(lián)聯(lián)關(guān)系。數(shù)據(jù)必必須能夠夠滿(mǎn)足這這種數(shù)據(jù)據(jù)之間的的關(guān)聯(lián)關(guān)關(guān)系，而而不能夠夠相互矛矛盾。

2、數(shù)據(jù)的真真實(shí)性、完備性性、自洽洽性是數(shù)數(shù)據(jù)本身身應(yīng)具有有的屬性性，稱(chēng)為為數(shù)據(jù)的的絕對(duì)質(zhì)質(zhì)量，是是保證數(shù)數(shù)據(jù)質(zhì)量量的基礎(chǔ)礎(chǔ)。除了數(shù)據(jù)據(jù)的絕對(duì)對(duì)質(zhì)量外外，還有有我們?cè)谠诶煤秃痛尜A數(shù)數(shù)據(jù)的過(guò)過(guò)程中所所產(chǎn)生的的數(shù)據(jù)質(zhì)質(zhì)量，包包括使用用質(zhì)量、存貯質(zhì)質(zhì)量和傳傳輸質(zhì)量量，稱(chēng)之之為過(guò)程程質(zhì)量。什么是數(shù)數(shù)據(jù)質(zhì)量量第二：數(shù)據(jù)的過(guò)過(guò)程質(zhì)量數(shù)據(jù)的使用質(zhì)量量：數(shù)據(jù)的使用質(zhì)質(zhì)量是指指數(shù)據(jù)被被正確的的使用。再正確確的數(shù)據(jù)據(jù)，如果果被錯(cuò)誤誤的使用用，就不不可能得得出正確確的結(jié)論論。數(shù)據(jù)的存存貯質(zhì)量：數(shù)據(jù)的存貯質(zhì)質(zhì)量是指指數(shù)據(jù)被被安全的的存貯在在適當(dāng)?shù)牡慕橘|(zhì)上上。所謂謂安全是是指采用用了適當(dāng)當(dāng)?shù)姆桨赴负图夹g(shù)術(shù)來(lái)抵制制外來(lái)的的

3、因素，使數(shù)據(jù)據(jù)免受破破壞，備備份是我我們常使使用的技技術(shù)，包包括異地地備份和和雙機(jī)備份什么是數(shù)數(shù)據(jù)質(zhì)量量數(shù)據(jù)的傳傳輸質(zhì)量量：數(shù)據(jù)的傳傳輸質(zhì)量量是指數(shù)數(shù)據(jù)在傳傳輸過(guò)程程中的效效率和正正確性。在現(xiàn)代代信息社社會(huì)中，數(shù)據(jù)在在異地之之間的傳傳輸越來(lái)來(lái)越多，保證傳傳輸過(guò)程程中的高高效率和和正確性性非常重重要。為什么要要建立數(shù)數(shù)據(jù)質(zhì)量量管理體體系目前企業(yè)存在在多地區(qū)區(qū)，多產(chǎn)產(chǎn)品，多多業(yè)務(wù)，多系統(tǒng)統(tǒng)的環(huán)境境，在數(shù)數(shù)據(jù)信息息，報(bào)表表統(tǒng)計(jì)，業(yè)務(wù)分分析和業(yè)業(yè)務(wù)元定定義上存存在數(shù)據(jù)據(jù)不一致致，不完完整，不不統(tǒng)一以以及不真真實(shí)和不不及時(shí)的的情況，這樣讓讓業(yè)務(wù)人人員，管管理者，信息使使用者存存在誤解解，導(dǎo)致致決策出出現(xiàn)

4、偏差差，同時(shí)時(shí)低下的的數(shù)據(jù)質(zhì)質(zhì)量往往往造成開(kāi)開(kāi)發(fā)出來(lái)來(lái)的系統(tǒng)統(tǒng)與用戶(hù)戶(hù)的預(yù)期期大相徑徑庭，而而在維護(hù)護(hù)階段，也出現(xiàn)現(xiàn)維護(hù)成成本不斷斷上升，工作量量加大，系統(tǒng)難難以擴(kuò)展展。這樣樣的情況況急切等等待數(shù)據(jù)據(jù)質(zhì)量管管理的標(biāo)標(biāo)準(zhǔn)和指指導(dǎo)方案案.數(shù)據(jù)質(zhì)量量管理的的范圍數(shù)據(jù)質(zhì)量量管理是是針對(duì)企業(yè)業(yè)在建設(shè)設(shè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)，數(shù)數(shù)據(jù)挖掘掘和數(shù)據(jù)據(jù)中心時(shí)存在的數(shù)據(jù)質(zhì)質(zhì)量問(wèn)題題提出的的解決方方案和指指導(dǎo)評(píng)估估標(biāo)準(zhǔn)，所以數(shù)數(shù)據(jù)質(zhì)量量管理模模型項(xiàng)目目是1、數(shù)據(jù)質(zhì)質(zhì)量管理規(guī)范范和數(shù)據(jù)據(jù)質(zhì)量問(wèn)問(wèn)題的解解決方案案，不是是軟件和和產(chǎn)品，更不是數(shù)據(jù)據(jù)模型和和ETL模型；2、只針對(duì)重構(gòu)構(gòu)數(shù)據(jù)和和目標(biāo)數(shù)數(shù)據(jù)進(jìn)行行修改，而不對(duì)對(duì)源數(shù)據(jù)據(jù)進(jìn)行

5、修修改；3、提供源數(shù)據(jù)的的檢測(cè)分分析以及及質(zhì)量報(bào)報(bào)告，不不對(duì)業(yè)務(wù)務(wù)模型進(jìn)進(jìn)行分析析；4、可以用作主數(shù)數(shù)據(jù)管理理，數(shù)據(jù)據(jù)倉(cāng)庫(kù)和和數(shù)據(jù)挖挖掘系統(tǒng)統(tǒng)作為參參考，但但不包 含此類(lèi)系統(tǒng)統(tǒng)的構(gòu)架架模型；數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架項(xiàng)目涉及及到數(shù)據(jù)據(jù)質(zhì)量的的分析和和驗(yàn)證，因此有有數(shù)據(jù)的的分析流流程和數(shù)數(shù)據(jù)的管管理流程程，如下下圖：數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架首先是分析源源數(shù)據(jù)系系統(tǒng)，從從業(yè)務(wù)和和數(shù)據(jù)本本身的角角度剖析析，包括括對(duì)數(shù)據(jù)據(jù)源中存存儲(chǔ)的邏邏輯定義義，表結(jié)結(jié)構(gòu)，視視圖結(jié)構(gòu)構(gòu)，約束束，觸發(fā)發(fā)器，唯唯一性等等等，得得出相關(guān)關(guān)的定義義。由定定義以及及定義的的關(guān)聯(lián)產(chǎn)產(chǎn)生相應(yīng)應(yīng)的業(yè)務(wù)務(wù)規(guī)則和和數(shù)據(jù)邏邏輯規(guī)則則。數(shù)

6、據(jù)的驗(yàn)證引引擎利用用這些產(chǎn)產(chǎn)出的規(guī)規(guī)則，對(duì)對(duì)源數(shù)據(jù)據(jù)和目標(biāo)標(biāo)數(shù)據(jù)進(jìn)進(jìn)行校驗(yàn)驗(yàn)，并對(duì)對(duì)應(yīng)校驗(yàn)驗(yàn)規(guī)則保保存校驗(yàn)驗(yàn)結(jié)果；修正引引擎用業(yè)業(yè)務(wù)和數(shù)數(shù)據(jù)邏輯輯的修正正規(guī)則對(duì)對(duì)校驗(yàn)結(jié)結(jié)果進(jìn)行行自動(dòng)修修正和提提供手動(dòng)動(dòng)修正接接口，同同時(shí)保留留修改前前后的記記錄；數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架在數(shù)據(jù)質(zhì)質(zhì)量管理理模型中中，需要要對(duì)數(shù)據(jù)據(jù)檢驗(yàn)結(jié)結(jié)果和修修正結(jié)果果進(jìn)行分分析，利利用校驗(yàn)驗(yàn)結(jié)果發(fā)發(fā)現(xiàn)數(shù)據(jù)據(jù)源和數(shù)數(shù)據(jù)流程程中存在在的問(wèn)題題，同時(shí)時(shí)可以參參考修正正記錄，對(duì)數(shù)據(jù)據(jù)的質(zhì)量量提出適適當(dāng)?shù)母母倪M(jìn)策略略，并采采取適當(dāng)當(dāng)?shù)男袨闉?。?shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架項(xiàng)目包括括的主要要任務(wù)有有源系統(tǒng)剖析：源數(shù)據(jù)剖剖析的深深度和業(yè)業(yè)務(wù)層

7、次次，來(lái)定定義數(shù)據(jù)據(jù)語(yǔ)義的的一致性性，將企企業(yè)相關(guān)關(guān)數(shù)據(jù)元元就行分分析，看看看各系系統(tǒng)間數(shù)數(shù)據(jù)的不不同部門(mén)門(mén)對(duì)數(shù)據(jù)據(jù)的定義義，這是是確定數(shù)數(shù)據(jù)含義義是否一一致。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架元定義：原系統(tǒng)的數(shù)據(jù)剖剖析是對(duì)對(duì)分析各各個(gè)原系系統(tǒng)的數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)的結(jié)構(gòu)構(gòu)，包括括表數(shù)據(jù)據(jù)，視圖圖數(shù)據(jù)，Excel數(shù)據(jù)等以以及計(jì)算算公式，比較方方式，查查看數(shù)據(jù)據(jù)方式，都數(shù)據(jù)據(jù)剖析的的范圍，這需要要一個(gè)比比較可行行的方式式，對(duì)于于數(shù)據(jù)庫(kù)庫(kù)中的內(nèi)內(nèi)容，需需要有相相應(yīng)的導(dǎo)導(dǎo)出完整整數(shù)據(jù)字字典的結(jié)結(jié)構(gòu)過(guò)程程，能在在Excel中修改，也能導(dǎo)導(dǎo)入到制制定的表表中進(jìn)行行保存，同時(shí)還還能定期期檢查表表結(jié)構(gòu)是是否發(fā)生生變化。數(shù)據(jù)

8、質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架數(shù)據(jù)驗(yàn)證證：這里的驗(yàn)驗(yàn)證有幾幾種，數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)驗(yàn)證，還有數(shù)數(shù)據(jù)一致致性，完完整性，唯一性性和準(zhǔn)確確性的驗(yàn)驗(yàn)證，每每一種驗(yàn)驗(yàn)證就需需要建立立固定的的可變化化的驗(yàn)證證規(guī)則，而且驗(yàn)驗(yàn)證規(guī)則則，驗(yàn)證證體，驗(yàn)驗(yàn)證結(jié)構(gòu)構(gòu)都需要要記錄日日志和驗(yàn)驗(yàn)證結(jié)果果，同時(shí)時(shí)還需要要提供接接口給UI，最好能能做到讓讓業(yè)務(wù)人人員自己己更新驗(yàn)驗(yàn)證規(guī)則則，自己己查看驗(yàn)驗(yàn)證過(guò)程程和結(jié)果果，為數(shù)數(shù)據(jù)修補(bǔ)補(bǔ)引擎提提供接口口。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架數(shù)據(jù)修正正：針對(duì)不同同類(lèi)型的的數(shù)據(jù)驗(yàn)驗(yàn)證規(guī)則則驗(yàn)證的的數(shù)據(jù)進(jìn)進(jìn)行更新新，有指指定規(guī)則則自動(dòng)更更新的，有人工工干預(yù)修修改的，主要是是能有UI接口，提提供修改改功能和和

9、修改策策略，以以及記錄錄修改日日志和標(biāo)標(biāo)記。便便于和正正常數(shù)據(jù)據(jù)區(qū)分。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架元數(shù)據(jù)管管理：數(shù)據(jù)質(zhì)量量的元數(shù)數(shù)據(jù)管理理是貫穿穿整個(gè)解解決方案案體系，從數(shù)據(jù)據(jù)剖析到到最后的的質(zhì)量檢檢測(cè)和管管理部分分，記錄錄管理元元數(shù)據(jù)，操作元元數(shù)據(jù)，業(yè)務(wù)規(guī)規(guī)則元數(shù)數(shù)據(jù)，驗(yàn)驗(yàn)證規(guī)則則和修正正規(guī)則等等元數(shù)據(jù)據(jù)，它是是數(shù)據(jù)質(zhì)質(zhì)量管理理模型的的靈魂。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架檢驗(yàn)分析析：這里的分分析報(bào)表表，如可可以利用用6Sigma的原理，對(duì)數(shù)據(jù)據(jù)質(zhì)量情情況進(jìn)行行分析，可以預(yù)預(yù)先制定定標(biāo)準(zhǔn)和和參考依依據(jù)，對(duì)對(duì)數(shù)據(jù)質(zhì)質(zhì)量進(jìn)行行等級(jí)劃劃分。方方便企業(yè)業(yè)制定數(shù)數(shù)據(jù)質(zhì)量量管理制制度。也可以按按照數(shù)據(jù)據(jù)的檢驗(yàn)驗(yàn)

10、結(jié)果，按照不不同的數(shù)數(shù)據(jù)源劃劃分，檢檢測(cè)數(shù)據(jù)據(jù)誤差來(lái)來(lái)源點(diǎn)，逐步解解決數(shù)據(jù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架數(shù)據(jù)質(zhì)量量管理標(biāo)標(biāo)準(zhǔn)和等等級(jí)定義義：這部分是是數(shù)據(jù)質(zhì)質(zhì)量管理理的匯總總部分，借鑒系系統(tǒng)剖析析，元定定義，數(shù)數(shù)據(jù)驗(yàn)證證和修正正，以及及元數(shù)據(jù)據(jù)和檢驗(yàn)驗(yàn)分析等等部分的的匯總和和指標(biāo)而而建立的的，意在在提出較較完整的的數(shù)據(jù)質(zhì)質(zhì)量管理理標(biāo)注，并由此此劃分等等級(jí)。數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架結(jié)合本項(xiàng)項(xiàng)目的總總體結(jié)構(gòu)構(gòu)，可以將任任務(wù)分解解為：1、數(shù)據(jù)分分析和定義:a、源數(shù)據(jù)系統(tǒng)統(tǒng)剖析范范圍和標(biāo)標(biāo)準(zhǔn)b、數(shù)據(jù)語(yǔ)義的一一致性的的定義標(biāo)標(biāo)準(zhǔn)c、數(shù)據(jù)元的完整整性的定定義標(biāo)準(zhǔn)準(zhǔn)d、數(shù)據(jù)體體的唯一性性的定義義標(biāo)準(zhǔn)e、數(shù)據(jù)描描述的準(zhǔn)確性性的定義義標(biāo)準(zhǔn)f、業(yè)務(wù)的關(guān)聯(lián)性性的定義義標(biāo)準(zhǔn)g、數(shù)據(jù)粒度的定定義標(biāo)準(zhǔn)準(zhǔn)h、數(shù)據(jù)生命周期期的定義義標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架2、數(shù)據(jù)質(zhì)量量問(wèn)題發(fā)發(fā)現(xiàn):a、業(yè)務(wù)規(guī)則定義義標(biāo)準(zhǔn)和和方案b、數(shù)據(jù)業(yè)務(wù)邏輯輯定義c、據(jù)量定義d、數(shù)據(jù)驗(yàn)證引擎擎實(shí)現(xiàn)方方案數(shù)據(jù)質(zhì)量量管理項(xiàng)項(xiàng)目構(gòu)架架3、數(shù)據(jù)質(zhì)量量問(wèn)題修修正:a、數(shù)據(jù)自動(dòng)修改改條件和和標(biāo)準(zhǔn)b、數(shù)據(jù)手動(dòng)修改改條件和和標(biāo)準(zhǔn)c、數(shù)據(jù)修補(bǔ)引擎擎實(shí)現(xiàn)方方案數(shù)