數(shù)據(jù)質(zhì)量管理課件

數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理1數(shù)據(jù)質(zhì)量管理1、什么是數(shù)據(jù)質(zhì)量2、為什么要建立數(shù)據(jù)質(zhì)量管理體系3、數(shù)據(jù)質(zhì)量管理的范圍4、數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理1、什么是數(shù)據(jù)質(zhì)量2什么是數(shù)據(jù)質(zhì)量何謂數(shù)據(jù)質(zhì)量可從兩個方面來理解：第一：數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量數(shù)據(jù)的真實性：

數(shù)據(jù)必須真實準(zhǔn)確的反映實際發(fā)生的業(yè)務(wù)。數(shù)據(jù)的完備性：

數(shù)據(jù)的完備性是說數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒有被遺漏。什么是數(shù)據(jù)質(zhì)量何謂數(shù)據(jù)質(zhì)量可從兩個方面來理解：3什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的自洽性：

數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而不能夠相互矛盾。

數(shù)據(jù)的真實性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有的屬性，稱為數(shù)據(jù)的絕對質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的絕對質(zhì)量外，還有我們在利用和存貯數(shù)據(jù)的過程中所產(chǎn)生的數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之為過程質(zhì)量。什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的自洽性：4什么是數(shù)據(jù)質(zhì)量第二：數(shù)據(jù)的過程質(zhì)量數(shù)據(jù)的使用質(zhì)量：

數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯誤的使用，就不可能得出正確的結(jié)論。數(shù)據(jù)的存貯質(zhì)量：

數(shù)據(jù)的存貯質(zhì)量是指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來抵制外來的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，包括異地備份和雙機(jī)備份什么是數(shù)據(jù)質(zhì)量第二：數(shù)據(jù)的過程質(zhì)量5什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的傳輸質(zhì)量：

數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過程中的效率和正確性。在現(xiàn)代信息社會中，數(shù)據(jù)在異地之間的傳輸越來越多，保證傳輸過程中的高效率和正確性非常重要。什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的傳輸質(zhì)量：6為什么要建立數(shù)據(jù)質(zhì)量管理體系

目前企業(yè)存在多地區(qū)，多產(chǎn)品，多業(yè)務(wù)，多系統(tǒng)的環(huán)境，在數(shù)據(jù)信息，報表統(tǒng)計，業(yè)務(wù)分析和業(yè)務(wù)元定義上存在數(shù)據(jù)不一致，不完整，不統(tǒng)一以及不真實和不及時的情況，這樣讓業(yè)務(wù)人員，管理者，信息使用者存在誤解，導(dǎo)致決策出現(xiàn)偏差，同時低下的數(shù)據(jù)質(zhì)量往往造成開發(fā)出來的系統(tǒng)與用戶的預(yù)期大相徑庭，而在維護(hù)階段，也出現(xiàn)維護(hù)成本不斷上升，工作量加大，系統(tǒng)難以擴(kuò)展。這樣的情況急切等待數(shù)據(jù)質(zhì)量管理的標(biāo)準(zhǔn)和指導(dǎo)方案.為什么要建立數(shù)據(jù)質(zhì)量管理體系 目前企業(yè)存在多地區(qū)，多產(chǎn)品，多7數(shù)據(jù)質(zhì)量管理的范圍

數(shù)據(jù)質(zhì)量管理是針對企業(yè)在建設(shè)數(shù)據(jù)倉庫，數(shù)據(jù)挖掘和數(shù)據(jù)中心時存在的數(shù)據(jù)質(zhì)量問題提出的解決方案和指導(dǎo)評估標(biāo)準(zhǔn)，所以數(shù)據(jù)質(zhì)量管理模型項目是1、數(shù)據(jù)質(zhì)量管理規(guī)范和數(shù)據(jù)質(zhì)量問題的解決方案，不是軟件和產(chǎn)品，

更不是數(shù)據(jù)模型和ETL模型；2、只針對重構(gòu)數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行修改，而不對源數(shù)據(jù)進(jìn)行修改；3、提供源數(shù)據(jù)的檢測分析以及質(zhì)量報告，不對業(yè)務(wù)模型進(jìn)行分析；4、可以用作主數(shù)據(jù)管理，數(shù)據(jù)倉庫和數(shù)據(jù)挖掘系統(tǒng)作為參考，但不包含此類系統(tǒng)的構(gòu)架模型

；數(shù)據(jù)質(zhì)量管理的范圍 數(shù)據(jù)質(zhì)量管理是針對企業(yè)在建設(shè)數(shù)據(jù)倉庫，數(shù)8數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目涉及到數(shù)據(jù)質(zhì)量的分析和驗證，因此有數(shù)據(jù)的分析流程和數(shù)據(jù)的管理流程，如下圖：數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目涉及到數(shù)據(jù)質(zhì)量的分析和驗證，因此有數(shù)9數(shù)據(jù)質(zhì)量管理項目構(gòu)架

首先是分析源數(shù)據(jù)系統(tǒng)，從業(yè)務(wù)和數(shù)據(jù)本身的角度剖析，包括對數(shù)據(jù)源中存儲的邏輯定義，表結(jié)構(gòu)，視圖結(jié)構(gòu)，約束，觸發(fā)器，唯一性等等，得出相關(guān)的定義。由定義以及定義的關(guān)聯(lián)產(chǎn)生相應(yīng)的業(yè)務(wù)規(guī)則和數(shù)據(jù)邏輯規(guī)則。

數(shù)據(jù)的驗證引擎利用這些產(chǎn)出的規(guī)則，對源數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行校驗，并對應(yīng)校驗規(guī)則保存校驗結(jié)果；修正引擎用業(yè)務(wù)和數(shù)據(jù)邏輯的修正規(guī)則對校驗結(jié)果進(jìn)行自動修正和提供手動修正接口，同時保留修改前后的記錄；

數(shù)據(jù)質(zhì)量管理項目構(gòu)架 首先是分析源數(shù)據(jù)系統(tǒng)，從業(yè)務(wù)和數(shù)據(jù)本身10數(shù)據(jù)質(zhì)量管理項目構(gòu)架

在數(shù)據(jù)質(zhì)量管理模型中，需要對數(shù)據(jù)檢驗結(jié)果和修正結(jié)果進(jìn)行分析，利用校驗結(jié)果發(fā)現(xiàn)數(shù)據(jù)源和數(shù)據(jù)流程中存在的問題，同時可以參考修正記錄，對數(shù)據(jù)的質(zhì)量提出適當(dāng)?shù)母倪M(jìn)策略，并采取適當(dāng)?shù)男袨?。?shù)據(jù)質(zhì)量管理項目構(gòu)架 在數(shù)據(jù)質(zhì)量管理模型中，需要對數(shù)據(jù)檢驗結(jié)11數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目包括的主要任務(wù)有源系統(tǒng)剖析：源數(shù)據(jù)剖析的深度和業(yè)務(wù)層次，來定義數(shù)據(jù)語義的一致性，將企業(yè)相關(guān)數(shù)據(jù)元就行分析，看看各系統(tǒng)間數(shù)據(jù)的不同部門對數(shù)據(jù)的定義，這是確定數(shù)據(jù)含義是否一致。數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目包括的主要任務(wù)有12數(shù)據(jù)質(zhì)量管理項目構(gòu)架元定義：

原系統(tǒng)的數(shù)據(jù)剖析是對分析各個原系統(tǒng)的數(shù)據(jù)存儲的結(jié)構(gòu)，包括表數(shù)據(jù)，視圖數(shù)據(jù)，Excel數(shù)據(jù)等以及計算公式，比較方式，查看數(shù)據(jù)方式，都數(shù)據(jù)剖析的范圍，這需要一個比較可行的方式，對于數(shù)據(jù)庫中的內(nèi)容，需要有相應(yīng)的導(dǎo)出完整數(shù)據(jù)字典的結(jié)構(gòu)過程，能在Excel中修改，也能導(dǎo)入到制定的表中進(jìn)行保存，同時還能定期檢查表結(jié)構(gòu)是否發(fā)生變化。數(shù)據(jù)質(zhì)量管理項目構(gòu)架元定義：13數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)驗證：

這里的驗證有幾種，數(shù)據(jù)結(jié)構(gòu)驗證，還有數(shù)據(jù)一致性，完整性，唯一性和準(zhǔn)確性的驗證，每一種驗證就需要建立固定的可變化的驗證規(guī)則，而且驗證規(guī)則，驗證體，驗證結(jié)構(gòu)都需要記錄日志和驗證結(jié)果，同時還需要提供接口給UI，最好能做到讓業(yè)務(wù)人員自己更新驗證規(guī)則，自己查看驗證過程和結(jié)果，為數(shù)據(jù)修補(bǔ)引擎提供接口。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)驗證：14數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)修正：

針對不同類型的數(shù)據(jù)驗證規(guī)則驗證的數(shù)據(jù)進(jìn)行更新，有指定規(guī)則自動更新的，有人工干預(yù)修改的，主要是能有UI接口，提供修改功能和修改策略，以及記錄修改日志和標(biāo)記。便于和正常數(shù)據(jù)區(qū)分。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)修正：15數(shù)據(jù)質(zhì)量管理項目構(gòu)架元數(shù)據(jù)管理：

數(shù)據(jù)質(zhì)量的元數(shù)據(jù)管理是貫穿整個解決方案體系，從數(shù)據(jù)剖析到最后的質(zhì)量檢測和管理部分，記錄管理元數(shù)據(jù)，操作元數(shù)據(jù)，業(yè)務(wù)規(guī)則元數(shù)據(jù)，驗證規(guī)則和修正規(guī)則等元數(shù)據(jù)，它是數(shù)據(jù)質(zhì)量管理模型的靈魂。數(shù)據(jù)質(zhì)量管理項目構(gòu)架元數(shù)據(jù)管理：16數(shù)據(jù)質(zhì)量管理項目構(gòu)架檢驗分析：

這里的分析報表，如可以利用6Sigma的原理，對數(shù)據(jù)質(zhì)量情況進(jìn)行分析，可以預(yù)先制定標(biāo)準(zhǔn)和參考依據(jù)，對數(shù)據(jù)質(zhì)量進(jìn)行等級劃分。方便企業(yè)制定數(shù)據(jù)質(zhì)量管理制度。也可以按照數(shù)據(jù)的檢驗結(jié)果，按照不同的數(shù)據(jù)源劃分，檢測數(shù)據(jù)誤差來源點，逐步解決數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理項目構(gòu)架檢驗分析：17數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)和等級定義：

這部分是數(shù)據(jù)質(zhì)量管理的匯總部分，借鑒系統(tǒng)剖析，元定義，數(shù)據(jù)驗證和修正，以及元數(shù)據(jù)和檢驗分析等部分的匯總和指標(biāo)而建立的，意在提出較完整的數(shù)據(jù)質(zhì)量管理標(biāo)注，并由此劃分等級。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)和等級定義：18數(shù)據(jù)質(zhì)量管理項目構(gòu)架結(jié)合本項目的總體結(jié)構(gòu)，可以將任務(wù)分解為：1、數(shù)據(jù)分析和定義:a、源數(shù)據(jù)系統(tǒng)剖析范圍和標(biāo)準(zhǔn)b、數(shù)據(jù)語義的一致性的定義標(biāo)準(zhǔn)c、數(shù)據(jù)元的完整性的定義標(biāo)準(zhǔn)d、數(shù)據(jù)體的唯一性的定義標(biāo)準(zhǔn)e、數(shù)據(jù)描述的準(zhǔn)確性的定義標(biāo)準(zhǔn)f、業(yè)務(wù)的關(guān)聯(lián)性的定義標(biāo)準(zhǔn)g、數(shù)據(jù)粒度的定義標(biāo)準(zhǔn)h、數(shù)據(jù)生命周期的定義標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理項目構(gòu)架結(jié)合本項目的總體結(jié)構(gòu)，可以將任務(wù)分解為：19數(shù)據(jù)質(zhì)量管理項目構(gòu)架2、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn):a、業(yè)務(wù)規(guī)則定義標(biāo)準(zhǔn)和方案b、數(shù)據(jù)業(yè)務(wù)邏輯定義c、據(jù)量定義d、數(shù)據(jù)驗證引擎實現(xiàn)方案數(shù)據(jù)質(zhì)量管理項目構(gòu)架2、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn):20數(shù)據(jù)質(zhì)量管理項目構(gòu)架3、數(shù)據(jù)質(zhì)量問題修正:a、數(shù)據(jù)自動修改條件和標(biāo)準(zhǔn)b、數(shù)據(jù)手動修改條件和標(biāo)準(zhǔn)c、數(shù)據(jù)修補(bǔ)引擎實現(xiàn)方案數(shù)據(jù)質(zhì)量管理項目構(gòu)架3、數(shù)據(jù)質(zhì)量問題修正:21數(shù)據(jù)質(zhì)量管理項目構(gòu)架4、數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理:a、數(shù)據(jù)分析和定義部分元數(shù)據(jù)存儲和管理b、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)部分元數(shù)據(jù)存儲和管理c、數(shù)據(jù)質(zhì)量問題修正部分元數(shù)據(jù)存儲和管理d、管理型元數(shù)據(jù)存儲和管理數(shù)據(jù)質(zhì)量管理項目構(gòu)架4、數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理:22數(shù)據(jù)質(zhì)量管理項目構(gòu)架5、據(jù)質(zhì)量檢測分析:a、數(shù)據(jù)質(zhì)量評估范圍b、檢測分析報告內(nèi)容定義數(shù)據(jù)質(zhì)量管理項目構(gòu)架5、據(jù)質(zhì)量檢測分析:23生活中的辛苦阻撓不了我對生活的熱愛。11月-2211月-22Thursday,November3,2022人生得意須盡歡，莫使金樽空對月。23:03:1023:03:1023:0311/3/202211:03:10PM做一枚螺絲釘，那里需要那里上。11月-2223:03:1023:03Nov-2203-Nov-22日復(fù)一日的努力只為成就美好的明天。23:03:1023:03:1023:03Thursday,November3,2022安全放在第一位，防微杜漸。11月-2211月-2223:03:1023:03:10November3,2022加強(qiáng)自身建設(shè)，增強(qiáng)個人的休養(yǎng)。2022年11月3日11:03下午11月-2211月-22精益求精，追求卓越，因為相信而偉大。03十一月202211:03:10下午23:03:1011月-22讓自己更加強(qiáng)大，更加專業(yè)，這才能讓自己更好。十一月2211:03下午11月-2223:03November3,2022這些年的努力就為了得到相應(yīng)的回報。2022/11/323:03:1023:03:1003November2022科學(xué)，你是國力的靈魂；同時又是社會發(fā)展的標(biāo)志。11:03:10下午11:03下午23:03:1011月-22每天都是美好的一天，新的一天開啟。11月-2211月-2223:0323:03:1023:03:10Nov-22相信命運(yùn)，讓自己成長，慢慢的長大。2022/11/323:03:10Thursday,November3,2022愛情，親情，友情，讓人無法割舍。11月-222022/11/323:03:1011月-22謝謝大家！生活中的辛苦阻撓不了我對生活的熱愛。11月-2211月-2224數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理25數(shù)據(jù)質(zhì)量管理1、什么是數(shù)據(jù)質(zhì)量2、為什么要建立數(shù)據(jù)質(zhì)量管理體系3、數(shù)據(jù)質(zhì)量管理的范圍4、數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理1、什么是數(shù)據(jù)質(zhì)量26什么是數(shù)據(jù)質(zhì)量何謂數(shù)據(jù)質(zhì)量可從兩個方面來理解：第一：數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量數(shù)據(jù)的真實性：

數(shù)據(jù)必須真實準(zhǔn)確的反映實際發(fā)生的業(yè)務(wù)。數(shù)據(jù)的完備性：

數(shù)據(jù)的完備性是說數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒有被遺漏。什么是數(shù)據(jù)質(zhì)量何謂數(shù)據(jù)質(zhì)量可從兩個方面來理解：27什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的自洽性：

數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而不能夠相互矛盾。

數(shù)據(jù)的真實性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有的屬性，稱為數(shù)據(jù)的絕對質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的絕對質(zhì)量外，還有我們在利用和存貯數(shù)據(jù)的過程中所產(chǎn)生的數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之為過程質(zhì)量。什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的自洽性：28什么是數(shù)據(jù)質(zhì)量第二：數(shù)據(jù)的過程質(zhì)量數(shù)據(jù)的使用質(zhì)量：

數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯誤的使用，就不可能得出正確的結(jié)論。數(shù)據(jù)的存貯質(zhì)量：

數(shù)據(jù)的存貯質(zhì)量是指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來抵制外來的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，包括異地備份和雙機(jī)備份什么是數(shù)據(jù)質(zhì)量第二：數(shù)據(jù)的過程質(zhì)量29什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的傳輸質(zhì)量：

數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過程中的效率和正確性。在現(xiàn)代信息社會中，數(shù)據(jù)在異地之間的傳輸越來越多，保證傳輸過程中的高效率和正確性非常重要。什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)的傳輸質(zhì)量：30為什么要建立數(shù)據(jù)質(zhì)量管理體系

目前企業(yè)存在多地區(qū)，多產(chǎn)品，多業(yè)務(wù)，多系統(tǒng)的環(huán)境，在數(shù)據(jù)信息，報表統(tǒng)計，業(yè)務(wù)分析和業(yè)務(wù)元定義上存在數(shù)據(jù)不一致，不完整，不統(tǒng)一以及不真實和不及時的情況，這樣讓業(yè)務(wù)人員，管理者，信息使用者存在誤解，導(dǎo)致決策出現(xiàn)偏差，同時低下的數(shù)據(jù)質(zhì)量往往造成開發(fā)出來的系統(tǒng)與用戶的預(yù)期大相徑庭，而在維護(hù)階段，也出現(xiàn)維護(hù)成本不斷上升，工作量加大，系統(tǒng)難以擴(kuò)展。這樣的情況急切等待數(shù)據(jù)質(zhì)量管理的標(biāo)準(zhǔn)和指導(dǎo)方案.為什么要建立數(shù)據(jù)質(zhì)量管理體系 目前企業(yè)存在多地區(qū)，多產(chǎn)品，多31數(shù)據(jù)質(zhì)量管理的范圍

數(shù)據(jù)質(zhì)量管理是針對企業(yè)在建設(shè)數(shù)據(jù)倉庫，數(shù)據(jù)挖掘和數(shù)據(jù)中心時存在的數(shù)據(jù)質(zhì)量問題提出的解決方案和指導(dǎo)評估標(biāo)準(zhǔn)，所以數(shù)據(jù)質(zhì)量管理模型項目是1、數(shù)據(jù)質(zhì)量管理規(guī)范和數(shù)據(jù)質(zhì)量問題的解決方案，不是軟件和產(chǎn)品，

更不是數(shù)據(jù)模型和ETL模型；2、只針對重構(gòu)數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行修改，而不對源數(shù)據(jù)進(jìn)行修改；3、提供源數(shù)據(jù)的檢測分析以及質(zhì)量報告，不對業(yè)務(wù)模型進(jìn)行分析；4、可以用作主數(shù)據(jù)管理，數(shù)據(jù)倉庫和數(shù)據(jù)挖掘系統(tǒng)作為參考，但不包含此類系統(tǒng)的構(gòu)架模型

；數(shù)據(jù)質(zhì)量管理的范圍 數(shù)據(jù)質(zhì)量管理是針對企業(yè)在建設(shè)數(shù)據(jù)倉庫，數(shù)32數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目涉及到數(shù)據(jù)質(zhì)量的分析和驗證，因此有數(shù)據(jù)的分析流程和數(shù)據(jù)的管理流程，如下圖：數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目涉及到數(shù)據(jù)質(zhì)量的分析和驗證，因此有數(shù)33數(shù)據(jù)質(zhì)量管理項目構(gòu)架

首先是分析源數(shù)據(jù)系統(tǒng)，從業(yè)務(wù)和數(shù)據(jù)本身的角度剖析，包括對數(shù)據(jù)源中存儲的邏輯定義，表結(jié)構(gòu)，視圖結(jié)構(gòu)，約束，觸發(fā)器，唯一性等等，得出相關(guān)的定義。由定義以及定義的關(guān)聯(lián)產(chǎn)生相應(yīng)的業(yè)務(wù)規(guī)則和數(shù)據(jù)邏輯規(guī)則。

數(shù)據(jù)的驗證引擎利用這些產(chǎn)出的規(guī)則，對源數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行校驗，并對應(yīng)校驗規(guī)則保存校驗結(jié)果；修正引擎用業(yè)務(wù)和數(shù)據(jù)邏輯的修正規(guī)則對校驗結(jié)果進(jìn)行自動修正和提供手動修正接口，同時保留修改前后的記錄；

數(shù)據(jù)質(zhì)量管理項目構(gòu)架 首先是分析源數(shù)據(jù)系統(tǒng)，從業(yè)務(wù)和數(shù)據(jù)本身34數(shù)據(jù)質(zhì)量管理項目構(gòu)架

在數(shù)據(jù)質(zhì)量管理模型中，需要對數(shù)據(jù)檢驗結(jié)果和修正結(jié)果進(jìn)行分析，利用校驗結(jié)果發(fā)現(xiàn)數(shù)據(jù)源和數(shù)據(jù)流程中存在的問題，同時可以參考修正記錄，對數(shù)據(jù)的質(zhì)量提出適當(dāng)?shù)母倪M(jìn)策略，并采取適當(dāng)?shù)男袨?。?shù)據(jù)質(zhì)量管理項目構(gòu)架 在數(shù)據(jù)質(zhì)量管理模型中，需要對數(shù)據(jù)檢驗結(jié)35數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目包括的主要任務(wù)有源系統(tǒng)剖析：源數(shù)據(jù)剖析的深度和業(yè)務(wù)層次，來定義數(shù)據(jù)語義的一致性，將企業(yè)相關(guān)數(shù)據(jù)元就行分析，看看各系統(tǒng)間數(shù)據(jù)的不同部門對數(shù)據(jù)的定義，這是確定數(shù)據(jù)含義是否一致。數(shù)據(jù)質(zhì)量管理項目構(gòu)架項目包括的主要任務(wù)有36數(shù)據(jù)質(zhì)量管理項目構(gòu)架元定義：

原系統(tǒng)的數(shù)據(jù)剖析是對分析各個原系統(tǒng)的數(shù)據(jù)存儲的結(jié)構(gòu)，包括表數(shù)據(jù)，視圖數(shù)據(jù)，Excel數(shù)據(jù)等以及計算公式，比較方式，查看數(shù)據(jù)方式，都數(shù)據(jù)剖析的范圍，這需要一個比較可行的方式，對于數(shù)據(jù)庫中的內(nèi)容，需要有相應(yīng)的導(dǎo)出完整數(shù)據(jù)字典的結(jié)構(gòu)過程，能在Excel中修改，也能導(dǎo)入到制定的表中進(jìn)行保存，同時還能定期檢查表結(jié)構(gòu)是否發(fā)生變化。數(shù)據(jù)質(zhì)量管理項目構(gòu)架元定義：37數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)驗證：

這里的驗證有幾種，數(shù)據(jù)結(jié)構(gòu)驗證，還有數(shù)據(jù)一致性，完整性，唯一性和準(zhǔn)確性的驗證，每一種驗證就需要建立固定的可變化的驗證規(guī)則，而且驗證規(guī)則，驗證體，驗證結(jié)構(gòu)都需要記錄日志和驗證結(jié)果，同時還需要提供接口給UI，最好能做到讓業(yè)務(wù)人員自己更新驗證規(guī)則，自己查看驗證過程和結(jié)果，為數(shù)據(jù)修補(bǔ)引擎提供接口。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)驗證：38數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)修正：

針對不同類型的數(shù)據(jù)驗證規(guī)則驗證的數(shù)據(jù)進(jìn)行更新，有指定規(guī)則自動更新的，有人工干預(yù)修改的，主要是能有UI接口，提供修改功能和修改策略，以及記錄修改日志和標(biāo)記。便于和正常數(shù)據(jù)區(qū)分。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)修正：39數(shù)據(jù)質(zhì)量管理項目構(gòu)架元數(shù)據(jù)管理：

數(shù)據(jù)質(zhì)量的元數(shù)據(jù)管理是貫穿整個解決方案體系，從數(shù)據(jù)剖析到最后的質(zhì)量檢測和管理部分，記錄管理元數(shù)據(jù)，操作元數(shù)據(jù)，業(yè)務(wù)規(guī)則元數(shù)據(jù)，驗證規(guī)則和修正規(guī)則等元數(shù)據(jù)，它是數(shù)據(jù)質(zhì)量管理模型的靈魂。數(shù)據(jù)質(zhì)量管理項目構(gòu)架元數(shù)據(jù)管理：40數(shù)據(jù)質(zhì)量管理項目構(gòu)架檢驗分析：

這里的分析報表，如可以利用6Sigma的原理，對數(shù)據(jù)質(zhì)量情況進(jìn)行分析，可以預(yù)先制定標(biāo)準(zhǔn)和參考依據(jù)，對數(shù)據(jù)質(zhì)量進(jìn)行等級劃分。方便企業(yè)制定數(shù)據(jù)質(zhì)量管理制度。也可以按照數(shù)據(jù)的檢驗結(jié)果，按照不同的數(shù)據(jù)源劃分，檢測數(shù)據(jù)誤差來源點，逐步解決數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理項目構(gòu)架檢驗分析：41數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)和等級定義：

這部分是數(shù)據(jù)質(zhì)量管理的匯總部分，借鑒系統(tǒng)剖析，元定義，數(shù)據(jù)驗證和修正，以及元數(shù)據(jù)和檢驗分析等部分的匯總和指標(biāo)而建立的，意在提出較完整的數(shù)據(jù)質(zhì)量管理標(biāo)注，并由此劃分等級。數(shù)據(jù)質(zhì)量管理項目構(gòu)架數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)和等級定義：42數(shù)據(jù)質(zhì)量管理項目構(gòu)架結(jié)合本項目的總體結(jié)構(gòu)，可以將任務(wù)分解為：1、數(shù)據(jù)分析和定義:a、源數(shù)據(jù)系統(tǒng)剖析范圍和標(biāo)準(zhǔn)b、數(shù)據(jù)語義的一致性的定義標(biāo)準(zhǔn)c、數(shù)據(jù)元的完整性的定義標(biāo)準(zhǔn)d、數(shù)據(jù)體的唯一性的定義標(biāo)準(zhǔn)e、數(shù)據(jù)描述的準(zhǔn)確性的定義標(biāo)準(zhǔn)f、業(yè)務(wù)的關(guān)聯(lián)性的定義標(biāo)準(zhǔn)g、數(shù)據(jù)粒度的定義標(biāo)準(zhǔn)h、數(shù)據(jù)生命周期的定義標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理項目構(gòu)架結(jié)合本項目的總體結(jié)構(gòu)，可以將任務(wù)分解為：43數(shù)據(jù)質(zhì)量管理項目構(gòu)架2、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn):a、業(yè)務(wù)規(guī)則定義標(biāo)準(zhǔn)和方案b、數(shù)據(jù)業(yè)務(wù)邏輯定義c、據(jù)量定義d、數(shù)據(jù)驗證引擎實現(xiàn)方案數(shù)據(jù)質(zhì)量管理項目構(gòu)架2、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn):44數(shù)據(jù)質(zhì)量管理項目構(gòu)架3、數(shù)據(jù)質(zhì)量問題修正:a、數(shù)據(jù)自動修改條件和標(biāo)準(zhǔn)b、數(shù)據(jù)手動修改條件和標(biāo)準(zhǔn)c、數(shù)據(jù)修補(bǔ)引擎實現(xiàn)方案數(shù)據(jù)質(zhì)量管理項目構(gòu)架3、數(shù)據(jù)質(zhì)量問題修正:45數(shù)據(jù)質(zhì)量管理項目構(gòu)架4、數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理:a、數(shù)據(jù)分析和定義部分元數(shù)據(jù)存儲和管理b、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)部分元數(shù)據(jù)存儲和管理c、數(shù)據(jù)質(zhì)量問題修正部分元數(shù)據(jù)存儲和管理d、管理型元數(shù)據(jù)存儲和管理數(shù)據(jù)質(zhì)量管理項目構(gòu)架4、數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理:46數(shù)據(jù)質(zhì)量管理項目構(gòu)架5、據(jù)質(zhì)量檢測分析:a、數(shù)據(jù)質(zhì)量評估范圍b、檢測分析報告內(nèi)容定義