數(shù)據(jù)質(zhì)量管理【蒼松書苑】

1、數(shù)據(jù)管理,演講人： 部門： 職務(wù),數(shù)據(jù)管理,2,目標一：安全 訪問安全 存儲安全 目標二：正確 數(shù)據(jù)精確 數(shù)據(jù)正確 目標三：效率 常規(guī)加載的效率 非常規(guī)加載的效率,數(shù)據(jù)管理的目標,3,數(shù)據(jù)管理,4,數(shù)據(jù)質(zhì)量管理的難點與重點,5,數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量 數(shù)據(jù)的真實性： 數(shù)據(jù)必須真實準確的反映實際發(fā)生的業(yè)務(wù)。 數(shù)據(jù)的完備性： 數(shù)據(jù)的完備性是說數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒有被遺漏。 數(shù)據(jù)的自治性 數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而不能夠相互矛盾,數(shù)據(jù)質(zhì)量概念,數(shù)據(jù)的真實性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有

2、的屬性，稱為數(shù)據(jù)的絕對質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的絕對質(zhì)量外，還有我們在利用和存貯數(shù)據(jù)的過程中所產(chǎn)生的數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之為過程質(zhì)量,6,數(shù)據(jù)的過程質(zhì)量 數(shù)據(jù)的使用質(zhì)量： 數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯誤的使用，就不可能得出正確的結(jié)論。 數(shù)據(jù)的存貯質(zhì)量： 指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來抵制外來的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，如異地備份和雙機備份等，所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要數(shù)據(jù)的時候能及時方便的取出。 數(shù)據(jù)的傳輸質(zhì)量： 數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過程中的效率和正確性

3、。在現(xiàn)代信息社會中，數(shù)據(jù)在異地之間的傳輸越來越多，保證傳輸過程中的高效率和正確性非常重要,數(shù)據(jù)質(zhì)量概念,7,關(guān)系建設(shè)系統(tǒng)成敗 很多數(shù)據(jù)倉庫應(yīng)用程度不高或最后失敗，歸根結(jié)底都是數(shù)據(jù)質(zhì)量不高造成的。 數(shù)據(jù)質(zhì)量好壞關(guān)系到結(jié)果與預(yù)期是否一致 低下的數(shù)據(jù)質(zhì)量往往造成開發(fā)出來的系統(tǒng)與用戶的預(yù)期大相徑庭 數(shù)據(jù)質(zhì)量是決策正確的保障 數(shù)據(jù)信息是企業(yè)重要的戰(zhàn)略資源，合理有效的使用正確的數(shù)據(jù)能指導(dǎo)企業(yè)領(lǐng)導(dǎo)作出正確的決策，提高企業(yè)的競爭力。不合理的使用不正確的數(shù)據(jù)（即差的數(shù)據(jù)質(zhì)量）可導(dǎo)致決策的失敗，正可謂差之毫厘、謬以千里。 數(shù)據(jù)質(zhì)量是長期困擾開發(fā)的難題 數(shù)據(jù)質(zhì)量不高已經(jīng)成為困擾此類項目的開發(fā)人員與用戶的一個嚴重問題

4、,數(shù)據(jù)質(zhì)量重要性,8,數(shù)據(jù)質(zhì)量不高的主要原因,9,數(shù)據(jù)質(zhì)量歸類,10,數(shù)據(jù)質(zhì)量示例,11,數(shù)據(jù)質(zhì)量管理方法,12,數(shù)據(jù)管理,13,數(shù)據(jù)質(zhì)量控制方法論,14,數(shù)據(jù)源檢驗方法,數(shù)據(jù)源檢驗是對HDS中的源表進行的數(shù)據(jù)質(zhì)量檢查。數(shù)據(jù)源檢驗分為時效性 檢驗和正確性檢驗兩個大類，其中正確性檢驗又分為完整性檢驗、原則性檢驗、 邏輯性檢驗,15,數(shù)據(jù)源檢驗方法,時效性檢驗 判斷在約定的時間內(nèi)，數(shù)據(jù)源的數(shù)據(jù)是否按時到達 完整性檢驗 HDS數(shù)據(jù)表與代碼表的一致性檢查 HDS數(shù)據(jù)表記錄數(shù)檢查 原則性檢驗 HDS數(shù)據(jù)表中字段的數(shù)值是否在合法的區(qū)間內(nèi) 邏輯性檢驗 單表或多個表內(nèi)字段間邏輯關(guān)系的檢查,16,數(shù)據(jù)源檢驗適用

5、的規(guī)則,時效性檢驗 規(guī)則一：時效性檢驗適用于HDS中所有的代碼表和數(shù)據(jù)表。 完整性檢驗 規(guī)則二：包含外鍵字段的HDS數(shù)據(jù)表必須進行代碼一致性檢驗。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的HDS數(shù)據(jù)表必須進行記錄條數(shù)檢驗。 原則性檢驗 規(guī)則四：HDS數(shù)據(jù)表中可以確定取值范圍的字段必須進行原則性檢驗。 邏輯性檢驗 規(guī)則五：單表或多個表內(nèi)的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng)計口徑，且存在匯總關(guān)系。滿足此條件時必須進行邏輯性檢驗。 規(guī)則六：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計口徑相同。滿足此條件時必須進行邏輯性檢驗。 規(guī)則七：單表或多個表內(nèi)的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計口徑，在業(yè)務(wù)上有

6、邏輯公式成立。滿足此條件時必須進行邏輯性檢驗,17,數(shù)據(jù)檢驗方法,數(shù)據(jù)校驗是對DDS數(shù)據(jù)庫中前臺應(yīng)用直接使用的相關(guān)表的檢驗。數(shù)據(jù)校驗分為時 效性檢驗和正確性檢驗兩個大類，其中正確性檢驗又分為完整性檢驗、原則性檢驗、 模糊性檢驗、邏輯性檢驗,18,數(shù)據(jù)檢驗方法,時效性檢驗 判斷在約定的時間內(nèi)，前臺應(yīng)用直接使用的相關(guān)表是否按時加載 完整性檢驗 DDS事實表與維度表的一致性檢查 DDS事實表記錄數(shù)檢查 原則性檢驗 DDS事實表中單字段的數(shù)值是否在合法的區(qū)間內(nèi) 同一表內(nèi)字段間邏輯關(guān)系的檢查 模糊性檢驗 判斷字段的數(shù)值及其同比值是否在合理的區(qū)間內(nèi) 邏輯性檢驗 由不同數(shù)據(jù)源加工得到的多個表內(nèi)字段間邏輯關(guān)系

7、的檢查,19,數(shù)據(jù)檢驗適用的規(guī)則,時效性檢驗 規(guī)則一：時效性檢驗適用于DDS中所有的維度表和事實表。 完整性檢驗 規(guī)則二：包含外鍵字段的DDS中事實表必須進行代碼一致性檢驗。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的DDS事實表必須進行記錄條數(shù)檢驗。 原則性檢驗 規(guī)則四：表中的字段可以確定取值范圍，同時可以判定不在此范 圍內(nèi)的數(shù)據(jù)必定是錯誤的。滿足此條件必須進行原則性檢驗。 規(guī)則五：同表內(nèi)多個字段間具有相同的業(yè)務(wù)含義，不同的統(tǒng)計口徑，存在匯總關(guān)系時，必須進行原則性檢驗。 規(guī)則六：同表內(nèi)多個字段間具有不同的業(yè)務(wù)含義，相同的統(tǒng)計口徑，在業(yè)務(wù)上有邏輯公式成立時，必須進行原則性檢驗,20,數(shù)據(jù)檢驗

8、適用的規(guī)則,模糊性檢驗 規(guī)則七：不能進行完整性、原則性檢驗的情況下，必須進行模糊性檢驗。 規(guī)則八：規(guī)則七不成立時，根據(jù)系統(tǒng)的重要程度決定是否進行模糊性檢驗。系統(tǒng)的重要程度及哪些系統(tǒng)要進行模糊性檢驗由客戶方確定。 邏輯性檢驗 規(guī)則九：本表的字段與其它表中的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng) 計口徑，存在匯總關(guān)系，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時必須進行邏輯性檢驗。 規(guī)則十：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計口徑相同，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時必須進行邏輯性檢驗。 規(guī)則十一：本表的字段與其他表中的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計口徑，在業(yè)務(wù)上有

9、邏輯公式成立，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時必須進行邏輯性檢驗,21,數(shù)據(jù)質(zhì)量檢驗的順序,1、數(shù)據(jù)源完整性檢驗 數(shù)據(jù)源的完整性檢驗報異常時應(yīng)停止ETL加載過程，不需要再進行后續(xù)的檢驗 2、數(shù)據(jù)源原則性檢驗 數(shù)據(jù)源的原則性檢驗報異常時應(yīng)停止ETL加載過程。不需要再進行后續(xù)的檢驗 3、數(shù)據(jù)校驗完整性檢驗 數(shù)據(jù)校驗的完整性檢驗報異常時應(yīng)停止ETL加載過程，不需要再進行后續(xù)的檢驗 4、數(shù)據(jù)校驗原則性檢驗 數(shù)據(jù)校驗的原則性檢驗報異常時應(yīng)停止ETL加載過程，不需要再進行后續(xù)的檢驗 5、數(shù)據(jù)源時效性檢驗、數(shù)據(jù)源邏輯性檢驗、數(shù)據(jù)校驗時效性檢驗、 數(shù)據(jù)校驗?zāi)：詸z驗、數(shù)據(jù)校驗邏輯性檢驗 這

10、五類檢驗方法報異常時，ETL加載正常進行，但需要給出預(yù)警提示,22,數(shù)據(jù)管理,23,數(shù)據(jù)質(zhì)量檢驗的案例,下面以行業(yè)對比報表中的全國卷煙市場分類銷量情況表（分價類）為例來介紹如何根據(jù)數(shù)據(jù)質(zhì)量管理方案進行各類規(guī)則的制定實施過程,24,步驟一確定相關(guān)的表,全國卷煙市場分類銷售情況表（分價類） 在DDS中直接使用的表為：APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL 對應(yīng)的HDS中的源表為：EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL。 因此下面的檢驗規(guī)則主要針對這兩張表來制定,25,步驟二確定數(shù)據(jù)源的時效性檢驗規(guī)則,根據(jù)表EIIRECV.EIIREC

11、V_TZ_BS_Y_Q_M_SELLDETAIL的數(shù)據(jù)到達規(guī)律，定義該表每月最晚到達日期為8日,26,步驟三 確定數(shù)據(jù)源的完整性檢驗規(guī)則,根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)則二、三： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有外鍵字段 I_Province (省份代碼)、 I_Org (機構(gòu)代碼)、C_Brand(規(guī)格)。 I_Province (省份代碼）對應(yīng)代碼表DM.T_DM_GJJ_QGSF中的QGSFDM； I_Org (機構(gòu)代碼)對應(yīng)代碼表DM.T_DM_GJJ_ZZJG中的ZZJGDM； C_Brand(規(guī)格)對應(yīng)代碼表T_DM_GJJ_JY

12、中的THTXBS 。 該表符合規(guī)則二的檢驗條件，需要進行代碼一致性檢查。 2、該表包含有日期型字段Y,M，但記錄條數(shù)每月不確定，因此不滿足規(guī)則三，無法進行記錄條數(shù)檢查,27,步驟四 確定數(shù)據(jù)源的原則性檢驗規(guī)則,根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)則四： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有數(shù)據(jù)字段sell(系統(tǒng)外總銷量 )、Out_Sell_Retail_Amount (系統(tǒng)外零售量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 )、End_Store_Amount (期末庫存 )； 根據(jù)業(yè)務(wù)經(jīng)驗確定： sell=0 Out_Sell_Retai

13、l_Amount=0 Out_Sell_Amount=0 End_Store_Amount=0,28,步驟五 確定數(shù)據(jù)源的邏輯性檢驗規(guī)則,根據(jù)數(shù)據(jù)源檢驗適用規(guī)則五： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amount 2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC表也包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amount 3、這兩張表對應(yīng)字段具有相同業(yè)務(wù)含義、

14、不同的統(tǒng)計口徑，存在以下匯總關(guān)系： EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC 表統(tǒng)計商業(yè)企業(yè)的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫存數(shù)據(jù)。EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表統(tǒng)計商業(yè)企業(yè)分卷煙規(guī)格的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫存數(shù)據(jù)。因此EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表中某商業(yè)企業(yè)分規(guī)格的匯總數(shù)據(jù)應(yīng)該等于表EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC中對應(yīng)的商業(yè)企業(yè)的數(shù)據(jù),29,步驟五 確定數(shù)據(jù)源的邏輯性檢驗規(guī)則,根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)

15、則六、七： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中不包含字段與其 他表中的字段具有相同的業(yè)務(wù)含義、統(tǒng)計口徑。因此不滿足規(guī)則六邏輯檢 驗。 2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中包含有字段 sell(系統(tǒng)外總銷量)、 Out_Sell_Retail_Amount (系統(tǒng)外零售 量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 ) End_Store_Amount (期 末庫存 )、ratio_stock_sell(存銷比)。 具有不同的業(yè)務(wù)含義、相同的統(tǒng)計口徑，存在業(yè)務(wù)邏輯關(guān)系： ratio_s

16、tock_sell= End_Store_Amount/sell sell= Out_Sell_Retail_Amount+ Out_Sell_Amount,30,步驟六 確定數(shù)據(jù)的時效性檢驗規(guī)則,根據(jù)表APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL使用的源表的最晚到達時間，加上后臺數(shù)據(jù)加工處理的時間，定義該表的最晚加載日期為每月12日,31,步驟七 確定數(shù)據(jù)的完整性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則二、三： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL不包含外鍵字段，因此不符 合規(guī)則二，不需要進行代碼一致性檢查。 2、該表包含有日期型字段DQRQ，

17、記錄條數(shù)每月確定，因此滿足規(guī)則三，需要進行記錄條數(shù)檢查，此表每月加載量為35行,32,步驟八 確定數(shù)據(jù)的原則性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則四： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；可以確定取值范圍，根據(jù)業(yè)務(wù)經(jīng)驗確定： BY_SYXL、BY_HCY、 LJ_SYXL、LJ_SYXL 0; BY_JL1、BY_JL2、BY_JL3、BY_J

18、L4、BY_JL50; LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL50,33,步驟八 確定數(shù)據(jù)的原則性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則五、六： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中包含有字段SCLXMC、 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；存在有相同業(yè)務(wù)含義，不同的統(tǒng)計口徑，其中市場類型為全國的數(shù)據(jù)對應(yīng)于市場類型為本土市場、重點市場和其他市場的匯總數(shù)據(jù)。 2、AP

19、P_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中不包含字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計口徑，在業(yè)務(wù)上存在業(yè)務(wù)邏輯公式的。因此不滿足數(shù)據(jù)檢驗的規(guī)則六,34,步驟九 確定數(shù)據(jù)的模糊性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則七、八： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段BY_SYXL、BY_HCY、 LJ_SYXL、LJ_HCY、 BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL；不滿足規(guī)則七，

20、滿足規(guī)定八。 2、其中字段BY_SYXL、BY_HCY、LJ_SYXL、LJ_HCY的數(shù)據(jù)根據(jù)業(yè)務(wù)經(jīng)驗確定，數(shù)據(jù)審核規(guī)范如下：市場類型為全國的對應(yīng)以上字段數(shù)據(jù)同比的合理區(qū)間在010%；市場類型除全國外其他類型的同比合理區(qū)間在-10%20,35,步驟九 確定數(shù)據(jù)的模糊性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則七、八： 3、其中字段BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、 BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL的數(shù)據(jù)根據(jù)統(tǒng)計學(xué)公式確定，數(shù)據(jù)審核規(guī)范如下：區(qū)分市場類型使用99%置信區(qū)間

21、；合理區(qū)間在歷史數(shù)據(jù)平均值-3(歷史數(shù)據(jù)標準差/歷史數(shù)據(jù)記錄數(shù)的平方根)歷史數(shù)據(jù)平均值+3(歷史數(shù)據(jù)標準差/歷史數(shù)據(jù)記錄數(shù)的平方根,36,步驟十 確定數(shù)據(jù)的邏輯性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則九： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5 2、ZHGL.L_T_ZHGL_JYFLSPDXYBBLJ表(煙草系統(tǒng)卷煙分類商品電訊月報表累計)包含有字段DQ、YLYNCLJ、ELYNCLJ、SLYNCLJ、SILYNCLJ、WLYNCLJ 3、這兩張表對應(yīng)字段具有相同業(yè)務(wù)含

22、義，不同的統(tǒng)計口徑，存在匯總 關(guān)系： APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中為各省份的分價類銷量的分月的數(shù)據(jù)ZHGL.T_ZHGL_JYFLSPDXYBBLJ表表中各省份、分價類商業(yè)銷量的累計數(shù)據(jù) 因此APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表各省份的分價類銷量的分月的匯總數(shù)據(jù)等于該電訊月報ZHGL.T_ZHGL_JYFLSPDXYBBLJ表對應(yīng)省份、對應(yīng)價類商業(yè)銷量的累計數(shù)據(jù),37,步驟十 確定數(shù)據(jù)的邏輯性檢驗規(guī)則,根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則九： 4、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_SYXL， 5、ZHGL.T_ZHGL_JYXTSPDXYBBLJ表(煙草系統(tǒng)卷煙商品電訊月報累計)包含有字段DQ、XTWXSHJ 6、這兩張表具有相同業(yè)務(wù)含義，不同的統(tǒng)計口徑，存在匯總關(guān)系： APP_JJY