數(shù)據(jù)質(zhì)量管理.ppt

數(shù)據(jù)管理 演講人 部門 職務(wù) 數(shù)據(jù)管理 目標(biāo)一 安全訪問安全存儲安全目標(biāo)二 正確數(shù)據(jù)精確數(shù)據(jù)正確目標(biāo)三 效率常規(guī)加載的效率非常規(guī)加載的效率 數(shù)據(jù)管理的目標(biāo) 數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量管理的難點與重點 數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量數(shù)據(jù)的真實性 數(shù)據(jù)必須真實準(zhǔn)確的反映實際發(fā)生的業(yè)務(wù) 數(shù)據(jù)的完備性 數(shù)據(jù)的完備性是說數(shù)據(jù)是充分的 任何有關(guān)操作的數(shù)據(jù)都沒有被遺漏 數(shù)據(jù)的自治性數(shù)據(jù)并不是孤立存在的 數(shù)據(jù)之間往往存在著各種各樣的約束 這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系 數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系 而不能夠相互矛盾 數(shù)據(jù)質(zhì)量概念 數(shù)據(jù)的真實性 完備性 自洽性是數(shù)據(jù)本身應(yīng)具有的屬性 稱為數(shù)據(jù)的絕對質(zhì)量 是保證數(shù)據(jù)質(zhì)量的基礎(chǔ) 除了數(shù)據(jù)的絕對質(zhì)量外 還有我們在利用和存貯數(shù)據(jù)的過程中所產(chǎn)生的數(shù)據(jù)質(zhì)量 包括使用質(zhì)量 存貯質(zhì)量和傳輸質(zhì)量 稱之為過程質(zhì)量 數(shù)據(jù)的過程質(zhì)量數(shù)據(jù)的使用質(zhì)量 數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用 再正確的數(shù)據(jù) 如果被錯誤的使用 就不可能得出正確的結(jié)論 數(shù)據(jù)的存貯質(zhì)量 指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上 所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來抵制外來的因素 使數(shù)據(jù)免受破壞 備份是我們常使用的技術(shù) 如異地備份和雙機(jī)備份等 所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要數(shù)據(jù)的時候能及時方便的取出 數(shù)據(jù)的傳輸質(zhì)量 數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過程中的效率和正確性 在現(xiàn)代信息社會中 數(shù)據(jù)在異地之間的傳輸越來越多 保證傳輸過程中的高效率和正確性非常重要 數(shù)據(jù)質(zhì)量概念 關(guān)系建設(shè)系統(tǒng)成敗很多數(shù)據(jù)倉庫應(yīng)用程度不高或最后失敗 歸根結(jié)底都是數(shù)據(jù)質(zhì)量不高造成的 數(shù)據(jù)質(zhì)量好壞關(guān)系到結(jié)果與預(yù)期是否一致低下的數(shù)據(jù)質(zhì)量往往造成開發(fā)出來的系統(tǒng)與用戶的預(yù)期大相徑庭數(shù)據(jù)質(zhì)量是決策正確的保障數(shù)據(jù)信息是企業(yè)重要的戰(zhàn)略資源 合理有效的使用正確的數(shù)據(jù)能指導(dǎo)企業(yè)領(lǐng)導(dǎo)作出正確的決策 提高企業(yè)的競爭力 不合理的使用不正確的數(shù)據(jù) 即差的數(shù)據(jù)質(zhì)量 可導(dǎo)致決策的失敗 正可謂差之毫厘 謬以千里 數(shù)據(jù)質(zhì)量是長期困擾開發(fā)的難題數(shù)據(jù)質(zhì)量不高已經(jīng)成為困擾此類項目的開發(fā)人員與用戶的一個嚴(yán)重問題 數(shù)據(jù)質(zhì)量重要性 數(shù)據(jù)質(zhì)量不高的主要原因 數(shù)據(jù)質(zhì)量歸類 數(shù)據(jù)質(zhì)量示例 數(shù)據(jù)質(zhì)量管理方法 數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量控制方法論 數(shù)據(jù)源檢驗方法 數(shù)據(jù)源檢驗是對HDS中的源表進(jìn)行的數(shù)據(jù)質(zhì)量檢查 數(shù)據(jù)源檢驗分為時效性檢驗和正確性檢驗兩個大類 其中正確性檢驗又分為完整性檢驗 原則性檢驗 邏輯性檢驗 數(shù)據(jù)源檢驗方法 時效性檢驗判斷在約定的時間內(nèi) 數(shù)據(jù)源的數(shù)據(jù)是否按時到達(dá)完整性檢驗HDS數(shù)據(jù)表與代碼表的一致性檢查HDS數(shù)據(jù)表記錄數(shù)檢查原則性檢驗HDS數(shù)據(jù)表中字段的數(shù)值是否在合法的區(qū)間內(nèi)邏輯性檢驗單表或多個表內(nèi)字段間邏輯關(guān)系的檢查 數(shù)據(jù)源檢驗適用的規(guī)則 時效性檢驗 規(guī)則一 時效性檢驗適用于HDS中所有的代碼表和數(shù)據(jù)表 完整性檢驗 規(guī)則二 包含外鍵字段的HDS數(shù)據(jù)表必須進(jìn)行代碼一致性檢驗 規(guī)則三 包含日期型字段且可以確定記錄數(shù)范圍的HDS數(shù)據(jù)表必須進(jìn)行記錄條數(shù)檢驗 原則性檢驗 規(guī)則四 HDS數(shù)據(jù)表中可以確定取值范圍的字段必須進(jìn)行原則性檢驗 邏輯性檢驗 規(guī)則五 單表或多個表內(nèi)的字段具有相同的業(yè)務(wù)含義 不同的統(tǒng)計口徑 且存在匯總關(guān)系 滿足此條件時必須進(jìn)行邏輯性檢驗 規(guī)則六 本表的字段與其他表中的字段的業(yè)務(wù)含義 統(tǒng)計口徑相同 滿足此條件時必須進(jìn)行邏輯性檢驗 規(guī)則七 單表或多個表內(nèi)的字段具有不同的業(yè)務(wù)含義 相同的統(tǒng)計口徑 在業(yè)務(wù)上有邏輯公式成立 滿足此條件時必須進(jìn)行邏輯性檢驗 數(shù)據(jù)檢驗方法 數(shù)據(jù)校驗是對DDS數(shù)據(jù)庫中前臺應(yīng)用直接使用的相關(guān)表的檢驗 數(shù)據(jù)校驗分為時效性檢驗和正確性檢驗兩個大類 其中正確性檢驗又分為完整性檢驗 原則性檢驗 模糊性檢驗 邏輯性檢驗 數(shù)據(jù)檢驗方法 時效性檢驗判斷在約定的時間內(nèi) 前臺應(yīng)用直接使用的相關(guān)表是否按時加載完整性檢驗DDS事實表與維度表的一致性檢查DDS事實表記錄數(shù)檢查原則性檢驗DDS事實表中單字段的數(shù)值是否在合法的區(qū)間內(nèi)同一表內(nèi)字段間邏輯關(guān)系的檢查模糊性檢驗判斷字段的數(shù)值及其同比值是否在合理的區(qū)間內(nèi)邏輯性檢驗由不同數(shù)據(jù)源加工得到的多個表內(nèi)字段間邏輯關(guān)系的檢查 數(shù)據(jù)檢驗適用的規(guī)則 時效性檢驗 規(guī)則一 時效性檢驗適用于DDS中所有的維度表和事實表 完整性檢驗 規(guī)則二 包含外鍵字段的DDS中事實表必須進(jìn)行代碼一致性檢驗 規(guī)則三 包含日期型字段且可以確定記錄數(shù)范圍的DDS事實表必須進(jìn)行記錄條數(shù)檢驗 原則性檢驗 規(guī)則四 表中的字段可以確定取值范圍 同時可以判定不在此范圍內(nèi)的數(shù)據(jù)必定是錯誤的 滿足此條件必須進(jìn)行原則性檢驗 規(guī)則五 同表內(nèi)多個字段間具有相同的業(yè)務(wù)含義 不同的統(tǒng)計口徑 存在匯總關(guān)系時 必須進(jìn)行原則性檢驗 規(guī)則六 同表內(nèi)多個字段間具有不同的業(yè)務(wù)含義 相同的統(tǒng)計口徑 在業(yè)務(wù)上有邏輯公式成立時 必須進(jìn)行原則性檢驗 數(shù)據(jù)檢驗適用的規(guī)則 模糊性檢驗 規(guī)則七 不能進(jìn)行完整性 原則性檢驗的情況下 必須進(jìn)行模糊性檢驗 規(guī)則八 規(guī)則七不成立時 根據(jù)系統(tǒng)的重要程度決定是否進(jìn)行模糊性檢驗 系統(tǒng)的重要程度及哪些系統(tǒng)要進(jìn)行模糊性檢驗由客戶方確定 邏輯性檢驗 規(guī)則九 本表的字段與其它表中的字段具有相同的業(yè)務(wù)含義 不同的統(tǒng)計口徑 存在匯總關(guān)系 且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到 滿足此條件時必須進(jìn)行邏輯性檢驗 規(guī)則十 本表的字段與其他表中的字段的業(yè)務(wù)含義 統(tǒng)計口徑相同 且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到 滿足此條件時必須進(jìn)行邏輯性檢驗 規(guī)則十一 本表的字段與其他表中的字段具有不同的業(yè)務(wù)含義 相同的統(tǒng)計口徑 在業(yè)務(wù)上有邏輯公式成立 且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到 滿足此條件時必須進(jìn)行邏輯性檢驗 數(shù)據(jù)質(zhì)量檢驗的順序 1 數(shù)據(jù)源 完整性檢驗數(shù)據(jù)源的完整性檢驗報異常時應(yīng)停止ETL加載過程 不需要再進(jìn)行后續(xù)的檢驗2 數(shù)據(jù)源 原則性檢驗數(shù)據(jù)源的原則性檢驗報異常時應(yīng)停止ETL加載過程 不需要再進(jìn)行后續(xù)的檢驗3 數(shù)據(jù)校驗 完整性檢驗數(shù)據(jù)校驗的完整性檢驗報異常時應(yīng)停止ETL加載過程 不需要再進(jìn)行后續(xù)的檢驗4 數(shù)據(jù)校驗 原則性檢驗數(shù)據(jù)校驗的原則性檢驗報異常時應(yīng)停止ETL加載過程 不需要再進(jìn)行后續(xù)的檢驗5 數(shù)據(jù)源 時效性檢驗 數(shù)據(jù)源 邏輯性檢驗 數(shù)據(jù)校驗 時效性檢驗 數(shù)據(jù)校驗 模糊性檢驗 數(shù)據(jù)校驗 邏輯性檢驗這五類檢驗方法報異常時 ETL加載正常進(jìn)行 但需要給出預(yù)警提示 數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量檢驗的案例 下面以行業(yè)對比報表中的全國卷煙市場分類銷量情況表 分價類 為例來介紹如何根據(jù)數(shù)據(jù)質(zhì)量管理方案進(jìn)行各類規(guī)則的制定實施過程 步驟一確定相關(guān)的表 全國卷煙市場分類銷售情況表 分價類 在DDS中直接使用的表為 APP JJYX T FT JJYX JYSCFLXLQK JL對應(yīng)的HDS中的源表為 EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL 因此下面的檢驗規(guī)則主要針對這兩張表來制定 步驟二確定數(shù)據(jù)源的時效性檢驗規(guī)則 根據(jù)表EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL的數(shù)據(jù)到達(dá)規(guī)律 定義該表每月最晚到達(dá)日期為8日 步驟三確定數(shù)據(jù)源的完整性檢驗規(guī)則 根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)則二 三 1 EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL中包含有外鍵字段I Province 省份代碼 I Org 機(jī)構(gòu)代碼 C Brand 規(guī)格 I Province 省份代碼 對應(yīng)代碼表DM T DM GJJ QGSF中的QGSFDM I Org 機(jī)構(gòu)代碼 對應(yīng)代碼表DM T DM GJJ ZZJG中的ZZJGDM C Brand 規(guī)格 對應(yīng)代碼表T DM GJJ JY中的THTXBS 該表符合規(guī)則二的檢驗條件 需要進(jìn)行代碼一致性檢查 2 該表包含有日期型字段Y M 但記錄條數(shù)每月不確定 因此不滿足規(guī)則三 無法進(jìn)行記錄條數(shù)檢查 步驟四確定數(shù)據(jù)源的原則性檢驗規(guī)則 根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)則四 1 EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL中包含有數(shù)據(jù)字段sell 系統(tǒng)外總銷量 Out Sell Retail Amount 系統(tǒng)外零售量 Out Sell Amount 系統(tǒng)外批發(fā)銷量 End Store Amount 期末庫存 根據(jù)業(yè)務(wù)經(jīng)驗確定 sell 0Out Sell Retail Amount 0Out Sell Amount 0End Store Amount 0 步驟五確定數(shù)據(jù)源的邏輯性檢驗規(guī)則 根據(jù)數(shù)據(jù)源檢驗適用規(guī)則五 1 EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL表包含字段Out Sell Retail Amount Out Sell Amount End Store Amount2 EIIRECV EIIRECV TZ BS Y Q M BASIC表也包含字段Out Sell Retail Amount Out Sell Amount End Store Amount3 這兩張表對應(yīng)字段具有相同業(yè)務(wù)含義 不同的統(tǒng)計口徑 存在以下匯總關(guān)系 EIIRECV EIIRECV TZ BS Y Q M BASIC表統(tǒng)計商業(yè)企業(yè)的系統(tǒng)外批發(fā)銷售量 系統(tǒng)外零售量 期末商業(yè)庫存數(shù)據(jù) EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL表統(tǒng)計商業(yè)企業(yè)分卷煙規(guī)格的系統(tǒng)外批發(fā)銷售量 系統(tǒng)外零售量 期末商業(yè)庫存數(shù)據(jù) 因此EIIRECV EIIRECV TZ BS Y Q M SELLDETAIL表中某商業(yè)企業(yè)分規(guī)格的匯總數(shù)據(jù)應(yīng)該等于表EIIRECV EIIRECV TZ BS Y Q M BASIC中對應(yīng)的商業(yè)企業(yè)的數(shù)據(jù) 步驟五確定數(shù)據(jù)源的邏輯性檢驗規(guī)則 根據(jù)數(shù)據(jù)源檢驗適用規(guī)則的規(guī)則六 七 1 EIIRECV EIIRECV TZ BS Y Q M SELLDETAILL表中不包含字段與其他表中的字段具有相同的業(yè)務(wù)含義 統(tǒng)計口徑 因此不滿足規(guī)則六邏輯檢驗 2 EIIRECV EIIRECV TZ BS Y Q M SELLDETAILL表中包含有字段sell 系統(tǒng)外總銷量 Out Sell Retail Amount 系統(tǒng)外零售量 Out Sell Amount 系統(tǒng)外批發(fā)銷量 End Store Amount 期末庫存 ratio stock sell 存銷比 具有不同的業(yè)務(wù)含義 相同的統(tǒng)計口徑 存在業(yè)務(wù)邏輯關(guān)系 ratio stock sell End Store Amount sellsell Out Sell Retail Amount Out Sell Amount 步驟六確定數(shù)據(jù)的時效性檢驗規(guī)則 根據(jù)表APP JJYX T FT JJYX JYSCFLXLQK JL使用的源表的最晚到達(dá)時間 加上后臺數(shù)據(jù)加工處理的時間 定義該表的最晚加載日期為每月12日 步驟七確定數(shù)據(jù)的完整性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則二 三 1 APP JJYX T FT JJYX JYSCFLXLQK JL不包含外鍵字段 因此不符合規(guī)則二 不需要進(jìn)行代碼一致性檢查 2 該表包含有日期型字段DQRQ 記錄條數(shù)每月確定 因此滿足規(guī)則三 需要進(jìn)行記錄條數(shù)檢查 此表每月加載量為35行 步驟八確定數(shù)據(jù)的原則性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則四 1 APP JJYX T FT JJYX JYSCFLXLQK JL表中包含有字段BY SYXL BY HCY BY JL1 BY JL2 BY JL3 BY JL4 BY JL5 LJ SYXL LJ HCY LJ JL1 LJ JL2 LJ JL3 LJ JL4 LJ JL5 可以確定取值范圍 根據(jù)業(yè)務(wù)經(jīng)驗確定 BY SYXL BY HCY LJ SYXL LJ SYXL 0 BY JL1 BY JL2 BY JL3 BY JL4 BY JL5 0 LJ JL1 LJ JL2 LJ JL3 LJ JL4 LJ JL5 0 步驟八確定數(shù)據(jù)的原則性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則五 六 1 APP JJYX T FT JJYX JYSCFLXLQK JL中包含有字段SCLXMC BY SYXL BY HCY BY JL1 BY JL2 BY JL3 BY JL4 BY JL5 LJ SYXL LJ HCY LJ JL1 LJ JL2 LJ JL3 LJ JL4 LJ JL5 存在有相同業(yè)務(wù)含義 不同的統(tǒng)計口徑 其中市場類型為全國的數(shù)據(jù)對應(yīng)于市場類型為本土市場 重點市場和其他市場的匯總數(shù)據(jù) 2 APP JJYX T FT JJYX JYSCFLXLQK JL中不包含字段具有不同的業(yè)務(wù)含義 相同的統(tǒng)計口徑 在業(yè)務(wù)上存在業(yè)務(wù)邏輯公式的 因此不滿足數(shù)據(jù)檢驗的規(guī)則六 步驟九確定數(shù)據(jù)的模糊性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則七 八 1 APP JJYX T FT JJYX JYSCFLXLQK JL表中包含有字段BY SYXL BY HCY LJ SYXL LJ HCY BY JL1 BL BY JL2 BL BY JL3 BL BY JL4 BL BY JL5 BL LJ JL1 BL LJ JL2 BL LJ JL3 BL LJ JL4 BL LJ JL5 BL 不滿足規(guī)則七 滿足規(guī)定八 2 其中字段BY SYXL BY HCY LJ SYXL LJ HCY的數(shù)據(jù)根據(jù)業(yè)務(wù)經(jīng)驗確定 數(shù)據(jù)審核規(guī)范如下 市場類型為全國的對應(yīng)以上字段數(shù)據(jù)同比的合理區(qū)間在0 10 市場類型除全國外其他類型的同比合理區(qū)間在 10 20 步驟九確定數(shù)據(jù)的模糊性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則七 八 3 其中字段BY JL1 BL BY JL2 BL BY JL3 BL BY JL4 BL BY JL5 BL LJ JL1 BL LJ JL2 BL LJ JL3 BL LJ JL4 BL LJ JL5 BL的數(shù)據(jù)根據(jù)統(tǒng)計學(xué)公式確定 數(shù)據(jù)審核規(guī)范如下 區(qū)分市場類型使用99 置信區(qū)間 合理區(qū)間在歷史數(shù)據(jù)平均值 3 歷史數(shù)據(jù)標(biāo)準(zhǔn)差 歷史數(shù)據(jù)記錄數(shù)的平方根 歷史數(shù)據(jù)平均值 3 歷史數(shù)據(jù)標(biāo)準(zhǔn)差 歷史數(shù)據(jù)記錄數(shù)的平方根 步驟十確定數(shù)據(jù)的邏輯性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則九 1 APP JJYX T FT JJYX JYSCFLXLQK JL表包含有字段SCLXMC BY JL1 BY JL2 BY JL3 BY JL4 BY JL52 ZHGL L T ZHGL JYFLSPDXYBBLJ表 煙草系統(tǒng)卷煙分類商品電訊月報表累計 包含有字段DQ YLYNCLJ ELYNCLJ SLYNCLJ SILYNCLJ WLYNCLJ3 這兩張表對應(yīng)字段具有相同業(yè)務(wù)含義 不同的統(tǒng)計口徑 存在匯總關(guān)系 APP JJYX T FT JJYX JYSCFLXLQK JL表中為各省份的分價類銷量的分月的數(shù)據(jù)ZHGL T ZHGL JYFLSPDXYBBLJ表表中各省份 分價類商業(yè)銷量的累計數(shù)據(jù)因此APP JJYX T FT JJYX JYSCFLXLQK JL表各省份的分價類銷量的分月的匯總數(shù)據(jù)等于該電訊月報ZHGL T ZHGL JYFLSPDXYBBLJ表對應(yīng)省份 對應(yīng)價類商業(yè)銷量的累計數(shù)據(jù) 步驟十確定數(shù)據(jù)的邏輯性檢驗規(guī)則 根據(jù)數(shù)據(jù)檢驗適用規(guī)則的規(guī)則九 4 APP JJYX T FT JJYX JYSCFLXLQK JL表包含有字段SCLXMC BY SYXL 5 ZHGL T ZHGL JYXTSPDXYBBLJ表 煙草系統(tǒng)卷煙商品電訊月報累計 包含有字段DQ XTWXSHJ6 這兩張表具有相同業(yè)務(wù)含義 不同的統(tǒng)計口徑 存在匯總關(guān)系 APP JJYX T F