數(shù)據(jù)質量管理_數(shù)據(jù)倉庫

1、數(shù)據(jù)倉庫專題講座之數(shù)據(jù)質量管理,2005年9月,目錄,數(shù)據(jù)質量問題分析 數(shù)據(jù)質量方法論 質量保證成功因素 案例分析,數(shù)據(jù)質量歸類,錯誤的值,錯誤的數(shù)據(jù)依賴,重復屬性,缺乏引用完整性,違反商務規(guī)則,多種數(shù)據(jù)源中缺乏數(shù)據(jù)對應,源數(shù)據(jù)和目標缺乏同步,沒有理由的關聯(lián),缺少數(shù)據(jù),錯誤的計算,主鍵重復,無標準的格式,稀少的實體解釋,數(shù)據(jù)質量的示例,錯誤的范圍,原因分析,各專業(yè)之間的指標體系及編碼規(guī)則不一致,多個生產(chǎn)系統(tǒng)的數(shù)據(jù)源存在不一致現(xiàn)象 數(shù)據(jù)源本身存在臟數(shù)據(jù)噪聲數(shù)據(jù) 數(shù)據(jù)存在人工操作 不同數(shù)據(jù)源由不同部門管理,由于生產(chǎn)系統(tǒng)的數(shù)據(jù) 是隨生產(chǎn)而變化的， 在不同的時間點 進行數(shù)據(jù)抽取的數(shù)據(jù) 是不一致的,生產(chǎn)

2、系統(tǒng)的不同版本 各分公司市場政策的差異 同一產(chǎn)品、業(yè)務、套餐 在生產(chǎn)系統(tǒng) 業(yè)務處理規(guī)則 編碼差異很大,統(tǒng)計口徑,數(shù)據(jù)抽取時間點問題,業(yè)務規(guī)則問題,數(shù)據(jù)源問題,客戶關系管理,操作型數(shù)據(jù)整合環(huán)境,ODS,業(yè)務運作系統(tǒng),企業(yè)數(shù)據(jù)倉庫,EDW,數(shù)據(jù) 集市,客戶 洞察,BSS,CRM,計費,結算,OSS,資源 管理,服務 開通,綜合 網(wǎng)管,專業(yè) 網(wǎng)管,MSS/ERP,人力 資源,財務 管理,工程 管理,數(shù)據(jù)復制,EAI,ODS數(shù)據(jù)視圖訪問,ODS ETL,數(shù)據(jù)復制,EAI,ODS數(shù)據(jù)反饋ETL,ODS/EDW數(shù)據(jù)視圖訪問,EDW ETL,客戶 價值,客戶 流失,數(shù)據(jù) 集市,決策支持,整合的前端報表查詢和

3、分析環(huán)境,多維數(shù)據(jù)訪問,ODS書籍,營銷活動,渠道管理,客戶關懷,客戶洞察,經(jīng)營分析,績效管理,KPI,其他數(shù)據(jù),反饋 分析 數(shù)據(jù),元數(shù)據(jù)管理,安全和權限管理,系統(tǒng)管理,收入 分析,業(yè)務發(fā)展分析,客戶 分析,客戶 細分,營銷 分析,營銷評估監(jiān)控,信用度計算,渠道 監(jiān)控,綜合查詢,綜合報表,數(shù)據(jù)挖掘,數(shù)據(jù) 稽核,數(shù)據(jù)質量 監(jiān)控,當企業(yè)的所有系統(tǒng)，包括業(yè)務系統(tǒng)、管理系統(tǒng)、EDA系統(tǒng)都結為一體的時候，系統(tǒng)監(jiān)控、 工作流、 數(shù)據(jù)流、 系統(tǒng)管理變成一個重要挑戰(zhàn),目錄,數(shù)據(jù)質量問題分析 數(shù)據(jù)質量方法論 質量保證成功因素 案例分析,數(shù)據(jù)質量管理方法論,管理機制的保障是數(shù)據(jù)質量控制的關鍵,驗證檢查是數(shù)據(jù)保障的

4、督促和推動,嚴謹?shù)倪^程定義是數(shù)據(jù)質量保障的基礎,有效的落實是數(shù)據(jù)質量保障的根本,有效的組織機構是管理機制的有力支持,完善文檔的建立和維護是數(shù)據(jù)質量保障各個環(huán)節(jié)以及組織之間溝通的依據(jù),建立合理的數(shù)據(jù)管理機構、制定數(shù)據(jù)質量管理機制、 落實人員執(zhí)行責任、保障組織間高效的溝通、持續(xù)監(jiān)控數(shù)據(jù)應用過程和領導強有力的督促是保證企業(yè)數(shù)據(jù)質量的關鍵,數(shù)據(jù)質量保障流程,按照制定的規(guī)范獲取相應的項目資源、支撐工具以及制定工作計劃,定義詳細的過程、數(shù)據(jù)、組織的劃分以及質量元素、標準及測算方法。,對現(xiàn)存數(shù)據(jù)及業(yè)務環(huán)境進行評估，以便識別項目對數(shù)據(jù)、過程、系統(tǒng)以及組織架構所造成的影響。,建立業(yè)務環(huán)境，改進現(xiàn)有數(shù)據(jù)的數(shù)據(jù)質量

5、。,目錄,數(shù)據(jù)質量問題分析 數(shù)據(jù)質量方法論 質量保證成功因素 案例分析,綜述,按照現(xiàn)代質量觀念，質量是一個過程而不是結果。 數(shù)據(jù)倉庫的數(shù)據(jù)質量應當在整個數(shù)據(jù)倉庫規(guī)劃、設計、建設、維護中體現(xiàn)和實現(xiàn)。 鑒于系統(tǒng)建設情況(業(yè)務系統(tǒng)、經(jīng)營分析系統(tǒng))，應該重點關注 管理、 過程 評估,質量保證KSF,組織保證 設計崗位 明確崗位的要求和職責 制定標準 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,過程,在數(shù)據(jù)處理的流程上進行規(guī)范并設 置相應的控制點和稽核點 規(guī)范的流程 過程校驗點和稽核點 異常處理措施,制定數(shù)據(jù)質量的評測標準并按 所制定的標準對其進行考核： 標準 及時性、準確性、一致性等 考核 獎勵、懲罰 階段評估

6、,管理崗位,為經(jīng)營分析系統(tǒng)的數(shù)據(jù)質量管理工作提供宏觀方向指導，并予以授權,支持數(shù)據(jù)質量管理小組的部門或系統(tǒng)間協(xié)調(diào)工作,全面負責經(jīng)營分析系統(tǒng)的建設和維護 領導數(shù)據(jù)質量管理員進行數(shù)據(jù)質量管理工作,編寫和維護數(shù)據(jù)質量工作相關文檔，如數(shù)據(jù)質量檢測標準、控制流程； 定期組織相關力量對經(jīng)營分析系統(tǒng)的業(yè)務和設計（包括數(shù)據(jù)模型設計）的完備性進行評估，總結問題，及時發(fā)現(xiàn)影響數(shù)據(jù)質量的隱患； 定期、不定期地進行質量評估； 監(jiān)控數(shù)據(jù)質量問題解決的整個流程； 數(shù)據(jù)質量相關知識的培訓； 建立、維護數(shù)據(jù)質量問題解決的經(jīng)驗集,負責經(jīng)營分析系統(tǒng)與業(yè)務系統(tǒng)間的協(xié)調(diào)和工作落實 參與質量方案的評估和方案制定 負責監(jiān)督和管理相應業(yè)務

7、系統(tǒng)建設、維護單位進行的與經(jīng)營分析系統(tǒng)數(shù)據(jù)質量問題有關的活動,管理數(shù)據(jù)上傳計劃,制定各個業(yè)務系統(tǒng)的數(shù)據(jù)上傳內(nèi)容計劃，此計劃需要業(yè)務系統(tǒng)相應崗位人員認真執(zhí)行：,管理統(tǒng)一編碼庫,標準代碼是指省公司統(tǒng)一各分公司的業(yè)務情況整理的標準的業(yè)務代碼，內(nèi)容是代碼、名稱及代碼分類。標準代碼是數(shù)據(jù)源的主要業(yè)務代碼，所有的分析都是此代碼組合的維度基礎上，因此維護好代碼也是保證數(shù)據(jù)質量的關鍵之一 建立的原則 維護的原則 分公司應該理解省公司編碼有代表的實際業(yè)務內(nèi)容，然后把本公司的業(yè)務對應到省公司的標準代碼上 建立的原則 維護的原則,質量保證KSF,在行政管理以及職能上設置相應的 人員、設立相應的崗位進行數(shù)據(jù)質 量管理

8、，包含以下內(nèi)容： 設計崗位； 明確崗位的要求和職責； 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,評估,管理,過程,1,2,3,質量保證 關鍵成功因素 KSF,規(guī)范 規(guī)范的流程 檢查點 過程校驗點和稽核點 異常處理措施,制定數(shù)據(jù)質量的評測標準并按 所制定的標準對其進行考核： 標準 及時性、準確性、一致性等 考核 獎勵、懲罰 階段評估,過程規(guī)范的流程,定義了用于構造一個完善的、滿足業(yè)務功能的數(shù)據(jù)倉庫系統(tǒng)所不可缺少的步驟和任務。這是一組預定義好的、在整個數(shù)據(jù)倉庫項目中起指導作用的、可用多種方法管理的實施步驟,過程校驗點,對數(shù)據(jù)的稽核應包括三個層面的KPIs檢查校驗，其中業(yè)務層面對于數(shù)據(jù)質量保證更為重要，也更

9、為復雜,數(shù)據(jù)稽核,技術指標稽核,業(yè)務指標稽核,操作指標稽核,文件命名是否正確 文件個數(shù)是否正常 索引標識是否對應,文件中記錄行數(shù)是否正常 文件大小是否正常,文件中各類指標匯總值是否異常波動 根據(jù)歷史經(jīng)驗和季節(jié)規(guī)律進行時間序列分析數(shù)據(jù)校驗利器,在系統(tǒng)中予以固化，提供自動異常預警，使操作人員可以方便地進行審核確認,過程稽核點,由于各省數(shù)據(jù)情況復雜，因此數(shù)據(jù)在上傳集團公司的過程中，應經(jīng)過多次稽核檢驗把關，才能各環(huán)節(jié)數(shù)據(jù)的質量,省公司,本地網(wǎng),生成數(shù)據(jù),檢查通過？,檢查通過？,處理/生成,檢查通過？,檢查通過？,處理/稽核/展現(xiàn),省公司管控范圍,集團公司管控范圍,過程稽核方法1,在從分公司到省公司的E

10、TL過程中，采取總量稽核與分量稽核方法來校驗環(huán)節(jié)之間的數(shù)據(jù)平衡關系,對兩個相鄰環(huán)節(jié)中，對數(shù)據(jù)的總量進行驗證，總量指標包括：總記錄數(shù)，所有度量指標的總值等。 總量正確說明數(shù)據(jù)沒有被丟棄，沒有不符合裝載邏輯規(guī)則的臟數(shù)據(jù)存在。 總量不正確，則需要檢查本環(huán)節(jié)裝載日志中是否有被拋棄的記錄，如果沒有數(shù)據(jù)丟失，則需要檢查數(shù)據(jù)運算邏輯規(guī)則。 總量稽核要對每個度量進行，才算完整的稽核,分量稽核是指對相鄰的兩個環(huán)節(jié)中，在總量正確的前提下，對數(shù)據(jù)分布情況的稽核，在這個過程中，需要對每個維度上的分布的每個度量進行查詢，如果數(shù)據(jù)在每個維上的分布都正確，則在組合維查詢時數(shù)據(jù)也正確，可以保證多維分析的正確性。 在總量正確的

11、基礎之上，做分量稽核時只需要選擇任一度量進行稽核，可認為在其他度量上的分量正確,1,過程稽核方法2,列出整體的數(shù)據(jù)處理情況，包括入庫和采集及分析與渠道系統(tǒng)的使用,2,過程稽核方法3,此稽核方法可以作為總量和分量稽核的輔助，即針對某個度量而言在總量上或分量上的波動在設定的闕值內(nèi)認為數(shù)據(jù)時正常的，否則認為為異常，需要檢查確認,3,過程稽核方法3,邏輯稽核主要對于某個度量在某個分量（維度）上的分布是否符合業(yè)務邏輯，邏輯稽核也是以自定義的方式實現(xiàn),3,過程稽核方法4,4,在上傳集團公司之前，通過稽核模板，對關鍵業(yè)務指標等KPIs進行環(huán)比和趨勢分析審核，確認數(shù)據(jù)在正確的范圍之內(nèi),過程異常處理措施,對于存

12、在的錯誤和異常情況，本地網(wǎng)維護人員進行原因分析和相應處理，通過界面回收錯誤數(shù)據(jù),質量保證KSF,在行政管理以及職能上設置相應的 人員、設立相應的崗位進行數(shù)據(jù)質 量管理，包含以下內(nèi)容： 設計崗位； 明確崗位的要求和職責； 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,評估,管理,過程,1,2,3,質量保證 關鍵成功因素 KSF,在數(shù)據(jù)處理的流程上進行規(guī)范并設 置相應的控制點和稽核點 規(guī)范的流程 過程校驗點和稽核點 異常處理措施,評估標準 及時性、準確性一致性等 考核 獎勵、懲罰 階段評估,評估標準,數(shù)據(jù)質量分級目標 報表數(shù)據(jù) 報表數(shù)據(jù)一般對于數(shù)據(jù)的準確性要求比較高，特別是財務方面的指標，是嚴格限定在誤差范圍

13、內(nèi)的。對于報表的指標，即使是允許的誤差范圍，也要求給出誤差產(chǎn)生的原因，例如是小數(shù)點四舍五入或是由于秒轉換到分鐘算法不同等。 OLAP數(shù)據(jù)分析 OLAP分析一般是總體數(shù)據(jù)的宏觀比例、趨勢等分析，對于數(shù)據(jù)總量的誤差有一定的限制，但要求數(shù)據(jù)在不同維度上的分布比例正確，能夠正確反映宏觀比例和趨勢。 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘一般使用比較復雜的數(shù)學算法對于數(shù)據(jù)進行處理，因算法比較復雜，對于硬件環(huán)境要求比較高，同時也限定了使用的數(shù)據(jù)集合不能太大，一般要求對于全體數(shù)據(jù)進行采樣，因此在這個過程中，僅關心樣本的代表性。,評估標準,接口數(shù)據(jù) 文件傳送完整率 每日傳送至分析系統(tǒng)中的完整的接口文件百分比（其中，完整的接口文件

14、指文件的名稱、格式、時間標識、文件大小等均符合經(jīng)營分析系統(tǒng)接口規(guī)范規(guī)定的接口文件） 文件記錄合法率 接口文件記錄中各數(shù)據(jù)項長度、類型及值域均符合接口規(guī)范定義 文件傳送及時率 在接口規(guī)范中規(guī)定的文件傳送時間窗口內(nèi)傳送至分析系統(tǒng)的文件個數(shù)百分比,評估標準,接口表 數(shù)據(jù)處理及時率 在文件正確到達后及時處理文件比率 ODS層數(shù)據(jù) 數(shù)據(jù)處理及時率 轉換后的ODS層及時準確情況 數(shù)據(jù)倉庫檢查 數(shù)據(jù)處理及時率 數(shù)據(jù)倉庫層處理及時準確情況,目錄,數(shù)據(jù)質量問題分析 數(shù)據(jù)質量方法論 質量保證成功因素 案例分析,案例1某省電信,源系統(tǒng)的數(shù)據(jù)質量問題 信息不正確：數(shù)據(jù)無效或錯誤，違反數(shù)據(jù)約束規(guī)則、業(yè)務規(guī)則等。 信息不

15、完整：源系統(tǒng)中某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運轉，但這些信息的缺失會嚴重影響數(shù)據(jù)倉庫的應用分析。 信息不一致：當同一信息內(nèi)容來自多個源系統(tǒng)時，存在沖突和差異，或者同一業(yè)務系統(tǒng)內(nèi)部的冗余信息之間存在沖突。 編碼映射問題 標準編碼不完全、不合理 ：許多本地網(wǎng)編碼不能歸類到標準編碼，導致 “未知”一欄的數(shù)量奇高，降低了應用分析的價值，并影響使用人員對系統(tǒng)的信任度。 編碼映射不合理：將本地網(wǎng)編碼歸類到標準編碼時有錯誤或不合理，導致與業(yè)務系統(tǒng)形成重大差距。 本地網(wǎng)編碼發(fā)生調(diào)整，數(shù)據(jù)倉庫未同步修改：將導致新增編碼歸類到 “未知”一類，發(fā)生變化的編碼，歸類到錯誤的標準編碼。 指標統(tǒng)計問題 指標定

16、義不一致：各本地網(wǎng)對指標理解不一致，導致提供上來的數(shù)據(jù)不標準、不具可比性。 統(tǒng)計口徑不一致：各本地網(wǎng)對統(tǒng)計口徑理解不一致，導致本系統(tǒng)可能與各本地網(wǎng)系統(tǒng)形成重大差距。 ETL數(shù)據(jù)質量問題 技術性問題：包括腳本未按規(guī)范編寫，存在語法錯誤或邏輯錯誤，或者沒有遵循數(shù)據(jù)約束規(guī)則（如唯一性、引用性、非空等）。 非技術性問題：包括對業(yè)務規(guī)則理解不準確、編碼規(guī)則不一致等產(chǎn)生的問題。非技術性問題通常需要向業(yè)務專家、統(tǒng)計專家、源系統(tǒng)維護人員咨詢。,數(shù)據(jù)質量檢查的技術方法及考核指標,文件級檢查： 及時性 正確性：打開正常、文件大小正常/波動范圍內(nèi) 記錄合法性：記錄數(shù)、記錄長度正常,文件級檢查： 數(shù)據(jù)域檢查： 記錄中數(shù)值字段、日期字段是否合法,記錄級檢查： 主鍵檢查 外鍵檢查 編碼映射檢查 數(shù)據(jù)值域檢查 業(yè)務規(guī)則檢查,記錄級檢查： 業(yè)務規(guī)則檢查 業(yè)務指標檢查： 業(yè)務指標平衡性檢查 同一指標在臨時區(qū)、DW、DM/OLAP平衡檢查 客戶、用戶 業(yè)務指標波動性檢查 收入、詳單數(shù) 業(yè)務指標與業(yè)務系統(tǒng)比對,文件級KPI： 文件及時率 文件正確率,文件級KPI： 文件及時率/正確率 文件處理及時率 記錄合法率,記錄級K