如何利用ods edw提升企業(yè)數(shù)據(jù)質(zhì)量

如何利用ODS/EDW提升企業(yè)數(shù)據(jù)質(zhì)量IBM2023年4月27日ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

2湯傳俊個人介紹MSN:tangchuanjun@IBM業(yè)務(wù)咨詢服務(wù)部的信息技術(shù)架構(gòu)師，專業(yè)集中在信息系統(tǒng)架構(gòu)設(shè)計，業(yè)務(wù)流程分析和設(shè)計，應(yīng)用系統(tǒng)設(shè)計和開發(fā)，數(shù)據(jù)架構(gòu)設(shè)計，數(shù)據(jù)建模和項目管理。十二年電信行業(yè)經(jīng)驗，93年進(jìn)入電信，從96年就開始參與電信九七工程的建設(shè)，足跡覆蓋大部分省份，參與或領(lǐng)導(dǎo)的項目、產(chǎn)品有九七工程、本地網(wǎng)計費(fèi)系統(tǒng)、移動計費(fèi)系統(tǒng)、聯(lián)通綜合營帳系統(tǒng)、寬窄帶系統(tǒng)、IP網(wǎng)管系統(tǒng)、radius認(rèn)證計費(fèi)系統(tǒng)、大客戶系統(tǒng)、郵政BOSS系統(tǒng)等，以及目前正在進(jìn)行的EDA/ODS項目。所參與的系統(tǒng)涉及的運(yùn)營商包括中國電信、中國移動、中國聯(lián)通、中國網(wǎng)通等。主要的項目：云南電信ODS系統(tǒng)武漢電信計費(fèi)帳務(wù)系統(tǒng)長沙電信九七/計費(fèi)系統(tǒng)烏魯木齊電信計費(fèi)帳務(wù)系統(tǒng)安徽全省本地網(wǎng)計費(fèi)系統(tǒng)寧夏全省本地網(wǎng)計費(fèi)系統(tǒng)上海移動綜合計費(fèi)帳務(wù)系統(tǒng)河南網(wǎng)通大客戶系統(tǒng)中國聯(lián)通綜合營帳系統(tǒng)（聯(lián)通BOSS）廣東郵政綜合服務(wù)平臺（郵政BOSS）河南電信互聯(lián)網(wǎng)客戶管理與認(rèn)證計費(fèi)系統(tǒng)IP網(wǎng)管系統(tǒng)企業(yè)級VoIP網(wǎng)關(guān)Name:湯傳俊(Tommy)MSN：tangchuanjun@Mobileffice2686Email:tangcj@

tommy@ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

3文檔內(nèi)容數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類ODS/EDW在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在管理層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

4數(shù)據(jù)的重要性不亞于業(yè)務(wù)功能為什么我的電話這么久沒裝好？客戶投訴我不是我的錯！兩個系統(tǒng)的報表怎么不一致？目標(biāo)完成沒有？未來趨勢怎樣？客戶客戶經(jīng)理管理者領(lǐng)導(dǎo)實(shí)際發(fā)生的損失資金的流失客戶的流失生產(chǎn)效率的影響提升的障礙客戶服務(wù)質(zhì)量提升市場的擴(kuò)展利潤的增長不同的系統(tǒng)數(shù)據(jù)不一致不知道數(shù)據(jù)應(yīng)該以誰為準(zhǔn)數(shù)據(jù)的混亂狀況處于發(fā)散狀態(tài)ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

5問題數(shù)據(jù)產(chǎn)生的原因—架構(gòu)上前期建設(shè)重功能輕數(shù)據(jù)前期采用統(tǒng)一規(guī)劃分步建設(shè)思路，對如此龐大的系統(tǒng)這是唯一可行的方法，但誰建設(shè)誰管理的做法造成部門/系統(tǒng)割據(jù)，系統(tǒng)接口復(fù)雜，數(shù)據(jù)流向不清，缺乏像功能業(yè)務(wù)系統(tǒng)一樣對數(shù)據(jù)的整體規(guī)劃我們需要像功能系統(tǒng)規(guī)劃一樣來規(guī)劃數(shù)據(jù)，確定數(shù)據(jù)的整體架構(gòu)，確定數(shù)據(jù)的歸屬劃分，確定數(shù)據(jù)交互與共享規(guī)則，制定數(shù)據(jù)質(zhì)量評價規(guī)則，建立完整的數(shù)據(jù)管理體系ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

6問題數(shù)據(jù)產(chǎn)生的原因—系統(tǒng)功能支撐上雖然每個系統(tǒng)多少有一些數(shù)據(jù)質(zhì)量管理的功能但沒有一個系統(tǒng)能夠完整地、系統(tǒng)地提供數(shù)據(jù)質(zhì)量管理的機(jī)制與功能同時由于各系統(tǒng)數(shù)據(jù)是分離的、割據(jù)的，他們的數(shù)據(jù)質(zhì)量管理功能受到本身機(jī)制上的制約我們需要一個能夠覆蓋完整數(shù)據(jù)范圍的系統(tǒng)提供相關(guān)的數(shù)據(jù)質(zhì)量管理功能，以便能夠在日常運(yùn)營工作中進(jìn)行數(shù)據(jù)質(zhì)量的管控、操作、量化考核，以及數(shù)據(jù)的沉淀積累等……計費(fèi)帳務(wù)資源管理業(yè)務(wù)開通定單受理各業(yè)務(wù)應(yīng)用功能系統(tǒng)ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

7問題數(shù)據(jù)產(chǎn)生的原因—管理上缺乏專門的數(shù)據(jù)管理組織與相關(guān)的制度經(jīng)常性的臨時突擊對數(shù)據(jù)質(zhì)量進(jìn)行清理，但清理過后數(shù)據(jù)問題暫時緩解，隨著時間的推移，數(shù)據(jù)又出現(xiàn)問題，如此反復(fù)數(shù)據(jù)管理工作就像警察一樣，需要長期存在，一直存在我們需要專門的數(shù)據(jù)管理組織，將數(shù)據(jù)管理工作作為日常的工作，就像訂單受理系統(tǒng)每天受理訂單一樣每天進(jìn)行數(shù)據(jù)管理的日常工作利用系統(tǒng)提供的功能，在工作流程上建立閉環(huán)機(jī)制：發(fā)現(xiàn)、分析、規(guī)則、執(zhí)行、修正、考核ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

8數(shù)據(jù)質(zhì)量多重檢查維度數(shù)據(jù)的完整性數(shù)據(jù)的一致性數(shù)據(jù)的唯一性數(shù)據(jù)的連續(xù)性數(shù)據(jù)的完備性數(shù)據(jù)的準(zhǔn)確性數(shù)據(jù)的邏輯性數(shù)據(jù)的可用性數(shù)據(jù)的清晰性數(shù)據(jù)的正確性數(shù)據(jù)質(zhì)量保證體系數(shù)據(jù)質(zhì)量問題中的職業(yè)道德和法律問題數(shù)據(jù)質(zhì)量ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

9數(shù)據(jù)質(zhì)量問題分類——技術(shù)層面單一系統(tǒng)數(shù)據(jù)質(zhì)量數(shù)據(jù)缺失、錯誤數(shù)據(jù)非空、唯一數(shù)據(jù)關(guān)聯(lián)完整性跨系統(tǒng)數(shù)據(jù)質(zhì)量數(shù)據(jù)關(guān)聯(lián)完整性（無主帳單）不同系統(tǒng)數(shù)據(jù)一致性匯總指標(biāo)數(shù)據(jù)質(zhì)量原始數(shù)據(jù)質(zhì)量問題匯總算法問題（非質(zhì)量問題）……計費(fèi)帳務(wù)資源管理業(yè)務(wù)開通EDM定單受理ADB參與人產(chǎn)品帳務(wù)市場營銷事件資源地域財務(wù)參與人產(chǎn)品帳務(wù)市場營銷事件資源地域財務(wù)ODSEDWADB單一系統(tǒng)數(shù)據(jù)質(zhì)量保證ODS跨系統(tǒng)數(shù)據(jù)質(zhì)量保證EDW數(shù)據(jù)匯總指標(biāo)關(guān)聯(lián)質(zhì)量ODS可以作為以上三類數(shù)據(jù)質(zhì)量問題的最終管理者ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

10文檔內(nèi)容數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類ODS/EDW在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在管理層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

11企業(yè)數(shù)據(jù)架構(gòu)(EDA)EDAODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

12OSSBSSMSSEDAODSEDWEDA/ODS/EDW關(guān)系—數(shù)據(jù)質(zhì)量管理的基礎(chǔ)ODS/EDW可以成為EDA的主要承載系統(tǒng)擁有電信業(yè)務(wù)運(yùn)營所需的完整的統(tǒng)一的數(shù)據(jù)視圖數(shù)據(jù)歸屬劃分清晰數(shù)據(jù)流向清晰數(shù)據(jù)更新相對及時，反映數(shù)據(jù)最新狀況滿足日常運(yùn)營所需的數(shù)據(jù)交互與共享可以扮演數(shù)據(jù)質(zhì)量管理的關(guān)鍵角色在此基礎(chǔ)上建立所需的數(shù)據(jù)管理體系組織機(jī)構(gòu)系統(tǒng)功能支撐考核評測機(jī)制可以看成數(shù)據(jù)的消費(fèi)者，業(yè)務(wù)運(yùn)營系統(tǒng)的一部分系統(tǒng)數(shù)據(jù)交互、共享、沉淀的中心沒有單獨(dú)建設(shè)ODS的省公司，可以將其功能納入到EDW。主要在stagearea開放性、數(shù)據(jù)交互性加強(qiáng)ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

13ODS/EDW數(shù)據(jù)架構(gòu)工作內(nèi)容確定數(shù)據(jù)范圍，建立統(tǒng)一數(shù)據(jù)視圖：參與者、產(chǎn)品、帳務(wù)、市場營銷、地域、資源、事件、財務(wù)確定數(shù)據(jù)所有者以及數(shù)據(jù)單向流動原則，只有所有者能夠修改數(shù)據(jù)建立源數(shù)據(jù)到目標(biāo)模型的數(shù)據(jù)映射關(guān)系根據(jù)數(shù)據(jù)分類建立數(shù)據(jù)同步機(jī)制建立數(shù)據(jù)關(guān)聯(lián)、稽核機(jī)制，建立異常數(shù)據(jù)檢測修正機(jī)制，隨著時間的積累數(shù)據(jù)逐步逼近正確確定數(shù)據(jù)訪問機(jī)制，建立統(tǒng)一數(shù)據(jù)平臺上的應(yīng)用所有這些是數(shù)據(jù)質(zhì)量管控的基礎(chǔ)，只有在這些工作完成后，數(shù)據(jù)走向混亂的趨勢才有可能從根本上得到控制ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

14ODS/EDW數(shù)據(jù)庫訂單受理/業(yè)務(wù)開通案例：確定了數(shù)據(jù)所有者以及數(shù)據(jù)單向流動原則，只有所有者可以修改數(shù)據(jù)計費(fèi)帳務(wù)系統(tǒng)渠道系統(tǒng)112系統(tǒng)10000系統(tǒng)網(wǎng)管系統(tǒng)產(chǎn)品定單工單靜態(tài)表卡片客戶商品套餐用戶帳戶帳務(wù)資源故障投訴咨詢故障客戶群客戶經(jīng)理客戶區(qū)域渠道用戶群帳務(wù)資費(fèi)紅黑名單銷賬信用度預(yù)存資源(小靈通基站)ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

15文檔內(nèi)容數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類ODS/EDW在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在管理層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

16數(shù)據(jù)質(zhì)量處理流程----閉環(huán)處理發(fā)現(xiàn)問題分析問題規(guī)則方案執(zhí)行異常數(shù)據(jù)修正工作考核業(yè)務(wù)人員經(jīng)驗積累規(guī)則積累歸屬系統(tǒng)數(shù)據(jù)工位數(shù)據(jù)管理組數(shù)據(jù)工位控制論，正反饋達(dá)到一定的程度，電路會產(chǎn)生自激而崩潰，保證電路的穩(wěn)定性需要建立負(fù)反饋機(jī)制目前數(shù)據(jù)質(zhì)量在各個環(huán)節(jié)不斷被放大、增加，處于發(fā)散的狀態(tài)，通過閉環(huán)管理確保數(shù)據(jù)質(zhì)量處于收斂的狀態(tài)才能控制數(shù)據(jù)質(zhì)量問題ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

17案例：ODS系統(tǒng)數(shù)據(jù)修正閉環(huán)流程參與人產(chǎn)品帳務(wù)事件資源指標(biāo)統(tǒng)一數(shù)據(jù)視圖ETL總控臺數(shù)據(jù)支撐數(shù)據(jù)查詢異常數(shù)據(jù)處理統(tǒng)計報表外圍屬主系統(tǒng)EAIVIEW規(guī)則檢查異常數(shù)據(jù)ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

18案例：數(shù)據(jù)規(guī)則檢查形成的匯總報告與異常數(shù)據(jù)詳細(xì)記錄，包括數(shù)據(jù)庫邏輯異常和業(yè)務(wù)邏輯異常ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

19案例：建立異常數(shù)據(jù)檢測修正機(jī)制（規(guī)則可根據(jù)業(yè)務(wù)需要不斷擴(kuò)充），隨著時間的積累數(shù)據(jù)逐步逼近正確三戶類用戶無所屬客戶帳戶無所屬客戶用戶應(yīng)有對應(yīng)帳戶用戶應(yīng)定義所有帳目類型的帳戶歸屬用戶有效記錄唯一性帳戶客戶有效記錄唯一性托收用戶稽核產(chǎn)品服務(wù)類產(chǎn)品服務(wù)收費(fèi)不一致無主帳單無主投訴無主故障欠費(fèi)停機(jī)繳費(fèi)復(fù)機(jī)免停用戶停機(jī)臨時電話(專線)時限、業(yè)務(wù)要求拆機(jī)需冷號一定時間規(guī)則管理規(guī)則調(diào)度規(guī)則引擎稽核規(guī)則稽核系統(tǒng)數(shù)據(jù)庫EDA數(shù)據(jù)庫收費(fèi)類下半月新裝用戶月租減半減免收費(fèi)信息不一致計費(fèi)狀態(tài)信息不一致費(fèi)用未繳清不能辦理業(yè)務(wù)匯總指標(biāo)類數(shù)據(jù)質(zhì)量需要經(jīng)業(yè)務(wù)分析后形成對原始數(shù)據(jù)的效驗規(guī)則如果本身平衡公式不存在，則不能作為數(shù)據(jù)質(zhì)量問題跨系統(tǒng)數(shù)據(jù)質(zhì)量問題單一系統(tǒng)數(shù)據(jù)質(zhì)量問題ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

20案例：考核，建立了修正效果對比機(jī)制，可量化評測數(shù)據(jù)質(zhì)量修正工作數(shù)據(jù)檢查規(guī)則的定義與維護(hù)規(guī)則的執(zhí)行與報告提供異常數(shù)據(jù)對比跟蹤ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

21文檔內(nèi)容數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類ODS/EDW在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW在管理層面對數(shù)據(jù)質(zhì)量的支撐ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

22數(shù)據(jù)質(zhì)量管理的組織機(jī)構(gòu)數(shù)據(jù)質(zhì)量決策小組主管業(yè)務(wù)的領(lǐng)導(dǎo)牽頭確定數(shù)據(jù)質(zhì)量的目標(biāo)數(shù)據(jù)質(zhì)量管理小組市場部主任企化部主任與數(shù)據(jù)打交道的關(guān)鍵業(yè)務(wù)人員熟悉現(xiàn)有系統(tǒng)數(shù)據(jù)的關(guān)鍵技術(shù)人員提出數(shù)據(jù)質(zhì)量具體要求確定數(shù)據(jù)檢查規(guī)則邏輯決定數(shù)據(jù)沖突解決方案數(shù)據(jù)質(zhì)量執(zhí)行小組具體的工位根據(jù)系統(tǒng)提供的功能生成異常數(shù)據(jù)報告組織、監(jiān)督、推動數(shù)據(jù)修正工作考核數(shù)據(jù)修正指標(biāo)決策管理執(zhí)行反饋需要管理和系統(tǒng)的結(jié)合很多環(huán)節(jié)需要人為介入將數(shù)據(jù)管理當(dāng)成日常的工作來做ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

23案例：異常數(shù)據(jù)處理流程MBOSS其他系統(tǒng)EAIETLA異常數(shù)據(jù)ODS規(guī)則檢查B異常數(shù)據(jù)C異常數(shù)據(jù)工位AEAI異常處理工位BETL異常處理工位C規(guī)則檢查異常處理工位E系統(tǒng)管理工位F系統(tǒng)管理工位DODS數(shù)據(jù)異常處理A：EAI異常處理B：ODS的ETLC：ODS的規(guī)則檢查D：ODS異常處理E：MBOSS系統(tǒng)管理F：其他系統(tǒng)管理員ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

24案例：異常數(shù)據(jù)處理流程——EAI工位AUpdate無主鍵（未入庫）Create主鍵重復(fù)（未入庫）字典找不到（已入庫）A提交報告給DD聯(lián)系E分析原因D在ODS控制臺字典維護(hù)功能修正字典，然后手工修正ODS數(shù)據(jù)A提交報告給D和EA、D和E分析原因A的原因D的原因E的原因A修正D修正數(shù)據(jù)E修正數(shù)據(jù)A重試A：EAI異常處理B：ODS的ETLC：ODS的規(guī)則檢查D：ODS異常處理E：MBOSS系統(tǒng)管理F：其他系統(tǒng)管理員ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

25案例：異常數(shù)據(jù)處理流程——ETLA：EAI異常處理B：ODS的ETLC：ODS的規(guī)則檢查D：ODS異常處理E：MBOSS系統(tǒng)管理F：其他系統(tǒng)管理員工位B主鍵為空（未入庫）非空為空（未入庫）字典找不到（已入庫）B報告給DD聯(lián)系E/F分析原因D在ODS控制臺字典維護(hù)功能修正字典，然后手工修正ODS數(shù)據(jù)B報告給D外鍵找不到（已入庫）D報告給FD報告給EF修正數(shù)據(jù)增量E修正數(shù)據(jù)增量B報告給DD聯(lián)系E/F分析原因D報告給FD報告給EF修正數(shù)據(jù)增量E修正數(shù)據(jù)增量D修正ODS數(shù)據(jù)D聯(lián)系E/F分析原因ODS/EDW系統(tǒng)IBM機(jī)密|27-Apr-23

26