中國電信如何利用ODS、EDW提升企業(yè)數(shù)據(jù)質(zhì)量IBM

1、deeper business consulting services copyright ibm corporation 2005 disclaimer (optional location for any required disclaimer copy. to set disclaimer, or delete, go to view | master | slide master) 如何利用如何利用ods/edwods/edw提升企業(yè)數(shù)據(jù)質(zhì)量提升企業(yè)數(shù)據(jù)質(zhì)量 ibm 2021年年5月月15日日 ibm business consulting services copyright ibm

2、 corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 2 湯傳俊個(gè)人介紹湯傳俊個(gè)人介紹 msn: nibm業(yè)務(wù)咨詢服務(wù)部的信息技術(shù)架構(gòu)師，專業(yè)集中在信息系統(tǒng)架構(gòu)設(shè)計(jì)，業(yè)務(wù)流業(yè)務(wù)咨詢服務(wù)部的信息技術(shù)架構(gòu)師，專業(yè)集中在信息系統(tǒng)架構(gòu)設(shè)計(jì)，業(yè)務(wù)流 程分析和設(shè)計(jì)，應(yīng)用系統(tǒng)設(shè)計(jì)和開發(fā)，數(shù)據(jù)架構(gòu)設(shè)計(jì)，數(shù)據(jù)建模和項(xiàng)目管理。程分析和設(shè)計(jì)，應(yīng)用系統(tǒng)設(shè)計(jì)和開發(fā)，數(shù)據(jù)架構(gòu)設(shè)計(jì)，數(shù)據(jù)建模和項(xiàng)目管理。 n十二年電信行業(yè)經(jīng)驗(yàn)，十二年電信行業(yè)經(jīng)驗(yàn)，93年進(jìn)入電信，從年進(jìn)入電信，從96年就開始參與電信九七工程的建設(shè)，年就開始參與電信九七工程的建設(shè)， 足跡覆蓋大部分省份，參與或領(lǐng)導(dǎo)的項(xiàng)目、產(chǎn)品

3、有九七工程、本地網(wǎng)計(jì)費(fèi)系統(tǒng)、足跡覆蓋大部分省份，參與或領(lǐng)導(dǎo)的項(xiàng)目、產(chǎn)品有九七工程、本地網(wǎng)計(jì)費(fèi)系統(tǒng)、 移動(dòng)計(jì)費(fèi)系統(tǒng)、聯(lián)通綜合營帳系統(tǒng)、寬窄帶系統(tǒng)、移動(dòng)計(jì)費(fèi)系統(tǒng)、聯(lián)通綜合營帳系統(tǒng)、寬窄帶系統(tǒng)、ip網(wǎng)管系統(tǒng)、網(wǎng)管系統(tǒng)、radius認(rèn)證計(jì)費(fèi)認(rèn)證計(jì)費(fèi) 系統(tǒng)、大客戶系統(tǒng)、郵政系統(tǒng)、大客戶系統(tǒng)、郵政boss系統(tǒng)等，以及目前正在進(jìn)行的系統(tǒng)等，以及目前正在進(jìn)行的eda/ods項(xiàng)目。項(xiàng)目。 n所參與的系統(tǒng)涉及的運(yùn)營商包括中國電信、中國移動(dòng)、中國聯(lián)通、中國網(wǎng)通等。所參與的系統(tǒng)涉及的運(yùn)營商包括中國電信、中國移動(dòng)、中國聯(lián)通、中國網(wǎng)通等。 n 主要的項(xiàng)目：主要的項(xiàng)目： n云南電信云南電信ods系統(tǒng)系統(tǒng) n武漢電信計(jì)費(fèi)帳務(wù)

4、系統(tǒng)武漢電信計(jì)費(fèi)帳務(wù)系統(tǒng) n長沙電信九七長沙電信九七/計(jì)費(fèi)系統(tǒng)計(jì)費(fèi)系統(tǒng) n烏魯木齊電信計(jì)費(fèi)帳務(wù)系統(tǒng)烏魯木齊電信計(jì)費(fèi)帳務(wù)系統(tǒng) n安徽全省本地網(wǎng)計(jì)費(fèi)系統(tǒng)安徽全省本地網(wǎng)計(jì)費(fèi)系統(tǒng) n寧夏全省本地網(wǎng)計(jì)費(fèi)系統(tǒng)寧夏全省本地網(wǎng)計(jì)費(fèi)系統(tǒng) n上海移動(dòng)綜合計(jì)費(fèi)帳務(wù)系統(tǒng)上海移動(dòng)綜合計(jì)費(fèi)帳務(wù)系統(tǒng) n河南網(wǎng)通大客戶系統(tǒng)河南網(wǎng)通大客戶系統(tǒng) n中國聯(lián)通綜合營帳系統(tǒng)（聯(lián)通中國聯(lián)通綜合營帳系統(tǒng)（聯(lián)通boss） n廣東郵政綜合服務(wù)平臺(tái)（郵政廣東郵政綜合服務(wù)平臺(tái)（郵政boss） n河南電信互聯(lián)網(wǎng)客戶管理與認(rèn)證計(jì)費(fèi)系統(tǒng)河南電信互聯(lián)網(wǎng)客戶管理與認(rèn)證計(jì)費(fèi)系統(tǒng) nip網(wǎng)管系統(tǒng)網(wǎng)管系統(tǒng) n企業(yè)級企業(yè)級voip網(wǎng)關(guān)網(wǎng)關(guān) name: 湯傳俊湯傳俊

5、(tommy) msn： mobile:office:2686 email: ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 3 文檔內(nèi)容文檔內(nèi)容 n數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類 nods/edw在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在管理層面對數(shù)據(jù)質(zhì)量的支撐在管理層面

6、對數(shù)據(jù)質(zhì)量的支撐 nods/edw數(shù)據(jù)質(zhì)量管理案例（穿插）數(shù)據(jù)質(zhì)量管理案例（穿插） ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 4 數(shù)據(jù)的重要性不亞于業(yè)務(wù)功能 為什么我的電話 這么久沒裝好？ 客戶投訴我不是我的錯(cuò)！ 兩個(gè)系統(tǒng)的報(bào)表怎么不一致？ 目標(biāo)完成沒有？ 未來趨勢怎樣？ 客戶 客戶經(jīng)理 管理者 領(lǐng)導(dǎo) n 實(shí)際發(fā)生的損失實(shí)際發(fā)生的損失 n資金的流失資金的流失 n客戶的流失客戶的流失 n生產(chǎn)效率的影響生產(chǎn)效率的影響 n提升的障礙提升的障礙 n客戶服務(wù)質(zhì)量提升

7、客戶服務(wù)質(zhì)量提升 n市場的擴(kuò)展市場的擴(kuò)展 n利潤的增長利潤的增長 不同的系統(tǒng)數(shù)據(jù)不一致不同的系統(tǒng)數(shù)據(jù)不一致 不知道數(shù)據(jù)應(yīng)該以誰為準(zhǔn)不知道數(shù)據(jù)應(yīng)該以誰為準(zhǔn) 數(shù)據(jù)的混亂狀況處于發(fā)散狀數(shù)據(jù)的混亂狀況處于發(fā)散狀 態(tài)態(tài) ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 5 問題數(shù)據(jù)產(chǎn)生的原因架構(gòu)上 n前期建設(shè)重功能輕數(shù)據(jù)前期建設(shè)重功能輕數(shù)據(jù) n前期采用統(tǒng)一規(guī)劃分步建設(shè)思路，前期采用統(tǒng)一規(guī)劃分步建設(shè)思路， 對如此龐大的系統(tǒng)這是唯一可行對如此龐大的系統(tǒng)這是唯一可行 的方法，但誰

8、建設(shè)誰管理的做法的方法，但誰建設(shè)誰管理的做法 造成部門造成部門/系統(tǒng)割據(jù)，系統(tǒng)接口復(fù)系統(tǒng)割據(jù)，系統(tǒng)接口復(fù) 雜，數(shù)據(jù)流向不清，缺乏像功能雜，數(shù)據(jù)流向不清，缺乏像功能 業(yè)務(wù)系統(tǒng)一樣對數(shù)據(jù)的整體規(guī)劃業(yè)務(wù)系統(tǒng)一樣對數(shù)據(jù)的整體規(guī)劃 n我們需要像功能系統(tǒng)規(guī)劃一樣來規(guī)劃數(shù)據(jù)，確定數(shù)據(jù)的整體架構(gòu)，確定數(shù)據(jù)的我們需要像功能系統(tǒng)規(guī)劃一樣來規(guī)劃數(shù)據(jù)，確定數(shù)據(jù)的整體架構(gòu)，確定數(shù)據(jù)的 歸屬劃分，確定數(shù)據(jù)交互與共享規(guī)則，制定數(shù)據(jù)質(zhì)量評價(jià)規(guī)則，建立完整的數(shù)歸屬劃分，確定數(shù)據(jù)交互與共享規(guī)則，制定數(shù)據(jù)質(zhì)量評價(jià)規(guī)則，建立完整的數(shù) 據(jù)管理體系據(jù)管理體系 ibm business consulting services copyri

9、ght ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 6 問題數(shù)據(jù)產(chǎn)生的原因系統(tǒng)功能支撐上 n雖然每個(gè)系統(tǒng)多少有一些數(shù)據(jù)質(zhì)量管理的功能雖然每個(gè)系統(tǒng)多少有一些數(shù)據(jù)質(zhì)量管理的功能 n但沒有一個(gè)系統(tǒng)能夠完整地、系統(tǒng)地提供數(shù)據(jù)但沒有一個(gè)系統(tǒng)能夠完整地、系統(tǒng)地提供數(shù)據(jù) 質(zhì)量管理的機(jī)制與功能質(zhì)量管理的機(jī)制與功能 n同時(shí)由于各系統(tǒng)數(shù)據(jù)是分離的、割據(jù)的，他們同時(shí)由于各系統(tǒng)數(shù)據(jù)是分離的、割據(jù)的，他們 的數(shù)據(jù)質(zhì)量管理功能受到本身機(jī)制上的制約的數(shù)據(jù)質(zhì)量管理功能受到本身機(jī)制上的制約 n我們需要一個(gè)能夠覆蓋完整數(shù)據(jù)范圍的系統(tǒng)提供相關(guān)的數(shù)據(jù)質(zhì)量管理功能，以我們需要一個(gè)能夠

10、覆蓋完整數(shù)據(jù)范圍的系統(tǒng)提供相關(guān)的數(shù)據(jù)質(zhì)量管理功能，以 便能夠在日常運(yùn)營工作中進(jìn)行數(shù)據(jù)質(zhì)量的管控、操作、量化考核，以及數(shù)據(jù)的便能夠在日常運(yùn)營工作中進(jìn)行數(shù)據(jù)質(zhì)量的管控、操作、量化考核，以及數(shù)據(jù)的 沉淀積累等沉淀積累等 計(jì)費(fèi)帳務(wù)計(jì)費(fèi)帳務(wù) 資源管理資源管理 業(yè)務(wù)開通業(yè)務(wù)開通 定單受理定單受理 各業(yè)務(wù)應(yīng)用功能系統(tǒng)各業(yè)務(wù)應(yīng)用功能系統(tǒng) ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 7 問題數(shù)據(jù)產(chǎn)生的原因管理上 n缺乏專門的數(shù)據(jù)管理組織與相關(guān)的制度缺乏專門的數(shù)據(jù)管理組織與相關(guān)

11、的制度 n經(jīng)常性的臨時(shí)突擊對數(shù)據(jù)質(zhì)量進(jìn)行清理，但清經(jīng)常性的臨時(shí)突擊對數(shù)據(jù)質(zhì)量進(jìn)行清理，但清 理過后數(shù)據(jù)問題暫時(shí)緩解，隨著時(shí)間的推移，理過后數(shù)據(jù)問題暫時(shí)緩解，隨著時(shí)間的推移， 數(shù)據(jù)又出現(xiàn)問題，如此反復(fù)數(shù)據(jù)又出現(xiàn)問題，如此反復(fù) n數(shù)據(jù)管理工作就像警察一樣，需要長期存在，數(shù)據(jù)管理工作就像警察一樣，需要長期存在， 一直存在一直存在 n我們需要專門的數(shù)據(jù)管理組織，將數(shù)據(jù)管理工作作為日常的工作，就像訂單受我們需要專門的數(shù)據(jù)管理組織，將數(shù)據(jù)管理工作作為日常的工作，就像訂單受 理系統(tǒng)每天受理訂單一樣每天進(jìn)行數(shù)據(jù)管理的日常工作理系統(tǒng)每天受理訂單一樣每天進(jìn)行數(shù)據(jù)管理的日常工作 n利用系統(tǒng)提供的功能，在工作流程上建

12、立閉環(huán)機(jī)制：發(fā)現(xiàn)、分析、規(guī)則、執(zhí)行、利用系統(tǒng)提供的功能，在工作流程上建立閉環(huán)機(jī)制：發(fā)現(xiàn)、分析、規(guī)則、執(zhí)行、 修正、考核修正、考核 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 8 數(shù)據(jù)質(zhì)量多重檢查維度數(shù)據(jù)質(zhì)量多重檢查維度 數(shù)據(jù)的完整性數(shù)據(jù)的完整性 數(shù)據(jù)的一致性數(shù)據(jù)的一致性 數(shù)據(jù)的唯一性數(shù)據(jù)的唯一性 數(shù)據(jù)的連續(xù)性數(shù)據(jù)的連續(xù)性 數(shù)據(jù)的完備性數(shù)據(jù)的完備性 數(shù)據(jù)的準(zhǔn)確性數(shù)據(jù)的準(zhǔn)確性 數(shù)據(jù)的邏輯性數(shù)據(jù)的邏輯性 數(shù)據(jù)的可用性數(shù)據(jù)的可用性 數(shù)據(jù)的清晰性數(shù)據(jù)的清晰性 數(shù)據(jù)的正

13、確性數(shù)據(jù)的正確性 數(shù)據(jù)質(zhì)量保證體系數(shù)據(jù)質(zhì)量保證體系 數(shù)據(jù)質(zhì)量問題中的數(shù)據(jù)質(zhì)量問題中的 職業(yè)道德和法律問題職業(yè)道德和法律問題 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 9 數(shù)據(jù)質(zhì)量問題分類數(shù)據(jù)質(zhì)量問題分類技術(shù)層面技術(shù)層面 n單一系統(tǒng)數(shù)據(jù)質(zhì)量單一系統(tǒng)數(shù)據(jù)質(zhì)量 n數(shù)據(jù)缺失、錯(cuò)誤數(shù)據(jù)缺失、錯(cuò)誤 n數(shù)據(jù)非空、唯一數(shù)據(jù)非空、唯一 n數(shù)據(jù)關(guān)聯(lián)完整性數(shù)據(jù)關(guān)聯(lián)完整性 n跨系統(tǒng)數(shù)據(jù)質(zhì)量跨系統(tǒng)數(shù)據(jù)質(zhì)量 n數(shù)據(jù)關(guān)聯(lián)完整性（無主帳單）數(shù)據(jù)關(guān)聯(lián)完整性（無主帳單） n不同系統(tǒng)數(shù)據(jù)一致性

14、不同系統(tǒng)數(shù)據(jù)一致性 n匯總指標(biāo)數(shù)據(jù)質(zhì)量匯總指標(biāo)數(shù)據(jù)質(zhì)量 n原始數(shù)據(jù)質(zhì)量問題原始數(shù)據(jù)質(zhì)量問題 n匯總算法問題（非質(zhì)量問題）匯總算法問題（非質(zhì)量問題） 計(jì)費(fèi)帳務(wù)計(jì)費(fèi)帳務(wù) 資源管理資源管理 業(yè)務(wù)開通業(yè)務(wù)開通edm 定單受理定單受理 adb 參與人參與人 產(chǎn)品產(chǎn)品 帳務(wù)帳務(wù) 市場營銷市場營銷 事件事件 資源資源 地域地域 財(cái)務(wù)財(cái)務(wù) 參與人參與人 產(chǎn)品產(chǎn)品 帳務(wù)帳務(wù) 市場營銷市場營銷 事件事件 資源資源 地域地域 財(cái)務(wù)財(cái)務(wù) ods edw nadb單一系統(tǒng)數(shù)據(jù)質(zhì)量保證單一系統(tǒng)數(shù)據(jù)質(zhì)量保證 nods跨系統(tǒng)數(shù)據(jù)質(zhì)量保證跨系統(tǒng)數(shù)據(jù)質(zhì)量保證 nedw數(shù)據(jù)匯總指標(biāo)關(guān)聯(lián)質(zhì)量數(shù)據(jù)匯總指標(biāo)關(guān)聯(lián)質(zhì)量 nods可以作為以上

15、三類數(shù)據(jù)質(zhì)量問題的最終管理者可以作為以上三類數(shù)據(jù)質(zhì)量問題的最終管理者 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 10 文檔內(nèi)容文檔內(nèi)容 n數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類 nods/edw在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在管理層面對數(shù)據(jù)質(zhì)量的支撐在管理層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw數(shù)據(jù)質(zhì)量管理案例（穿插）數(shù)

16、據(jù)質(zhì)量管理案例（穿插） ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 11 企業(yè)數(shù)據(jù)架構(gòu)(eda) eda ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 12 ossbssmss eda ods edw eda/ods/edw關(guān)系數(shù)據(jù)質(zhì)量管理的基礎(chǔ) nods/edw可以成為可以成為eda的主要承載系統(tǒng)的主要承載系統(tǒng) n擁有電信

17、業(yè)務(wù)運(yùn)營所需的完整的統(tǒng)一的數(shù)據(jù)擁有電信業(yè)務(wù)運(yùn)營所需的完整的統(tǒng)一的數(shù)據(jù) 視圖視圖 n數(shù)據(jù)歸屬劃分清晰數(shù)據(jù)歸屬劃分清晰 n數(shù)據(jù)流向清晰數(shù)據(jù)流向清晰 n數(shù)據(jù)更新相對及時(shí)，反映數(shù)據(jù)最新狀況數(shù)據(jù)更新相對及時(shí)，反映數(shù)據(jù)最新狀況 n滿足日常運(yùn)營所需的數(shù)據(jù)交互與共享滿足日常運(yùn)營所需的數(shù)據(jù)交互與共享 n可以扮演數(shù)據(jù)質(zhì)量管理的關(guān)鍵角色可以扮演數(shù)據(jù)質(zhì)量管理的關(guān)鍵角色 n在此基礎(chǔ)上建立所需的數(shù)據(jù)管理體系在此基礎(chǔ)上建立所需的數(shù)據(jù)管理體系 n組織機(jī)構(gòu)組織機(jī)構(gòu) n系統(tǒng)功能支撐系統(tǒng)功能支撐 n考核評測機(jī)制考核評測機(jī)制 可以看成數(shù)據(jù)的可以看成數(shù)據(jù)的 消費(fèi)者，業(yè)務(wù)運(yùn)消費(fèi)者，業(yè)務(wù)運(yùn) 營系統(tǒng)的一部分營系統(tǒng)的一部分 系統(tǒng)數(shù)據(jù)交互、共系

18、統(tǒng)數(shù)據(jù)交互、共 享、沉淀的中心享、沉淀的中心 沒有單獨(dú)建設(shè)沒有單獨(dú)建設(shè)ods的省公司，的省公司， 可以將其功能納入到可以將其功能納入到edw。 主要在主要在stagearea開放性、數(shù)開放性、數(shù) 據(jù)交互性加強(qiáng)據(jù)交互性加強(qiáng) ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 13 ods/edw數(shù)據(jù)架構(gòu)工作內(nèi)容 n確定數(shù)據(jù)范圍，建立統(tǒng)一數(shù)據(jù)視圖：參與者、產(chǎn)品、帳務(wù)、市場營銷、確定數(shù)據(jù)范圍，建立統(tǒng)一數(shù)據(jù)視圖：參與者、產(chǎn)品、帳務(wù)、市場營銷、 地域、資源、事件、財(cái)務(wù)地域、資

19、源、事件、財(cái)務(wù) n確定數(shù)據(jù)所有者以及數(shù)據(jù)單向流動(dòng)原則，只有所有者能夠修改數(shù)據(jù)確定數(shù)據(jù)所有者以及數(shù)據(jù)單向流動(dòng)原則，只有所有者能夠修改數(shù)據(jù) n建立源數(shù)據(jù)到目標(biāo)模型的數(shù)據(jù)映射關(guān)系建立源數(shù)據(jù)到目標(biāo)模型的數(shù)據(jù)映射關(guān)系 n根據(jù)數(shù)據(jù)分類建立數(shù)據(jù)同步機(jī)制根據(jù)數(shù)據(jù)分類建立數(shù)據(jù)同步機(jī)制 n建立數(shù)據(jù)關(guān)聯(lián)、稽核機(jī)制，建立異常數(shù)據(jù)檢測修正機(jī)制，隨著時(shí)間的積建立數(shù)據(jù)關(guān)聯(lián)、稽核機(jī)制，建立異常數(shù)據(jù)檢測修正機(jī)制，隨著時(shí)間的積 累數(shù)據(jù)逐步逼近正確累數(shù)據(jù)逐步逼近正確 n確定數(shù)據(jù)訪問機(jī)制，建立統(tǒng)一數(shù)據(jù)平臺(tái)上的應(yīng)用確定數(shù)據(jù)訪問機(jī)制，建立統(tǒng)一數(shù)據(jù)平臺(tái)上的應(yīng)用 所有這些是數(shù)據(jù)質(zhì)量管控的基礎(chǔ)，所有這些是數(shù)據(jù)質(zhì)量管控的基礎(chǔ)， 只有在這些工作完

20、成后，數(shù)據(jù)走向只有在這些工作完成后，數(shù)據(jù)走向 混亂的趨勢才有可能從根本上得到控制混亂的趨勢才有可能從根本上得到控制 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 14 ods/edw數(shù)據(jù)庫數(shù)據(jù)庫 訂單受理訂單受理/業(yè)務(wù)開通業(yè)務(wù)開通 案例：確定了數(shù)據(jù)所有者以及數(shù)據(jù)單向流動(dòng)原則，只有所有者可以修改數(shù)據(jù) 計(jì)費(fèi)帳務(wù)系統(tǒng)計(jì)費(fèi)帳務(wù)系統(tǒng) 渠道系統(tǒng)渠道系統(tǒng) 112系統(tǒng)系統(tǒng) 10000系統(tǒng)系統(tǒng) 網(wǎng)管系統(tǒng)網(wǎng)管系統(tǒng) 產(chǎn)品 定單 工單 靜態(tài)表 卡片 客戶 商品 套餐 用戶 帳戶 帳務(wù)

21、 資源 故障 投訴 咨詢 故障 客戶群 客戶經(jīng)理 客戶區(qū)域 渠道 用戶群 帳務(wù) 資費(fèi) 紅黑名單 銷賬 信用度 預(yù)存 資源(小靈通基站) ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 15 文檔內(nèi)容文檔內(nèi)容 n數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類 nods/edw在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在管理層面對數(shù)據(jù)質(zhì)量的支撐在管

22、理層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw數(shù)據(jù)質(zhì)量管理案例（穿插）數(shù)據(jù)質(zhì)量管理案例（穿插） ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 16 數(shù)據(jù)質(zhì)量處理流程數(shù)據(jù)質(zhì)量處理流程-閉環(huán)處理閉環(huán)處理 發(fā)現(xiàn)問題發(fā)現(xiàn)問題分析問題分析問題規(guī)則方案規(guī)則方案 執(zhí)行執(zhí)行異常數(shù)據(jù)異常數(shù)據(jù)修正修正 工作考核工作考核 業(yè)務(wù)人員業(yè)務(wù)人員 經(jīng)驗(yàn)積累經(jīng)驗(yàn)積累規(guī)則積累規(guī)則積累 歸屬系統(tǒng)歸屬系統(tǒng)數(shù)據(jù)工位數(shù)據(jù)工位 數(shù)據(jù)管理組數(shù)據(jù)管理組 數(shù)據(jù)工位數(shù)據(jù)工位 控制論，正反饋達(dá)到一定的程度，電控制論，正

23、反饋達(dá)到一定的程度，電 路會(huì)產(chǎn)生自激而崩潰，保證電路的穩(wěn)路會(huì)產(chǎn)生自激而崩潰，保證電路的穩(wěn) 定性需要建立負(fù)反饋機(jī)制定性需要建立負(fù)反饋機(jī)制 目前數(shù)據(jù)質(zhì)量在各個(gè)環(huán)節(jié)目前數(shù)據(jù)質(zhì)量在各個(gè)環(huán)節(jié) 不斷被放大、增加，處于不斷被放大、增加，處于 發(fā)散的狀態(tài)，通過閉環(huán)管發(fā)散的狀態(tài)，通過閉環(huán)管 理確保數(shù)據(jù)質(zhì)量處于收斂理確保數(shù)據(jù)質(zhì)量處于收斂 的狀態(tài)才能控制數(shù)據(jù)質(zhì)量的狀態(tài)才能控制數(shù)據(jù)質(zhì)量 問題問題 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 17 案例：ods系統(tǒng)數(shù)據(jù)修正閉環(huán)流程 參

24、與人產(chǎn)品 帳務(wù)事件 資源指標(biāo) 統(tǒng)一數(shù)據(jù)視圖 etl 總控臺(tái)數(shù)據(jù)支撐數(shù)據(jù)查詢異常數(shù)據(jù)處理統(tǒng)計(jì)報(bào)表 外圍屬主系統(tǒng) eaiview 規(guī)則檢查規(guī)則檢查 異常數(shù)據(jù)異常數(shù)據(jù) ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 18 案例：數(shù)據(jù)規(guī)則檢查形成的匯總報(bào)告與異常數(shù)據(jù)詳細(xì)記錄，包括數(shù)據(jù)庫邏案例：數(shù)據(jù)規(guī)則檢查形成的匯總報(bào)告與異常數(shù)據(jù)詳細(xì)記錄，包括數(shù)據(jù)庫邏 輯異常和業(yè)務(wù)邏輯異常輯異常和業(yè)務(wù)邏輯異常 ibm business consulting services copyri

25、ght ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 19 案例：建立異常數(shù)據(jù)檢測修正機(jī)制（規(guī)則可根據(jù)業(yè)務(wù)需要不斷擴(kuò)充），隨 著時(shí)間的積累數(shù)據(jù)逐步逼近正確 n 三戶類三戶類 n用戶無所屬客戶用戶無所屬客戶 n帳戶無所屬客戶帳戶無所屬客戶 n用戶應(yīng)有對應(yīng)帳戶用戶應(yīng)有對應(yīng)帳戶 n用戶應(yīng)定義所有帳目類型的帳戶歸屬用戶應(yīng)定義所有帳目類型的帳戶歸屬 n用戶有效記錄唯一性用戶有效記錄唯一性 n帳戶客戶有效記錄唯一性帳戶客戶有效記錄唯一性 n托收用戶稽核托收用戶稽核 n 產(chǎn)品服務(wù)類產(chǎn)品服務(wù)類 n產(chǎn)品服務(wù)收費(fèi)不一致產(chǎn)品服務(wù)收費(fèi)不一致 n無主帳單無主帳單 n無主

26、投訴無主投訴 n無主故障無主故障 n欠費(fèi)停機(jī)欠費(fèi)停機(jī) n繳費(fèi)復(fù)機(jī)繳費(fèi)復(fù)機(jī) n免停用戶停機(jī)免停用戶停機(jī) n臨時(shí)電話臨時(shí)電話(專線專線)時(shí)限、業(yè)務(wù)要求時(shí)限、業(yè)務(wù)要求 n拆機(jī)需冷號一定時(shí)間拆機(jī)需冷號一定時(shí)間 規(guī)則管理 規(guī)則調(diào)度 規(guī)則引擎 稽核規(guī)則 稽核系統(tǒng) 數(shù)據(jù)庫 eda數(shù)據(jù)庫 n 收費(fèi)類收費(fèi)類 n下半月新裝用戶月租減半下半月新裝用戶月租減半 n減免收費(fèi)信息不一致減免收費(fèi)信息不一致 n計(jì)費(fèi)狀態(tài)信息不一致計(jì)費(fèi)狀態(tài)信息不一致 n費(fèi)用未繳清不能辦理業(yè)務(wù)費(fèi)用未繳清不能辦理業(yè)務(wù) 匯總指標(biāo)類數(shù)據(jù)質(zhì)量匯總指標(biāo)類數(shù)據(jù)質(zhì)量 需要經(jīng)業(yè)務(wù)分析后形成需要經(jīng)業(yè)務(wù)分析后形成 對原始數(shù)據(jù)的效驗(yàn)規(guī)則對原始數(shù)據(jù)的效驗(yàn)規(guī)則 如果本身平

27、衡公式不存在，如果本身平衡公式不存在， 則不能作為數(shù)據(jù)質(zhì)量問題則不能作為數(shù)據(jù)質(zhì)量問題 跨系統(tǒng)數(shù)據(jù)跨系統(tǒng)數(shù)據(jù) 質(zhì)量問題質(zhì)量問題 單一系統(tǒng)數(shù)單一系統(tǒng)數(shù) 據(jù)質(zhì)量問題據(jù)質(zhì)量問題 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 20 案例：考核，建立了修正效果對比機(jī)制，可量化評測數(shù)據(jù)質(zhì)量修正工作案例：考核，建立了修正效果對比機(jī)制，可量化評測數(shù)據(jù)質(zhì)量修正工作 n數(shù)據(jù)檢查規(guī)則的定義與維護(hù)數(shù)據(jù)檢查規(guī)則的定義與維護(hù) n規(guī)則的執(zhí)行與報(bào)告規(guī)則的執(zhí)行與報(bào)告 n提供異常數(shù)據(jù)對比跟蹤提供異

28、常數(shù)據(jù)對比跟蹤 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 21 文檔內(nèi)容文檔內(nèi)容 n數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類數(shù)據(jù)質(zhì)量問題產(chǎn)生原因與分類 nods/edw在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐在數(shù)據(jù)架構(gòu)層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐在應(yīng)用功能層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw在管理層面對數(shù)據(jù)質(zhì)量的支撐在管理層面對數(shù)據(jù)質(zhì)量的支撐 nods/edw數(shù)據(jù)質(zhì)量管理案例（穿插）數(shù)據(jù)質(zhì)量管理案例（穿插） ibm business co

29、nsulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 22 數(shù)據(jù)質(zhì)量管理的組織機(jī)構(gòu) n數(shù)據(jù)質(zhì)量決策小組數(shù)據(jù)質(zhì)量決策小組 n主管業(yè)務(wù)的領(lǐng)導(dǎo)牽頭主管業(yè)務(wù)的領(lǐng)導(dǎo)牽頭 n確定數(shù)據(jù)質(zhì)量的目標(biāo)確定數(shù)據(jù)質(zhì)量的目標(biāo) n數(shù)據(jù)質(zhì)量管理小組數(shù)據(jù)質(zhì)量管理小組 n市場部主任市場部主任 n企化部主任企化部主任 n與數(shù)據(jù)打交道的關(guān)鍵業(yè)務(wù)人員與數(shù)據(jù)打交道的關(guān)鍵業(yè)務(wù)人員 n熟悉現(xiàn)有系統(tǒng)數(shù)據(jù)的關(guān)鍵技術(shù)人員熟悉現(xiàn)有系統(tǒng)數(shù)據(jù)的關(guān)鍵技術(shù)人員 n提出數(shù)據(jù)質(zhì)量具體要求提出數(shù)據(jù)質(zhì)量具體要求 n確定數(shù)據(jù)檢查規(guī)則邏輯確定數(shù)據(jù)檢查規(guī)則邏輯 n決定數(shù)據(jù)

30、沖突解決方案決定數(shù)據(jù)沖突解決方案 n數(shù)據(jù)質(zhì)量執(zhí)行小組數(shù)據(jù)質(zhì)量執(zhí)行小組 n具體的工位具體的工位 n根據(jù)系統(tǒng)提供的功能生成異常數(shù)據(jù)報(bào)告根據(jù)系統(tǒng)提供的功能生成異常數(shù)據(jù)報(bào)告 n組織、監(jiān)督、推動(dòng)數(shù)據(jù)修正工作組織、監(jiān)督、推動(dòng)數(shù)據(jù)修正工作 n考核數(shù)據(jù)修正指標(biāo)考核數(shù)據(jù)修正指標(biāo) 決策決策 管理管理 執(zhí)行執(zhí)行 反饋反饋 需要管理和系統(tǒng)的結(jié)合需要管理和系統(tǒng)的結(jié)合 很多環(huán)節(jié)需要人為介入很多環(huán)節(jié)需要人為介入 將數(shù)據(jù)管理當(dāng)成將數(shù)據(jù)管理當(dāng)成 日常的工作來做日常的工作來做 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)

31、密 | 15-may-21 23 案例：異常數(shù)據(jù)處理流程 mboss 其他系統(tǒng) eai etl a異常數(shù)據(jù) ods規(guī)則檢查 b異常數(shù)據(jù) c異常數(shù)據(jù) 工位a eai異常處理 工位b etl異常處理 工位c 規(guī)則檢查異常處理 工位e 系統(tǒng)管理 工位f 系統(tǒng)管理 工位d ods數(shù)據(jù)異常處理 a：eai異常處理 b：ods的etl c：ods的規(guī)則檢查 d：ods異常處理 e：mboss系統(tǒng)管理 f：其他系統(tǒng)管理員 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 24

32、案例：異常數(shù)據(jù)處理流程eai 工位a update無主鍵 （未入庫） create主鍵重復(fù) （未入庫） 字典找不到 （已入庫） a提交報(bào)告給d d聯(lián)系e分析原因 d在ods控制臺(tái)字典維護(hù)功能 修正字典，然后手工修正ods數(shù)據(jù) a提交報(bào)告給d和e a、d和e分析原因 a的原因 d的原因 e的原因 a修正 d修正數(shù)據(jù) e修正數(shù)據(jù) a重試 a：eai異常處理 b：ods的etl c：ods的規(guī)則檢查 d：ods異常處理 e：mboss系統(tǒng)管理 f：其他系統(tǒng)管理員 ibm business consulting services copyright ibm corporation 2005ods/edw系統(tǒng) ibm機(jī)密 | 15-may-21 25 案例：異常數(shù)據(jù)處理流程etl a：eai異常處理 b：ods的etl c：ods的規(guī)則檢查 d：ods異常處理 e：mboss系統(tǒng)管理 f：其他系統(tǒng)管理員 工位b 主鍵為空 （未入庫） 非空為空 （未入庫） 字典找不到 （已入庫） b報(bào)告給d d聯(lián)系e/f分析原因 d在ods控制臺(tái)字典維護(hù)功能 修正字典，然后手工修正ods數(shù)據(jù) b報(bào)告給d 外鍵找不到 （已入庫） d報(bào)告給f d報(bào)告給e f修正數(shù)據(jù)增量