數(shù)據(jù)質(zhì)量平臺V200產(chǎn)品規(guī)劃課件

1、數(shù)據(jù)質(zhì)量管理平臺 V2.0.0產(chǎn)品規(guī)劃（版本V0.8）2010年08月目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求核心概念分析概念解釋數(shù)據(jù)質(zhì)量對經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控、評估和數(shù)據(jù)質(zhì)量問題處理數(shù)據(jù)質(zhì)量監(jiān)控自動獲取經(jīng)營分析系統(tǒng)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量信息，結(jié)合元數(shù)據(jù)庫中的有關(guān)檢查規(guī)則和采集規(guī)則，對數(shù)據(jù)質(zhì)量情況進(jìn)行診斷，并及時向數(shù)據(jù)質(zhì)量監(jiān)控人員報告數(shù)據(jù)稽核 是數(shù)據(jù)質(zhì)量檢查的基本功能，是根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的準(zhǔn)確性、合理性等多角度的檢查，以便能及時發(fā)現(xiàn)問題核心概念分析概念解釋數(shù)據(jù)質(zhì)量知識庫數(shù)據(jù)質(zhì)量管理子系統(tǒng)存儲層上的數(shù)據(jù)

2、質(zhì)量存儲信息庫，主要包括各種檢查規(guī)則、檢查結(jié)果報告(包括告警)，以及數(shù)據(jù)質(zhì)量問題的處理過程信息數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量評估是對數(shù)據(jù)質(zhì)量日常管理中階段性累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計和分析，并輸出評估報告的過程數(shù)據(jù)采集點覆蓋經(jīng)營分析系統(tǒng)數(shù)據(jù)處理環(huán)節(jié)的，獲取每個環(huán)節(jié)運行狀態(tài)的實體。該實體可以是程序?qū)嶓w也可以是任務(wù)實體目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求產(chǎn)品目標(biāo)遠(yuǎn)景目標(biāo)業(yè)務(wù)目標(biāo)：在數(shù)據(jù)質(zhì)量監(jiān)控界面上集成元數(shù)據(jù)信息，實現(xiàn)拓?fù)涑尸F(xiàn)功能，提供經(jīng)營分析系統(tǒng)數(shù)據(jù)處理狀態(tài)和質(zhì)量狀況的全局視圖；進(jìn)一步完善數(shù)據(jù)質(zhì)量管理知識庫，可由數(shù)據(jù)質(zhì)量知識庫自動產(chǎn)

3、生檢查規(guī)則的優(yōu)化建議、自動產(chǎn)生數(shù)據(jù)質(zhì)量問題的處理建議；進(jìn)一步完善數(shù)據(jù)質(zhì)量評估的應(yīng)用，結(jié)合元數(shù)據(jù)信息，實現(xiàn)數(shù)據(jù)質(zhì)量評分體系；進(jìn)一步完善數(shù)據(jù)質(zhì)量對外服務(wù)功能，實現(xiàn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)對經(jīng)營分析系統(tǒng)的全面技術(shù)支撐。技術(shù)目標(biāo)：云計算特性實現(xiàn)：分布式、動態(tài)負(fù)載、云部署和監(jiān)控；數(shù)據(jù)質(zhì)量知識庫關(guān)聯(lián)案例搜索，模糊查詢與知識挖掘技術(shù)應(yīng)用。產(chǎn)品目標(biāo)近期目標(biāo)業(yè)務(wù)目標(biāo)：在經(jīng)營分析系統(tǒng)數(shù)據(jù)處理主要階段設(shè)置數(shù)據(jù)質(zhì)量檢測點，支持對經(jīng)營分析數(shù)據(jù)質(zhì)量的全程監(jiān)控，建立有效的數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，提供全面及時的數(shù)據(jù)質(zhì)量報告，預(yù)防和控制錯誤范圍的擴(kuò)大；完善數(shù)據(jù)質(zhì)量管理知識庫，積累數(shù)據(jù)質(zhì)量問題及其處理過程的相關(guān)知識，為相同或相近問題的處理提

4、供參考；初步建立數(shù)據(jù)質(zhì)量評估的應(yīng)用，通過評估發(fā)現(xiàn)數(shù)據(jù)質(zhì)量潛在的問題和規(guī)律；建立數(shù)據(jù)質(zhì)量問題處理機(jī)制，有效協(xié)助處理經(jīng)分域數(shù)據(jù)質(zhì)量問題；開發(fā)數(shù)據(jù)質(zhì)量對外服務(wù)功能，提高數(shù)據(jù)質(zhì)量管理子系統(tǒng)對經(jīng)營分析系統(tǒng)的技術(shù)支撐力度。技術(shù)目標(biāo)：模塊化與組件化改造；任務(wù)調(diào)度與業(yè)務(wù)過程解藕，復(fù)用統(tǒng)一的調(diào)度構(gòu)件;采集程序分布式部署。配置數(shù)據(jù)庫與數(shù)據(jù)倉庫分離，采用文件數(shù)據(jù)庫。目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求在公司產(chǎn)品規(guī)劃中定位基礎(chǔ)支撐框架融合計費綜合客服合作伙伴管理WEB客戶/員工/營銷人員/管理人員/合作伙伴客戶門戶Mediation收入保障工作流引擎定

5、單工單管理專業(yè)網(wǎng)管企業(yè)ERP應(yīng)用集成平臺網(wǎng)絡(luò)激活營業(yè)廳合作伙伴客戶經(jīng)理內(nèi)部門戶元數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫決策支持BAM銀行產(chǎn)品管理平臺知識庫BOMCIVR短信POSWAPMAS管理網(wǎng)絡(luò)資源管理系統(tǒng)業(yè)務(wù)門戶平臺網(wǎng)元層業(yè)務(wù)網(wǎng)承載網(wǎng)MSC行業(yè)網(wǎng)關(guān)短信網(wǎng)關(guān) HLRWAP網(wǎng)關(guān) MAS VGOPM2M業(yè)務(wù)平臺電子商務(wù)平臺音樂卡客戶管理平臺在線分析市場營銷銷售管理綜合受理訂單管理服務(wù)請求管理綜合帳務(wù)HotBilling數(shù)據(jù)服務(wù)中心DSC充值平臺ABM施工管理業(yè)務(wù)資源管理VAC渠道管理規(guī)則引擎MDB預(yù)處理綜合采集數(shù)據(jù)質(zhì)量管理數(shù)據(jù)集成平臺總部BOSSOCS服務(wù)保障平臺綜合管理數(shù)據(jù)訪問帳務(wù)管理帳務(wù)處理智能網(wǎng)自助終端自

6、助終端平臺經(jīng)營分析基礎(chǔ)管理4A平臺B2B服務(wù)集成平臺渠道接觸集成平臺綜合計算目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求業(yè)務(wù)過程列表 實體列表 上下文圖0級DFD圖1級DFD-P1規(guī)則配置1級DFD-P2信息采集1級DFD-P3檢查稽核1級DFD-P4監(jiān)控告警1級DFD-P5問題處理1級DFD-P6知識庫1級DFD-P7質(zhì)量評估1級DFD-P9對外服務(wù)2級DFD-P1.1采集規(guī)則配置2級DFD-P1.2稽核規(guī)則配置2級DFD-P1.3告警規(guī)則配置2級DFD-P3.1實體稽核2級DFD-P3.2業(yè)務(wù)源數(shù)據(jù)稽核2級DFD-P3.3處理過程檢

7、查2級DFD-P3.5指標(biāo)稽核2級DFD-P4.6告警管理2級DFD-P7.2數(shù)據(jù)質(zhì)量問題狀態(tài)評估2級DFD-P7.3數(shù)據(jù)源接口質(zhì)量評估目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)概念模型邏輯模型應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求概念模型設(shè)計：0級E-R概念模型設(shè)計：1級E-R概念模型設(shè)計：2級E-R邏輯模型圖功能數(shù)據(jù)控制關(guān)系 數(shù)據(jù)應(yīng)用采集規(guī)則稽核規(guī)則告警規(guī)則評估規(guī)則采集信息稽核結(jié)果監(jiān)控報告告警信息問題信息評估報告知識信息規(guī)則配置CRUDCRUDCRUDCRUD信息采集RCRU檢查稽核RRCRU監(jiān)控告警RRCRUDCRUDR問題處理RRRRRRCRUDR質(zhì)量評估RRRR

8、RCRUD知識庫管理RRRRRCRUD對外服務(wù)RRRUR數(shù)據(jù)庫應(yīng)用分布關(guān)系 數(shù)據(jù)庫應(yīng)用主配置庫詳細(xì)信息存儲庫規(guī)則配置采集規(guī)則、稽核規(guī)則、告警規(guī)則、評估規(guī)則信息采集采集信息 (概要信息)采集信息 (概要信息、詳細(xì)信息)檢查稽核稽核結(jié)果監(jiān)控告警監(jiān)控報告、告警信息問題處理問題信息質(zhì)量評估評估報告案例庫管理案例信息對外服務(wù)問題信息、數(shù)據(jù)質(zhì)量信息目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求數(shù)據(jù)質(zhì)量管理功能結(jié)構(gòu)圖數(shù)據(jù)質(zhì)量管理功能層次問題處理系統(tǒng)管理數(shù)據(jù)質(zhì)量管理規(guī)則配置信息采集檢查稽核業(yè)務(wù)源信息采集實體信息采集指標(biāo)信息采集權(quán)限管理日志管理采集規(guī)則配置

9、稽核規(guī)則配置實體稽核指標(biāo)稽核業(yè)務(wù)源數(shù)據(jù)檢查處理過程檢查告警規(guī)則配置數(shù)據(jù)質(zhì)量評估指標(biāo)關(guān)聯(lián)性分析數(shù)據(jù)源接口評估問題狀況評估專題評估監(jiān)控告警監(jiān)控告警知識庫知識管理對外服務(wù)數(shù)據(jù)質(zhì)量信息查詢數(shù)據(jù)質(zhì)量問題交互知識共享問題管理問題接口評估規(guī)則配置任務(wù)調(diào)度處理過程信息采集告警管理拓?fù)涑尸F(xiàn)采集信息展示稽核結(jié)果展示調(diào)度接口核心業(yè)務(wù)功能描述規(guī)則配置：數(shù)據(jù)采集，數(shù)據(jù)稽核和告警監(jiān)控,質(zhì)量評估會根據(jù)預(yù)先用戶配置的規(guī)則進(jìn)行相應(yīng)的采集、稽核、告警和相應(yīng)的評估。規(guī)則定制分為采集規(guī)則配置，稽核規(guī)則配置、告警規(guī)則配置，評估規(guī)則配置。采集規(guī)則配置：采集規(guī)則配置作為采集程序執(zhí)行的依據(jù)。指定采集的數(shù)據(jù)庫，采集方式等，分為指標(biāo)采集規(guī)則，實

10、體采集規(guī)則，業(yè)務(wù)源數(shù)據(jù)采集規(guī)則，處理過程采集規(guī)則核心業(yè)務(wù)功能描述稽核規(guī)則配置：依據(jù)數(shù)據(jù)倉庫、數(shù)據(jù)集市等系統(tǒng)的模型約束、實體屬性、實體關(guān)系和實體業(yè)務(wù)特征等角度來制定相應(yīng)稽核規(guī)則。作為數(shù)據(jù)稽核的依據(jù)，分為指標(biāo)稽核規(guī)則，實體稽核規(guī)則，業(yè)務(wù)源數(shù)據(jù)稽核，處理過程稽核規(guī)則告警規(guī)則配置：據(jù)數(shù)據(jù)倉庫模型約束以及關(guān)系、具體業(yè)務(wù)約束指定相應(yīng)的告警規(guī)則。依據(jù)告警規(guī)則發(fā)出相應(yīng)的告警。分為指標(biāo)告警規(guī)則，實體告警規(guī)則，業(yè)務(wù)源數(shù)據(jù)告警規(guī)則，處理過程告警規(guī)則核心業(yè)務(wù)功能描述評估規(guī)則配置：數(shù)據(jù)質(zhì)量問題狀況評估是對數(shù)據(jù)質(zhì)量問題及其處理情況的階段性匯總與總結(jié)，評估過程中生成相應(yīng)的數(shù)據(jù)質(zhì)量問題狀況評估報告供經(jīng)營分析系統(tǒng)管理人員和維護(hù)

11、人員分析與使用，數(shù)據(jù)質(zhì)量人員根據(jù)數(shù)據(jù)質(zhì)量問題狀況和業(yè)務(wù)經(jīng)驗指定相應(yīng)的評估規(guī)則，作為相應(yīng)的指導(dǎo)。信息采集：數(shù)據(jù)質(zhì)量采集到的信息作為后續(xù)數(shù)據(jù)質(zhì)量檢查環(huán)節(jié)的輸入，是數(shù)據(jù)質(zhì)量監(jiān)控的基礎(chǔ)。信息采集分為指標(biāo)信息采集，實體信息采集，業(yè)務(wù)信息采集核心業(yè)務(wù)功能描述指標(biāo)信息采集：根據(jù)指標(biāo)采集規(guī)則采集相應(yīng)的指標(biāo)值，這個指標(biāo)含有指標(biāo)賬期，業(yè)務(wù)庫等相關(guān)信息，數(shù)據(jù)稽核會根據(jù)采集結(jié)果是否滿足稽核規(guī)則來報告異常。實體信息采集： 根據(jù)實體信息采集規(guī)則采集需要稽核的實體信息和屬性信息，稽核會對實體進(jìn)行主鍵檢查，外鍵檢查，值域檢查，完整性檢查，合法性檢查這些操作。業(yè)務(wù)過程信息采集：根據(jù)業(yè)務(wù)信息采集規(guī)則采集相應(yīng)業(yè)務(wù)信息，從而檢查分析

12、系統(tǒng)各數(shù)據(jù)處理環(huán)節(jié)處理的完成情況，處理情況等信息。核心業(yè)務(wù)功能描述檢查稽核：檢查稽核部分根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的正確性、合理性等多個角度進(jìn)行檢查，及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。主要包含以下內(nèi)容：實體稽核、指標(biāo)稽核、業(yè)務(wù)源數(shù)據(jù)稽核和處理過程檢查。監(jiān)控告警：數(shù)據(jù)質(zhì)量稽核完成后，數(shù)據(jù)稽核結(jié)果信息根據(jù)告警規(guī)則進(jìn)行數(shù)據(jù)質(zhì)量的告警，并產(chǎn)生相應(yīng)的工單信息，對數(shù)據(jù)質(zhì)量問題進(jìn)行處理。核心管理功能描述知識庫：用來收集和積累有關(guān)數(shù)據(jù)及過程問題的處理經(jīng)驗總結(jié)，這些知識可作為今后數(shù)據(jù)質(zhì)量問題解決方法和問題分析的參考。問題處理：數(shù)據(jù)質(zhì)量稽核發(fā)現(xiàn)問題時，能夠?qū)栴}處理，生成相應(yīng)的問題工單進(jìn)行處理，同時能夠?qū)?/p>

13、相關(guān)信息進(jìn)行對外提供。數(shù)據(jù)質(zhì)量評估：數(shù)據(jù)質(zhì)量評估是對數(shù)據(jù)質(zhì)量日常管理中階段性累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計和分析，并輸出評估報告的過程。通過數(shù)據(jù)質(zhì)量評估可以發(fā)現(xiàn)一些潛在的數(shù)據(jù)質(zhì)量問題和變化規(guī)律，如指標(biāo)關(guān)聯(lián)波動規(guī)律和同類問題的發(fā)生規(guī)律等。數(shù)據(jù)質(zhì)量評估也可能會觸發(fā)相關(guān)的后續(xù)處理，例如監(jiān)控規(guī)則優(yōu)化和問題處理等。 目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求集成關(guān)系圖集成列表目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求演進(jìn)思路目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集

14、成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求工作量估算-總結(jié)需求分析： 1 人月系統(tǒng)設(shè)計： 1.8 人月開發(fā)實現(xiàn)： 5 人月測 試： 2 人月部署實施： 0.1 人月合 計： 8.9 人月工作量估算需求分析工作名稱難度（1-5 Max）復(fù)雜度（1-5 Max）工作量（人天）1 規(guī)則定制2322 信息采集3433 任務(wù)稽核3444 告警監(jiān)控2325 問題處理2326 知識庫2217 質(zhì)量評估3338 對外接口434合計21工作量估算系統(tǒng)設(shè)計工作名稱難度（1-5 Max）復(fù)雜度（1-5 Max）工作量（人天）1 規(guī)則定制2342 信息采集3463 任務(wù)稽核3464 告警監(jiān)控2335 問題處理234

15、6 知識庫2237 質(zhì)量評估3358 對外接口436合計37工作量估算開發(fā)實現(xiàn)工作名稱難度（1-5 Max）復(fù)雜度（1-5 Max）工作量（人天）1 規(guī)則定制24122 信息采集44183 任務(wù)稽核42124 告警監(jiān)控2395 問題處理33126 知識庫3297 質(zhì)量評估3298 對外接口4418合計99工作量估算測試工作名稱難度（1-5 Max）復(fù)雜度（1-5 Max）工作量（人天）1 規(guī)則定制2462 信息采集3483 任務(wù)稽核3364 告警監(jiān)控2245 問題處理2246 知識庫2247 質(zhì)量評估2248 對外接口348合計44工作量估算部署實施工作名稱難度 復(fù)雜度 工作量 （1-5 Ma

16、x）（1-5 Max）（人天） 1 環(huán)境檢查 230.22 數(shù)據(jù)庫發(fā)布 340.53 Web程序發(fā)布 330.34 后臺程序發(fā)布320.25 程序調(diào)試 440.8合計 2目錄核心概念分析產(chǎn)品目標(biāo)產(chǎn)品定位業(yè)務(wù)架構(gòu)數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)集成架構(gòu)演進(jìn)思路工作量估算技術(shù)架構(gòu)基礎(chǔ)平臺要求技術(shù)中立架構(gòu)外部系統(tǒng)展現(xiàn)層應(yīng)用層數(shù)據(jù)層信息采集檢查稽核監(jiān)控告警任務(wù)調(diào)度持久化工具規(guī)則信息采集信息稽核信息告警信息評估信息問題處理信息知識庫信息日志信息規(guī)則配置質(zhì)量問題處理質(zhì)量知識庫采集結(jié)果查詢稽核結(jié)果查詢質(zhì)量評估報告數(shù)據(jù)質(zhì)量咨詢數(shù)據(jù)質(zhì)量交互經(jīng)分門戶元數(shù)據(jù)平臺數(shù)據(jù)集成平臺數(shù)據(jù)倉庫業(yè)務(wù)源系統(tǒng)界面集成數(shù)據(jù)集成JVMWeb Serve

17、rJVM技術(shù)特定架構(gòu)外部系統(tǒng)展現(xiàn)層應(yīng)用層數(shù)據(jù)層信息采集檢查稽核監(jiān)控告警任務(wù)調(diào)度Hibernate、iBatis規(guī)則信息采集信息稽核信息告警信息評估信息問題處理信息知識庫信息日志信息規(guī)則配置質(zhì)量問題處理質(zhì)量知識庫采集結(jié)果查詢稽核結(jié)果查詢質(zhì)量評估報告數(shù)據(jù)質(zhì)量查詢數(shù)據(jù)質(zhì)量交互經(jīng)分門戶元數(shù)據(jù)平臺數(shù)據(jù)集成平臺數(shù)據(jù)倉庫業(yè)務(wù)源系統(tǒng)界面集成數(shù)據(jù)集成JVMWebLogic/TomcatJVMHtml、jQuery、Struts、Osgi、SpringDMOsgi、SpringDM平臺架構(gòu)圖數(shù)據(jù)層邏輯層接入層主配置庫Web容器規(guī)則配置采集、檢查、告警結(jié)果展示問題處理數(shù)據(jù)質(zhì)量案例庫管理質(zhì)量評估JVM數(shù)據(jù)采集監(jiān)控告警檢查稽核對外服務(wù)數(shù)據(jù)采集數(shù)據(jù)采集詳細(xì)信息存儲庫（可選） 技術(shù)要求支持常用主流數(shù)據(jù)庫(至少包括oracle、DB2、Teradata)的數(shù)據(jù)實體屬性的采集。支持組件化的開發(fā)與部署。采集程序支持分布式部署。支持采集以下多種類型的數(shù)據(jù)：文件日志、系統(tǒng)日志、數(shù)據(jù)庫庫表、通過執(zhí)行腳本或系統(tǒng)命令獲取的數(shù)據(jù)（如CPU信息和內(nèi)存信息）。問題總結(jié)過程和數(shù)據(jù)質(zhì)量評估過程中輸出的文檔支持Text、CVS、PPT、Excel或Word等格式