數(shù)據(jù)質量平臺V200產(chǎn)品規(guī)劃課件

1、數(shù)據(jù)質量管理平臺 V2.0.0產(chǎn)品規(guī)劃（版本V0.8）2010年08月目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求核心概念分析概念解釋數(shù)據(jù)質量對經(jīng)營分析系統(tǒng)數(shù)據(jù)質量進行監(jiān)控、評估和數(shù)據(jù)質量問題處理數(shù)據(jù)質量監(jiān)控自動獲取經(jīng)營分析系統(tǒng)各環(huán)節(jié)的數(shù)據(jù)質量信息，結合元數(shù)據(jù)庫中的有關檢查規(guī)則和采集規(guī)則，對數(shù)據(jù)質量情況進行診斷，并及時向數(shù)據(jù)質量監(jiān)控人員報告數(shù)據(jù)稽核 是數(shù)據(jù)質量檢查的基本功能，是根據(jù)預先配置的規(guī)則、算法和質量檢查度量，對數(shù)據(jù)的準確性、合理性等多角度的檢查，以便能及時發(fā)現(xiàn)問題核心概念分析概念解釋數(shù)據(jù)質量知識庫數(shù)據(jù)質量管理子系統(tǒng)存儲層上的數(shù)據(jù)

2、質量存儲信息庫，主要包括各種檢查規(guī)則、檢查結果報告(包括告警)，以及數(shù)據(jù)質量問題的處理過程信息數(shù)據(jù)質量評估數(shù)據(jù)質量評估是對數(shù)據(jù)質量日常管理中階段性累積的各種信息進行匯總、梳理、統(tǒng)計和分析，并輸出評估報告的過程數(shù)據(jù)采集點覆蓋經(jīng)營分析系統(tǒng)數(shù)據(jù)處理環(huán)節(jié)的，獲取每個環(huán)節(jié)運行狀態(tài)的實體。該實體可以是程序實體也可以是任務實體目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求產(chǎn)品目標遠景目標業(yè)務目標：在數(shù)據(jù)質量監(jiān)控界面上集成元數(shù)據(jù)信息，實現(xiàn)拓撲呈現(xiàn)功能，提供經(jīng)營分析系統(tǒng)數(shù)據(jù)處理狀態(tài)和質量狀況的全局視圖；進一步完善數(shù)據(jù)質量管理知識庫，可由數(shù)據(jù)質量知識庫自動產(chǎn)

3、生檢查規(guī)則的優(yōu)化建議、自動產(chǎn)生數(shù)據(jù)質量問題的處理建議；進一步完善數(shù)據(jù)質量評估的應用，結合元數(shù)據(jù)信息，實現(xiàn)數(shù)據(jù)質量評分體系；進一步完善數(shù)據(jù)質量對外服務功能，實現(xiàn)數(shù)據(jù)質量管理子系統(tǒng)對經(jīng)營分析系統(tǒng)的全面技術支撐。技術目標：云計算特性實現(xiàn)：分布式、動態(tài)負載、云部署和監(jiān)控；數(shù)據(jù)質量知識庫關聯(lián)案例搜索，模糊查詢與知識挖掘技術應用。產(chǎn)品目標近期目標業(yè)務目標：在經(jīng)營分析系統(tǒng)數(shù)據(jù)處理主要階段設置數(shù)據(jù)質量檢測點，支持對經(jīng)營分析數(shù)據(jù)質量的全程監(jiān)控，建立有效的數(shù)據(jù)質量監(jiān)控機制，提供全面及時的數(shù)據(jù)質量報告，預防和控制錯誤范圍的擴大；完善數(shù)據(jù)質量管理知識庫，積累數(shù)據(jù)質量問題及其處理過程的相關知識，為相同或相近問題的處理提

4、供參考；初步建立數(shù)據(jù)質量評估的應用，通過評估發(fā)現(xiàn)數(shù)據(jù)質量潛在的問題和規(guī)律；建立數(shù)據(jù)質量問題處理機制，有效協(xié)助處理經(jīng)分域數(shù)據(jù)質量問題；開發(fā)數(shù)據(jù)質量對外服務功能，提高數(shù)據(jù)質量管理子系統(tǒng)對經(jīng)營分析系統(tǒng)的技術支撐力度。技術目標：模塊化與組件化改造；任務調度與業(yè)務過程解藕，復用統(tǒng)一的調度構件;采集程序分布式部署。配置數(shù)據(jù)庫與數(shù)據(jù)倉庫分離，采用文件數(shù)據(jù)庫。目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求在公司產(chǎn)品規(guī)劃中定位基礎支撐框架融合計費綜合客服合作伙伴管理WEB客戶/員工/營銷人員/管理人員/合作伙伴客戶門戶Mediation收入保障工作流引擎定

5、單工單管理專業(yè)網(wǎng)管企業(yè)ERP應用集成平臺網(wǎng)絡激活營業(yè)廳合作伙伴客戶經(jīng)理內部門戶元數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫決策支持BAM銀行產(chǎn)品管理平臺知識庫BOMCIVR短信POSWAPMAS管理網(wǎng)絡資源管理系統(tǒng)業(yè)務門戶平臺網(wǎng)元層業(yè)務網(wǎng)承載網(wǎng)MSC行業(yè)網(wǎng)關短信網(wǎng)關 HLRWAP網(wǎng)關 MAS VGOPM2M業(yè)務平臺電子商務平臺音樂卡客戶管理平臺在線分析市場營銷銷售管理綜合受理訂單管理服務請求管理綜合帳務HotBilling數(shù)據(jù)服務中心DSC充值平臺ABM施工管理業(yè)務資源管理VAC渠道管理規(guī)則引擎MDB預處理綜合采集數(shù)據(jù)質量管理數(shù)據(jù)集成平臺總部BOSSOCS服務保障平臺綜合管理數(shù)據(jù)訪問帳務管理帳務處理智能網(wǎng)自助終端自

6、助終端平臺經(jīng)營分析基礎管理4A平臺B2B服務集成平臺渠道接觸集成平臺綜合計算目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求業(yè)務過程列表 實體列表 上下文圖0級DFD圖1級DFD-P1規(guī)則配置1級DFD-P2信息采集1級DFD-P3檢查稽核1級DFD-P4監(jiān)控告警1級DFD-P5問題處理1級DFD-P6知識庫1級DFD-P7質量評估1級DFD-P9對外服務2級DFD-P1.1采集規(guī)則配置2級DFD-P1.2稽核規(guī)則配置2級DFD-P1.3告警規(guī)則配置2級DFD-P3.1實體稽核2級DFD-P3.2業(yè)務源數(shù)據(jù)稽核2級DFD-P3.3處理過程檢

7、查2級DFD-P3.5指標稽核2級DFD-P4.6告警管理2級DFD-P7.2數(shù)據(jù)質量問題狀態(tài)評估2級DFD-P7.3數(shù)據(jù)源接口質量評估目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構概念模型邏輯模型應用架構集成架構演進思路工作量估算技術架構基礎平臺要求概念模型設計：0級E-R概念模型設計：1級E-R概念模型設計：2級E-R邏輯模型圖功能數(shù)據(jù)控制關系 數(shù)據(jù)應用采集規(guī)則稽核規(guī)則告警規(guī)則評估規(guī)則采集信息稽核結果監(jiān)控報告告警信息問題信息評估報告知識信息規(guī)則配置CRUDCRUDCRUDCRUD信息采集RCRU檢查稽核RRCRU監(jiān)控告警RRCRUDCRUDR問題處理RRRRRRCRUDR質量評估RRRR

8、RCRUD知識庫管理RRRRRCRUD對外服務RRRUR數(shù)據(jù)庫應用分布關系 數(shù)據(jù)庫應用主配置庫詳細信息存儲庫規(guī)則配置采集規(guī)則、稽核規(guī)則、告警規(guī)則、評估規(guī)則信息采集采集信息 (概要信息)采集信息 (概要信息、詳細信息)檢查稽核稽核結果監(jiān)控告警監(jiān)控報告、告警信息問題處理問題信息質量評估評估報告案例庫管理案例信息對外服務問題信息、數(shù)據(jù)質量信息目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求數(shù)據(jù)質量管理功能結構圖數(shù)據(jù)質量管理功能層次問題處理系統(tǒng)管理數(shù)據(jù)質量管理規(guī)則配置信息采集檢查稽核業(yè)務源信息采集實體信息采集指標信息采集權限管理日志管理采集規(guī)則配置

9、稽核規(guī)則配置實體稽核指標稽核業(yè)務源數(shù)據(jù)檢查處理過程檢查告警規(guī)則配置數(shù)據(jù)質量評估指標關聯(lián)性分析數(shù)據(jù)源接口評估問題狀況評估專題評估監(jiān)控告警監(jiān)控告警知識庫知識管理對外服務數(shù)據(jù)質量信息查詢數(shù)據(jù)質量問題交互知識共享問題管理問題接口評估規(guī)則配置任務調度處理過程信息采集告警管理拓撲呈現(xiàn)采集信息展示稽核結果展示調度接口核心業(yè)務功能描述規(guī)則配置：數(shù)據(jù)采集，數(shù)據(jù)稽核和告警監(jiān)控,質量評估會根據(jù)預先用戶配置的規(guī)則進行相應的采集、稽核、告警和相應的評估。規(guī)則定制分為采集規(guī)則配置，稽核規(guī)則配置、告警規(guī)則配置，評估規(guī)則配置。采集規(guī)則配置：采集規(guī)則配置作為采集程序執(zhí)行的依據(jù)。指定采集的數(shù)據(jù)庫，采集方式等，分為指標采集規(guī)則，實

10、體采集規(guī)則，業(yè)務源數(shù)據(jù)采集規(guī)則，處理過程采集規(guī)則核心業(yè)務功能描述稽核規(guī)則配置：依據(jù)數(shù)據(jù)倉庫、數(shù)據(jù)集市等系統(tǒng)的模型約束、實體屬性、實體關系和實體業(yè)務特征等角度來制定相應稽核規(guī)則。作為數(shù)據(jù)稽核的依據(jù)，分為指標稽核規(guī)則，實體稽核規(guī)則，業(yè)務源數(shù)據(jù)稽核，處理過程稽核規(guī)則告警規(guī)則配置：據(jù)數(shù)據(jù)倉庫模型約束以及關系、具體業(yè)務約束指定相應的告警規(guī)則。依據(jù)告警規(guī)則發(fā)出相應的告警。分為指標告警規(guī)則，實體告警規(guī)則，業(yè)務源數(shù)據(jù)告警規(guī)則，處理過程告警規(guī)則核心業(yè)務功能描述評估規(guī)則配置：數(shù)據(jù)質量問題狀況評估是對數(shù)據(jù)質量問題及其處理情況的階段性匯總與總結，評估過程中生成相應的數(shù)據(jù)質量問題狀況評估報告供經(jīng)營分析系統(tǒng)管理人員和維護

11、人員分析與使用，數(shù)據(jù)質量人員根據(jù)數(shù)據(jù)質量問題狀況和業(yè)務經(jīng)驗指定相應的評估規(guī)則，作為相應的指導。信息采集：數(shù)據(jù)質量采集到的信息作為后續(xù)數(shù)據(jù)質量檢查環(huán)節(jié)的輸入，是數(shù)據(jù)質量監(jiān)控的基礎。信息采集分為指標信息采集，實體信息采集，業(yè)務信息采集核心業(yè)務功能描述指標信息采集：根據(jù)指標采集規(guī)則采集相應的指標值，這個指標含有指標賬期，業(yè)務庫等相關信息，數(shù)據(jù)稽核會根據(jù)采集結果是否滿足稽核規(guī)則來報告異常。實體信息采集： 根據(jù)實體信息采集規(guī)則采集需要稽核的實體信息和屬性信息，稽核會對實體進行主鍵檢查，外鍵檢查，值域檢查，完整性檢查，合法性檢查這些操作。業(yè)務過程信息采集：根據(jù)業(yè)務信息采集規(guī)則采集相應業(yè)務信息，從而檢查分析

12、系統(tǒng)各數(shù)據(jù)處理環(huán)節(jié)處理的完成情況，處理情況等信息。核心業(yè)務功能描述檢查稽核：檢查稽核部分根據(jù)預先配置的規(guī)則、算法和質量檢查度量，對數(shù)據(jù)的正確性、合理性等多個角度進行檢查，及時發(fā)現(xiàn)數(shù)據(jù)質量問題。主要包含以下內容：實體稽核、指標稽核、業(yè)務源數(shù)據(jù)稽核和處理過程檢查。監(jiān)控告警：數(shù)據(jù)質量稽核完成后，數(shù)據(jù)稽核結果信息根據(jù)告警規(guī)則進行數(shù)據(jù)質量的告警，并產(chǎn)生相應的工單信息，對數(shù)據(jù)質量問題進行處理。核心管理功能描述知識庫：用來收集和積累有關數(shù)據(jù)及過程問題的處理經(jīng)驗總結，這些知識可作為今后數(shù)據(jù)質量問題解決方法和問題分析的參考。問題處理：數(shù)據(jù)質量稽核發(fā)現(xiàn)問題時，能夠對問題處理，生成相應的問題工單進行處理，同時能夠將

13、相關信息進行對外提供。數(shù)據(jù)質量評估：數(shù)據(jù)質量評估是對數(shù)據(jù)質量日常管理中階段性累積的各種信息進行匯總、梳理、統(tǒng)計和分析，并輸出評估報告的過程。通過數(shù)據(jù)質量評估可以發(fā)現(xiàn)一些潛在的數(shù)據(jù)質量問題和變化規(guī)律，如指標關聯(lián)波動規(guī)律和同類問題的發(fā)生規(guī)律等。數(shù)據(jù)質量評估也可能會觸發(fā)相關的后續(xù)處理，例如監(jiān)控規(guī)則優(yōu)化和問題處理等。 目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求集成關系圖集成列表目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求演進思路目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集

14、成架構演進思路工作量估算技術架構基礎平臺要求工作量估算-總結需求分析： 1 人月系統(tǒng)設計： 1.8 人月開發(fā)實現(xiàn)： 5 人月測 試： 2 人月部署實施： 0.1 人月合 計： 8.9 人月工作量估算需求分析工作名稱難度（1-5 Max）復雜度（1-5 Max）工作量（人天）1 規(guī)則定制2322 信息采集3433 任務稽核3444 告警監(jiān)控2325 問題處理2326 知識庫2217 質量評估3338 對外接口434合計21工作量估算系統(tǒng)設計工作名稱難度（1-5 Max）復雜度（1-5 Max）工作量（人天）1 規(guī)則定制2342 信息采集3463 任務稽核3464 告警監(jiān)控2335 問題處理234

15、6 知識庫2237 質量評估3358 對外接口436合計37工作量估算開發(fā)實現(xiàn)工作名稱難度（1-5 Max）復雜度（1-5 Max）工作量（人天）1 規(guī)則定制24122 信息采集44183 任務稽核42124 告警監(jiān)控2395 問題處理33126 知識庫3297 質量評估3298 對外接口4418合計99工作量估算測試工作名稱難度（1-5 Max）復雜度（1-5 Max）工作量（人天）1 規(guī)則定制2462 信息采集3483 任務稽核3364 告警監(jiān)控2245 問題處理2246 知識庫2247 質量評估2248 對外接口348合計44工作量估算部署實施工作名稱難度 復雜度 工作量 （1-5 Ma

16、x）（1-5 Max）（人天） 1 環(huán)境檢查 230.22 數(shù)據(jù)庫發(fā)布 340.53 Web程序發(fā)布 330.34 后臺程序發(fā)布320.25 程序調試 440.8合計 2目錄核心概念分析產(chǎn)品目標產(chǎn)品定位業(yè)務架構數(shù)據(jù)架構應用架構集成架構演進思路工作量估算技術架構基礎平臺要求技術中立架構外部系統(tǒng)展現(xiàn)層應用層數(shù)據(jù)層信息采集檢查稽核監(jiān)控告警任務調度持久化工具規(guī)則信息采集信息稽核信息告警信息評估信息問題處理信息知識庫信息日志信息規(guī)則配置質量問題處理質量知識庫采集結果查詢稽核結果查詢質量評估報告數(shù)據(jù)質量咨詢數(shù)據(jù)質量交互經(jīng)分門戶元數(shù)據(jù)平臺數(shù)據(jù)集成平臺數(shù)據(jù)倉庫業(yè)務源系統(tǒng)界面集成數(shù)據(jù)集成JVMWeb Serve

17、rJVM技術特定架構外部系統(tǒng)展現(xiàn)層應用層數(shù)據(jù)層信息采集檢查稽核監(jiān)控告警任務調度Hibernate、iBatis規(guī)則信息采集信息稽核信息告警信息評估信息問題處理信息知識庫信息日志信息規(guī)則配置質量問題處理質量知識庫采集結果查詢稽核結果查詢質量評估報告數(shù)據(jù)質量查詢數(shù)據(jù)質量交互經(jīng)分門戶元數(shù)據(jù)平臺數(shù)據(jù)集成平臺數(shù)據(jù)倉庫業(yè)務源系統(tǒng)界面集成數(shù)據(jù)集成JVMWebLogic/TomcatJVMHtml、jQuery、Struts、Osgi、SpringDMOsgi、SpringDM平臺架構圖數(shù)據(jù)層邏輯層接入層主配置庫Web容器規(guī)則配置采集、檢查、告警結果展示問題處理數(shù)據(jù)質量案例庫管理質量評估JVM數(shù)據(jù)采集監(jiān)控告警檢查稽核對外服務數(shù)據(jù)采集數(shù)據(jù)采集詳細信息存儲庫（可選） 技術要求支持常用主流數(shù)據(jù)庫(至少包括oracle、DB2、Teradata)的數(shù)據(jù)實體屬性的采集。支持組件化的開發(fā)與部署。采集程序支持分布式部署。支持采集以下多種類型的數(shù)據(jù)：文件日志、系統(tǒng)日志、數(shù)據(jù)庫庫表、通過執(zhí)行腳本或系統(tǒng)命令獲取的數(shù)據(jù)（如CPU信息和內存信息）。問題總結過程和數(shù)據(jù)質量評估過程中輸出的文檔支持Text、CVS、PPT、Excel或Word等格式