主數(shù)據(jù)管理介紹

主數(shù)據(jù)管理隨著用戶 IT 系統(tǒng)的建設(shè),信息孤島現(xiàn)象越來越嚴重,為了實現(xiàn)信息的共享,軟 件廠商提供了各種解決方案,主數(shù)據(jù)管理即是其中之一,在 2008年的 Oracle Openworld 大會上, Oracle 就有很多關(guān)于主數(shù)據(jù)管理的討論。那么什么是主數(shù)據(jù)?什么是主數(shù)據(jù)管理?根據(jù) IDC 的定義,主數(shù)據(jù)(Master Data 主要指系統(tǒng)間共享數(shù)據(jù)(例如,客戶、 供應(yīng)商、賬戶和組織部門相關(guān)數(shù)據(jù)。 DMReview 專欄作家 Jane Griffin將主數(shù) 據(jù)定義為“ . 用于為核心業(yè)務(wù)實體創(chuàng)建和維護全企業(yè)記錄系統(tǒng),以記錄業(yè) 務(wù)交易并評定這些實體的業(yè)績所需的信息。”由于當時 IT 系統(tǒng)的建設(shè)水平限制, 當前的主數(shù)據(jù)跨越幾乎所有的組織業(yè)務(wù)部門, 分布在多個不同的系統(tǒng)中, 如企業(yè)資源計劃 (ERP、客戶關(guān)系管理 (CRM、商業(yè)智 能 (BI系統(tǒng);遺留系統(tǒng)和大型機系統(tǒng); 合作伙伴和供應(yīng)商系統(tǒng); 以及單個電子數(shù) 據(jù)表、文檔、 .pdf 文件和桌面數(shù)據(jù)庫。主數(shù)據(jù)管理簡稱 MDM(Master Data Management的官方定義一般采用:A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization.主數(shù)據(jù)管理是一系列的規(guī)則、 應(yīng)用和技術(shù), 目的是為了協(xié)調(diào)和管理與企業(yè)的核心 業(yè)務(wù)實體相關(guān)的系統(tǒng)記錄和系統(tǒng)登錄中的數(shù)據(jù)和元數(shù)據(jù)。主數(shù)據(jù)管理一般需要支持以下六大功能:1. 指定每個特定主數(shù)據(jù)域的業(yè)務(wù)職責,例如,產(chǎn)品、客戶、供應(yīng)商和組織結(jié)構(gòu)。嚴格履行職責可保證接入共享資源的系統(tǒng)始終保持高質(zhì)量主數(shù)據(jù)。2. 提取分散在各個應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲庫 , 主數(shù)據(jù)存儲庫一般 采用二維數(shù)據(jù)庫存儲主數(shù)據(jù)。3. 根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標準對收集到的主數(shù)據(jù)進行加工清理, 從而 形成符合企業(yè)需求的主數(shù)據(jù)。4. 制定主數(shù)據(jù)變更的流程審批機制,從而保證主數(shù)據(jù)修改的一致性和穩(wěn)定性。5. 實現(xiàn)各個數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲庫的數(shù)據(jù)同步, 從而保證每個系統(tǒng)使用的 主數(shù)據(jù)相同。6. 隨著 IT 系統(tǒng)的建設(shè),主數(shù)據(jù)的修改動作必然從現(xiàn)有分散的各個系統(tǒng)轉(zhuǎn)移到主 數(shù)據(jù)存儲庫集中進行,因此必須保證當前主數(shù)據(jù)管理系統(tǒng)的靈活性,方便修改、 監(jiān)控、更新關(guān)聯(lián)系統(tǒng)主數(shù)據(jù)的變化。那么一個 主數(shù)據(jù)管理 系統(tǒng)如何建設(shè)才能滿足上述業(yè)務(wù)需求呢,前幾天 學(xué)習(xí) openworld2008的資料,發(fā)現(xiàn)一張講 Oracle 主數(shù)據(jù)管理的圖篇,本人覺得總結(jié) 的比較好:一個完善的主數(shù)據(jù)管理系統(tǒng)一般至少包好以下五個部分:主數(shù)據(jù)存儲模型:主要用戶存儲整合后主數(shù)據(jù), 當前的實際情況是在一個企業(yè)內(nèi) 部,主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中,比如一個 call center系統(tǒng)需要 保存客戶的所有聯(lián)系信息, 但是一個計費系統(tǒng)可能只需要保留客戶的與計費相關(guān) 的信息,如何將客戶信息形成一條完整的記錄并進行存儲供應(yīng), 當然是需要概括 所有這些系統(tǒng)的需求,提供一個完整的數(shù)據(jù)模型。數(shù)據(jù)整合系統(tǒng):主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中, 要進行數(shù)據(jù)整合, 第一步是實 現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互通, 然后通過一定的觸發(fā)機制將各個系統(tǒng)針對主數(shù)據(jù)的 修改同步到主數(shù)據(jù)存儲庫。數(shù)據(jù)清洗系統(tǒng):從各個業(yè)務(wù)系統(tǒng)收集到的主數(shù)據(jù)一般都不是完整的, 存在這樣或 者那樣的數(shù)據(jù)質(zhì)量問題 ,在對這些數(shù)據(jù)使用前,需要對其進行更正和清洗。主數(shù)據(jù)管理監(jiān)控系統(tǒng):主要負責對主數(shù)據(jù)的修改變更實現(xiàn)監(jiān)控、 實現(xiàn)主數(shù)據(jù)系統(tǒng) 的安全性。主數(shù)據(jù)共享系統(tǒng):將更新后的主數(shù)據(jù)發(fā)布到已經(jīng)訂閱該信息的別的系統(tǒng)里, 它可 以和數(shù)據(jù)整合系統(tǒng)共享底層一套 IT 架構(gòu),如采用 SOA 架構(gòu)或者 ETL 架構(gòu)實現(xiàn) 的底層數(shù)據(jù)同步、觸發(fā)和訂閱架構(gòu)。當前各個 IT 廠商象 Oracle,IBM,Teradata,Informatic 等等都推出了自己的主數(shù)據(jù)管 理系統(tǒng),但如果分析一下這些廠商的解決方案, 不外乎三類:一類是原來從制造 業(yè)主數(shù)據(jù)管理演變過來的傳統(tǒng)產(chǎn)品、客戶資料管理系統(tǒng);二是原來的 ETL 廠商 基于自己的 ETL 工具建立的主數(shù)據(jù)管理系統(tǒng); 三是基于現(xiàn)有的 SOA 技術(shù)實現(xiàn)的 主數(shù)據(jù)管理系統(tǒng),從功能架構(gòu)上比較相似。為了實現(xiàn)主數(shù)據(jù)管理系統(tǒng), 首先我們應(yīng)該各個分散的業(yè)務(wù)系統(tǒng)連接起來, 實現(xiàn)各 個業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)存儲的互聯(lián)互通, 目前的主數(shù)據(jù)管理解決方案主要采用兩種 方式來實現(xiàn):基于 ETL 工具的方式和基于 SOA 體系架構(gòu)的方式。1. 基于 ETL 工具的主數(shù)據(jù)應(yīng)用互聯(lián)如上圖所示,一般的 ETL 工具本身就具有連接各種異構(gòu)數(shù)據(jù)源和變化捕捉的能 力,采用它來實現(xiàn) MDM 中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、 整合和發(fā)布應(yīng)該是順理成章的 事情,當前 Oracle,IBM,Informatica 等許多具有自己 ETL 工具的廠商都推出了基 于 ETL 工具的主數(shù)據(jù)管理解決方案,當某個主數(shù)據(jù)的源發(fā)生變化時, ETL 的 CDC(變化數(shù)據(jù)捕捉 功能就會捕獲到變化,進而將變化的數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理 系統(tǒng)的臨時存儲區(qū),然后 ETL 工具根據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對數(shù)據(jù)進行清洗轉(zhuǎn) 化,形成主數(shù)據(jù),進而 ETL 調(diào)用審批監(jiān)管流程,一旦獲得審批, ETL 即可將主 數(shù)據(jù)同步到主數(shù)據(jù)存儲系統(tǒng), 同時分發(fā)給各個訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。 這里要 注意的是主數(shù)據(jù)的審批監(jiān)管流程,如果 ETL 本身自帶流程引擎最好,可以支撐 流程的設(shè)計、運行、監(jiān)控,否則 ETL 工具必須可以調(diào)用其它的工作流引擎,當 前主流的 ETL 工具一般都可以實現(xiàn)與 SOA 的無縫集成, 既可以將數(shù)據(jù)或者轉(zhuǎn)化 封裝為 web 服務(wù),也可以調(diào)用外部的 web 服務(wù)?；?ETL 工具設(shè)計的架構(gòu)好處是效率高,畢竟 ETL 是以處理數(shù)據(jù)見長,缺點是 該架構(gòu)最好不要跨越廣域網(wǎng), 因為一般來講, ETL 工具都是在局域網(wǎng)內(nèi)使用, 如 果網(wǎng)絡(luò)不穩(wěn)定,有可能造成數(shù)據(jù)的不一致。2. 基于當前流行的 SOA 架構(gòu)搭建主數(shù)據(jù)管理系統(tǒng),如下圖:在該方案中,采用 ESB (企業(yè)服務(wù)總線 技術(shù)構(gòu)建應(yīng)用集成平臺, 采用 web service方式實現(xiàn)在多個系統(tǒng)間應(yīng)用集成和互聯(lián)互通。 應(yīng)用集成平臺是數(shù)據(jù)采集、 數(shù)據(jù)交 換及服務(wù)提供能力的直接承載。數(shù)據(jù)的收集和分發(fā)采用各種應(yīng)用和適配器實現(xiàn), 各種應(yīng)用適配器一般提供變化數(shù)據(jù)的的輪詢或者推送功能。監(jiān)控管理可以采用 SOA 中的