OracleSOA主數(shù)據(jù)管理解決方案

1、實(shí)用文檔Oracle技術(shù)解決方案ORACLe目錄1. 概述 41.1 背景 41.1.1 南方電網(wǎng)“十一五”信息化現(xiàn)狀 41.1.2 南方電網(wǎng)“十二五”信息化定位 錯(cuò)誤!未定義書(shū)簽。1.2 項(xiàng)目建設(shè)目標(biāo) 錯(cuò)誤!未定義書(shū)簽。1.3 項(xiàng)目建設(shè)范圍 錯(cuò)誤!未定義書(shū)簽。1.4 項(xiàng)目建設(shè)內(nèi)容 錯(cuò)誤!未定義書(shū)簽。1.5 需求分析 錯(cuò)誤!未定義書(shū)簽。2. Oracle 主數(shù)據(jù)管理方案 42.1 Oracle 主數(shù)據(jù)管理設(shè)計(jì) 72.1.1 Oracle 主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì) 72.1.2 主數(shù)據(jù)方案設(shè)計(jì) 152.1.3 交換數(shù)據(jù)方案設(shè)計(jì) 192.1.4 數(shù)據(jù)交換系統(tǒng)功能設(shè)計(jì) 213. Oracle 主數(shù)據(jù)管

2、理設(shè)計(jì)產(chǎn)品介紹 373.1 Oracle BPM Suite（業(yè)務(wù)流程）373.1.1 BPM 方案總體架構(gòu) 373.1.2 閉環(huán)的 Oracle BPM 解決方案 383.1.2.1 業(yè)務(wù)流程分析 BPA階段 393.1.2.2 業(yè)務(wù)流程執(zhí)行 BPE與業(yè)務(wù)流程監(jiān)視 BAM階段413.1.3 Oracle BPM 平臺(tái)中主要模塊介紹 423.1.3.1Oracle BPM 服務(wù)器 433.1.3.2Oracle 業(yè)務(wù)規(guī)則 433.1.3.3Oracle 流程建模與模擬工具 453.1.3.4Oracle 元數(shù)據(jù)資料庫(kù) 453.1.4 Oracle BPM 解決方案的優(yōu)勢(shì) 463.2 Oracl

3、e SOA Suite應(yīng)用集成）473.2.1 價(jià)值主張 473.2.2 創(chuàng)建服務(wù) 473.2.3 服務(wù)連通與轉(zhuǎn)換 473.2.4 流程編排和整合 483.2.5 服務(wù)發(fā)布與注冊(cè) 493.2.6 服務(wù)的安全管理 503.2.7 用戶(hù)身份管理 513.2.8 SOA平臺(tái)的系統(tǒng)管理 513.3 Oracle Data Integrator（ 批量數(shù)據(jù)抽取） 553.3.1 產(chǎn)品概述 553.3.2 ODI 產(chǎn)品體系結(jié)構(gòu) 563.3.3 數(shù)據(jù)分發(fā)和傳輸 573.3.4 數(shù)據(jù)集成核心 593.3.5 數(shù)據(jù)質(zhì)量核心 593.3.6 數(shù)據(jù)連接 613.3.7 ODI 主要優(yōu)勢(shì) 623.4 GoldenGa

4、te（實(shí)時(shí)數(shù)據(jù)同步方案）623.4.1 高可用和容災(zāi)解決方案 633.4.2 實(shí)時(shí)數(shù)據(jù)整合解決方案 633.4.3 復(fù)制模式 643.4.4 關(guān)鍵特性 663.4.5 應(yīng)用方式 684. 軟件配置及部署方案 694.1 軟件配置及硬件推薦 694.2 部署架構(gòu)圖 71實(shí)用文檔1. 概述1.1 背 景1.1.1 南方電網(wǎng)“十一五”信息化現(xiàn)狀Oracle 主數(shù)據(jù)管理方案南方電網(wǎng)的數(shù)據(jù)質(zhì)量管理必須有一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方案，以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。（ 1）數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)包括各業(yè)務(wù)域的數(shù)據(jù)集標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)及信息分類(lèi)編碼標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)用于指導(dǎo)各業(yè)務(wù)系統(tǒng)建

5、設(shè)與實(shí)施。在標(biāo)準(zhǔn)管理上，數(shù)據(jù)資源管理工具應(yīng)能有效管控標(biāo)準(zhǔn)的變更與執(zhí)行。尤其是“十二五”期間，如何管理網(wǎng)省兩級(jí)、省級(jí)集中的業(yè)務(wù)系統(tǒng)的統(tǒng)一版本問(wèn)題是關(guān)鍵。（ 2）主數(shù)據(jù)管理通過(guò)企業(yè)范圍內(nèi)的統(tǒng)一視圖，即ECIM 模型，實(shí)現(xiàn)主數(shù)據(jù)管理，促進(jìn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成與共享。主數(shù)據(jù)管理需要解決主數(shù)據(jù)的定義、標(biāo)識(shí)、存儲(chǔ)、匯集、清洗、監(jiān)管與共享。主數(shù)據(jù)可以為業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心服務(wù)。（ 3）數(shù)據(jù)質(zhì)量管理數(shù)據(jù)管理的最終的目標(biāo)是為了提升系統(tǒng)數(shù)據(jù)質(zhì)量。在主數(shù)據(jù)的清洗階段，通過(guò)數(shù)據(jù)質(zhì)量管理工作，對(duì)數(shù)據(jù)進(jìn)行解析、標(biāo)準(zhǔn)化、匹配&去重、補(bǔ)充及驗(yàn)證建立可靠的數(shù)據(jù)。對(duì)于核心結(jié)構(gòu)化數(shù)據(jù)在加載到數(shù)據(jù)中心時(shí)也進(jìn)行相似的工作，提高決策

6、支持水平。南方電網(wǎng)的主數(shù)據(jù)管理系統(tǒng)從IT 建設(shè)的角度而言都會(huì)是一個(gè)相對(duì)復(fù)雜的系統(tǒng)，往往會(huì)和企業(yè)數(shù)據(jù)倉(cāng)庫(kù)/ 決策支持系統(tǒng)以及企業(yè)內(nèi)的各個(gè)業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系，技術(shù)實(shí)現(xiàn)上也會(huì)涉及到ETL、流程、SOA企業(yè)服務(wù)總線等多個(gè)方面，一個(gè)典型的主數(shù)據(jù)管理的信息流為：? 某個(gè)業(yè)務(wù)系統(tǒng)觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的改動(dòng)；? 主數(shù)據(jù)管理系統(tǒng)將整合之后完整、準(zhǔn)確的主數(shù)據(jù)分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng)；? 主數(shù)據(jù)管理系統(tǒng)為業(yè)務(wù)系統(tǒng)和決策支持以及數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)源。因此對(duì)于南方電網(wǎng)數(shù)據(jù)質(zhì)量管理的建設(shè)，必須從項(xiàng)目建設(shè)初期就考慮整體的平臺(tái)框架和技術(shù)實(shí)現(xiàn)。Oracle主數(shù)據(jù)管理（Master Data Management , MDM是

7、當(dāng)前業(yè)界最完整的是一種集成的、完整的企業(yè)主數(shù)據(jù)（企業(yè)業(yè)務(wù)運(yùn)行和商務(wù)分析所依賴(lài)的關(guān)鍵性基礎(chǔ)數(shù)據(jù)）管理平臺(tái)，具有企業(yè)級(jí)主數(shù)據(jù)存儲(chǔ)、主數(shù)據(jù)整合、主數(shù)據(jù)清洗、主數(shù)據(jù)監(jiān)管以及主數(shù)據(jù)共享等五大功能，可全面連接企業(yè)數(shù)據(jù)內(nèi)容（廣泛使用和在部門(mén)間共享的數(shù)據(jù)）和實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一、完整和一致。作為企業(yè)的真實(shí)數(shù)據(jù)來(lái)源，Oracle主數(shù)據(jù)管理（MDM嚴(yán)臺(tái)通過(guò)數(shù)據(jù)治理服務(wù)以及對(duì)周邊應(yīng)用系統(tǒng)的集成和對(duì)商務(wù)智能系統(tǒng)的支持，來(lái)統(tǒng)一管理企業(yè)內(nèi)重要的基礎(chǔ)數(shù)據(jù)信息， 可以整合并維護(hù)企業(yè)范圍的全面、準(zhǔn)確且權(quán)威的主數(shù)據(jù)，并將這些主數(shù)據(jù)信息作為共享服務(wù)分發(fā)到所需的業(yè)務(wù)和分析系統(tǒng)。Oracle 主數(shù)據(jù)管理解決方案具有以下特性：?

8、保證數(shù)據(jù)的唯一性和準(zhǔn)確性：有效整理和集中分散在關(guān)鍵企業(yè)流程和應(yīng)用軟件中的數(shù)據(jù)片斷，通過(guò)一系列匹配、整合和清洗規(guī)則使之形成單一真實(shí)數(shù)據(jù)源，并提供基于工作流的數(shù)據(jù)監(jiān)管流程來(lái)實(shí)現(xiàn)持續(xù)的數(shù)據(jù)質(zhì)量維護(hù)。最后將統(tǒng)一的數(shù)據(jù)資產(chǎn)作為Web服務(wù)提供給周邊的業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)企業(yè)范圍的主數(shù)據(jù)協(xié)同；? 有效降低數(shù)據(jù)管理成本：提供統(tǒng)一的資源庫(kù)來(lái)集中管理企業(yè)重要的數(shù)據(jù)資產(chǎn)，并能將對(duì)這些數(shù)據(jù)資產(chǎn)的訪問(wèn)以服務(wù)的方式提供給周邊應(yīng)用系統(tǒng)，實(shí)時(shí)地提供訪問(wèn)主數(shù)據(jù)的WE國(guó)艮務(wù)，包括匹配、申請(qǐng)全部信息以及申請(qǐng)所需信息等；? 實(shí)現(xiàn)更好的報(bào)表：準(zhǔn)確、有效的數(shù)據(jù)是準(zhǔn)確、有效的報(bào)表的基礎(chǔ)，Oracle MDMT以將清洗、排重、整理之后的準(zhǔn)確數(shù)據(jù)提

9、供給企業(yè)的商務(wù)分析系統(tǒng)，得到更加準(zhǔn)確的決策支持；? 提供企業(yè)系統(tǒng)架構(gòu)靈活性和創(chuàng)新性的基礎(chǔ)：維護(hù)持續(xù)的、唯一而準(zhǔn)確的主數(shù)據(jù)資產(chǎn)，能夠在不斷變化的業(yè)務(wù)環(huán)境中增強(qiáng)IT 彈性，滿(mǎn)足爆炸式數(shù)據(jù)增長(zhǎng)的需求。實(shí)用文檔Oracle主數(shù)據(jù)管理能支持以下六大功能:A力蕾第與二/ &工工引用臺(tái)產(chǎn)的逆錄訂留受受曾鋰Zft*士 一工踹我才產(chǎn). 城維美可T一的33ShareI ' -I- J? 指定每個(gè)特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé)，例如，產(chǎn)品、客戶(hù)、供應(yīng)商和組織結(jié)構(gòu)。? 嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)始終保持高質(zhì)量主數(shù)據(jù)。? 提取分散在各個(gè)應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲(chǔ)庫(kù)，主數(shù)據(jù)存儲(chǔ)庫(kù)一般采用二維數(shù)據(jù)

10、庫(kù)存儲(chǔ)主數(shù)據(jù)。? 根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)收集到的主數(shù)據(jù)進(jìn)行加工清理，從而形成 符合企業(yè)需求的主數(shù)據(jù)。? 制定主數(shù)據(jù)變更的流程審批機(jī)制，從而保證主數(shù)據(jù)修改的一致性和穩(wěn)定性。? 實(shí)現(xiàn)各個(gè)數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲(chǔ)庫(kù)的數(shù)據(jù)同步，從而保證每個(gè)系統(tǒng)使用的主數(shù)據(jù)相同。）隨著IT系統(tǒng)的建設(shè)，主數(shù)據(jù)的修改動(dòng)作必然從現(xiàn)有分散的各個(gè)系統(tǒng)轉(zhuǎn)移到主數(shù)據(jù)存儲(chǔ) 庫(kù)集中進(jìn)行，因此必須保證當(dāng)前主數(shù)據(jù)管理系統(tǒng)的靈活性，方便修改、監(jiān)控、更新關(guān)聯(lián) 系統(tǒng)主數(shù)據(jù)的變化。Oracle主數(shù)據(jù)管理在企業(yè)范圍內(nèi)主數(shù)據(jù)協(xié)同方面完善了一套端到端的模式可滿(mǎn)足客戶(hù)不同的實(shí)施需要，即“推動(dòng)模式”和“拉動(dòng)模式”， 前者通過(guò)前端獨(dú)立應(yīng)用軟件 （

11、包 括Oracle應(yīng)用系統(tǒng)、企業(yè)自主開(kāi)發(fā)以及第三方軟件） 的主數(shù)據(jù)改動(dòng)，經(jīng)過(guò)Oracle應(yīng)用 集成架構(gòu)自動(dòng)且快速地同步到 Oracle MDM主數(shù)據(jù)平臺(tái)，可實(shí)現(xiàn)企業(yè)范圍內(nèi)的全面數(shù)據(jù)整合，而后者則是由主數(shù)據(jù)平臺(tái)主動(dòng)對(duì)前端應(yīng)用軟件進(jìn)行實(shí)時(shí)的訪問(wèn)，獲取新增、更改和補(bǔ)充數(shù)據(jù)，并經(jīng)過(guò) Oracle 應(yīng)用集成架構(gòu)和內(nèi)部數(shù)據(jù)規(guī)則實(shí)現(xiàn)標(biāo)準(zhǔn)化，從而最終在主 數(shù)據(jù)平臺(tái)實(shí)現(xiàn)唯一準(zhǔn)確地共享數(shù)據(jù)。2.1 Oracle主數(shù)據(jù)管理設(shè)計(jì)2.1.1 Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì)營(yíng)梢管理財(cái)務(wù)管理 協(xié)同辦公資產(chǎn)管理綜合管理人力資源管理面向E0A的集成服務(wù)業(yè)務(wù)流程管理(即心企業(yè)那完總戰(zhàn)伽5周II II II財(cái)鼻管呷I 1 悔產(chǎn)

12、管牌 稹攆陣批地?cái)?shù)據(jù)集成©DI、GoldenGate)I數(shù)據(jù) 中心Oracle主數(shù)據(jù)管理的主要功能可歸結(jié)為以下六大功能:? 主數(shù)據(jù)存儲(chǔ)?主數(shù)據(jù)整合與連接?主數(shù)據(jù)質(zhì)量管理?主數(shù)據(jù)管理監(jiān)控? 主數(shù)據(jù)共享安全可靠的平臺(tái)實(shí)用文檔主數(shù)據(jù)存儲(chǔ)? 一個(gè)具有無(wú)限可擴(kuò)展性的內(nèi)置、靈活(隨時(shí)間變化)的開(kāi)放數(shù)據(jù)模型可維護(hù)南方電網(wǎng)主數(shù)據(jù)和所有需要的屬性(結(jié)構(gòu)化和非結(jié)構(gòu)化的)、相關(guān)實(shí)體、分類(lèi)和關(guān)系；? 可跟蹤主數(shù)據(jù)屬性、審計(jì)跟蹤信息和歷史主數(shù)據(jù)剖析的來(lái)源主要用于存儲(chǔ)整合后主數(shù)據(jù)，將各系統(tǒng)的需求信息概括形成一條完整的記錄并進(jìn)行存儲(chǔ)供應(yīng)，提供一個(gè)完整的數(shù)據(jù)模型。主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中，比如一個(gè)ca

13、llcenter 系統(tǒng)需要保存客戶(hù)的所有聯(lián)系信息，但是一個(gè)計(jì)費(fèi)系統(tǒng)可能只需要保留客戶(hù)的與計(jì)費(fèi)相關(guān)的信息，如何將客戶(hù)信息形成一條完整的記錄并進(jìn)行存儲(chǔ)供應(yīng)，當(dāng)然是需要概括所有這些系統(tǒng)的需求，提供一個(gè)完整的數(shù)據(jù)模型。數(shù)據(jù)整合與連接? 領(lǐng)先的嵌入式數(shù)據(jù)質(zhì)量管理工具及與第三方數(shù)據(jù)源的集成，用于驗(yàn)證和充實(shí)數(shù)據(jù)? 可保持?jǐn)?shù)據(jù)最新的持續(xù)數(shù)據(jù)清理功能集? 快速安全的參數(shù)化搜索引擎，能識(shí)別和避免重復(fù)數(shù)據(jù)? 智能合并和自動(dòng)合并功能，消除數(shù)據(jù)重復(fù)，同時(shí)確保正確的數(shù)據(jù)屬性排除? 利用與外部?jī)?nèi)容提供商的預(yù)建集成來(lái)充實(shí)主數(shù)據(jù)內(nèi)容? 包括主數(shù)據(jù)生命周期管理工作流主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中，要進(jìn)行數(shù)據(jù)整合，第一步是實(shí)現(xiàn)這些異

14、構(gòu)系統(tǒng)的互聯(lián)互通，然后通過(guò)一定的觸發(fā)機(jī)制將各個(gè)系統(tǒng)針對(duì)主數(shù)據(jù)的修改同步到主數(shù)據(jù)存儲(chǔ)庫(kù)。但是在實(shí)施數(shù)據(jù)集成的過(guò)程中，由于不同系統(tǒng)提供的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬(wàn)別，甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等問(wèn)題，將會(huì)嚴(yán)重阻礙數(shù)據(jù)在各部門(mén)和各應(yīng)用系統(tǒng)中的流動(dòng)與共享。因此， 如何對(duì)數(shù)據(jù)進(jìn)行有效的集成管理是數(shù)據(jù)共享中心建設(shè)的一個(gè)關(guān)鍵難點(diǎn)。ETL是實(shí)現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL中三個(gè)字母分別代表的是Extract、Transform、Load,即抽取、轉(zhuǎn)換、加載。(1) 數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；(2)數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的

15、數(shù)據(jù)源要求的形式，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。(3) 數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL實(shí)用文檔過(guò)程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。Master1 M»1 rsvQ>BniRii w ,wxftm In HAHi 3：1m ” itOpen fri New VMrrdow"，1 Ed* Memo 內(nèi)Enterprise Service BusCerere DDLCRM3CMLegacyERPOracle的主數(shù)據(jù)整合管理 ET匪于ODI來(lái)實(shí)現(xiàn)，使用OD設(shè)計(jì)和生成典型格式；利用已有 的元數(shù)據(jù)格式設(shè)計(jì) MDM應(yīng)用（實(shí)體，字段，關(guān)系

16、）；生成和維護(hù)主數(shù)據(jù)結(jié)構(gòu)；生成和部署轉(zhuǎn) 換。主數(shù)據(jù)質(zhì)量管理? 為每個(gè)主數(shù)據(jù)實(shí)體創(chuàng)建通用ID并構(gòu)建針對(duì)每個(gè)所連接記錄 /系統(tǒng)對(duì)的交叉引用? 一個(gè)數(shù)據(jù)導(dǎo)入工作臺(tái)和用戶(hù)界面，以幫助數(shù)據(jù)管理員管理源系統(tǒng)的映射和數(shù)據(jù)加載 及主數(shù)據(jù)剖析? 使用預(yù)建、符合標(biāo)準(zhǔn)的業(yè)務(wù)服務(wù)和適配器實(shí)現(xiàn)集成? 使用可配置的屬性“排除”規(guī)則，根據(jù)多個(gè)數(shù)據(jù)源創(chuàng)建單一的記錄? 利用基礎(chǔ)服務(wù)框架的數(shù)據(jù)聯(lián)合功能主數(shù)據(jù)維護(hù)著企業(yè)里該種類(lèi)型數(shù)據(jù)的最值得信任的數(shù)據(jù)，所以使用質(zhì)量管理技術(shù)來(lái)保證這些數(shù)據(jù)的準(zhǔn)確是主數(shù)據(jù)管理里非常重要的一環(huán)。使用行業(yè)&云司標(biāo)港自動(dòng)產(chǎn)工和確認(rèn)匹配引擎使用定制的引擎運(yùn)行人 量搜索識(shí)別重豆井預(yù)防重復(fù)發(fā) 生i在主從目錄

17、中進(jìn)行分類(lèi)數(shù)據(jù)標(biāo)準(zhǔn)化抽取相機(jī)酒化局性bde數(shù)據(jù)，皿工作流W，通逑條目號(hào)和描述生成規(guī)則進(jìn)行敢據(jù)規(guī)格什在所號(hào)數(shù)據(jù)入口點(diǎn)請(qǐng)求用.尸自定義確U；書(shū)且處理合并條目紀(jì)錄以防止 在產(chǎn)晶數(shù)據(jù)存儲(chǔ)中產(chǎn) 生重復(fù)rator里工具-一感炎執(zhí)行期條目定義 和審批潦程2,心品變化持優(yōu)*乃除不酬要的已 尿彳覆小M據(jù)量條日清晰1 .數(shù)據(jù)清洗：數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)和標(biāo)準(zhǔn)化，比如地址郵編是否存在等等。2 .數(shù)據(jù)匹配：數(shù)據(jù)匹配是找出有可能重復(fù)的記錄。比如 MDM系統(tǒng)里有兩個(gè)閾值是用于控 制數(shù)據(jù)匹配的流程，第一個(gè)閾值是高分閾值，對(duì)于數(shù)據(jù)匹配分值高于高分閾值的記錄將會(huì)使用數(shù)據(jù)存活規(guī)則進(jìn)行自動(dòng)合并； 第二個(gè)閾值是中分閾值， 數(shù)據(jù)匹配

18、得分在高分閾值和中分 閾值之間的記錄將會(huì)進(jìn)入人工判斷工作流，由管理員或者其他指定的人決定合并還是作為新記錄。低于中分閾值的記錄都將會(huì)被作為新記錄。數(shù)據(jù)存活規(guī)則(Survivorship rules)一般而言，企業(yè)里的主數(shù)據(jù)來(lái)源于企業(yè)里的各個(gè)系統(tǒng)，當(dāng)不同系統(tǒng)的同一個(gè)屬性值有不同的值的時(shí)候，就需要決定哪一個(gè)系統(tǒng)的值是準(zhǔn)確的。 數(shù)據(jù)存活規(guī)則指定各種規(guī)則來(lái)決定新的數(shù)據(jù)進(jìn)入到主數(shù)據(jù)庫(kù)或者當(dāng)新數(shù)據(jù)和舊有主數(shù)據(jù)沖突的時(shí)候的處理方法。數(shù)據(jù)存活規(guī)則主要有三種：? Recent規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以后來(lái)的數(shù)據(jù)為準(zhǔn)，后來(lái)數(shù)據(jù)替換原來(lái)的數(shù)據(jù)。比如 contact (聯(lián)系人)信息，缺省是以后來(lái)的更新

19、為主。? History規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以原來(lái)的數(shù)據(jù)為準(zhǔn)，不接受后 來(lái)數(shù)據(jù)的更新。? Source規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以數(shù)據(jù)來(lái)源系統(tǒng)的可信度為作 為使用哪個(gè)數(shù)據(jù)最后存活的規(guī)則。比如當(dāng)源系統(tǒng)有A, B, C三個(gè)系統(tǒng)的時(shí)候，我們需要在主數(shù) 據(jù)管理系統(tǒng)里注冊(cè)這三個(gè)系統(tǒng)的時(shí)候，同時(shí)給這些源系統(tǒng)評(píng)分，則當(dāng) 使用source規(guī)則的時(shí)候，則以后的數(shù)據(jù)將以評(píng)分高的系統(tǒng)為準(zhǔn)。比如有三個(gè)系 統(tǒng),CRM財(cái)務(wù)，物流，對(duì)于客戶(hù)信息而言，我們認(rèn)為 CRM系統(tǒng)里的客戶(hù)信息應(yīng)該是最準(zhǔn)的，我們應(yīng)該給于 CRM系統(tǒng)較高的分值，則這個(gè)時(shí)候?qū)τ诳蛻?hù)數(shù)據(jù)我們將使用Source規(guī)則，則以后所有

20、的 CRM系統(tǒng)相應(yīng)客戶(hù)的更新會(huì)覆蓋原來(lái)不是CRM系統(tǒng)的更新。3 .數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量的大致控制流程， 即當(dāng)記錄進(jìn)入主數(shù)據(jù)系統(tǒng)時(shí)， 先會(huì)在主數(shù)據(jù)系統(tǒng)里尋找可能匹配的記錄，如果結(jié)果認(rèn)為是不匹配，則將進(jìn)入處理不匹配流程來(lái)增加一條新記錄；如果是分值足夠高，則進(jìn)入自動(dòng)匹配流程把該記錄和原有記錄進(jìn)行數(shù)據(jù)存活規(guī)則處理并合并記錄；如果是分值不足夠高，則需要人工來(lái)決定該記錄是新記錄還是需要和原有記錄合并。主數(shù)據(jù)管理監(jiān)控豐富的最終用戶(hù)交曳a.具定怕白忖忖（ft71油ftl門(mén)戶(hù) MS Crffic*-、I柞列.叁Q流也編出器24? 最佳的工作流功能（例如針對(duì)南方電網(wǎng)主數(shù)據(jù)定義和審批路由的可配置工作流）響應(yīng)整個(gè)

21、主數(shù)據(jù)管理生命周期事件；oracle BPEL規(guī)范制定自動(dòng)化業(yè)務(wù)處理流程，支持用戶(hù)自定義變更類(lèi)型?確保堅(jiān)如磐石的安全性和法規(guī)遵守證明的完整歷史和審計(jì)跟蹤? 納稅人數(shù)據(jù)認(rèn)證，支持機(jī)構(gòu)創(chuàng)建數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，遵守這些標(biāo)準(zhǔn)并提升用戶(hù)對(duì)數(shù)據(jù)的信心? 商務(wù)智能基礎(chǔ)架構(gòu)，支持剖析、法規(guī)遵守和業(yè)務(wù)績(jī)效指標(biāo)實(shí)用文檔? 自動(dòng)化、人工流程，提供良好的用戶(hù)界面UI ，多種通知方式? 自動(dòng)化、人工的審核和批準(zhǔn)，逐級(jí)審批? 易于多組織的協(xié)同工作主數(shù)據(jù)發(fā)布和共享? 面向終端用戶(hù)和數(shù)據(jù)管理員的直觀GUI， 管理主數(shù)據(jù)的整個(gè)生命周期 從創(chuàng)建或?qū)胫鲾?shù)據(jù)信息到清理、匹配、增強(qiáng)和發(fā)布。使用預(yù)建的流程使南方電網(wǎng)更輕松地管 理主數(shù)據(jù)? 對(duì)

22、所有集成模式 實(shí)時(shí)（緊耦合和松耦合）、近實(shí)時(shí)（松耦合）和批量 的嚴(yán)格的多模型支持? 提供作為業(yè)務(wù)服務(wù)和Web 服務(wù)的常用功能? 一個(gè)內(nèi)部觸發(fā)的機(jī)制，創(chuàng)建變更信息并向所有相連系統(tǒng)部署? 為所有的管理軟件和分析系統(tǒng)提供主數(shù)據(jù)記錄和所選屬性? 在面向服務(wù)的架構(gòu)（SOA開(kāi)口/或消息傳遞總線上的運(yùn)營(yíng)管理軟件和數(shù)據(jù)倉(cāng)庫(kù)雙向交互? 通過(guò) Oracle 應(yīng)用集成架構(gòu)（AIA） 流程集成包（PIP） 預(yù)建的集成? 與Oracle商務(wù)智能企業(yè)版 （OBI EE）預(yù)建的集成為了實(shí)現(xiàn)主數(shù)據(jù)共享，首先全網(wǎng)應(yīng)該各個(gè)分散的業(yè)務(wù)系統(tǒng)連接起來(lái)，實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)存儲(chǔ)的互聯(lián)互通，目前的南網(wǎng)主數(shù)據(jù)管理解決方案主要采用兩種方式

23、來(lái)實(shí)現(xiàn)：基于ETL工具的方式和基于SOA體系架構(gòu)的方式。1 . 基于 ODI 的方式MetadataManagementWDMApplicationsChange Da CaptureData WarehouseData MartsBusinessIntelligence基于ODI這樣的ETL工具設(shè)計(jì)的架構(gòu)更適合全網(wǎng)業(yè)務(wù)系統(tǒng)中的非實(shí)時(shí)數(shù)據(jù)量大的主數(shù)據(jù)共享發(fā)布。如上圖所示，采用基于ODI的ETL工具具有連接各種異構(gòu)數(shù)據(jù)源和變化捕捉的能力，采用它來(lái)實(shí)現(xiàn)MDM中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、整合和發(fā)布應(yīng)該是順理成章的事情，當(dāng)某個(gè)主數(shù)據(jù)的源發(fā)生變化時(shí)，ETL的CDC段化數(shù)據(jù)捕捉）功能就會(huì)捕獲到變化，進(jìn)而將變化的

24、數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理系統(tǒng)的臨時(shí)存儲(chǔ)區(qū)，然后ETL工具根據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)化，形成主數(shù)據(jù)，進(jìn)而ETL調(diào)用審批監(jiān)管流程，一旦獲得審批，ETL即可將主數(shù)據(jù)同步到主數(shù)據(jù)存儲(chǔ)系統(tǒng)，同時(shí)分發(fā)給各個(gè)訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。同時(shí)ODI可以支撐流程的設(shè)計(jì)、運(yùn)行、監(jiān)控，否則 ETL工具必須可以調(diào)用其它的工作流引擎，ODI可以實(shí)現(xiàn)與SOA的無(wú)縫集成，既可以將數(shù)據(jù)或者轉(zhuǎn)化封裝為Web Service服務(wù)，也可以調(diào)用外部的 Web Service服務(wù)。2 .基于SOA架構(gòu)的方式:在該方案更適合實(shí)時(shí)的數(shù)據(jù)量小的主數(shù)據(jù)共享發(fā)布，采用OSB （企業(yè)服務(wù)總線）技術(shù)構(gòu)建應(yīng)用集成平臺(tái)，采用 web service

25、方式實(shí)現(xiàn)在多個(gè)系統(tǒng)間應(yīng)用集成和互聯(lián)互通。應(yīng)用集成平臺(tái)是數(shù)據(jù)采集、數(shù)據(jù)交換及服務(wù)提供能力的直接承載。數(shù)據(jù)的收集和分發(fā)采用各種應(yīng)用和適配器實(shí)現(xiàn)，各種應(yīng)用適配器一般提供變化數(shù)據(jù)的的輪詢(xún)或者推送功能。監(jiān)控管理可以采用SOA中的工作流引擎來(lái)實(shí)現(xiàn)，同時(shí) SOA中的流程監(jiān)控系統(tǒng)可以對(duì)整個(gè)主數(shù)據(jù)的收集、轉(zhuǎn)化、審批分發(fā)提供端到端的監(jiān)控。采用SOA技術(shù)設(shè)計(jì)的主數(shù)據(jù)管理架構(gòu)基于J2EE的開(kāi)放架構(gòu)，會(huì)非常靈活，同時(shí)便于和其它系統(tǒng)集成，系統(tǒng)的擴(kuò)展性比較好，其問(wèn)題在于如果主數(shù)據(jù)同步的量非常大，效率會(huì)有一定問(wèn)題。安全可靠的平臺(tái)? 基于標(biāo)準(zhǔn)的開(kāi)放平臺(tái)? 多語(yǔ)言和多國(guó)家支持? 經(jīng)驗(yàn)證的平臺(tái)，全球各行業(yè)（包括公共部門(mén)）數(shù)千客戶(hù)的

26、選擇? 面向混合的重工作負(fù)載一一Oracle擁有巨大數(shù)目的客戶(hù)一一下關(guān)鍵數(shù)據(jù)訪問(wèn)的高度可用和可伸縮的平臺(tái)。? 安全特性包括全面且靈活的認(rèn)證、全面的審計(jì)和監(jiān)控以及所有架構(gòu)級(jí)別的加密。Oracle已經(jīng)獲得了 17項(xiàng)獨(dú)立安全性評(píng)估的擔(dān)保，確立了Oracle在該領(lǐng)域的領(lǐng)導(dǎo)地位。這些評(píng)彳包括tcsec ITSEG FIP褥口各種通用標(biāo)準(zhǔn)評(píng)估。實(shí)用文檔2.1.2 主數(shù)據(jù)方案設(shè)計(jì)主數(shù)據(jù)管理的核心是數(shù)據(jù)整合、數(shù)據(jù)管控和數(shù)據(jù)服務(wù)。在橫跨這三個(gè)層次需要進(jìn)行數(shù)據(jù)安全管理、質(zhì)量管理和元數(shù)據(jù)管理。下面分別進(jìn)行介紹：數(shù)據(jù)整合： 數(shù)據(jù)整合就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)中心。數(shù)據(jù)整合將通過(guò)ET

27、L工具實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等功能。數(shù)據(jù)管控： 主要包含數(shù)據(jù)中心物理模型、邏輯模型的設(shè)計(jì)，數(shù)據(jù)的維護(hù)管理以及存儲(chǔ)管理等管控功能。數(shù)據(jù)服務(wù)管控： 數(shù)據(jù)服務(wù)管控主要是對(duì)采集至數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換和管控，主要包括數(shù)據(jù)交換服務(wù)設(shè)計(jì)，數(shù)據(jù)總線交換共享，以及數(shù)據(jù)交換管理等功能。元數(shù)據(jù)管理：元數(shù)據(jù)管理是整個(gè)數(shù)據(jù)共享中心中基礎(chǔ)信息的管理，包才ETL元數(shù)據(jù)、接口元數(shù)據(jù)、模型元數(shù)據(jù)和數(shù)據(jù)服務(wù)元數(shù)據(jù)等的管理功能。質(zhì)量管理： 在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理的側(cè)重點(diǎn)也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、 一致性、及時(shí)性等屬性；從單純以

28、技術(shù)角度考慮數(shù)據(jù)質(zhì)量問(wèn)題，發(fā)展至從用戶(hù)視角衡量數(shù)據(jù)質(zhì)量問(wèn)題，提高用戶(hù)對(duì)數(shù)據(jù)的滿(mǎn)意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、報(bào)告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。安全管理：主要包括數(shù)據(jù)存儲(chǔ)安全、數(shù)據(jù)管控安全和數(shù)據(jù)交換等安全管理。主數(shù)據(jù)方案設(shè)計(jì)原則主數(shù)據(jù)方案設(shè)計(jì)，遵循以下一般原則：? 每類(lèi)業(yè)務(wù)數(shù)據(jù)實(shí)體的屬性有且僅有一個(gè)所有者(Owner ) ，零個(gè)或多個(gè)消費(fèi)者( Consumer) ；? 對(duì)數(shù)據(jù)的維護(hù)必須通過(guò)所有者進(jìn)行，消費(fèi)者對(duì)數(shù)據(jù)只有只讀功能；如果消費(fèi)者需要對(duì)數(shù)據(jù)進(jìn)行維護(hù)，必須調(diào)用所有者數(shù)據(jù)維護(hù)服務(wù)；? 數(shù)據(jù)有且僅有一個(gè)主數(shù)據(jù)源(Ma

29、ster Location ) ，主數(shù)據(jù)源可以是數(shù)據(jù)所有者的應(yīng)用數(shù)據(jù)庫(kù)(ADB )或者數(shù)據(jù)中心數(shù)據(jù)庫(kù)。基于性能的考慮，消費(fèi)者可以在ADB 保存數(shù)據(jù)的備份，由主數(shù)據(jù)源實(shí)時(shí)或定時(shí)發(fā)起數(shù)據(jù)同步;? 主數(shù)據(jù)源提供相應(yīng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)；主數(shù)據(jù)集成方案設(shè)計(jì)根據(jù)主數(shù)據(jù)源位置(Location)、數(shù)據(jù)冗余方式( Redundant)和數(shù)據(jù)維護(hù)的歸屬(Owner), 一般的主數(shù)據(jù)集成方案分析如下表:力殺123456主數(shù)據(jù)源數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心ADBADBOwner數(shù)據(jù)中心數(shù)據(jù)中心ADBADBADBADBConsumer是否有備份YNYNYN數(shù) 據(jù) 維 護(hù) 方 式Owner 讀直接讀Owner A

30、DB 中的數(shù)據(jù) 備份同1調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 訪問(wèn)服務(wù)調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 訪問(wèn)服務(wù)直接讀Owner ADB直接讀Owner ADBOwner 寫(xiě)Step 1、在 一個(gè)交易 內(nèi)寫(xiě)Owner AD* 口數(shù)據(jù) 中心；Step 2、通 過(guò)數(shù)據(jù)中 心啟動(dòng)對(duì)Consumer ADB的數(shù)據(jù) 同步在一個(gè)交 易 內(nèi) 寫(xiě)Owner ADB 和數(shù)據(jù)中 心Step 1、 調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 維護(hù)服 務(wù)；Step 2、 通過(guò)數(shù)據(jù) 中心啟動(dòng) 對(duì)Consumer ADB的數(shù) 據(jù)同步調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 維護(hù)服務(wù)Step 1、寫(xiě) Owner ADBStep 2、通 過(guò)數(shù)據(jù)中 心或主數(shù) 據(jù)源啟動(dòng) 對(duì)Consumer ADB的數(shù) 據(jù)

31、同步寫(xiě) OwnerADBConsumer讀直接讀 Consumer ADB中的數(shù) 據(jù)備份調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 訪問(wèn)服務(wù)直接讀Consumer ADB中的 數(shù)據(jù)備份調(diào)用數(shù)據(jù) 中心數(shù)據(jù) 訪問(wèn)服務(wù)直接讀Consumer ADB中的 數(shù)據(jù)備份通過(guò)數(shù)據(jù) 中心的統(tǒng) 一視圖獲 取數(shù)據(jù)；Optionl :在一個(gè)交 易內(nèi)，Consumer 調(diào)用OwnerOptionl : Consumer 調(diào)用Owner 的數(shù)據(jù)維 護(hù)服務(wù)；同1同2同1同2的數(shù)據(jù)維Option2 :護(hù)服務(wù)，同集成Owner時(shí)寫(xiě)的數(shù)據(jù)維ConsumerADB Option2 : 集成Owner 的數(shù)據(jù)維 護(hù)界面，由護(hù)界囿數(shù)據(jù)中心啟動(dòng)同步Consum

32、erConsumer寫(xiě)ADB卜面就各個(gè)方案進(jìn)行分析，對(duì)于方案1和方案2:柒成方案3集成方案1軻點(diǎn)里卡有情多點(diǎn)春鵬.蘭芝逞豐心負(fù)力弛再2遑手Owner啦囑寺心蚊指豐心Master題羯*心蚊落中心迷童指集中到蚊插中心平臺(tái)中.其它系或不 聲事與.*亙系統(tǒng)對(duì)我F的通胃會(huì)梆敢到 贊贈(zèng)中心平告上/熬喑弟聯(lián)優(yōu).對(duì)主意再殳1里看后更三蕓過(guò)薨 捎中心生分.月之虻掘豐心斐息時(shí)影加建卻步箜酸立果 郭福共累克.事指W業(yè)票交不唯才紫,碧殳書(shū)里看.優(yōu)點(diǎn)退過(guò)嵬勢(shì)竺本手蒙立宜有毒蓬皆拄時(shí)M嚙 上一空壬旦江=.龍蓑盍的更至房=皆挖，虢M不洋的整旬?dāng)?shù)強(qiáng)的展直.獻(xiàn)點(diǎn)費(fèi)據(jù)中心平臺(tái)壓力限大.風(fēng)凄懾高.箕之 豪更鼓過(guò)重號(hào)大源案蛻處事一定

33、的唆連星.需屏iE箕它系篁時(shí)逮登表1的慘敵：效情中匕平叁端薪總對(duì)運(yùn)至救窟的學(xué)理之費(fèi)這兩種方案主要適用于尚無(wú)任何系統(tǒng)時(shí)，進(jìn)行一體化系統(tǒng)建設(shè)，如應(yīng)用于已有系統(tǒng)則改造量較大。同時(shí)，這兩種方案均以數(shù)據(jù)中心做為主數(shù)據(jù)的維護(hù)中心。對(duì)于方案3、4和方案5、6:數(shù)據(jù)中心日舊群數(shù)據(jù)中心_(箓方粼方案5、6較適合已有大量系統(tǒng)的情況， 帶來(lái)的系統(tǒng)改造量最小。 方案3、4適合在主數(shù)據(jù)維護(hù)職能不變的情況下將主數(shù)據(jù)在數(shù)據(jù)中心中進(jìn)行集中，并提供給新建應(yīng)用。主數(shù)據(jù)實(shí)施方案設(shè)計(jì) 1、主數(shù)據(jù)創(chuàng)建抽取設(shè)計(jì)主數(shù)據(jù)創(chuàng)建抽取過(guò)程如下：其一、先對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行解耦，解決目前各業(yè)務(wù)系統(tǒng)間交叉訪問(wèn)，耦合度過(guò)高的問(wèn)題。通過(guò)建設(shè)共享數(shù)據(jù)庫(kù)， 并

34、將目前南方電網(wǎng)各系統(tǒng)交叉訪問(wèn)的共享數(shù)據(jù)通過(guò)數(shù)據(jù)復(fù)制機(jī)制 同步或異步復(fù)制到共享數(shù)據(jù)庫(kù)，然后再更改各業(yè)務(wù)系統(tǒng)現(xiàn)有的共享視圖或物化視圖定義，將共享訪問(wèn)數(shù)據(jù)源統(tǒng)一指向共享數(shù)據(jù)庫(kù)。通過(guò)共享數(shù)據(jù)庫(kù)的建設(shè)及數(shù)據(jù)復(fù)制機(jī)制的建立，可以將目前網(wǎng)狀的交叉訪問(wèn)接口平滑過(guò)渡到基于共享數(shù)據(jù)庫(kù)的星狀接口，有效解決各系統(tǒng)依賴(lài)度過(guò)高的問(wèn)題，同時(shí)也為下一步各系統(tǒng)的升級(jí)改造打下基礎(chǔ)。這里的數(shù)據(jù)復(fù)制產(chǎn)品可以考慮Oracle的GoldenGate實(shí)時(shí)復(fù)制產(chǎn)品，先將數(shù)據(jù)復(fù)制到共享數(shù)據(jù)庫(kù)，完成“系統(tǒng)解耦”工作。其二、是進(jìn)行數(shù)據(jù)共享協(xié)同平臺(tái)的建設(shè)。在進(jìn)行系統(tǒng)解耦時(shí)，我們會(huì)構(gòu)建共享數(shù)據(jù)庫(kù)，但該共享庫(kù)僅僅是將當(dāng)前分散到各業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)進(jìn)行了

35、集中，還缺乏統(tǒng)一的規(guī)劃，因此還需要對(duì)共享庫(kù)進(jìn)行重新規(guī)劃設(shè)計(jì)，同時(shí)也需要對(duì)共享協(xié)同平臺(tái)和外部交換庫(kù)進(jìn)行規(guī)劃設(shè)計(jì)?？傮w規(guī)劃設(shè)計(jì)完成后，即可開(kāi)始構(gòu)建數(shù)據(jù)共享中心和業(yè)務(wù)協(xié)同平臺(tái)，其中數(shù)據(jù)共享中心構(gòu)建完成后，就可以逐步將各系統(tǒng)間原來(lái)基于視圖和物化視圖的數(shù)據(jù)共享訪問(wèn)調(diào)整為基于數(shù) 據(jù)共享中心的訪問(wèn)模式。共享庫(kù)規(guī)劃生成主數(shù)據(jù)管理，可以考慮Oracle Data Integrator產(chǎn)品，實(shí)現(xiàn)數(shù)據(jù) ETL的工作。-集中蛾鼾著即_1_作曲集成正靠It汩乳.檢發(fā)I麥里管理、物部牌鈍上翻附的蕭0倒州曲本管理*提供集的Meb服務(wù)士措威圖性能與入國(guó)林安全校制* Exel：；入用出支持-十而審計(jì)至韓丈特第二方救據(jù)質(zhì) I具,

36、反需發(fā)送刊質(zhì)為業(yè) 等系統(tǒng)支持寺泰統(tǒng)中瞅器合 井，fl用碓因米致U 源I 1救糊宜串和川主數(shù)據(jù)存儲(chǔ) I企業(yè)里數(shù)耨模型*荒一本表橫帶源庫(kù):試活可學(xué)數(shù)據(jù)梅 隼*篁胞敷典格式支持2、主數(shù)據(jù)共享分發(fā)流程設(shè)計(jì)主數(shù)據(jù)創(chuàng)建生成后，就是對(duì)主數(shù)據(jù)進(jìn)行有效管理和利用。同其他系統(tǒng)進(jìn)行可以進(jìn)行實(shí)時(shí)或半實(shí)時(shí)的同步從多個(gè)源系統(tǒng)建立統(tǒng)一、完整的記錄，再將主數(shù)據(jù)信息同步到其他系統(tǒng)中。通過(guò)內(nèi)嵌的集成服務(wù)同其他系統(tǒng)進(jìn)行集成，例如豐富的公共API和業(yè)務(wù)事件。通過(guò)不斷的數(shù)據(jù)清理和轉(zhuǎn)換規(guī)則來(lái)確保同步數(shù)據(jù)的質(zhì)量。主數(shù)據(jù)管理功能設(shè)計(jì)主數(shù)據(jù)的管理功能基本與內(nèi)部交換數(shù)據(jù)、外部交換數(shù)據(jù)相似。2.1.3 交換數(shù)據(jù)方案設(shè)計(jì)內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)在數(shù)據(jù)交換

37、上的業(yè)務(wù)功能和邏輯， 以及技術(shù)實(shí)現(xiàn)都是相似的，可以 采用相同的數(shù)據(jù)交換方案框架。數(shù)據(jù)交換方案框架涵蓋了數(shù)據(jù)交換， 質(zhì)量清洗，數(shù)據(jù)管控和 數(shù)據(jù)使用，解決了如何在核心數(shù)據(jù)上實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)，維護(hù)和使用的問(wèn)題。? 數(shù)據(jù)集成：數(shù)據(jù)集成就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)共享中心。數(shù)據(jù)集成需要對(duì)南方電網(wǎng)內(nèi)部系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)集成。對(duì)于不同的數(shù)據(jù)集成場(chǎng)景， 有不同的數(shù)據(jù)集成實(shí)現(xiàn)模式， 比如有基于Oracle ODI 的“拉”數(shù)據(jù)集成模式和基于 ESB總線的“推”數(shù)據(jù)集成模式等。質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理的側(cè)重點(diǎn)也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從

38、單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、一致性、及時(shí)性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問(wèn)題，發(fā)展至從用戶(hù)視角衡量數(shù)據(jù)質(zhì)量問(wèn)題，提高用戶(hù)對(duì)數(shù)據(jù)的滿(mǎn)意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、報(bào)告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。象相標(biāo)準(zhǔn)化'Extract & 式立nmrdir utlnbut?家嵬打動(dòng)校驗(yàn).潘式化 Apply MiHtry &罵也匕；£配合老孫全 Run 栩mnustMrdnesus-ing cufi-tanmxBbis- engine IdemiTy融5 和

39、日pnBuarit fulurE! c4xir renos博;'GliEsrfy m I tern his ser -andA NormaiLiedra睛is tenn and dHcptwi genertni Apply ukdefined “IdSig riJtas st b II daw 印try paints. Merge rt:em to pTEf/errt duplicstes in 口pd向 data epc&Rry*new ciwmdtfinition and opprovsl processes* P radudchange continl圖：數(shù)據(jù)質(zhì)量管理Da

40、ta Qliairly fools"REnrove unwantsd records tsi red jds da 3b g lu me數(shù)據(jù)管控：數(shù)據(jù)管控不是純粹的技術(shù)問(wèn)題，而是由技術(shù)、人、信息和流程 4個(gè)方面共同影響的綜合管理問(wèn)題。數(shù)據(jù)管控的演進(jìn)思路劃分為4個(gè)步驟：提出管理需求、制定管理流程框架、細(xì)化具體管理流程、與組織機(jī)構(gòu)具體角色進(jìn)行對(duì)應(yīng)。數(shù)據(jù)使用：存在于數(shù)據(jù)共享中心中的數(shù)據(jù)主要有兩大方面的使用，一是封裝成數(shù)據(jù)服務(wù)，并集成于業(yè)務(wù)協(xié)同平臺(tái)（服務(wù)總線平臺(tái)）進(jìn)行數(shù)據(jù)服務(wù)共享，南方電網(wǎng)信息內(nèi)部系統(tǒng)和其他外部系統(tǒng)統(tǒng)一通過(guò)業(yè)務(wù)協(xié)同平臺(tái)獲取所需業(yè)務(wù)數(shù)據(jù)；二是基于數(shù)據(jù)共享中心的集成化數(shù)據(jù)進(jìn)行綜合

41、查詢(xún)分析的應(yīng)用，查詢(xún)分析統(tǒng)計(jì)功能不再基于核心業(yè)務(wù)數(shù)據(jù)庫(kù)，避免造成對(duì)核心業(yè)務(wù)系統(tǒng)的性能影響。通模式一基于服務(wù)首理平臺(tái)配置生成數(shù)加服務(wù)圖：數(shù)據(jù)服務(wù)共享2.1.4 數(shù)據(jù)交換系統(tǒng)功能設(shè)計(jì)基于內(nèi)部數(shù)據(jù)交換方案框架， 并結(jié)合南方電網(wǎng)數(shù)據(jù)共享協(xié)同平臺(tái)總體功能需求分析的基礎(chǔ)上，梳理出南方電網(wǎng)共享中心的總體功能組織結(jié)構(gòu)如下圖所示：/ 狂費(fèi)片咨L/以下將分別對(duì)數(shù)據(jù)共享中心數(shù)據(jù)集成域、數(shù)據(jù)管控域、質(zhì)量檢測(cè)域和數(shù)據(jù)使用域的功能釁使用鹿規(guī)劃進(jìn)行詳細(xì)介紹:數(shù)據(jù)集成數(shù)據(jù)集成引擎(Data Integration Engine)面向應(yīng)用系統(tǒng)，在各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取數(shù)據(jù)，是一個(gè)跨平臺(tái)的用于整合異構(gòu)系統(tǒng)數(shù)據(jù)的ETL工具，在

42、數(shù)據(jù)共享中心中，數(shù)據(jù)集成引擎實(shí)現(xiàn)了從各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取用于整合共享的數(shù)據(jù)，經(jīng)過(guò)質(zhì)量檢查后，按新 的數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，正確無(wú)誤后加載到目標(biāo)數(shù)據(jù)共享中心中。數(shù)據(jù)集成引擎(Data Integration Engine)目標(biāo)數(shù)據(jù)加載(Target Data Loading)數(shù)據(jù)質(zhì)量檢查(Data Quality Check)批量數(shù)據(jù)提取(Bulk Data Extract)變化數(shù)據(jù)捕獲(Change Data Capture)元 數(shù) 據(jù) 模 型數(shù)據(jù)接口數(shù)據(jù)轉(zhuǎn)換清洗(Data Transforming & Cleaning)實(shí)用文檔下面對(duì)數(shù)據(jù)集成引擎中的各個(gè)部分的功能進(jìn)行

43、詳細(xì)介紹。元數(shù)據(jù)模型為了可以自動(dòng)完數(shù)據(jù)提取、質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換清洗和數(shù)據(jù)加載這個(gè)數(shù)據(jù)整合過(guò)程，數(shù)據(jù)集成引擎需要知道源數(shù)據(jù)、目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的轉(zhuǎn)換及清洗規(guī)則，還有源數(shù)據(jù)的質(zhì)量檢查規(guī)則等數(shù)據(jù)，這些用于描述數(shù)據(jù)本身的數(shù)據(jù)被稱(chēng)為數(shù)據(jù)集成的元數(shù)據(jù)， 而元數(shù)據(jù)模型是元數(shù)據(jù)的一個(gè)實(shí)例集合，描述了具體的數(shù)據(jù)結(jié)構(gòu)和規(guī)則，在數(shù)據(jù)進(jìn)行集成前，必須先定義好元數(shù)據(jù)模型。具體的元數(shù)據(jù)包括：1) 數(shù)據(jù)源定義2) 目標(biāo)庫(kù)定義3) 數(shù)據(jù)物理模型4) 數(shù)據(jù)檢查規(guī)則5) 數(shù)據(jù)轉(zhuǎn)換規(guī)則6) 數(shù)據(jù)清洗規(guī)則批量數(shù)據(jù)提取批量數(shù)據(jù)提取( Bulk Data Extract) 從數(shù)據(jù)源定時(shí)批量提取數(shù)據(jù)進(jìn)行整合，是數(shù)據(jù)集成引

44、擎的前端功能，與元數(shù)據(jù)模型中定義的各個(gè)數(shù)據(jù)源進(jìn)行連接，獲取需要整合的數(shù)據(jù)，然后存儲(chǔ)到中間數(shù)據(jù)庫(kù)(Staging Database)進(jìn)行后續(xù)的質(zhì)量檢查、清洗和轉(zhuǎn)換處理。批量數(shù)據(jù)提取因?yàn)樘崛〉臄?shù)據(jù)量較多，對(duì)于性能的影響也較大，一般用于非實(shí)時(shí)的數(shù)據(jù)整合，適用于時(shí)效性要求不高并且不希望過(guò)多影響源系統(tǒng)數(shù)據(jù)處理性能的情況。對(duì)于關(guān)系型數(shù)據(jù)庫(kù)的批量數(shù)據(jù)提取可以使用兩種接口方式來(lái)進(jìn)實(shí)現(xiàn)：1) ORACLE DB LIN：K這種方式適用于目標(biāo)數(shù)據(jù)庫(kù)和數(shù)據(jù)源數(shù)據(jù)庫(kù)都是Oracle 的情況，直接在目標(biāo)數(shù)據(jù)庫(kù)建立源數(shù)據(jù)庫(kù)的DB LINK,通過(guò)DB LINK就可以像在一個(gè)數(shù)據(jù)庫(kù)一樣通過(guò)SQL直接提取數(shù)據(jù)源的數(shù)據(jù)。2) J

45、DBC Data Source：這種方式適合源數(shù)據(jù)庫(kù)是非Oracle并且支持JDBO議的數(shù)據(jù)庫(kù)，目前大部分主流數(shù)據(jù)庫(kù)都支持JDBO議，在JDBO議上建立 Data Source,通過(guò)JDBC在源數(shù)據(jù)庫(kù)上執(zhí)行 SQL進(jìn)行數(shù)據(jù)提取。使用批量數(shù)據(jù)提取的方式來(lái)提取數(shù)據(jù)可以用于首次初始化加載全量數(shù)據(jù)，也可在首次加載數(shù)據(jù)后通過(guò)兩種方式實(shí)現(xiàn)非實(shí)時(shí)的增量更新，這兩種方式分別是：1) 基于時(shí)間戳的增量更新這種方式提取數(shù)據(jù)速度較快，源數(shù)據(jù)庫(kù)通過(guò)物理表或者試圖的方式暴露數(shù)據(jù)，但要求數(shù)據(jù)源的表或者視圖必須有時(shí)間戳的字段并且不能對(duì)數(shù)據(jù)記錄進(jìn)行物理刪除。2) 基于主鍵比對(duì)的增量更新這種方式需要每次都提取全部數(shù)據(jù)，然后在目

46、標(biāo)數(shù)據(jù)庫(kù)上按主鍵標(biāo)識(shí)對(duì)所有數(shù)據(jù)進(jìn)行全量比對(duì)來(lái)識(shí)別增量更新的數(shù)據(jù)記錄，效率低，數(shù)據(jù)源的壓力較大，只適合小數(shù)據(jù)量的提取，基于主鍵比對(duì)的更新對(duì)源數(shù)據(jù)的表或者視圖無(wú)特殊要求。變化數(shù)據(jù)捕獲和批量數(shù)據(jù)提取一樣，變化數(shù)據(jù)捕獲( Change Data Capture)同樣是數(shù)據(jù)集成引擎的前端功能，和數(shù)據(jù)源進(jìn)行隊(duì)列；但顧名思義，變化數(shù)據(jù)捕獲只提供增量數(shù)據(jù)提取的功能，通過(guò)對(duì)源數(shù)據(jù)庫(kù)上變更數(shù)據(jù)的捕獲，數(shù)據(jù)集成引擎可以實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步，此方式適用于整合有較高時(shí)效性要求的數(shù)據(jù)。變化數(shù)據(jù)捕獲提供多種技術(shù)實(shí)現(xiàn)方式，包括數(shù)據(jù)庫(kù)觸發(fā)器、數(shù)據(jù)庫(kù)日志采集器、基于消息隊(duì)列的變更數(shù)據(jù)訂閱和基于Web Service的數(shù)據(jù)變化

47、通知，下面對(duì)幾種方式進(jìn)行描述：集成數(shù)據(jù)引擎主動(dòng)捕獲數(shù)據(jù)變化的方式：1) 數(shù)據(jù)庫(kù)觸發(fā)器(Database Triggers) ：通過(guò)在源數(shù)據(jù)表上創(chuàng)建觸發(fā)器來(lái)獲取變化的數(shù)據(jù)，此方式實(shí)時(shí)性高，但需要對(duì)源數(shù)據(jù)庫(kù)進(jìn)行改動(dòng)，對(duì)高負(fù)載應(yīng)用的性能有一定的影響，此方式支持主流的關(guān)系數(shù)據(jù)庫(kù)。2) 數(shù)據(jù)庫(kù)日志采集器(Log Miner ) ：通過(guò)對(duì)源數(shù)據(jù)庫(kù)日志文件進(jìn)行分析，實(shí)時(shí)捕獲數(shù)據(jù)庫(kù)數(shù)據(jù)的變化情況，此方式速度較快，對(duì)源系統(tǒng)不會(huì)造成太大的壓力，但需要數(shù)據(jù)庫(kù)本身的功能進(jìn)行實(shí)現(xiàn)，目前只支持Oracle 和DB2 兩種數(shù)據(jù)庫(kù)類(lèi)型。上面兩種方式是數(shù)據(jù)集成引擎主動(dòng)捕獲變化數(shù)據(jù)，而下面的兩種方式則是數(shù)據(jù)集成引擎被動(dòng)接收源系統(tǒng)

48、的通知：1) 變更數(shù)據(jù)訂閱(Change Data Subscriber：)通過(guò)消息隊(duì)列技術(shù)，變化數(shù)據(jù)捕獲功能在數(shù)據(jù)源應(yīng)用提供的基于JMS 標(biāo)準(zhǔn)的消息隊(duì)列上訂閱數(shù)據(jù)的變化消息，通過(guò)監(jiān)聽(tīng)數(shù)據(jù)變更隊(duì)列，實(shí)時(shí)獲得數(shù)據(jù)源應(yīng)用放到隊(duì)列中的數(shù)據(jù)變化消息，此方式的提取速度快，并且JMS 消息隊(duì)列提供了消息傳輸?shù)母呖煽啃?，但?shí)時(shí)性取決于數(shù)據(jù)源應(yīng)用，并且數(shù)據(jù)源應(yīng)用需要開(kāi)發(fā)相應(yīng)的功能來(lái)實(shí)現(xiàn)。2) 數(shù)據(jù)變化通知(Data Change Notification)：和變更數(shù)據(jù)訂閱相同的原理，數(shù)據(jù)變化通知技術(shù)是通過(guò)暴露數(shù)據(jù)變化通知的WebService 接口給數(shù)據(jù)源應(yīng)用，當(dāng)數(shù)據(jù)的變化被數(shù)據(jù)源應(yīng)用捕獲后，數(shù)據(jù)源應(yīng)用調(diào)用通

49、知接口把變化的數(shù)據(jù)傳遞給數(shù)據(jù)變化捕獲功能，此方式提取速度快，并且可通過(guò)ESB 統(tǒng)一暴露服務(wù)接口，消息傳輸可靠性也可以通過(guò)ESB 的獲得支持(需要ESB 的實(shí)現(xiàn)支持此功能) ，但實(shí)時(shí)性同樣取決于數(shù)據(jù)源應(yīng)用，需要數(shù)據(jù)源應(yīng)用做相應(yīng)的開(kāi)發(fā)。對(duì)比主動(dòng)和被動(dòng)捕獲的幾種實(shí)現(xiàn)，主動(dòng)捕獲技術(shù)更適用于數(shù)據(jù)源是關(guān)系數(shù)據(jù)庫(kù)并且數(shù)據(jù)變化不需要進(jìn)行邏輯處理的情況；而當(dāng)數(shù)據(jù)源不是關(guān)系數(shù)據(jù)庫(kù)又或者數(shù)據(jù)的變化后需要進(jìn)行邏輯處理，不能直接通過(guò)數(shù)據(jù)庫(kù)觸發(fā)器或者日志分析進(jìn)行判斷數(shù)據(jù)是否發(fā)生變化的情況下，則需要改造數(shù)據(jù)源，使用被動(dòng)捕獲技術(shù)來(lái)實(shí)現(xiàn)。在數(shù)據(jù)共享中心中，為減少對(duì)數(shù)據(jù)源的影響和改造，建議主要通過(guò)數(shù)據(jù)庫(kù)觸發(fā)器和數(shù)據(jù)庫(kù)日志采集這兩

50、種方式來(lái)實(shí)現(xiàn)實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)提取。數(shù)據(jù)質(zhì)量檢查在數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查( Data Quality Check ) 功能是數(shù)據(jù)質(zhì)量的第一道防火墻， 在數(shù)據(jù)的來(lái)源入口根據(jù)元數(shù)據(jù)模型中設(shè)定的數(shù)據(jù)檢查規(guī)則對(duì)從數(shù)據(jù)源中提取的最原始數(shù)據(jù)進(jìn)行規(guī)則驗(yàn)證，當(dāng)某條數(shù)據(jù)記錄不符合檢查規(guī)則，會(huì)被數(shù)據(jù)質(zhì)量檢查工具自動(dòng)標(biāo)記為問(wèn)題數(shù)據(jù)，同時(shí)在質(zhì)量問(wèn)題表中對(duì)引起質(zhì)量問(wèn)題的原因和出現(xiàn)問(wèn)題的數(shù)據(jù)記錄進(jìn)行記錄。數(shù)據(jù)質(zhì)量檢查功能實(shí)現(xiàn)的檢查規(guī)則類(lèi)型可分為數(shù)據(jù)約束檢查和業(yè)務(wù)規(guī)則檢查，具體如下：(一)數(shù)據(jù)約束檢查：基本數(shù)據(jù)約束，如：人員名稱(chēng)不能為空唯一性約束，如：? 人員身份證號(hào)碼不能相同有效引用約束等（二）業(yè)務(wù)規(guī)則檢查數(shù)據(jù)約束檢

51、查可通過(guò)關(guān)系數(shù)據(jù)庫(kù)約束實(shí)現(xiàn)，而業(yè)務(wù)規(guī)則檢查需要執(zhí)行SQL 查詢(xún)分析才能完成，而由于數(shù)據(jù)質(zhì)量檢查功能是在數(shù)據(jù)整合的過(guò)程中執(zhí)行，只能做到事前控制，并且是使用關(guān)系數(shù)據(jù)庫(kù)提供的功能進(jìn)行檢查，復(fù)雜的數(shù)據(jù)質(zhì)量問(wèn)題檢測(cè)或者要在多個(gè)數(shù)據(jù)源的數(shù)據(jù)集成后 （事后控制）才能進(jìn)行檢查的問(wèn)題則需要在數(shù)據(jù)質(zhì)量服務(wù)器中的質(zhì)量檢測(cè)服務(wù)中執(zhí)行或檢測(cè)。數(shù)據(jù)轉(zhuǎn)換清洗數(shù)據(jù)集成引擎把各個(gè)數(shù)據(jù)源的數(shù)據(jù)提取后進(jìn)行了集中存儲(chǔ)共享，并建立唯一的數(shù)據(jù)標(biāo)準(zhǔn)， 使用一致的方式向應(yīng)用提供數(shù)據(jù)；實(shí)際情況中，集中存儲(chǔ)和共享的數(shù)據(jù)數(shù)據(jù)模型和數(shù)據(jù)源的模型大部分情況下都不會(huì)完全一致，這就需要在數(shù)據(jù)源的數(shù)據(jù)進(jìn)入到目標(biāo)數(shù)據(jù)庫(kù)前進(jìn)行轉(zhuǎn)換或被清除掉不需要和無(wú)效的數(shù)據(jù)。

52、數(shù)據(jù)轉(zhuǎn)換清洗功能根據(jù)元數(shù)據(jù)模型中定義的轉(zhuǎn)換和清洗規(guī)則進(jìn)行數(shù)據(jù)自動(dòng)轉(zhuǎn)換清洗。目標(biāo)數(shù)據(jù)加載目標(biāo)數(shù)據(jù)加載（Target Data Loading）把經(jīng)過(guò)了質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換與清洗后的數(shù)據(jù)加 載到目標(biāo)數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。目標(biāo)數(shù)據(jù)存儲(chǔ)可以是標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫(kù)或者數(shù)據(jù)文件（如XML 、 Excel 等） ，在此方案建議書(shū)中使用Oracle 關(guān)系數(shù)據(jù)庫(kù)作為數(shù)據(jù)集成的目標(biāo)數(shù)據(jù)存儲(chǔ)庫(kù)。質(zhì)量檢測(cè)數(shù)據(jù)質(zhì)量檢測(cè)是數(shù)據(jù)共享中心數(shù)據(jù)質(zhì)量控制的核心，負(fù)責(zé)數(shù)據(jù)質(zhì)量問(wèn)題的檢測(cè)與收集，當(dāng)檢測(cè)到質(zhì)量問(wèn)題時(shí)，產(chǎn)生相應(yīng)的事件并進(jìn)行事件記錄與通知，讓用戶(hù)可以快速和直觀的了實(shí)用文檔解到數(shù)據(jù)產(chǎn)生了質(zhì)量問(wèn)題并進(jìn)行及時(shí)處理；對(duì)于系統(tǒng)可以按規(guī)則設(shè)定

53、進(jìn)行自動(dòng)修正的質(zhì)量問(wèn)題，數(shù)據(jù)質(zhì)量管理內(nèi)置的自動(dòng)數(shù)據(jù)修正( Auto Data Correct)功能將自動(dòng)修正并記錄修正日 o數(shù)據(jù)質(zhì)量服務(wù)器(Data Quality Server)質(zhì)量監(jiān)控引擎(Quality Monitor Engine) 事件Lj事件J事件 收集r分析處理質(zhì)量檢測(cè)服務(wù)|自動(dòng)數(shù)據(jù)修正(Quality Check) (Auto Data Correct)數(shù)據(jù)質(zhì)量規(guī)則引擎(Data Quality Rule Engine)上圖中的質(zhì)量檢測(cè)服務(wù)提供數(shù)據(jù)質(zhì)量問(wèn)題的自動(dòng)檢測(cè)功能，通過(guò)調(diào)用數(shù)據(jù)質(zhì)量規(guī)則引擎執(zhí)行預(yù)設(shè)的規(guī)則或者通過(guò)定制開(kāi)發(fā)的檢測(cè)代碼，定時(shí)掃描檢測(cè)目標(biāo)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，當(dāng)發(fā)現(xiàn)問(wèn)題后如果可以進(jìn)行自動(dòng)修正則調(diào)用自動(dòng)數(shù)據(jù)修正功能進(jìn)行修正，否則直接通知質(zhì)量監(jiān)控引擎，告知產(chǎn)生一個(gè)質(zhì)量問(wèn)題事件。數(shù)據(jù)質(zhì)量規(guī)則引擎是自動(dòng)質(zhì)量檢測(cè)和自動(dòng)數(shù)據(jù)修正的基礎(chǔ)運(yùn)行引擎，可支持通過(guò)規(guī)則來(lái)設(shè)定與實(shí)現(xiàn)簡(jiǎn)單問(wèn)題的檢測(cè)和數(shù)據(jù)修正。質(zhì)量監(jiān)控引擎除了收集質(zhì)量檢測(cè)服務(wù)產(chǎn)生的質(zhì)量事件，同時(shí)也會(huì)監(jiān)控其他模塊檢測(cè)到的質(zhì)量問(wèn)題記錄(如數(shù)據(jù)集成引擎