Oracle SOA 主數(shù)據(jù)管理解決方案參考模板

1、Oracle技術(shù)解決方案1 / 91目 錄1.概述41.1背景41.1.1南方電網(wǎng)“十一五”信息化現(xiàn)狀41.1.2南方電網(wǎng)“十二五”信息化定位51.2項(xiàng)目建設(shè)目標(biāo)61.3項(xiàng)目建設(shè)范圍71.4項(xiàng)目建設(shè)內(nèi)容71.5需求分析82.Oracle主數(shù)據(jù)管理方案102.1Oracle主數(shù)據(jù)管理設(shè)計(jì)132.1.1Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì)132.1.2主數(shù)據(jù)方案設(shè)計(jì)212.1.3交換數(shù)據(jù)方案設(shè)計(jì)262.1.4數(shù)據(jù)交換系統(tǒng)功能設(shè)計(jì)283.Oracle主數(shù)據(jù)管理設(shè)計(jì)產(chǎn)品介紹463.1Oracle BPM Suite(業(yè)務(wù)流程)463.1.1BPM方案總體架構(gòu)463.1.2閉環(huán)的Oracle BPM解決方

2、案473.1.2.1業(yè)務(wù)流程分析BPA階段483.1.2.2業(yè)務(wù)流程執(zhí)行BPE與業(yè)務(wù)流程監(jiān)視BAM階段503.1.3Oracle BPM平臺(tái)中主要模塊介紹513.1.3.1Oracle BPM服務(wù)器523.1.3.2Oracle業(yè)務(wù)規(guī)則523.1.3.3Oracle流程建模與模擬工具543.1.3.4Oracle元數(shù)據(jù)資料庫543.1.4Oracle BPM解決方案的優(yōu)勢553.2Oracle SOA Suite(應(yīng)用集成)563.2.1價(jià)值主張563.2.2創(chuàng)建服務(wù)563.2.3服務(wù)連通與轉(zhuǎn)換563.2.4流程編排和整合573.2.5服務(wù)發(fā)布與注冊583.2.6服務(wù)的安全管理593.2.7用

3、戶身份管理603.2.8SOA平臺(tái)的系統(tǒng)管理603.3Oracle Data Integrator(批量數(shù)據(jù)抽取)643.3.1產(chǎn)品概述643.3.2ODI產(chǎn)品體系結(jié)構(gòu)653.3.3數(shù)據(jù)分發(fā)和傳輸663.3.4數(shù)據(jù)集成核心683.3.5數(shù)據(jù)質(zhì)量核心683.3.6數(shù)據(jù)連接703.3.7ODI主要優(yōu)勢713.4GoldenGate(實(shí)時(shí)數(shù)據(jù)同步方案)713.4.1高可用和容災(zāi)解決方案723.4.2實(shí)時(shí)數(shù)據(jù)整合解決方案723.4.3復(fù)制模式733.4.4關(guān)鍵特性763.4.5應(yīng)用方式774.軟件配置及部署方案794.1軟件配置及硬件推薦794.2部署架構(gòu)圖801. 概述1.1 背景1.1.1 南方電

4、網(wǎng)“十一五”信息化現(xiàn)狀 Oracle主數(shù)據(jù)管理方案南方電網(wǎng)的數(shù)據(jù)質(zhì)量管理必須有一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方案，以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。（1）數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)包括各業(yè)務(wù)域的數(shù)據(jù)集標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)及信息分類編碼標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)用于指導(dǎo)各業(yè)務(wù)系統(tǒng)建設(shè)與實(shí)施。在標(biāo)準(zhǔn)管理上，數(shù)據(jù)資源管理工具應(yīng)能有效管控標(biāo)準(zhǔn)的變更與執(zhí)行。尤其是“十二五”期間，如何管理網(wǎng)省兩級(jí)、省級(jí)集中的業(yè)務(wù)系統(tǒng)的統(tǒng)一版本問題是關(guān)鍵。（2）主數(shù)據(jù)管理通過企業(yè)范圍內(nèi)的統(tǒng)一視圖，即ECIM模型，實(shí)現(xiàn)主數(shù)據(jù)管理，促進(jìn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成與共享。主數(shù)據(jù)管理需要解決主數(shù)據(jù)的定義、標(biāo)識(shí)、存儲(chǔ)、匯集、清洗、監(jiān)管與共享

5、。主數(shù)據(jù)可以為業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心服務(wù)。（3）數(shù)據(jù)質(zhì)量管理數(shù)據(jù)管理的最終的目標(biāo)是為了提升系統(tǒng)數(shù)據(jù)質(zhì)量。在主數(shù)據(jù)的清洗階段，通過數(shù)據(jù)質(zhì)量管理工作，對(duì)數(shù)據(jù)進(jìn)行解析、標(biāo)準(zhǔn)化、匹配&去重、補(bǔ)充及驗(yàn)證建立可靠的數(shù)據(jù)。對(duì)于核心結(jié)構(gòu)化數(shù)據(jù)在加載到數(shù)據(jù)中心時(shí)也進(jìn)行相似的工作，提高決策支持水平。南方電網(wǎng)的主數(shù)據(jù)管理系統(tǒng)從 IT 建設(shè)的角度而言都會(huì)是一個(gè)相對(duì)復(fù)雜的系統(tǒng)，往往會(huì)和企業(yè)數(shù)據(jù)倉庫 / 決策支持系統(tǒng)以及企業(yè)內(nèi)的各個(gè)業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系，技術(shù)實(shí)現(xiàn)上也會(huì)涉及到 ETL、流程、SOA、企業(yè)服務(wù)總線等多個(gè)方面，一個(gè)典型的主數(shù)據(jù)管理的信息流為： 某個(gè)業(yè)務(wù)系統(tǒng)觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的改動(dòng)； 主數(shù)據(jù)管理系統(tǒng)將整合之后完整、準(zhǔn)確的主

6、數(shù)據(jù)分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng)； 主數(shù)據(jù)管理系統(tǒng)為業(yè)務(wù)系統(tǒng)和決策支持以及數(shù)據(jù)倉庫系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)源。因此對(duì)于南方電網(wǎng)數(shù)據(jù)質(zhì)量管理的建設(shè)，必須從項(xiàng)目建設(shè)初期就考慮整體的平臺(tái)框架和技術(shù)實(shí)現(xiàn)。Oracle主數(shù)據(jù)管理（Master Data Management，MDM）是當(dāng)前業(yè)界最完整的是一種集成的、完整的企業(yè)主數(shù)據(jù)（企業(yè)業(yè)務(wù)運(yùn)行和商務(wù)分析所依賴的關(guān)鍵性基礎(chǔ)數(shù)據(jù)）管理平臺(tái)，具有企業(yè)級(jí)主數(shù)據(jù)存儲(chǔ)、主數(shù)據(jù)整合、主數(shù)據(jù)清洗、主數(shù)據(jù)監(jiān)管以及主數(shù)據(jù)共享等五大功能，可全面連接企業(yè)數(shù)據(jù)內(nèi)容（廣泛使用和在部門間共享的數(shù)據(jù)）和實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一、完整和一致。作為企業(yè)的真實(shí)數(shù)據(jù)來源，Oracle主數(shù)據(jù)管理(MD

7、M)平臺(tái)通過數(shù)據(jù)治理服務(wù)以及對(duì)周邊應(yīng)用系統(tǒng)的集成和對(duì)商務(wù)智能系統(tǒng)的支持，來統(tǒng)一管理企業(yè)內(nèi)重要的基礎(chǔ)數(shù)據(jù)信息，可以整合并維護(hù)企業(yè)范圍的全面、準(zhǔn)確且權(quán)威的主數(shù)據(jù)，并將這些主數(shù)據(jù)信息作為共享服務(wù)分發(fā)到所需的業(yè)務(wù)和分析系統(tǒng)。Oracle主數(shù)據(jù)管理解決方案具有以下特性： 保證數(shù)據(jù)的唯一性和準(zhǔn)確性：有效整理和集中分散在關(guān)鍵企業(yè)流程和應(yīng)用軟件中的數(shù)據(jù)片斷，通過一系列匹配、整合和清洗規(guī)則使之形成單一真實(shí)數(shù)據(jù)源，并提供基于工作流的數(shù)據(jù)監(jiān)管流程來實(shí)現(xiàn)持續(xù)的數(shù)據(jù)質(zhì)量維護(hù)。最后將統(tǒng)一的數(shù)據(jù)資產(chǎn)作為Web服務(wù)提供給周邊的業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)企業(yè)范圍的主數(shù)據(jù)協(xié)同； 有效降低數(shù)據(jù)管理成本：提供統(tǒng)一的資源庫來集中管理企業(yè)重要的數(shù)據(jù)

8、資產(chǎn)，并能將對(duì)這些數(shù)據(jù)資產(chǎn)的訪問以服務(wù)的方式提供給周邊應(yīng)用系統(tǒng)，實(shí)時(shí)地提供訪問主數(shù)據(jù)的WEB服務(wù)，包括匹配、申請全部信息以及申請所需信息等； 實(shí)現(xiàn)更好的報(bào)表：準(zhǔn)確、有效的數(shù)據(jù)是準(zhǔn)確、有效的報(bào)表的基礎(chǔ)，Oracle MDM可以將清洗、排重、整理之后的準(zhǔn)確數(shù)據(jù)提供給企業(yè)的商務(wù)分析系統(tǒng)，得到更加準(zhǔn)確的決策支持； 提供企業(yè)系統(tǒng)架構(gòu)靈活性和創(chuàng)新性的基礎(chǔ)：維護(hù)持續(xù)的、唯一而準(zhǔn)確的主數(shù)據(jù)資產(chǎn)，能夠在不斷變化的業(yè)務(wù)環(huán)境中增強(qiáng)IT彈性，滿足爆炸式數(shù)據(jù)增長的需求。 Oracle主數(shù)據(jù)管理能支持以下六大功能： 指定每個(gè)特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé)，例如，產(chǎn)品、客戶、供應(yīng)商和組織結(jié)構(gòu)。 嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)

9、始終保持高質(zhì)量主數(shù)據(jù)。 提取分散在各個(gè)應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲(chǔ)庫,主數(shù)據(jù)存儲(chǔ)庫一般采用二維數(shù)據(jù)庫存儲(chǔ)主數(shù)據(jù)。 根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)收集到的主數(shù)據(jù)進(jìn)行加工清理，從而形成符合企業(yè)需求的主數(shù)據(jù)。 制定主數(shù)據(jù)變更的流程審批機(jī)制，從而保證主數(shù)據(jù)修改的一致性和穩(wěn)定性。 實(shí)現(xiàn)各個(gè)數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲(chǔ)庫的數(shù)據(jù)同步，從而保證每個(gè)系統(tǒng)使用的主數(shù)據(jù)相同。）隨著IT系統(tǒng)的建設(shè)，主數(shù)據(jù)的修改動(dòng)作必然從現(xiàn)有分散的各個(gè)系統(tǒng)轉(zhuǎn)移到主數(shù)據(jù)存儲(chǔ)庫集中進(jìn)行，因此必須保證當(dāng)前主數(shù)據(jù)管理系統(tǒng)的靈活性，方便修改、監(jiān)控、更新關(guān)聯(lián)系統(tǒng)主數(shù)據(jù)的變化。Oracle主數(shù)據(jù)管理在企業(yè)范圍內(nèi)主數(shù)據(jù)協(xié)同方面完善了一套端到端

10、的模式可滿足客戶不同的實(shí)施需要，即“推動(dòng)模式”和“拉動(dòng)模式”，前者通過前端獨(dú)立應(yīng)用軟件（包括Oracle應(yīng)用系統(tǒng)、企業(yè)自主開發(fā)以及第三方軟件）的主數(shù)據(jù)改動(dòng)，經(jīng)過Oracle 應(yīng)用集成架構(gòu)自動(dòng)且快速地同步到Oracle MDM主數(shù)據(jù)平臺(tái)，可實(shí)現(xiàn)企業(yè)范圍內(nèi)的全面數(shù)據(jù)整合，而后者則是由主數(shù)據(jù)平臺(tái)主動(dòng)對(duì)前端應(yīng)用軟件進(jìn)行實(shí)時(shí)的訪問，獲取新增、更改和補(bǔ)充數(shù)據(jù)，并經(jīng)過 Oracle 應(yīng)用集成架構(gòu)和內(nèi)部數(shù)據(jù)規(guī)則實(shí)現(xiàn)標(biāo)準(zhǔn)化，從而最終在主數(shù)據(jù)平臺(tái)實(shí)現(xiàn)唯一準(zhǔn)確地共享數(shù)據(jù)。22.1 Oracle主數(shù)據(jù)管理設(shè)計(jì)22.12.1.1 Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì)Oracle主數(shù)據(jù)管理的主要功能可歸結(jié)為以下六大功能：

11、主數(shù)據(jù)存儲(chǔ) 主數(shù)據(jù)整合與連接 主數(shù)據(jù)質(zhì)量管理 主數(shù)據(jù)管理監(jiān)控 主數(shù)據(jù)共享 安全可靠的平臺(tái)主數(shù)據(jù)存儲(chǔ) 一個(gè)具有無限可擴(kuò)展性的內(nèi)置、靈活（隨時(shí)間變化）的開放數(shù)據(jù)模型可維護(hù)南方電網(wǎng)主數(shù)據(jù)和所有需要的屬性（結(jié)構(gòu)化和非結(jié)構(gòu)化的）、相關(guān)實(shí)體、分類和關(guān)系； 可跟蹤主數(shù)據(jù)屬性、審計(jì)跟蹤信息和歷史主數(shù)據(jù)剖析的來源主要用于存儲(chǔ)整合后主數(shù)據(jù)，將各系統(tǒng)的需求信息概括形成一條完整的記錄并進(jìn)行存儲(chǔ)供應(yīng)，提供一個(gè)完整的數(shù)據(jù)模型。主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中，比如一個(gè)call center系統(tǒng)需要保存客戶的所有聯(lián)系信息，但是一個(gè)計(jì)費(fèi)系統(tǒng)可能只需要保留客戶的與計(jì)費(fèi)相關(guān)的信息，如何將客戶信息形成一條完整的記錄并進(jìn)行存儲(chǔ)

12、供應(yīng)，當(dāng)然是需要概括所有這些系統(tǒng)的需求，提供一個(gè)完整的數(shù)據(jù)模型。 數(shù)據(jù)整合與連接 領(lǐng)先的嵌入式數(shù)據(jù)質(zhì)量管理工具及與第三方數(shù)據(jù)源的集成，用于驗(yàn)證和充實(shí)數(shù)據(jù) 可保持?jǐn)?shù)據(jù)最新的持續(xù)數(shù)據(jù)清理功能集 快速安全的參數(shù)化搜索引擎，能識(shí)別和避免重復(fù)數(shù)據(jù) 智能合并和自動(dòng)合并功能，消除數(shù)據(jù)重復(fù)，同時(shí)確保正確的數(shù)據(jù)屬性排除 利用與外部內(nèi)容提供商的預(yù)建集成來充實(shí)主數(shù)據(jù)內(nèi)容 包括主數(shù)據(jù)生命周期管理工作流主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中，要進(jìn)行數(shù)據(jù)整合，第一步是實(shí)現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互通，然后通過一定的觸發(fā)機(jī)制將各個(gè)系統(tǒng)針對(duì)主數(shù)據(jù)的修改同步到主數(shù)據(jù)存儲(chǔ)庫。但是在實(shí)施數(shù)據(jù)集成的過程中，由于不同系統(tǒng)提供的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)

13、質(zhì)量千差萬別，甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等問題，將會(huì)嚴(yán)重阻礙數(shù)據(jù)在各部門和各應(yīng)用系統(tǒng)中的流動(dòng)與共享。因此，如何對(duì)數(shù)據(jù)進(jìn)行有效的集成管理是數(shù)據(jù)共享中心建設(shè)的一個(gè)關(guān)鍵難點(diǎn)。ETL是實(shí)現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL中三個(gè)字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。(1)數(shù)據(jù)抽取：從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；(2)數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。(3)數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL過程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)

14、裝載。Oracle的主數(shù)據(jù)整合管理ETL基于ODI來實(shí)現(xiàn)，使用ODI設(shè)計(jì)和生成典型格式；利用已有的元數(shù)據(jù)格式設(shè)計(jì)MDM 應(yīng)用 (實(shí)體, 字段, 關(guān)系)；生成和維護(hù)主數(shù)據(jù)結(jié)構(gòu)；生成和部署轉(zhuǎn)換。主數(shù)據(jù)質(zhì)量管理 為每個(gè)主數(shù)據(jù)實(shí)體創(chuàng)建通用ID并構(gòu)建針對(duì)每個(gè)所連接記錄/系統(tǒng)對(duì)的交叉引用 一個(gè)數(shù)據(jù)導(dǎo)入工作臺(tái)和用戶界面，以幫助數(shù)據(jù)管理員管理源系統(tǒng)的映射和數(shù)據(jù)加載及主數(shù)據(jù)剖析 使用預(yù)建、符合標(biāo)準(zhǔn)的業(yè)務(wù)服務(wù)和適配器實(shí)現(xiàn)集成 使用可配置的屬性“排除”規(guī)則，根據(jù)多個(gè)數(shù)據(jù)源創(chuàng)建單一的記錄 利用基礎(chǔ)服務(wù)框架的數(shù)據(jù)聯(lián)合功能 主數(shù)據(jù)維護(hù)著企業(yè)里該種類型數(shù)據(jù)的最值得信任的數(shù)據(jù)，所以使用質(zhì)量管理技術(shù)來保證這些數(shù)據(jù)的準(zhǔn)確是主數(shù)據(jù)

15、管理里非常重要的一環(huán)。 1. 數(shù)據(jù)清洗：數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)和標(biāo)準(zhǔn)化，比如地址郵編是否存在等等。2. 數(shù)據(jù)匹配：數(shù)據(jù)匹配是找出有可能重復(fù)的記錄。比如MDM系統(tǒng)里有兩個(gè)閾值是用于控制數(shù)據(jù)匹配的流程，第一個(gè)閾值是高分閾值，對(duì)于數(shù)據(jù)匹配分值高于高分閾值的記 錄將會(huì)使用數(shù)據(jù)存活規(guī)則進(jìn)行自動(dòng)合并；第二個(gè)閾值是中分閾值，數(shù)據(jù)匹配得分在高分閾值和中分閾值之間的記錄將會(huì)進(jìn)入人工判斷工作流，由管理員或者其他指定 的人決定合并還是作為新記錄。低于中分閾值的記錄都將會(huì)被作為新記錄。數(shù)據(jù)存活規(guī)則（Survivorship rules）一般而言，企業(yè)里的主數(shù)據(jù)來源于企業(yè)里的各個(gè)系統(tǒng)，當(dāng)不同系統(tǒng)的同一個(gè)屬性值有不同的

16、值的時(shí)候，就需要決定哪一個(gè)系統(tǒng)的值是準(zhǔn)確的。數(shù)據(jù)存活規(guī)則指定各種規(guī)則來決定新的數(shù)據(jù)進(jìn)入到主數(shù)據(jù)庫或者當(dāng)新數(shù)據(jù)和舊有主數(shù)據(jù)沖突的時(shí)候的處理方法。數(shù)據(jù)存活規(guī)則主要有三種： Recent規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以后來的數(shù)據(jù)為準(zhǔn)，后來數(shù)據(jù)替換原來的數(shù)據(jù)。比如contact（聯(lián)系人）信息，缺省是以后來的更新為主。 History規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以原來的數(shù)據(jù)為準(zhǔn)，不接受后來數(shù)據(jù)的更新。 Source規(guī)則: 當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以數(shù)據(jù)來源系統(tǒng)的可信度為作為使用哪個(gè)數(shù)據(jù)最后存活的規(guī)則。比如當(dāng)源系統(tǒng)有A，B，C三個(gè)系統(tǒng)的時(shí)候，我們需要在主數(shù) 據(jù)管理系統(tǒng)里注冊

17、這三個(gè)系統(tǒng)的時(shí)候，同時(shí)給這些源系統(tǒng)評(píng)分，則當(dāng)使用source規(guī)則的時(shí)候，則以后的數(shù)據(jù)將以評(píng)分高的系統(tǒng)為準(zhǔn)。比如有三個(gè)系 統(tǒng)，CRM,財(cái)務(wù)，物流，對(duì)于客戶信息而言，我們認(rèn)為CRM系統(tǒng)里的客戶信息應(yīng)該是最準(zhǔn)的，我們應(yīng)該給于CRM系統(tǒng)較高的分值，則這個(gè)時(shí)候?qū)τ诳蛻魯?shù)據(jù)我 們將使用Source規(guī)則，則以后所有的CRM系統(tǒng)相應(yīng)客戶的更新會(huì)覆蓋原來不是CRM系統(tǒng)的更新。3.數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量的大致控制流程，即當(dāng)記錄進(jìn)入主數(shù)據(jù)系統(tǒng)時(shí)，先會(huì)在主數(shù)據(jù)系統(tǒng)里尋找可能匹配的記錄，如果結(jié)果認(rèn)為是不匹配， 則將進(jìn)入處理不匹配流程來增加一條新記錄；如果是分值足夠高，則進(jìn)入自動(dòng)匹配流程把該記錄和原有記錄進(jìn)行數(shù)據(jù)存活規(guī)

18、則處理并合并記錄；如果是分值不足夠 高，則需要人工來決定該記錄是新記錄還是需要和原有記錄合并。主數(shù)據(jù)管理監(jiān)控 最佳的工作流功能（例如針對(duì)南方電網(wǎng)主數(shù)據(jù)定義和審批路由的可配置工作流）響應(yīng)整個(gè)主數(shù)據(jù)管理生命周期事件;oracle BPEL 規(guī)范制定自動(dòng)化業(yè)務(wù)處理流程，支持用戶自定義變更類型 確保堅(jiān)如磐石的安全性和法規(guī)遵守證明的完整歷史和審計(jì)跟蹤 納稅人數(shù)據(jù)認(rèn)證，支持機(jī)構(gòu)創(chuàng)建數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，遵守這些標(biāo)準(zhǔn)并提升用戶對(duì)數(shù)據(jù)的信心 商務(wù)智能基礎(chǔ)架構(gòu)，支持剖析、法規(guī)遵守和業(yè)務(wù)績效指標(biāo) 自動(dòng)化、人工流程，提供良好的用戶界面UI，多種通知方式 自動(dòng)化、人工的審核和批準(zhǔn)，逐級(jí)審批 易于多組織的協(xié)同工作主數(shù)據(jù)發(fā)布和共

19、享 面向終端用戶和數(shù)據(jù)管理員的直觀GUI，管理主數(shù)據(jù)的整個(gè)生命周期從創(chuàng)建或?qū)胫鲾?shù)據(jù)信息到清理、匹配、增強(qiáng)和發(fā)布。使用預(yù)建的流程使南方電網(wǎng)更輕松地管理主數(shù)據(jù) 對(duì)所有集成模式實(shí)時(shí)（緊耦合和松耦合）、近實(shí)時(shí)（松耦合）和批量的嚴(yán)格的多模型支持 提供作為業(yè)務(wù)服務(wù)和Web服務(wù)的常用功能 一個(gè)內(nèi)部觸發(fā)的機(jī)制，創(chuàng)建變更信息并向所有相連系統(tǒng)部署 為所有的管理軟件和分析系統(tǒng)提供主數(shù)據(jù)記錄和所選屬性 在面向服務(wù)的架構(gòu)(SOA)和/或消息傳遞總線上的運(yùn)營管理軟件和數(shù)據(jù)倉庫雙向交互 通過Oracle應(yīng)用集成架構(gòu) (AIA) 流程集成包 (PIP) 預(yù)建的集成 與Oracle商務(wù)智能企業(yè)版 (OBI EE) 預(yù)建的集成

20、為了實(shí)現(xiàn)主數(shù)據(jù)共享，首先全網(wǎng)應(yīng)該各個(gè)分散的業(yè)務(wù)系統(tǒng)連接起來，實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)存儲(chǔ)的互聯(lián)互通，目前的南網(wǎng)主數(shù)據(jù)管理解決方案主要采用兩種方式來實(shí)現(xiàn)：基于ETL工具的方式和基于SOA體系架構(gòu)的方式。1.基于ODI的方式基于ODI這樣的ETL工具設(shè)計(jì)的架構(gòu)更適合全網(wǎng)業(yè)務(wù)系統(tǒng)中的非實(shí)時(shí)數(shù)據(jù)量大的主數(shù)據(jù)共享發(fā)布。如上圖所示，采用基于ODI的ETL工具具有連接各種異構(gòu)數(shù)據(jù)源和變化捕捉的能力，采用它來實(shí)現(xiàn)MDM中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、整合和發(fā)布應(yīng)該是順理成章的事情，當(dāng)某個(gè)主數(shù)據(jù)的源發(fā)生變化時(shí)，ETL的CDC(變化數(shù)據(jù)捕捉)功能就會(huì)捕獲到變化，進(jìn)而將變化的數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理系統(tǒng)的臨時(shí)存儲(chǔ)區(qū)，然后ETL工

21、具根據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)化，形成主數(shù)據(jù)，進(jìn)而ETL調(diào)用審批監(jiān)管流程，一旦獲得審批，ETL即可將主數(shù)據(jù)同步到主數(shù)據(jù)存儲(chǔ)系統(tǒng)，同時(shí)分發(fā)給各個(gè)訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。同時(shí)ODI可以支撐流程的設(shè)計(jì)、運(yùn)行、監(jiān)控，否則ETL工具必須可以調(diào)用其它的工作流引擎，ODI可以實(shí)現(xiàn)與SOA的無縫集成，既可以將數(shù)據(jù)或者轉(zhuǎn)化封裝為Web Service服務(wù)，也可以調(diào)用外部的Web Service服務(wù)。 2.基于SOA架構(gòu)的方式：在該方案更適合實(shí)時(shí)的數(shù)據(jù)量小的主數(shù)據(jù)共享發(fā)布，采用OSB（企業(yè)服務(wù)總線）技術(shù)構(gòu)建應(yīng)用集成平臺(tái)，采用web service方式實(shí)現(xiàn)在多個(gè)系統(tǒng)間應(yīng)用集成和互聯(lián)互通。應(yīng)用集成平臺(tái)是數(shù)據(jù)

22、采集、數(shù)據(jù)交換及服務(wù)提供能力的直接承載。數(shù)據(jù)的收集和分發(fā)采用各種應(yīng)用和適配器實(shí)現(xiàn)，各種應(yīng)用適配器一般提供變化數(shù)據(jù)的的輪詢或者推送功能。監(jiān)控管理可以采用SOA中的工作流引擎來實(shí)現(xiàn)，同時(shí)SOA中的流程監(jiān)控系統(tǒng)可以對(duì)整個(gè)主數(shù)據(jù)的收集、轉(zhuǎn)化、審批分發(fā)提供端到端的監(jiān)控。采用SOA技術(shù)設(shè)計(jì)的主數(shù)據(jù)管理架構(gòu)基于J2EE的開放架構(gòu)，會(huì)非常靈活，同時(shí)便于和其它系統(tǒng)集成，系統(tǒng)的擴(kuò)展性比較好，其問題在于如果主數(shù)據(jù)同步的量非常大，效率會(huì)有一定問題。安全可靠的平臺(tái) 基于標(biāo)準(zhǔn)的開放平臺(tái) 多語言和多國家支持 經(jīng)驗(yàn)證的平臺(tái)，全球各行業(yè)（包括公共部門）數(shù)千客戶的選擇 面向混合的重工作負(fù)載Oracle擁有巨大數(shù)目的客戶下關(guān)鍵數(shù)據(jù)

23、訪問的高度可用和可伸縮的平臺(tái)。 安全特性包括全面且靈活的認(rèn)證、全面的審計(jì)和監(jiān)控以及所有架構(gòu)級(jí)別的加密。Oracle已經(jīng)獲得了17項(xiàng)獨(dú)立安全性評(píng)估的擔(dān)保，確立了Oracle在該領(lǐng)域的領(lǐng)導(dǎo)地位。這些評(píng)估包括TCSEC、ITSEC、FIPS和各種通用標(biāo)準(zhǔn)評(píng)估。2.1.2 主數(shù)據(jù)方案設(shè)計(jì)主數(shù)據(jù)管理的核心是數(shù)據(jù)整合、數(shù)據(jù)管控和數(shù)據(jù)服務(wù)。在橫跨這三個(gè)層次需要進(jìn)行數(shù)據(jù)安全管理、質(zhì)量管理和元數(shù)據(jù)管理。下面分別進(jìn)行介紹：數(shù)據(jù)整合：數(shù)據(jù)整合就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)中心。數(shù)據(jù)整合將通過ETL工具實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等功能。數(shù)據(jù)管控：主要包含數(shù)據(jù)中心物理模型、邏輯模型的設(shè)計(jì)

24、，數(shù)據(jù)的維護(hù)管理以及存儲(chǔ)管理等管控功能。數(shù)據(jù)服務(wù)管控：數(shù)據(jù)服務(wù)管控主要是對(duì)采集至數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換和管控，主要包括數(shù)據(jù)交換服務(wù)設(shè)計(jì)，數(shù)據(jù)總線交換共享，以及數(shù)據(jù)交換管理等功能。元數(shù)據(jù)管理：元數(shù)據(jù)管理是整個(gè)數(shù)據(jù)共享中心中基礎(chǔ)信息的管理，包括ETL元數(shù)據(jù)、接口元數(shù)據(jù)、模型元數(shù)據(jù)和數(shù)據(jù)服務(wù)元數(shù)據(jù)等的管理功能。質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理的側(cè)重點(diǎn)也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、一致性、及時(shí)性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問題，發(fā)展至從用戶視角衡量數(shù)據(jù)質(zhì)量問題，提高用戶對(duì)數(shù)據(jù)的滿意度；建立數(shù)據(jù)質(zhì)量監(jiān)

25、控機(jī)制，及時(shí)發(fā)現(xiàn)、報(bào)告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。安全管理：主要包括數(shù)據(jù)存儲(chǔ)安全、數(shù)據(jù)管控安全和數(shù)據(jù)交換等安全管理。主數(shù)據(jù)方案設(shè)計(jì)原則主數(shù)據(jù)方案設(shè)計(jì)，遵循以下一般原則： 每類業(yè)務(wù)數(shù)據(jù)實(shí)體的屬性有且僅有一個(gè)所有者（Owner），零個(gè)或多個(gè)消費(fèi)者（Consumer）； 對(duì)數(shù)據(jù)的維護(hù)必須通過所有者進(jìn)行，消費(fèi)者對(duì)數(shù)據(jù)只有只讀功能；如果消費(fèi)者需要對(duì)數(shù)據(jù)進(jìn)行維護(hù)，必須調(diào)用所有者數(shù)據(jù)維護(hù)服務(wù)； 數(shù)據(jù)有且僅有一個(gè)主數(shù)據(jù)源（Master Location），主數(shù)據(jù)源可以是數(shù)據(jù)所有者的應(yīng)用數(shù)據(jù)庫（ADB）或者數(shù)據(jù)中心數(shù)據(jù)庫?；谛阅艿目紤]，

26、消費(fèi)者可以在ADB保存數(shù)據(jù)的備份，由主數(shù)據(jù)源實(shí)時(shí)或定時(shí)發(fā)起數(shù)據(jù)同步； 主數(shù)據(jù)源提供相應(yīng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)；主數(shù)據(jù)集成方案設(shè)計(jì)根據(jù)主數(shù)據(jù)源位置（Location）、數(shù)據(jù)冗余方式（Redundant）和數(shù)據(jù)維護(hù)的歸屬（Owner），一般的主數(shù)據(jù)集成方案分析如下表：方案123456主數(shù)據(jù)源數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心ADBADBOwner 數(shù)據(jù)中心數(shù)據(jù)中心ADBADBADBADBConsumer是否有備份YNYNYN數(shù)據(jù)維護(hù)方式Owner讀直接讀Owner ADB中的數(shù)據(jù)備份同1調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Owner ADB直接讀Owner ADBOwner寫Step

27、 1、在一個(gè)交易內(nèi)寫Owner ADB和數(shù)據(jù)中心；Step 2、通過數(shù)據(jù)中心啟動(dòng)對(duì)Consumer ADB的數(shù)據(jù)同步在一個(gè)交易內(nèi)寫Owner ADB和數(shù)據(jù)中心Step 1、調(diào)用數(shù)據(jù)中心數(shù)據(jù)維護(hù)服務(wù)；Step 2、通過數(shù)據(jù)中心啟動(dòng)對(duì)Consumer ADB的數(shù)據(jù)同步調(diào)用數(shù)據(jù)中心數(shù)據(jù)維護(hù)服務(wù)Step 1、寫Owner ADB；Step 2、通過數(shù)據(jù)中心或主數(shù)據(jù)源啟動(dòng)對(duì)Consumer ADB的數(shù)據(jù)同步寫Owner ADBConsumer讀直接讀Consumer ADB中的數(shù)據(jù)備份調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Consumer ADB中的數(shù)據(jù)備份調(diào)用數(shù)據(jù)中心數(shù)據(jù)訪問服務(wù)直接讀Consumer ADB

28、中的數(shù)據(jù)備份通過數(shù)據(jù)中心的統(tǒng)一視圖獲取數(shù)據(jù)；Consumer寫Option1：在一個(gè)交易內(nèi)，Consumer調(diào)用Owner的數(shù)據(jù)維護(hù)服務(wù)，同時(shí)寫Consumer ADB；Option2：集成Owner的數(shù)據(jù)維護(hù)界面，由數(shù)據(jù)中心啟動(dòng)同步Consumer ADBOption1：Consumer調(diào)用Owner的數(shù)據(jù)維護(hù)服務(wù)；Option2：集成Owner的數(shù)據(jù)維護(hù)界面同1同2同1同2下面就各個(gè)方案進(jìn)行分析，對(duì)于方案1和方案2：這兩種方案主要適用于尚無任何系統(tǒng)時(shí)，進(jìn)行一體化系統(tǒng)建設(shè)，如應(yīng)用于已有系統(tǒng)則改造量較大。同時(shí)，這兩種方案均以數(shù)據(jù)中心做為主數(shù)據(jù)的維護(hù)中心。對(duì)于方案3、4和方案5、6：方案5、6較

29、適合已有大量系統(tǒng)的情況，帶來的系統(tǒng)改造量最小。方案3、4適合在主數(shù)據(jù)維護(hù)職能不變的情況下將主數(shù)據(jù)在數(shù)據(jù)中心中進(jìn)行集中，并提供給新建應(yīng)用。主數(shù)據(jù)實(shí)施方案設(shè)計(jì)1、主數(shù)據(jù)創(chuàng)建抽取設(shè)計(jì)主數(shù)據(jù)創(chuàng)建抽取過程如下：其一、先對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行解耦，解決目前各業(yè)務(wù)系統(tǒng)間交叉訪問，耦合度過高的問題。通過建設(shè)共享數(shù)據(jù)庫，并將目前南方電網(wǎng)各系統(tǒng)交叉訪問的共享數(shù)據(jù)通過數(shù)據(jù)復(fù)制機(jī)制同步或異步復(fù)制到共享數(shù)據(jù)庫，然后再更改各業(yè)務(wù)系統(tǒng)現(xiàn)有的共享視圖或物化視圖定義，將共享訪問數(shù)據(jù)源統(tǒng)一指向共享數(shù)據(jù)庫。通過共享數(shù)據(jù)庫的建設(shè)及數(shù)據(jù)復(fù)制機(jī)制的建立，可以將目前網(wǎng)狀的交叉訪問接口平滑過渡到基于共享數(shù)據(jù)庫的星狀接口，有效解決各系統(tǒng)依賴度過高

30、的問題，同時(shí)也為下一步各系統(tǒng)的升級(jí)改造打下基礎(chǔ)。這里的數(shù)據(jù)復(fù)制產(chǎn)品可以考慮Oracle的GoldenGate實(shí)時(shí)復(fù)制產(chǎn)品，先將數(shù)據(jù)復(fù)制到共享數(shù)據(jù)庫，完成“系統(tǒng)解耦”工作。其二、是進(jìn)行數(shù)據(jù)共享協(xié)同平臺(tái)的建設(shè)。在進(jìn)行系統(tǒng)解耦時(shí)，我們會(huì)構(gòu)建共享數(shù)據(jù)庫，但該共享庫僅僅是將當(dāng)前分散到各業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)進(jìn)行了集中，還缺乏統(tǒng)一的規(guī)劃，因此還需要對(duì)共享庫進(jìn)行重新規(guī)劃設(shè)計(jì)，同時(shí)也需要對(duì)共享協(xié)同平臺(tái)和外部交換庫進(jìn)行規(guī)劃設(shè)計(jì)。總體規(guī)劃設(shè)計(jì)完成后，即可開始構(gòu)建數(shù)據(jù)共享中心和業(yè)務(wù)協(xié)同平臺(tái)，其中數(shù)據(jù)共享中心構(gòu)建完成后，就可以逐步將各系統(tǒng)間原來基于視圖和物化視圖的數(shù)據(jù)共享訪問調(diào)整為基于數(shù)據(jù)共享中心的訪問模式。共享庫規(guī)劃生

31、成主數(shù)據(jù)管理，可以考慮Oracle Data Integrator產(chǎn)品，實(shí)現(xiàn)數(shù)據(jù)ETL的工作。2、主數(shù)據(jù)共享分發(fā)流程設(shè)計(jì)主數(shù)據(jù)創(chuàng)建生成后，就是對(duì)主數(shù)據(jù)進(jìn)行有效管理和利用。同其他系統(tǒng)進(jìn)行可以進(jìn)行實(shí)時(shí)或半實(shí)時(shí)的同步從多個(gè)源系統(tǒng)建立統(tǒng)一、完整的記錄，再將主數(shù)據(jù)信息同步到其他系統(tǒng)中。通過內(nèi)嵌的集成服務(wù)同其他系統(tǒng)進(jìn)行集成，例如豐富的公共API和業(yè)務(wù)事件。通過不斷的數(shù)據(jù)清理和轉(zhuǎn)換規(guī)則來確保同步數(shù)據(jù)的質(zhì)量。主數(shù)據(jù)管理功能設(shè)計(jì)主數(shù)據(jù)的管理功能基本與內(nèi)部交換數(shù)據(jù)、外部交換數(shù)據(jù)相似。2.1.3 交換數(shù)據(jù)方案設(shè)計(jì)內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)在數(shù)據(jù)交換上的業(yè)務(wù)功能和邏輯，以及技術(shù)實(shí)現(xiàn)都是相似的，可以采用相同的數(shù)據(jù)交換方案框架。

32、數(shù)據(jù)交換方案框架涵蓋了數(shù)據(jù)交換，質(zhì)量清洗，數(shù)據(jù)管控和數(shù)據(jù)使用，解決了如何在核心數(shù)據(jù)上實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)，維護(hù)和使用的問題。 數(shù)據(jù)集成：數(shù)據(jù)集成就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至數(shù)據(jù)共享中心。數(shù)據(jù)集成需要對(duì)南方電網(wǎng)內(nèi)部系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)集成。對(duì)于不同的數(shù)據(jù)集成場景，有不同的數(shù)據(jù)集成實(shí)現(xiàn)模式，比如有基于Oracle ODI的“拉”數(shù)據(jù)集成模式和基于ESB總線的“推”數(shù)據(jù)集成模式等。 質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理的側(cè)重點(diǎn)也有所不同。數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)準(zhǔn)確性，延伸至保障數(shù)據(jù)的完整性、唯一性、合法性、一致性、及時(shí)性等屬性；從單純以

33、技術(shù)角度考慮數(shù)據(jù)質(zhì)量問題，發(fā)展至從用戶視角衡量數(shù)據(jù)質(zhì)量問題，提高用戶對(duì)數(shù)據(jù)的滿意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、報(bào)告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。圖：數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)管控：數(shù)據(jù)管控不是純粹的技術(shù)問題，而是由技術(shù)、人、信息和流程4個(gè)方面共同影響的綜合管理問題。數(shù)據(jù)管控的演進(jìn)思路劃分為4個(gè)步驟：提出管理需求、制定管理流程框架、細(xì)化具體管理流程、與組織機(jī)構(gòu)具體角色進(jìn)行對(duì)應(yīng)。 數(shù)據(jù)使用：存在于數(shù)據(jù)共享中心中的數(shù)據(jù)主要有兩大方面的使用，一是封裝成數(shù)據(jù)服務(wù)，并集成于業(yè)務(wù)協(xié)同平臺(tái)（服務(wù)總線平臺(tái)）進(jìn)行數(shù)據(jù)服務(wù)共享，南方電網(wǎng)信息內(nèi)部系

34、統(tǒng)和其他外部系統(tǒng)統(tǒng)一通過業(yè)務(wù)協(xié)同平臺(tái)獲取所需業(yè)務(wù)數(shù)據(jù)；二是基于數(shù)據(jù)共享中心的集成化數(shù)據(jù)進(jìn)行綜合查詢分析的應(yīng)用，查詢分析統(tǒng)計(jì)功能不再基于核心業(yè)務(wù)數(shù)據(jù)庫，避免造成對(duì)核心業(yè)務(wù)系統(tǒng)的性能影響。圖：數(shù)據(jù)服務(wù)共享2.1.4 數(shù)據(jù)交換系統(tǒng)功能設(shè)計(jì)基于內(nèi)部數(shù)據(jù)交換方案框架，并結(jié)合南方電網(wǎng)數(shù)據(jù)共享協(xié)同平臺(tái)總體功能需求分析的基礎(chǔ)上，梳理出南方電網(wǎng)共享中心的總體功能組織結(jié)構(gòu)如下圖所示：以下將分別對(duì)數(shù)據(jù)共享中心數(shù)據(jù)集成域、數(shù)據(jù)管控域、質(zhì)量檢測域和數(shù)據(jù)使用域的功能規(guī)劃進(jìn)行詳細(xì)介紹：數(shù)據(jù)集成數(shù)據(jù)集成引擎（Data Integration Engine）面向應(yīng)用系統(tǒng)，在各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取數(shù)據(jù)，是一個(gè)跨平臺(tái)的用于整合

35、異構(gòu)系統(tǒng)數(shù)據(jù)的ETL工具，在數(shù)據(jù)共享中心中，數(shù)據(jù)集成引擎實(shí)現(xiàn)了從各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取用于整合共享的數(shù)據(jù)，經(jīng)過質(zhì)量檢查后，按新的數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，正確無誤后加載到目標(biāo)數(shù)據(jù)共享中心中。下面對(duì)數(shù)據(jù)集成引擎中的各個(gè)部分的功能進(jìn)行詳細(xì)介紹。元數(shù)據(jù)模型為了可以自動(dòng)完數(shù)據(jù)提取、質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換清洗和數(shù)據(jù)加載這個(gè)數(shù)據(jù)整合過程，數(shù)據(jù)集成引擎需要知道源數(shù)據(jù)、目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的轉(zhuǎn)換及清洗規(guī)則，還有源數(shù)據(jù)的質(zhì)量檢查規(guī)則等數(shù)據(jù)，這些用于描述數(shù)據(jù)本身的數(shù)據(jù)被稱為數(shù)據(jù)集成的元數(shù)據(jù)，而元數(shù)據(jù)模型是元數(shù)據(jù)的一個(gè)實(shí)例集合，描述了具體的數(shù)據(jù)結(jié)構(gòu)和規(guī)則，在數(shù)據(jù)進(jìn)行集成前，必須先定義好元數(shù)據(jù)模

36、型。具體的元數(shù)據(jù)包括：1)數(shù)據(jù)源定義2)目標(biāo)庫定義3)數(shù)據(jù)物理模型4)數(shù)據(jù)檢查規(guī)則5)數(shù)據(jù)轉(zhuǎn)換規(guī)則6)數(shù)據(jù)清洗規(guī)則批量數(shù)據(jù)提取批量數(shù)據(jù)提?。˙ulk Data Extract）從數(shù)據(jù)源定時(shí)批量提取數(shù)據(jù)進(jìn)行整合，是數(shù)據(jù)集成引擎的前端功能，與元數(shù)據(jù)模型中定義的各個(gè)數(shù)據(jù)源進(jìn)行連接，獲取需要整合的數(shù)據(jù)，然后存儲(chǔ)到中間數(shù)據(jù)庫（Staging Database）進(jìn)行后續(xù)的質(zhì)量檢查、清洗和轉(zhuǎn)換處理。批量數(shù)據(jù)提取因?yàn)樘崛〉臄?shù)據(jù)量較多，對(duì)于性能的影響也較大，一般用于非實(shí)時(shí)的數(shù)據(jù)整合，適用于時(shí)效性要求不高并且不希望過多影響源系統(tǒng)數(shù)據(jù)處理性能的情況。對(duì)于關(guān)系型數(shù)據(jù)庫的批量數(shù)據(jù)提取可以使用兩種接口方式來進(jìn)實(shí)現(xiàn)：1)O

37、RACLE DB LINK：這種方式適用于目標(biāo)數(shù)據(jù)庫和數(shù)據(jù)源數(shù)據(jù)庫都是Oracle的情況，直接在目標(biāo)數(shù)據(jù)庫建立源數(shù)據(jù)庫的DB LINK，通過DB LINK就可以像在一個(gè)數(shù)據(jù)庫一樣通過SQL直接提取數(shù)據(jù)源的數(shù)據(jù)。2)JDBC Data Source：這種方式適合源數(shù)據(jù)庫是非Oracle并且支持JDBC協(xié)議的數(shù)據(jù)庫，目前大部分主流數(shù)據(jù)庫都支持JDBC協(xié)議，在JDBC協(xié)議上建立Data Source，通過JDBC在源數(shù)據(jù)庫上執(zhí)行SQL進(jìn)行數(shù)據(jù)提取。使用批量數(shù)據(jù)提取的方式來提取數(shù)據(jù)可以用于首次初始化加載全量數(shù)據(jù)，也可在首次加載數(shù)據(jù)后通過兩種方式實(shí)現(xiàn)非實(shí)時(shí)的增量更新，這兩種方式分別是：1)基于時(shí)間戳的增

38、量更新這種方式提取數(shù)據(jù)速度較快，源數(shù)據(jù)庫通過物理表或者試圖的方式暴露數(shù)據(jù)，但要求數(shù)據(jù)源的表或者視圖必須有時(shí)間戳的字段并且不能對(duì)數(shù)據(jù)記錄進(jìn)行物理刪除。2)基于主鍵比對(duì)的增量更新這種方式需要每次都提取全部數(shù)據(jù)，然后在目標(biāo)數(shù)據(jù)庫上按主鍵標(biāo)識(shí)對(duì)所有數(shù)據(jù)進(jìn)行全量比對(duì)來識(shí)別增量更新的數(shù)據(jù)記錄，效率低，數(shù)據(jù)源的壓力較大，只適合小數(shù)據(jù)量的提取，基于主鍵比對(duì)的更新對(duì)源數(shù)據(jù)的表或者視圖無特殊要求。變化數(shù)據(jù)捕獲和批量數(shù)據(jù)提取一樣，變化數(shù)據(jù)捕獲（Change Data Capture）同樣是數(shù)據(jù)集成引擎的前端功能，和數(shù)據(jù)源進(jìn)行隊(duì)列；但顧名思義，變化數(shù)據(jù)捕獲只提供增量數(shù)據(jù)提取的功能，通過對(duì)源數(shù)據(jù)庫上變更數(shù)據(jù)的捕獲，數(shù)據(jù)

39、集成引擎可以實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步，此方式適用于整合有較高時(shí)效性要求的數(shù)據(jù)。變化數(shù)據(jù)捕獲提供多種技術(shù)實(shí)現(xiàn)方式，包括數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志采集器、基于消息隊(duì)列的變更數(shù)據(jù)訂閱和基于Web Service的數(shù)據(jù)變化通知，下面對(duì)幾種方式進(jìn)行描述：集成數(shù)據(jù)引擎主動(dòng)捕獲數(shù)據(jù)變化的方式：1) 數(shù)據(jù)庫觸發(fā)器（Database Triggers）：通過在源數(shù)據(jù)表上創(chuàng)建觸發(fā)器來獲取變化的數(shù)據(jù)，此方式實(shí)時(shí)性高，但需要對(duì)源數(shù)據(jù)庫進(jìn)行改動(dòng)，對(duì)高負(fù)載應(yīng)用的性能有一定的影響，此方式支持主流的關(guān)系數(shù)據(jù)庫。2) 數(shù)據(jù)庫日志采集器（Log Miner）：通過對(duì)源數(shù)據(jù)庫日志文件進(jìn)行分析，實(shí)時(shí)捕獲數(shù)據(jù)庫數(shù)據(jù)的變化情況，此方式速度

40、較快，對(duì)源系統(tǒng)不會(huì)造成太大的壓力，但需要數(shù)據(jù)庫本身的功能進(jìn)行實(shí)現(xiàn)，目前只支持Oracle和DB2兩種數(shù)據(jù)庫類型。上面兩種方式是數(shù)據(jù)集成引擎主動(dòng)捕獲變化數(shù)據(jù)，而下面的兩種方式則是數(shù)據(jù)集成引擎被動(dòng)接收源系統(tǒng)的通知：1) 變更數(shù)據(jù)訂閱(Change Data Subscriber)：通過消息隊(duì)列技術(shù)，變化數(shù)據(jù)捕獲功能在數(shù)據(jù)源應(yīng)用提供的基于JMS標(biāo)準(zhǔn)的消息隊(duì)列上訂閱數(shù)據(jù)的變化消息，通過監(jiān)聽數(shù)據(jù)變更隊(duì)列，實(shí)時(shí)獲得數(shù)據(jù)源應(yīng)用放到隊(duì)列中的數(shù)據(jù)變化消息，此方式的提取速度快，并且JMS消息隊(duì)列提供了消息傳輸?shù)母呖煽啃?，但?shí)時(shí)性取決于數(shù)據(jù)源應(yīng)用，并且數(shù)據(jù)源應(yīng)用需要開發(fā)相應(yīng)的功能來實(shí)現(xiàn)。2) 數(shù)據(jù)變化通知(Data

41、 Change Notification)：和變更數(shù)據(jù)訂閱相同的原理，數(shù)據(jù)變化通知技術(shù)是通過暴露數(shù)據(jù)變化通知的Web Service接口給數(shù)據(jù)源應(yīng)用，當(dāng)數(shù)據(jù)的變化被數(shù)據(jù)源應(yīng)用捕獲后，數(shù)據(jù)源應(yīng)用調(diào)用通知接口把變化的數(shù)據(jù)傳遞給數(shù)據(jù)變化捕獲功能，此方式提取速度快，并且可通過ESB統(tǒng)一暴露服務(wù)接口，消息傳輸可靠性也可以通過ESB的獲得支持（需要ESB的實(shí)現(xiàn)支持此功能），但實(shí)時(shí)性同樣取決于數(shù)據(jù)源應(yīng)用，需要數(shù)據(jù)源應(yīng)用做相應(yīng)的開發(fā)。對(duì)比主動(dòng)和被動(dòng)捕獲的幾種實(shí)現(xiàn)，主動(dòng)捕獲技術(shù)更適用于數(shù)據(jù)源是關(guān)系數(shù)據(jù)庫并且數(shù)據(jù)變化不需要進(jìn)行邏輯處理的情況；而當(dāng)數(shù)據(jù)源不是關(guān)系數(shù)據(jù)庫又或者數(shù)據(jù)的變化后需要進(jìn)行邏輯處理，不能直接通過

42、數(shù)據(jù)庫觸發(fā)器或者日志分析進(jìn)行判斷數(shù)據(jù)是否發(fā)生變化的情況下，則需要改造數(shù)據(jù)源，使用被動(dòng)捕獲技術(shù)來實(shí)現(xiàn)。在數(shù)據(jù)共享中心中，為減少對(duì)數(shù)據(jù)源的影響和改造，建議主要通過數(shù)據(jù)庫觸發(fā)器和數(shù)據(jù)庫日志采集這兩種方式來實(shí)現(xiàn)實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)提取。數(shù)據(jù)質(zhì)量檢查在數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查（Data Quality Check）功能是數(shù)據(jù)質(zhì)量的第一道防火墻，在數(shù)據(jù)的來源入口根據(jù)元數(shù)據(jù)模型中設(shè)定的數(shù)據(jù)檢查規(guī)則對(duì)從數(shù)據(jù)源中提取的最原始數(shù)據(jù)進(jìn)行規(guī)則驗(yàn)證，當(dāng)某條數(shù)據(jù)記錄不符合檢查規(guī)則，會(huì)被數(shù)據(jù)質(zhì)量檢查工具自動(dòng)標(biāo)記為問題數(shù)據(jù)，同時(shí)在質(zhì)量問題表中對(duì)引起質(zhì)量問題的原因和出現(xiàn)問題的數(shù)據(jù)記錄進(jìn)行記錄。數(shù)據(jù)質(zhì)量檢查功能實(shí)現(xiàn)的檢查規(guī)則類型

43、可分為數(shù)據(jù)約束檢查和業(yè)務(wù)規(guī)則檢查，具體如下：（一）數(shù)據(jù)約束檢查：基本數(shù)據(jù)約束，如：人員名稱不能為空唯一性約束，如：人員身份證號(hào)碼不能相同有效引用約束等（二）業(yè)務(wù)規(guī)則檢查數(shù)據(jù)約束檢查可通過關(guān)系數(shù)據(jù)庫約束實(shí)現(xiàn)，而業(yè)務(wù)規(guī)則檢查需要執(zhí)行SQL查詢分析才能完成，而由于數(shù)據(jù)質(zhì)量檢查功能是在數(shù)據(jù)整合的過程中執(zhí)行，只能做到事前控制，并且是使用關(guān)系數(shù)據(jù)庫提供的功能進(jìn)行檢查，復(fù)雜的數(shù)據(jù)質(zhì)量問題檢測或者要在多個(gè)數(shù)據(jù)源的數(shù)據(jù)集成后（事后控制）才能進(jìn)行檢查的問題則需要在數(shù)據(jù)質(zhì)量服務(wù)器中的質(zhì)量檢測服務(wù)中執(zhí)行或檢測。數(shù)據(jù)轉(zhuǎn)換清洗數(shù)據(jù)集成引擎把各個(gè)數(shù)據(jù)源的數(shù)據(jù)提取后進(jìn)行了集中存儲(chǔ)共享，并建立唯一的數(shù)據(jù)標(biāo)準(zhǔn)，使用一致的方式向應(yīng)

44、用提供數(shù)據(jù)；實(shí)際情況中，集中存儲(chǔ)和共享的數(shù)據(jù)數(shù)據(jù)模型和數(shù)據(jù)源的模型大部分情況下都不會(huì)完全一致，這就需要在數(shù)據(jù)源的數(shù)據(jù)進(jìn)入到目標(biāo)數(shù)據(jù)庫前進(jìn)行轉(zhuǎn)換或被清除掉不需要和無效的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換清洗功能根據(jù)元數(shù)據(jù)模型中定義的轉(zhuǎn)換和清洗規(guī)則進(jìn)行數(shù)據(jù)自動(dòng)轉(zhuǎn)換清洗。目標(biāo)數(shù)據(jù)加載目標(biāo)數(shù)據(jù)加載（Target Data Loading）把經(jīng)過了質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換與清洗后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中進(jìn)行存儲(chǔ)。目標(biāo)數(shù)據(jù)存儲(chǔ)可以是標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫或者數(shù)據(jù)文件（如XML、Excel等），在此方案建議書中使用Oracle關(guān)系數(shù)據(jù)庫作為數(shù)據(jù)集成的目標(biāo)數(shù)據(jù)存儲(chǔ)庫。質(zhì)量檢測數(shù)據(jù)質(zhì)量檢測是數(shù)據(jù)共享中心數(shù)據(jù)質(zhì)量控制的核心，負(fù)責(zé)數(shù)據(jù)質(zhì)量問題的

45、檢測與收集，當(dāng)檢測到質(zhì)量問題時(shí)，產(chǎn)生相應(yīng)的事件并進(jìn)行事件記錄與通知，讓用戶可以快速和直觀的了解到數(shù)據(jù)產(chǎn)生了質(zhì)量問題并進(jìn)行及時(shí)處理；對(duì)于系統(tǒng)可以按規(guī)則設(shè)定進(jìn)行自動(dòng)修正的質(zhì)量問題，數(shù)據(jù)質(zhì)量管理內(nèi)置的自動(dòng)數(shù)據(jù)修正（Auto Data Correct）功能將自動(dòng)修正并記錄修正日志。上圖中的質(zhì)量檢測服務(wù)提供數(shù)據(jù)質(zhì)量問題的自動(dòng)檢測功能，通過調(diào)用數(shù)據(jù)質(zhì)量規(guī)則引擎執(zhí)行預(yù)設(shè)的規(guī)則或者通過定制開發(fā)的檢測代碼，定時(shí)掃描檢測目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)，當(dāng)發(fā)現(xiàn)問題后如果可以進(jìn)行自動(dòng)修正則調(diào)用自動(dòng)數(shù)據(jù)修正功能進(jìn)行修正，否則直接通知質(zhì)量監(jiān)控引擎，告知產(chǎn)生一個(gè)質(zhì)量問題事件。數(shù)據(jù)質(zhì)量規(guī)則引擎是自動(dòng)質(zhì)量檢測和自動(dòng)數(shù)據(jù)修正的基礎(chǔ)運(yùn)行引擎，

46、可支持通過規(guī)則來設(shè)定與實(shí)現(xiàn)簡單問題的檢測和數(shù)據(jù)修正。質(zhì)量監(jiān)控引擎除了收集質(zhì)量檢測服務(wù)產(chǎn)生的質(zhì)量事件，同時(shí)也會(huì)監(jiān)控其他模塊檢測到的質(zhì)量問題記錄（如數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查）并轉(zhuǎn)化為統(tǒng)一的質(zhì)量事件，通過分析后，設(shè)定事件的等級(jí)、處理人等信息，然后進(jìn)行事件處理（記錄和告警）下面對(duì)幾部分的功能進(jìn)行詳細(xì)描述。質(zhì)量監(jiān)控引擎質(zhì)量監(jiān)控引擎不負(fù)責(zé)具體的質(zhì)量問題檢測，而是對(duì)分布在各個(gè)環(huán)節(jié)中被檢測出來的問題進(jìn)行統(tǒng)一收集，經(jīng)過分析處理，封裝為統(tǒng)一的質(zhì)量事件，并對(duì)事件進(jìn)行處理。（1）質(zhì)量事件收集在整個(gè)數(shù)據(jù)共享中心中有兩個(gè)環(huán)節(jié)會(huì)產(chǎn)生質(zhì)量問題，一個(gè)是數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查功能，該功能會(huì)在檢測到質(zhì)量問題后把問題描述保

47、存在數(shù)據(jù)庫中的錯(cuò)誤表中；另外一個(gè)事下面提到的同樣是在數(shù)據(jù)質(zhì)量服務(wù)器中內(nèi)置的功能“質(zhì)量檢測服務(wù)”，該功能根據(jù)質(zhì)量規(guī)則引擎的規(guī)則定期執(zhí)行質(zhì)量檢測，發(fā)現(xiàn)問題后也會(huì)把問題描述存放在質(zhì)量問題表中。事件收集提供主動(dòng)監(jiān)測和被動(dòng)監(jiān)聽兩種模式來收集質(zhì)量問題并產(chǎn)生質(zhì)量事件。對(duì)于數(shù)據(jù)集成引擎中的質(zhì)量問題，事件收集功能使用主動(dòng)監(jiān)測模式，準(zhǔn)實(shí)時(shí)的掃描數(shù)據(jù)庫中的錯(cuò)誤表，一旦發(fā)現(xiàn)新的錯(cuò)誤產(chǎn)生，馬上捕獲并進(jìn)行處理。對(duì)于數(shù)據(jù)質(zhì)量服務(wù)器中的質(zhì)量檢測服務(wù)，事件收集功能使用被動(dòng)監(jiān)聽模式，接受質(zhì)量檢測服務(wù)報(bào)告的質(zhì)量問題，一旦收到信的通知，馬上進(jìn)行處理。除了內(nèi)置的兩種問題收集的實(shí)現(xiàn)，質(zhì)量監(jiān)控引擎的時(shí)間收集模型還提供了可擴(kuò)展的主動(dòng)監(jiān)測開發(fā)

48、接口和面向其他模塊或者應(yīng)用的監(jiān)聽接口，主動(dòng)監(jiān)測使用API的方式進(jìn)行擴(kuò)展開發(fā)，而監(jiān)聽接口通過準(zhǔn)實(shí)時(shí)掃描標(biāo)準(zhǔn)的質(zhì)量事件隊(duì)列表的方式實(shí)現(xiàn)，其他模塊或者外部應(yīng)用如果需要向數(shù)據(jù)質(zhì)量服務(wù)器報(bào)告質(zhì)量事件，直接通過數(shù)據(jù)庫訪問接口在質(zhì)量事件監(jiān)聽表插入記錄即可。（2）質(zhì)量事件分析事件一旦被收集馬上被創(chuàng)建并轉(zhuǎn)到事件分析模塊中進(jìn)行分析，事件分析模塊根據(jù)事件關(guān)聯(lián)的數(shù)據(jù)實(shí)體找到該數(shù)據(jù)實(shí)體的質(zhì)量元數(shù)據(jù)，分析出事件的嚴(yán)重等級(jí)、事件的處理人、事件的處理動(dòng)作（EMAIL或短信通知等）和處理流程等信息，補(bǔ)充完成事件的詳細(xì)屬性信息并封裝為完整的事件消息轉(zhuǎn)交給事件處理模塊進(jìn)行處理。系統(tǒng)內(nèi)置一條默認(rèn)規(guī)則，如果質(zhì)量問題是可以被系統(tǒng)自動(dòng)修正

49、并且已經(jīng)被質(zhì)量服務(wù)器中的自動(dòng)修正功能進(jìn)行修正，那么該事件不需要后續(xù)的處理，只產(chǎn)生信息基本的事件記錄。其他規(guī)則需要用戶在數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)管控模塊的質(zhì)量管理功能中進(jìn)行設(shè)置。（3）質(zhì)量事件處理事件處理模塊完成提供兩個(gè)功能，一個(gè)是往數(shù)據(jù)管理系統(tǒng)中的質(zhì)量事件通知表中保存事件的詳細(xì)記錄；另外一個(gè)是根據(jù)事件分析模塊中獲取到的事件處理動(dòng)作信息執(zhí)行事件處理動(dòng)作。此方案建議實(shí)現(xiàn)以下三種類型的事件處理動(dòng)作：1.發(fā)送郵件2.發(fā)送短信3.發(fā)送代辦質(zhì)量規(guī)則引擎質(zhì)量規(guī)則引擎（Quality Rule Engine）中的質(zhì)量規(guī)則分為問題檢測規(guī)則和數(shù)據(jù)修正規(guī)則，規(guī)則引擎能根據(jù)配置的規(guī)則或簡單的編碼就可進(jìn)行自動(dòng)問題檢測和自動(dòng)數(shù)

50、據(jù)修正，而無須全部重新開發(fā)。對(duì)單條數(shù)據(jù)的基本約束規(guī)則檢查，如屬性是否為空，某字段是否符合范圍等都在數(shù)據(jù)集成引擎中的數(shù)據(jù)質(zhì)量檢查功能完成，質(zhì)量規(guī)則引擎執(zhí)行的是事后檢查，也就是數(shù)據(jù)已經(jīng)經(jīng)過基本檢查并抽取到目標(biāo)庫后，規(guī)則引擎才通過質(zhì)量檢測服務(wù)的定期調(diào)度，對(duì)數(shù)據(jù)執(zhí)行問題分析。在本次建設(shè)范圍內(nèi)，質(zhì)量規(guī)則引擎會(huì)內(nèi)置實(shí)現(xiàn)一些通過配置即可完成質(zhì)量檢查的規(guī)則實(shí)現(xiàn)；同時(shí)提供可擴(kuò)展的開發(fā)模型，使得復(fù)雜的業(yè)務(wù)規(guī)則可以通過擴(kuò)展開發(fā)來完成檢測和數(shù)據(jù)修正，具體提供的功能如下：（1）內(nèi)置實(shí)現(xiàn)規(guī)則內(nèi)置實(shí)現(xiàn)規(guī)則按使用和數(shù)據(jù)檢測修正邏輯的復(fù)雜度分為基本規(guī)則和高級(jí)規(guī)則，基本規(guī)則面向普通用戶，使用上較為具體，如重復(fù)數(shù)據(jù)記錄識(shí)別規(guī)則，參

51、數(shù)的配置也較為簡單，高級(jí)規(guī)則面向?qū)I(yè)用戶或者維護(hù)人員，較為抽象，如下面提到的自定義公式規(guī)則，提供了強(qiáng)大和靈活的自定義質(zhì)量檢測與數(shù)據(jù)修正功能，相對(duì)基本規(guī)則來說，使用上也較為專業(yè)，下面分別對(duì)基本規(guī)則和高級(jí)規(guī)則支持的功能進(jìn)行介紹：l 基本規(guī)則n 檢測規(guī)則編號(hào)規(guī)則名稱規(guī)則說明1重復(fù)數(shù)據(jù)記錄識(shí)別規(guī)則根據(jù)配置的數(shù)據(jù)實(shí)體屬性（可配置多個(gè)）的值完全相同來判斷數(shù)據(jù)是否重復(fù)2數(shù)值內(nèi)容匹配檢查規(guī)則如果數(shù)據(jù)的某些字段等于、大于、小于或者包含指定的內(nèi)容，那么認(rèn)為該記錄存在質(zhì)量問題3n 修正規(guī)則編號(hào)規(guī)則名稱規(guī)則說明1更改數(shù)據(jù)字段的值為固定內(nèi)容可修改數(shù)據(jù)記錄中的一個(gè)或多個(gè)字段的數(shù)值為指定的內(nèi)容2執(zhí)行刪除對(duì)數(shù)據(jù)記錄進(jìn)行硬刪除

52、或者軟刪除3l 高級(jí)規(guī)則質(zhì)量規(guī)則引擎內(nèi)置實(shí)現(xiàn)了基于元數(shù)據(jù)的自定義公式質(zhì)量規(guī)則，用戶或者開發(fā)人員通過表達(dá)式編輯工具或者手工編寫表達(dá)式的方式可實(shí)現(xiàn)常規(guī)的質(zhì)量自動(dòng)檢測和自動(dòng)數(shù)據(jù)修正功能。自定義公式質(zhì)量規(guī)則分為設(shè)計(jì)時(shí)(Design Time)和運(yùn)行時(shí)(Runtime)功能，設(shè)計(jì)時(shí)面向最終用戶或者維護(hù)人員，提供統(tǒng)一的規(guī)則配置模型，而運(yùn)行時(shí)則根據(jù)執(zhí)行環(huán)境分為數(shù)據(jù)庫運(yùn)行時(shí)和應(yīng)用運(yùn)行時(shí)。自定義公式規(guī)則的規(guī)則配置模型按數(shù)據(jù)檢測和數(shù)據(jù)修正的用途而分為條件表達(dá)式配置和計(jì)算表達(dá)式配置，條件表達(dá)式用于判斷數(shù)據(jù)是否符合設(shè)定的條件（檢測），而計(jì)算表達(dá)式用于設(shè)定數(shù)據(jù)的數(shù)值如何計(jì)算（修正）；統(tǒng)一的規(guī)則配置是指表達(dá)式是基于標(biāo)準(zhǔn)的

53、數(shù)學(xué)公式來進(jìn)行設(shè)定和展現(xiàn)。自定義公式質(zhì)量規(guī)則運(yùn)行時(shí)指公式規(guī)則的運(yùn)行是在什么環(huán)境中執(zhí)行，由于數(shù)據(jù)共享中心的數(shù)據(jù)都存放在數(shù)據(jù)庫中，所以自定義公式質(zhì)量規(guī)則運(yùn)行時(shí)內(nèi)置支持在數(shù)據(jù)庫中運(yùn)行，數(shù)據(jù)庫運(yùn)行時(shí)負(fù)責(zé)把統(tǒng)一的數(shù)據(jù)公式翻譯為數(shù)據(jù)庫可執(zhí)行的SQL語句，然后在數(shù)據(jù)庫中執(zhí)行。（2）擴(kuò)展開發(fā)支持質(zhì)量規(guī)則引擎設(shè)計(jì)上是基于接口的設(shè)計(jì)和開發(fā)，其核心的功能不實(shí)現(xiàn)任何檢測和修正規(guī)則，只完成對(duì)外調(diào)用接口的實(shí)現(xiàn)（如給質(zhì)量檢測服務(wù)和自動(dòng)數(shù)據(jù)修正功能進(jìn)行調(diào)用），當(dāng)出現(xiàn)內(nèi)置規(guī)則不能支持的復(fù)雜檢測或者修正規(guī)則時(shí)，可重新擴(kuò)展開發(fā)新的規(guī)則，基本規(guī)則或高級(jí)規(guī)則都可進(jìn)行擴(kuò)展，實(shí)現(xiàn)上沒有區(qū)別。通過擴(kuò)展開發(fā)支持，即使將來引入了第三方的強(qiáng)大的規(guī)

54、則引擎，也可以在數(shù)據(jù)共享中心中實(shí)現(xiàn)的質(zhì)量管理模型上進(jìn)行統(tǒng)一調(diào)度、檢測和管理。質(zhì)量檢測服務(wù)質(zhì)量檢測服務(wù)是一個(gè)調(diào)度程序，按照系統(tǒng)設(shè)定的時(shí)間周期定期對(duì)各個(gè)業(yè)務(wù)實(shí)體的數(shù)據(jù)記錄執(zhí)行檢測規(guī)則并捕獲檢測規(guī)則返回的結(jié)果，判斷是否存在符合檢測規(guī)則的質(zhì)量問題，如果發(fā)現(xiàn)出現(xiàn)問題，再判斷該質(zhì)量檢測規(guī)則是否關(guān)聯(lián)了自動(dòng)修正規(guī)則，如果是，那么調(diào)用自動(dòng)數(shù)據(jù)修正功能并傳入修正規(guī)則和問題數(shù)據(jù)信息對(duì)問題進(jìn)行自動(dòng)修正。每次調(diào)用執(zhí)行完成后，質(zhì)量檢測服務(wù)把執(zhí)行的結(jié)果，是否出現(xiàn)問題，問題原因，執(zhí)行時(shí)間，是否進(jìn)行修正，修正動(dòng)作等信息保存在質(zhì)量檢測問題表中進(jìn)行日志記錄。自動(dòng)數(shù)據(jù)修正自動(dòng)數(shù)據(jù)修正功能是一個(gè)控制程序，由質(zhì)量檢測服務(wù)進(jìn)行調(diào)用，其功能

55、是調(diào)用質(zhì)量規(guī)則引擎執(zhí)行自動(dòng)修正規(guī)則，傳入規(guī)則執(zhí)行所需的參數(shù)數(shù)據(jù)，執(zhí)行完成后把結(jié)果返回給質(zhì)量檢測服務(wù)進(jìn)行后續(xù)處理。數(shù)據(jù)管控?cái)?shù)據(jù)管控是指對(duì)一個(gè)企業(yè)數(shù)據(jù)的可用性、實(shí)用性、完整性和安全性等的全面管理。一個(gè)有效的數(shù)據(jù)管控包括一個(gè)管控主體、定義好的一組程序和一個(gè)執(zhí)行這組程序的計(jì)劃。簡要的說，數(shù)據(jù)管控的定義可以理解成對(duì)所有信息相關(guān)過程進(jìn)行決策和管理。數(shù)據(jù)管控功能主要包括元數(shù)據(jù)管理、質(zhì)量管理、數(shù)據(jù)管理和統(tǒng)計(jì)分析。元數(shù)據(jù)管理（1）元數(shù)據(jù)維護(hù)元數(shù)據(jù)維護(hù)提供對(duì)元數(shù)據(jù)的增加、刪除、修改等基本操作。另外，還應(yīng)支持實(shí)體和實(shí)體關(guān)系的建模、數(shù)據(jù)處理過程描述等功能。對(duì)于元數(shù)據(jù)的增量維護(hù)，要求能保留歷史版本信息。在實(shí)施元數(shù)據(jù)維護(hù)操作的過程中，需要對(duì)這部分操作的過程進(jìn)行一定的約束和限制。元數(shù)據(jù)定義為如下的四種狀態(tài)：審核狀態(tài) 對(duì)于需要進(jìn)行維護(hù)的元數(shù)據(jù)，首先進(jìn)入審核狀態(tài)，等待審核人員的核查，確定該元數(shù)據(jù)是否需要進(jìn)行修改；公示狀態(tài) 審核通過后，進(jìn)入公示狀態(tài)，即處于對(duì)元數(shù)據(jù)定義征求意見的狀態(tài)，尚未最后定稿，公示狀態(tài)有一定的期限要求；發(fā)布狀態(tài) 公示狀態(tài)到期后，根據(jù)在公示狀態(tài)期間回饋的意見，給出元數(shù)據(jù)維護(hù)的準(zhǔn)確方案，進(jìn)入發(fā)布狀態(tài)；維護(hù)狀態(tài) 發(fā)布狀態(tài)結(jié)束后，相關(guān)元數(shù)據(jù)進(jìn)入維護(hù)狀態(tài)，對(duì)相關(guān)元數(shù)據(jù)的維護(hù)需要保留其歷史版本信息。（2）實(shí)體查詢實(shí)體查詢指對(duì)元數(shù)據(jù)庫中的數(shù)據(jù)實(shí)體基本信息進(jìn)行查詢的功能，通過該功能可以查詢數(shù)據(jù)庫表、維