達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)產(chǎn)品白皮書

1、達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)高效全面的數(shù)據(jù)集成平臺(tái)產(chǎn)品白皮書達(dá)夢(mèng)數(shù)據(jù)庫有限公司2013年3月本文檔含有達(dá)夢(mèng)數(shù)據(jù)庫公司的保密的技術(shù)和商業(yè)信息未經(jīng)達(dá)夢(mèng)數(shù)據(jù)庫公司的書面同意，不得進(jìn)行拷貝、復(fù)印或者以其它任何形式向第三方散發(fā)。我們盡力保證本文檔中信息的準(zhǔn)確和完整，但是仍然可能出現(xiàn)技術(shù)或者文字描述的錯(cuò)誤，如果因使用本文檔造成的損失，達(dá)夢(mèng)概不負(fù)責(zé)。本文檔中包含的信息可能會(huì)隨時(shí)更改，恕不另行通知。本文檔發(fā)布于2013年3月緒論近幾十年來，信息化的推進(jìn)和計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，使得人類社會(huì)所積累的數(shù)據(jù)量已經(jīng)超過了過去5000年的總和,數(shù)據(jù)的采集、存儲(chǔ)、處理和傳播的數(shù)量也與日俱增。然而，這些為不同應(yīng)用服務(wù)的數(shù)據(jù)都存儲(chǔ)在許多不

2、同的數(shù)據(jù)源之中。為更有效地利用這些信息，實(shí)現(xiàn)企業(yè)或社會(huì)組織數(shù)據(jù)共享與交換，減少數(shù)據(jù)采集的重復(fù)勞動(dòng)和相應(yīng)費(fèi)用，需要從多個(gè)分布、異構(gòu)和自治的數(shù)據(jù)源中集成數(shù)據(jù)，同時(shí)還需要保持?jǐn)?shù)據(jù)在不同系統(tǒng)上的完整性和一致性。因此，如何對(duì)數(shù)據(jù)進(jìn)行有效的集成已成為增強(qiáng)企業(yè)商業(yè)競爭力的必然選擇，尤其是對(duì)于那些擁有多部門多數(shù)據(jù)源的大型企業(yè)或者組織來說，每一個(gè)部門都擁有自己的數(shù)據(jù)庫，這些數(shù)據(jù)庫可能是獨(dú)立、異構(gòu)且自治的，為了各部門間更好的合作和數(shù)據(jù)共享，建立一個(gè)完善的數(shù)據(jù)交換和集成系統(tǒng)是極有應(yīng)用價(jià)值而且尤為重要的。產(chǎn)品介紹達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)是達(dá)夢(mèng)數(shù)據(jù)庫有限公司在上十年數(shù)據(jù)處理經(jīng)驗(yàn)的基礎(chǔ)上，研制開發(fā)的具有自主版權(quán)的、商品化的數(shù)據(jù)交

3、換與處理平臺(tái)。達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)創(chuàng)新地將傳統(tǒng)的ETL工具（Extract、Transform>Loading與分布式消息平臺(tái)相結(jié)合，實(shí)現(xiàn)了對(duì)數(shù)據(jù)抽取、傳輸、整合、以及裝載的一站式支持，是構(gòu)建數(shù)據(jù)中心、數(shù)據(jù)倉庫、數(shù)據(jù)交換和數(shù)據(jù)同步等數(shù)據(jù)集成類應(yīng)用的理想平臺(tái)，同時(shí)也可以作為數(shù)據(jù)加工處理工具由業(yè)務(wù)人員直接使用。1功能組件達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)由以下5個(gè)軟件組件構(gòu)成：達(dá)夢(mèng)數(shù)據(jù)集成服務(wù)器DMETLServerDMETLServer是一個(gè)具備數(shù)據(jù)抽取（Extract、清洗轉(zhuǎn)換（Transform和裝載（Load功能的通用的數(shù)據(jù)處理平臺(tái)，能夠?yàn)楫悩?gòu)數(shù)據(jù)同步和數(shù)據(jù)整合應(yīng)用提供完整的支持。達(dá)夢(mèng)數(shù)據(jù)交換設(shè)計(jì)器DME

4、TLStudioDMETLStudio提供可視化的管理、流程設(shè)計(jì)、調(diào)試功能管4小44二|,一e*T；M在LT小5*14*苔»*X,FEZMkrMji舞事m.CW0EjrlMBA4>3mn不«flraIffi*i»«葉ls*二AMftrvr«*:17dt*SMWAlS,>.!iLEW<，Ul£Hr-i4嚴(yán)5達(dá)夢(mèng)數(shù)據(jù)交換控制臺(tái)DMETLConsoleDMETl服務(wù)管理、參數(shù)配置與初始化丈中町國加相丁二HE-V.-Ig“HmiHl4IBAft.°nm.owrn¥>i-nJ、迎IU心0£T

5、£.ETDh®-J3T上升RSy-一口MLTLA®L組：好i一.61磔.1-hKtgfi的處泉網(wǎng)，、WibSwcv5陽1.5<3，典理一wr-_，/D*rfRIS#"也3s前占F二N3節(jié)£豆慘2（物卻a即1gFXMlStt二SfflSK域IM£由lUiGE-TLIDAPrr_£l£M3ft二臺(tái)，0良.«-*S*式LMXII司小"；A3行£狂rrWfliE>rsfi»,.行工慘甘CJ»出.”LMKitULCIt達(dá)夢(mèng)數(shù)據(jù)總線DMETLDatabus提供基于消

6、息的、可靠的、安全的數(shù)據(jù)路由與交換服務(wù)，用于支持廣域網(wǎng)上跨部門的數(shù)據(jù)交換達(dá)夢(mèng)數(shù)據(jù)交換監(jiān)控系統(tǒng)DMETLWebMonitor對(duì)多節(jié)點(diǎn)的數(shù)據(jù)交換網(wǎng)絡(luò)的管理、監(jiān)控以及統(tǒng)計(jì)分析功能2版本劃分達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)分為標(biāo)準(zhǔn)版和企業(yè)版，其中標(biāo)準(zhǔn)版主要提供基本的數(shù)據(jù)整合和數(shù)據(jù)同步功能，企業(yè)版則在標(biāo)準(zhǔn)版的功能上增加了基于消息的數(shù)據(jù)交換與路由、監(jiān)控與統(tǒng)計(jì)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)的發(fā)布和訂閱等企業(yè)級(jí)的功能，其主要功能劃分見下表：標(biāo)準(zhǔn)版企業(yè)版數(shù)據(jù)清洗轉(zhuǎn)換W增量數(shù)據(jù)抽取W作業(yè)調(diào)度W數(shù)據(jù)發(fā)布與訂閱V自定義函數(shù)變量W權(quán)限管理W操作審計(jì)W實(shí)時(shí)告警W數(shù)據(jù)質(zhì)量檢測(cè)V數(shù)據(jù)交換與路由（DMETLDatabusV交換監(jiān)控與統(tǒng)計(jì)（DMETLWe

7、bConsole/典型應(yīng)用場(chǎng)景達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)是專門為各種類型的數(shù)據(jù)集成應(yīng)用而設(shè)計(jì)的，使用達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)，能夠大大縮短數(shù)據(jù)集成類應(yīng)用的工作量。達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)能夠全面而高效的應(yīng)用于以下一些場(chǎng)景。1異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步是指在一定的時(shí)間范圍內(nèi)，通過特定的技術(shù)方式，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)一致性。數(shù)據(jù)同步應(yīng)用通常有以下一些要求：性能要求高，通常要達(dá)到準(zhǔn)實(shí)時(shí)同步，因此需要實(shí)現(xiàn)增量數(shù)據(jù)抽取，以達(dá)到快速同步和節(jié)省網(wǎng)絡(luò)資源的；可靠性要求高，故障自動(dòng)恢復(fù)。達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)可以很好的滿足上述要求，可以支持一對(duì)一或者一對(duì)多的文件到文件、文件到數(shù)據(jù)庫、數(shù)據(jù)庫到數(shù)據(jù)庫、數(shù)據(jù)庫到文件的數(shù)據(jù)同步。同步的源和目的數(shù)據(jù)

8、可以是不同類型的數(shù)據(jù)庫或者文件，并且在同步過程中可以對(duì)數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換以滿足源和目上的不同應(yīng)用系統(tǒng)的要求。I一對(duì)多數(shù)據(jù)同步2數(shù)據(jù)交換數(shù)據(jù)交換，通常用于不同部門間的業(yè)務(wù)協(xié)同，數(shù)據(jù)的流動(dòng)是通常由應(yīng)用發(fā)起并推動(dòng)的，應(yīng)用獲取到數(shù)據(jù)并完成業(yè)務(wù)邏輯之后，可以把數(shù)據(jù)存儲(chǔ)下來，也可以丟棄。數(shù)據(jù)交換應(yīng)用通常涉及多個(gè)部門的數(shù)據(jù)庫和應(yīng)用程序，需要部署多臺(tái)數(shù)據(jù)交換服務(wù)器。達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)內(nèi)置了軟總線功能，可以連接各種應(yīng)用和數(shù)據(jù)源，支持?jǐn)?shù)據(jù)自動(dòng)路由，保證數(shù)據(jù)的安全可靠傳輸。同時(shí)達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)也提供了交換監(jiān)控配置系統(tǒng)，通過該系統(tǒng)可以實(shí)時(shí)監(jiān)控各個(gè)交換節(jié)點(diǎn)的狀態(tài)，并可以可視化的修改交換路由設(shè)置。跨部門數(shù)據(jù)交換3數(shù)據(jù)整合數(shù)據(jù)

9、整合是指將不同來源的數(shù)據(jù)，經(jīng)過清洗轉(zhuǎn)換后變?yōu)榻y(tǒng)一格式，存儲(chǔ)到數(shù)據(jù)中心或者數(shù)據(jù)倉庫中，用于提供數(shù)據(jù)共享、數(shù)據(jù)分析等服務(wù)。其特點(diǎn)是：數(shù)據(jù)量大，數(shù)據(jù)種類豐富，需要較高的數(shù)據(jù)裝載性能；對(duì)數(shù)據(jù)質(zhì)量要求高，需要有豐富易用的數(shù)據(jù)清洗轉(zhuǎn)換組件；數(shù)據(jù)持續(xù)集成，不同類型的數(shù)據(jù)集成的周期可能不同，需要功能強(qiáng)大的作業(yè)調(diào)度與監(jiān)控功能；達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)具有數(shù)據(jù)分區(qū)并發(fā)清洗和裝載、數(shù)據(jù)質(zhì)量實(shí)時(shí)檢查以及靈活的調(diào)度設(shè)置，能全面滿足數(shù)據(jù)整合應(yīng)用對(duì)于性能、易用性的要求。數(shù)據(jù)整合功能特色全面的數(shù)據(jù)源支持支持各種主流數(shù)據(jù)庫（達(dá)夢(mèng)、Oracle、SQLServer、DB2、Mysql、SybasePostgreSql等的全量和增量數(shù)據(jù)抽

10、取和裝載，還支持TXT、CSV、Excel、XML文件、消息服務(wù)器、LDAP服務(wù)器、WebService等數(shù)據(jù)的抽取和裝載。易用增量數(shù)據(jù)抽取內(nèi)置了各種增量數(shù)據(jù)抽取方式，用戶只需要簡單的設(shè)置即可實(shí)現(xiàn)對(duì)各種數(shù)據(jù)庫的數(shù)據(jù)的增量數(shù)據(jù)抽取，為實(shí)時(shí)數(shù)據(jù)集成提供了良好的支持。批量文件處理支持各種文件（txt、excel、xml的批量讀取和解析，能夠自動(dòng)識(shí)別目錄中新增和修改的文件，并且能夠在本地和遠(yuǎn)程服務(wù)器之間同步文件夾。豐富的數(shù)據(jù)轉(zhuǎn)換規(guī)則內(nèi)置近40多種數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，支持動(dòng)態(tài)擴(kuò)充。對(duì)于簡繁體、漢字拼音、亂碼處理、字符集轉(zhuǎn)換、中文數(shù)字的中國特有的問題提供內(nèi)置的轉(zhuǎn)換規(guī)則進(jìn)行處理。HW.stiff舊*:f才Q/

11、嚕儂，姓等,隘i!£事班，”卜tk鼻,七淮用,由悵帕切山二二北享/K，；一等!9方善宇今也!崎豐利.三停三代合區(qū)1去*享批量流程創(chuàng)建提供基于模板的批量流程生成向?qū)?，可以快速生成大量類似的轉(zhuǎn)換，大大提高工作效率企業(yè)級(jí)的監(jiān)控提供了BS架構(gòu)的統(tǒng)一監(jiān)控系統(tǒng)，通過該系統(tǒng)用戶可以直觀的監(jiān)控整個(gè)多節(jié)點(diǎn)數(shù)據(jù)交換網(wǎng)絡(luò)，實(shí)時(shí)查看后臺(tái)流程運(yùn)行狀態(tài)和統(tǒng)計(jì)信息、接收和處理系統(tǒng)告警，并執(zhí)行日常的管理和維護(hù)工作。實(shí)時(shí)數(shù)據(jù)質(zhì)量檢查DMETL內(nèi)置了數(shù)據(jù)質(zhì)量檢查功能，能夠根據(jù)用戶定義的規(guī)則對(duì)流程中的數(shù)據(jù)質(zhì)量進(jìn)行檢查，并對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)。支持用戶定制規(guī)則以及和重用質(zhì)量檢查規(guī)則高性能采用基于流水線的多線程架構(gòu)，并支持?jǐn)?shù)據(jù)分區(qū)

12、處理和并行裝載，可以充分發(fā)揮硬件性能,數(shù)據(jù)處理能力可以隨著系統(tǒng)CPU和IO性能的提升而同步提升。此外還支持支持單表多連接并行裝載、達(dá)夢(mèng)、oracle的快速裝載接口、文本文件的分段并行解析等。高安全提供基于角色的權(quán)限控制機(jī)制，責(zé)權(quán)明晰。支持傳輸加密，不同交換節(jié)點(diǎn)之間傳輸?shù)臄?shù)據(jù)都是經(jīng)過加密處理，防止信息泄露。高可擴(kuò)展DMETL采用基于OSGI整體架構(gòu)，系統(tǒng)的各個(gè)模塊如流程節(jié)點(diǎn)、轉(zhuǎn)換規(guī)則、數(shù)據(jù)質(zhì)量檢查規(guī)則都支持插件機(jī)制，可以根據(jù)具體業(yè)務(wù)需求動(dòng)態(tài)擴(kuò)展?？删幊烫峁┝撕唵我子玫木幊探涌贏PI,通過調(diào)用該API第三方應(yīng)用可以快速方便的調(diào)用DMETL的各項(xiàng)功能，如創(chuàng)建、執(zhí)行流程，獲取監(jiān)控和統(tǒng)計(jì)信息等。此外,D

13、METL還支持編寫自定義的java函數(shù)和表達(dá)式來對(duì)數(shù)據(jù)進(jìn)行處理。應(yīng)用案例1浦東新區(qū)數(shù)據(jù)中心該項(xiàng)目建設(shè)是結(jié)合浦東新區(qū)信息化發(fā)展的實(shí)際需要，解決電子政務(wù)建設(shè)過程中出現(xiàn)的信息孤島、信息共享交換、數(shù)據(jù)安全存儲(chǔ)等問題，面向全區(qū)主要委辦局，建設(shè)一套安全、高效、經(jīng)濟(jì)的公共數(shù)據(jù)中心，項(xiàng)目總體架構(gòu)見下圖：項(xiàng)目特色實(shí)現(xiàn)了對(duì)多個(gè)委辦局現(xiàn)運(yùn)行的各種異質(zhì)異構(gòu)系統(tǒng)的支持，包才5windows、linux以及unix操作系統(tǒng)，和對(duì)各種品牌的PCServer小型機(jī)服務(wù)器。支持多種系列的數(shù)據(jù)庫，包括Oracle系列、SqlServer系列、db2、sybasemysql、DM數(shù)據(jù)庫、access等多種國內(nèi)外數(shù)據(jù)庫管理系統(tǒng)。支持

14、通過政務(wù)外網(wǎng)或?qū)Ｓ霉饫w連接對(duì)各委辦局的局域網(wǎng)內(nèi)的數(shù)據(jù)進(jìn)行交換，對(duì)地理位置從1公里以內(nèi)到10公里以外的交換節(jié)點(diǎn)均支持良好。2國家電網(wǎng)主備調(diào)數(shù)據(jù)同步該項(xiàng)目的最終用戶是國家電網(wǎng)。當(dāng)前國家電網(wǎng)電力調(diào)度系統(tǒng)正面臨大規(guī)模的系統(tǒng)升級(jí)，而當(dāng)前的系統(tǒng)升級(jí)過程中，面臨的普遍現(xiàn)實(shí)是：舊版系統(tǒng)運(yùn)行了較長的時(shí)間，系統(tǒng)相對(duì)穩(wěn)定；新版系統(tǒng)則實(shí)現(xiàn)了更多更強(qiáng)的功能。為了保證能夠平穩(wěn)地完成系統(tǒng)的升級(jí)，提高系統(tǒng)白穩(wěn)定性，需要同時(shí)運(yùn)行新舊兩個(gè)版本的系統(tǒng)，并保證新舊系統(tǒng)的數(shù)據(jù)同步。OpeiLOOO/GiflrlpOpon5OO口鑲0LDM表級(jí)MIA比對(duì)增量項(xiàng)目特色基于DMETL表級(jí)增量抽取和靈活的轉(zhuǎn)換邏輯，高效的實(shí)現(xiàn)了國家電網(wǎng)主備調(diào)系

15、統(tǒng)間的異構(gòu)數(shù)據(jù)（數(shù)據(jù)平臺(tái)和數(shù)據(jù)模型、數(shù)據(jù)結(jié)構(gòu)均不同的同步，保證了新舊調(diào)度系統(tǒng)的平穩(wěn)過渡和升級(jí)。3商務(wù)部產(chǎn)業(yè)安全數(shù)據(jù)分析平臺(tái)該項(xiàng)目的用戶是商務(wù)部產(chǎn)業(yè)安全調(diào)查局。項(xiàng)目的核心建設(shè)內(nèi)容是建設(shè)一個(gè)數(shù)據(jù)分析平臺(tái)，為產(chǎn)業(yè)損害預(yù)警業(yè)務(wù)提供數(shù)據(jù)，為具體業(yè)務(wù)部門日常作業(yè)提供支撐，為領(lǐng)導(dǎo)決策提供支持。該項(xiàng)目涵蓋了從數(shù)據(jù)采集、數(shù)據(jù)加工處理到信息發(fā)布的全部過程，系統(tǒng)總體構(gòu)架采取分層的開放體系結(jié)構(gòu)，分為數(shù)據(jù)及其管理層、業(yè)務(wù)分析層、綜合應(yīng)用層，如下圖所示。項(xiàng)目特色該項(xiàng)目數(shù)據(jù)來源廣泛，數(shù)據(jù)結(jié)構(gòu)復(fù)雜，主要包括國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)、海關(guān)進(jìn)出口數(shù)據(jù)、商務(wù)部數(shù)據(jù)直報(bào)系統(tǒng)采集數(shù)據(jù)、各行業(yè)協(xié)會(huì)和專家報(bào)送數(shù)據(jù)、購買的海外競爭對(duì)手貿(mào)易數(shù)據(jù)、調(diào)查局自采集數(shù)據(jù)等。通過DMETL工具實(shí)現(xiàn)了上述數(shù)據(jù)的有效整合，以此為基礎(chǔ)實(shí)現(xiàn)了商務(wù)部產(chǎn)業(yè)安全數(shù)據(jù)倉庫。4湖北省公安云項(xiàng)目該項(xiàng)目全稱為湖北省公安廳金盾工程多層架構(gòu)體系建設(shè)和政府部門間信息共享平臺(tái)項(xiàng)目。項(xiàng)目采用云計(jì)算”理念，利用虛擬化技術(shù)，對(duì)湖北省公安廳現(xiàn)有的軟硬件資源以及內(nèi)外部數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)基礎(chǔ)設(shè)施即服務(wù)（I