TI-DXP2.0白皮書

1、TI-DXP系統(tǒng)概述TongTech ®TongIntegrator DXP 2.0技術(shù)白皮書北京東方通科技股份有限公司2012年1.背景及概述42.基本概念42.1.物理節(jié)點42.2.邏輯節(jié)點42.3.數(shù)據(jù)源42.4.發(fā)布/訂閱52.4.1.發(fā)布資源52.4.2.訂閱資源52.4.3.資源生命周期53.平臺架構(gòu)63.1.系統(tǒng)架構(gòu)63.1.1.管理中心63.1.2.交換節(jié)點73.2.部署架構(gòu)74.功能介紹84.1.管理中心84.1.1.統(tǒng)一配置管理84.1.1.1.交換基礎(chǔ)信息配置84.1.1.1.1.交換節(jié)點/交換通道/網(wǎng)絡(luò)拓?fù)渑渲?4.1.1.2.交換業(yè)務(wù)配置84.1.1.3.系

2、統(tǒng)管理94.1.2.統(tǒng)一監(jiān)控管理94.1.2.1.交換環(huán)境監(jiān)控94.1.2.2.交換業(yè)務(wù)數(shù)據(jù)監(jiān)控104.2.交換節(jié)點104.2.1.前置交換104.2.1.1.數(shù)據(jù)抽取模式104.2.1.2.交換觸發(fā)模式114.2.1.3.數(shù)據(jù)處理114.2.2.數(shù)據(jù)傳輸125.平臺特點125.1.提供平臺級數(shù)據(jù)應(yīng)用集成框架125.2.適合業(yè)務(wù)人員快速搭建的數(shù)據(jù)交換平臺125.3.預(yù)置多種管理業(yè)務(wù)模式，簡化建設(shè)管理步驟135.4.完全松耦合的數(shù)據(jù)交換架構(gòu)135.5.多種數(shù)據(jù)抽取、處理模式155.5.1.數(shù)據(jù)抽取模式155.5.2.數(shù)據(jù)交換模式155.5.3.數(shù)據(jù)的處理185.6.支持跨網(wǎng)絡(luò)的管理和數(shù)據(jù)交換18

3、5.7.穩(wěn)定可靠安全的數(shù)據(jù)傳輸支撐195.8.支持遠(yuǎn)程部署配置205.9.多角度監(jiān)控管理及告警205.10.可靈活配置的數(shù)據(jù)詳細(xì)審計205.11.提供豐富的管理配置API，方便二次開發(fā)206.適應(yīng)場景及參考案例216.1.適應(yīng)場景216.2.案例一226.2.1.項目概要226.2.2.項目實施的難點：236.2.3.采用TI-DXP的解決方案：246.3.案例二256.3.1.項目概要256.3.2.項目方案25交換部署模式25方案描述266.3.3.應(yīng)用效果271. 背景及概述隨著企業(yè)、政府部門的自身信息化建設(shè)過程的快速深入，如何進一步完善信息化的建設(shè)及信息化整合的需求逐漸暴露出來，由于當(dāng)

4、時業(yè)務(wù)需求及項目選型等因素，使這些復(fù)雜的系統(tǒng)數(shù)據(jù)信息以各種結(jié)構(gòu)化、非結(jié)構(gòu)化的模式進行存儲，逐漸出現(xiàn)了數(shù)據(jù)不能共享，各自業(yè)務(wù)流程不能自動銜接，形成了各自獨立的信息化孤島，“信息孤島”造成系統(tǒng)中存在數(shù)據(jù)分散、大量冗余數(shù)據(jù)、垃圾數(shù)據(jù)，無法保證數(shù)據(jù)的一致性，從而降低信息的利用效率和利用率。為了解決這一問題，人們開始關(guān)注數(shù)據(jù)集成研究。當(dāng)前信息化的時代，數(shù)據(jù)成為了最重要的資源，如何能消化信息孤島，更好的完成同一組織內(nèi)部、同一組織上下級、不同組織間的數(shù)據(jù)匯總、統(tǒng)計、分析等問題就凸顯出來；只有很好的完成了數(shù)據(jù)的整合，才能更進一步的支撐起上層數(shù)據(jù)的挖掘、分析，能對企事業(yè)單位的未來發(fā)展戰(zhàn)略提供有效的數(shù)據(jù)依據(jù)，數(shù)據(jù)

5、交換的需求已經(jīng)從研究階段到了急切需要的時候。數(shù)據(jù)交換平臺正是在此背景需求下產(chǎn)生的，通過數(shù)據(jù)交換平臺的搭建，能快速穩(wěn)定的實現(xiàn)異地、異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)整合、交換，消除信息孤島、完成數(shù)據(jù)集中整合，形成相關(guān)的數(shù)據(jù)庫來支撐企業(yè)數(shù)據(jù)的挖掘及分析。TongIntegrator Data Exchange Platform V2.0,簡稱TI-DXP 2.0，是東方通在多年應(yīng)用集成項目實踐的基礎(chǔ)上，抽象歸納出多種數(shù)據(jù)交換模式、組織模式、建設(shè)模式、管理模式、使用模式，并基于東方通的集成中間件TongIntegrator系列產(chǎn)品以及消息中間件TongLINK/Q產(chǎn)品所構(gòu)建出的面向行業(yè)集成項目的數(shù)據(jù)交換平臺系統(tǒng)。他的

6、特點是為用戶提供高效的數(shù)據(jù)交換，更短的項目開發(fā)周期，更簡便的配置部署和更強大的監(jiān)控管理及統(tǒng)計功能。2. 基本概念2.1. 物理節(jié)點物理節(jié)點對應(yīng)平臺內(nèi)參與數(shù)據(jù)交換的一臺服務(wù)器。從系統(tǒng)建設(shè)的角度而言，即確定一臺可安裝TI-DXP的物理服務(wù)器。2.2. 邏輯節(jié)點邏輯節(jié)點是指在物理節(jié)點上的一整套可運行的TI-DXP的環(huán)境。邏輯節(jié)點可通過部署在其上面的發(fā)布資源來抽取發(fā)布數(shù)據(jù)，并根據(jù)訂閱關(guān)系將訂閱數(shù)據(jù)發(fā)送到訂閱節(jié)點。邏輯節(jié)點同時具有數(shù)據(jù)代理轉(zhuǎn)發(fā)功能。邏輯節(jié)點提供管理代理，以便管理者通過此管理代理對節(jié)點進行管理代理，管理代理也同時具備管理命令代理轉(zhuǎn)發(fā)功能。2.3. 數(shù)據(jù)源對于結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫數(shù)據(jù)），數(shù)據(jù)源

7、指明了數(shù)據(jù)存取使用哪個數(shù)據(jù)庫，數(shù)據(jù)庫類型是什么，訪問需要的用戶名，密碼等。2.4. 發(fā)布/訂閱數(shù)據(jù)共享以發(fā)布資源方式，發(fā)布出來（發(fā)布資源），對此發(fā)布資源感興趣者，可以訂閱此資源（形成訂閱資源），建立起發(fā)布/訂閱關(guān)系，如下圖：2.4.1. 發(fā)布資源發(fā)布資源是數(shù)據(jù)提供者，將其所有用的數(shù)據(jù)共享后的在TI-DXP上的表現(xiàn)形式。2.4.2. 訂閱資源訂閱資源是數(shù)據(jù)需求方訂閱到已發(fā)布資源后在TI-DXP上的表現(xiàn)形式。2.4.3. 資源生命周期發(fā)布/訂閱資源自創(chuàng)建完成，在平臺內(nèi)的有如下狀態(tài)轉(zhuǎn)換：3. 平臺架構(gòu)3.1. 系統(tǒng)組成部分嚴(yán)格地說，TI-DXP2.0的完整解決方案由TI-DX和TI-DXP這兩部分構(gòu)

8、成。3.1.1. TI-DX 2.0的功能定位東方通數(shù)據(jù)交換工具軟件TongIntegrator Data eXchange 2.0，簡稱TI-DX 2.0，是構(gòu)建可管理的數(shù)據(jù)交換系統(tǒng)的骨干軟件設(shè)施，可高效、穩(wěn)定、準(zhǔn)確地完成跨部門、跨地域應(yīng)用系統(tǒng)間的數(shù)據(jù)交換任務(wù)。TI-DX2.0的定位為數(shù)據(jù)交換的底層骨干技術(shù)設(shè)施，可以方便地完成異構(gòu)系統(tǒng)數(shù)據(jù)交換中所需的適配、抽取、路由、加載等工作，可支撐大規(guī)模節(jié)點參與的數(shù)據(jù)交換任務(wù)的高效執(zhí)行，并提供全面地監(jiān)控和管理應(yīng)用接口。TI-DX2.0的使用對象主要數(shù)據(jù)交換應(yīng)用系統(tǒng)的開發(fā)人員，集成商可以基于它完成特定數(shù)據(jù)交換業(yè)務(wù)的實現(xiàn)。3.1.2. TI-DXP 2.0功

9、能定位TI-DXP2.0是基于東方通數(shù)據(jù)交換工具軟件（TongIntegrator Data eXchange 2.0，簡稱TI-DX）構(gòu)建的，主要負(fù)責(zé)建設(shè)和管理由TI-DX構(gòu)成的數(shù)據(jù)交換系統(tǒng)。它提供了常見的數(shù)據(jù)交換應(yīng)用模式和管理模式，用戶通過瀏覽器界面，即可方便、快捷地完成數(shù)據(jù)交換系統(tǒng)的安裝、配置、部署、運行、監(jiān)控與管理。TI-DXP2.0的使用對象主要是數(shù)據(jù)交換系統(tǒng)的用戶，不需要深厚的計算機軟件的技術(shù)背景。3.1.3. TI-DXP和TI-DX的部署關(guān)系如下圖所示，TI-DXP2.0部署在TI-DX2.0產(chǎn)品之上，負(fù)責(zé)建立、維護、管理由多個TI-DX2.0安裝節(jié)點構(gòu)成的交換網(wǎng)絡(luò)。因此，TI

10、-DXP2.0安裝節(jié)點又被稱作管理節(jié)點，也稱作管理中心，TI-DX2.0節(jié)點可被稱作交換節(jié)點。l 管理中心節(jié)點包含了一個管理中心和一個交換節(jié)點；l 普通的交換節(jié)點由于不需要管理功能，所以不必部署管理中心。l 管理中心是一個B/S管理監(jiān)控服務(wù)，完成平臺的配置管理以及監(jiān)控，所有的交換配置、管理及監(jiān)控都可以通過此服務(wù)進行操作；l 交換節(jié)點底層通過TI和TLQ來實現(xiàn)數(shù)據(jù)交換；完成了對本地業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)抽取，加工轉(zhuǎn)換及打包等工作，打包后的數(shù)據(jù)通過各個節(jié)點上的消息中間件(TLQ)完成可靠、完整、安全的傳輸。l 由于中心節(jié)點在平臺系統(tǒng)中比較關(guān)鍵，同時各交換節(jié)點的數(shù)據(jù)匯總到中心的數(shù)據(jù)量比較大，為保證系統(tǒng)的可

11、靠穩(wěn)定，對中心做雙機熱備。3.2. 系統(tǒng)架構(gòu)如上圖所示，在數(shù)據(jù)交換平臺中，主要包括兩大功能模塊：管理中心、交換節(jié)點。1.2.2.1.3.2.1. 管理中心（TI-DXP）包含了統(tǒng)一配置管理和統(tǒng)一監(jiān)控管理兩個子模塊。l 統(tǒng)一配置管理：統(tǒng)一配置管理提供了交換基礎(chǔ)信息配置，交換業(yè)務(wù)配置，及系統(tǒng)管理，所有的交換基礎(chǔ)信息例如交換節(jié)點、交換通道、交換拓?fù)?、?shù)據(jù)發(fā)布、數(shù)據(jù)訂閱等都在此模塊統(tǒng)一配置管理。l 統(tǒng)一監(jiān)控管理：包含交換環(huán)境監(jiān)控、交換業(yè)務(wù)數(shù)據(jù)監(jiān)控，有了這個監(jiān)控管理模塊，用戶能更好的監(jiān)控整個交換環(huán)境及數(shù)據(jù)交換的情況分析。3.2.2. 交換節(jié)點（TI-DX）交換節(jié)點提供了從交換數(shù)據(jù)庫采集數(shù)據(jù)，數(shù)據(jù)處理，傳

12、輸，入目標(biāo)庫等整個交換環(huán)節(jié)的處理能力。交換節(jié)點可分為前置交換和數(shù)據(jù)傳輸兩個模塊。l 前置交換：包括數(shù)據(jù)抽取、流程觸發(fā)，數(shù)據(jù)處理等模塊，這里主要包含了不同的數(shù)據(jù)抽取模式、觸發(fā)模式、及數(shù)據(jù)處理等l 數(shù)據(jù)傳輸：數(shù)據(jù)傳輸鏈接，可根據(jù)業(yè)務(wù)需要配置為長鏈接和短鏈接，同時支持?jǐn)帱c續(xù)傳，加密，壓縮，對數(shù)據(jù)安全可靠傳輸提供了有力的支持。4. 功能介紹4.1. 管理中心4.1.1. 統(tǒng)一配置管理4.1.1.1. 交換基礎(chǔ)信息配置4.1.1.1.1. 交換節(jié)點/交換通道/網(wǎng)絡(luò)拓?fù)渑渲卯?dāng)要完成一個數(shù)據(jù)整合的項目的時候，必然會涉及到多個點的數(shù)據(jù)的交換，這里的交換節(jié)點主要就是指這些要進行交換的交換服務(wù)器的配置；交換節(jié)點都

13、是在一定的權(quán)限控制下，由配置管理中心統(tǒng)一進行配置，這些節(jié)點的配置、管理及監(jiān)控都以一個交換拓?fù)鋱D為基礎(chǔ)進行，操作簡單快捷，可以定義交換節(jié)點之間的上下級關(guān)系，定義節(jié)點之間的交換路徑等，當(dāng)節(jié)點配置完成后，各個交換服務(wù)器上的相關(guān)配置信息就全部配置完成，整個交換的拓?fù)鋱D也就自然形成，所有的交換的傳輸通道也已經(jīng)創(chuàng)建完成。4.1.1.2. 交換業(yè)務(wù)配置所有的交換業(yè)務(wù)、交換規(guī)則、交換路徑都在這里進行配置及管理，具體配置包括：l 交換數(shù)據(jù)庫配置：要進行數(shù)據(jù)交換的數(shù)據(jù)庫的基本信息配置管理。l 發(fā)布數(shù)據(jù)庫流程配置：要對外發(fā)布的數(shù)據(jù)配置管理，這里會配置哪個數(shù)據(jù)庫的那個業(yè)務(wù)表要把數(shù)據(jù)交換出去；用什么模式抽取這些數(shù)據(jù)；抽

14、取是否有條件及條件的配置；抽取的頻率及相關(guān)的一些處理規(guī)則。l 訂閱數(shù)據(jù)流程配置：要接收發(fā)布數(shù)據(jù)的配置管理，這里會配置那個數(shù)據(jù)庫的那個業(yè)務(wù)表要接收此發(fā)布數(shù)據(jù)，一個發(fā)布的資源一旦被訂閱，就形成了一個交換流程，訂閱可以針對已發(fā)布的資源進行過濾、轉(zhuǎn)換等；一個發(fā)布資源可以被多個資源訂閱，一個訂閱也也可以接收多個發(fā)布的數(shù)據(jù)。l 批量處理流程配置：n 批量發(fā)布資源：要對外發(fā)布的數(shù)據(jù)批量配置管理，這里主要會配置哪個數(shù)據(jù)庫的那些業(yè)務(wù)表要把數(shù)據(jù)交換出去；可以完成一個數(shù)據(jù)庫所有表或者部分表的批量發(fā)布，這些批量發(fā)布的基本規(guī)則統(tǒng)一配置，發(fā)布條件等信息也可以單獨進行配置。n 批量訂閱資源：要接收發(fā)布數(shù)據(jù)的批量配置管理，這

15、里會配置那個數(shù)據(jù)庫的那些業(yè)務(wù)表要接收發(fā)布數(shù)據(jù)，系統(tǒng)會出某一個數(shù)據(jù)庫的所有發(fā)布，同時針對選定的訂閱數(shù)據(jù)庫按一定規(guī)則先進行自動匹配發(fā)布訂閱流程，用戶也可以手工進行匹配。4.1.1.3. 系統(tǒng)管理l 角色管理：根據(jù)使用平臺人員所做的工作不同，可定義不同的用戶角色，并為角色賦予特定的權(quán)限。l 機構(gòu)管理：管理中心提供組織機構(gòu)功能，用于管理平臺用戶的組織機構(gòu)。l 用戶管理：管理平臺用戶。4.1.2. 統(tǒng)一監(jiān)控管理數(shù)據(jù)交換平臺的監(jiān)控管理主要分為兩方面：l 交換環(huán)境監(jiān)控: 數(shù)據(jù)交換平臺（基礎(chǔ)設(shè)施監(jiān)控），即交換節(jié)點、交換配置的基礎(chǔ)信息;l 交換業(yè)務(wù)數(shù)據(jù)監(jiān)控：交換數(shù)據(jù)監(jiān)控是指數(shù)據(jù)交換的業(yè)務(wù)數(shù)據(jù)交換統(tǒng)計分析，例如某

16、個業(yè)務(wù)表在某個時間段有多少數(shù)據(jù)進行了交換。交換統(tǒng)計分析，可從不同角度來進行：節(jié)點交換統(tǒng)計，數(shù)據(jù)源交換統(tǒng)計，交換流程（業(yè)務(wù)表）交換統(tǒng)計。4.1.2.1. 交換環(huán)境監(jiān)控交換環(huán)境的監(jiān)控主要是指各個交換節(jié)點以及整個交換網(wǎng)絡(luò)的監(jiān)控，通過之前在配置管理中配置好的一個交換網(wǎng)絡(luò)拓?fù)鋱D可以很清晰的監(jiān)控到整個交換網(wǎng)絡(luò)及網(wǎng)絡(luò)中各交換節(jié)點的狀態(tài)是否正常；當(dāng)發(fā)現(xiàn)交換節(jié)點有異常的顯示后，可以查看此交換節(jié)點詳細(xì)的監(jiān)控，包括交換服務(wù)器資源占用情況、交換服務(wù)器上各交換流程的運行情況等信息。l 交換節(jié)點資源監(jiān)控：可監(jiān)控節(jié)點的基礎(chǔ)設(shè)備資源，如：CPU，內(nèi)存，硬盤使用百分比，網(wǎng)絡(luò)使用情況等。l 交換節(jié)點狀態(tài)監(jiān)控：可監(jiān)控平臺系統(tǒng)中的交

17、換節(jié)點的狀態(tài)，如某節(jié)點是否連通等。l 交換流程監(jiān)控：可監(jiān)控交換流程的狀態(tài)，是否啟動等。l 系統(tǒng)告警監(jiān)控：當(dāng)上述監(jiān)控中發(fā)現(xiàn)異常，記錄告警，并可通過配置的告警方式告警，l 平臺默認(rèn)實現(xiàn)了郵件告警方式，只需要配置相應(yīng)的郵件信息，當(dāng)有警告產(chǎn)生時，會自動發(fā)送告警郵件給郵件接收者。同時平臺還提供了可擴展的告警方式接口，可根據(jù)項目需要擴展不同的告警方式，如短信告警等。4.1.2.2. 交換業(yè)務(wù)數(shù)據(jù)監(jiān)控在數(shù)據(jù)交換中，用戶最關(guān)心的是數(shù)據(jù)是否正確、完整的交換到指定的目的地，現(xiàn)有數(shù)據(jù)平臺從多個角度去完成了數(shù)據(jù)交換的監(jiān)控及告警：l 節(jié)點交換統(tǒng)計：可以統(tǒng)計某一個或者某幾個節(jié)點在某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程

18、(即那張表)，發(fā)送(中轉(zhuǎn)或接收)成功數(shù)、失敗數(shù)等信息。l 數(shù)據(jù)源交換統(tǒng)計：可以統(tǒng)計某一個或某幾個數(shù)據(jù)庫某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程(即那張表)，發(fā)送(中轉(zhuǎn)或接收)成功數(shù)、失敗數(shù)等信息。l 發(fā)布訂閱統(tǒng)計：可以根據(jù)節(jié)點、數(shù)據(jù)源及其上的發(fā)布或者訂閱的資源進行更細(xì)的定位來統(tǒng)計某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程(即那張表)，發(fā)送(中轉(zhuǎn)或接收)成功數(shù)、失敗數(shù)等信息。4.2. 交換節(jié)點（TI-DX）交換節(jié)點是指平臺系統(tǒng)中實際參與數(shù)據(jù)交換的一個邏輯節(jié)點，負(fù)責(zé)根據(jù)流程的配置，從業(yè)務(wù)庫/前置庫中按照指定的抽取數(shù)據(jù)模式抽取數(shù)據(jù)，并進行數(shù)據(jù)處理，打包，通過數(shù)據(jù)傳輸模塊將數(shù)據(jù)發(fā)送到指定的目標(biāo)交換節(jié)

19、點，目標(biāo)交換節(jié)點接收數(shù)據(jù)，并處理數(shù)據(jù)。4.2.1. 前置交換這里的前置交換是指數(shù)據(jù)交換平臺中真正完成數(shù)據(jù)交換的一個技術(shù)實現(xiàn)，數(shù)據(jù)交換從整個流程上來說有數(shù)據(jù)抽取，數(shù)據(jù)處理及數(shù)據(jù)傳輸，通過這三個環(huán)節(jié)就完成了一個基本的數(shù)據(jù)交換的過程。4.2.1.1. 數(shù)據(jù)抽取模式數(shù)據(jù)交換平臺有多種數(shù)據(jù)抽取模式，每一種數(shù)據(jù)抽取模式都可以配置不同的數(shù)據(jù)抽取頻率。搭建平臺的設(shè)計階段就可以根據(jù)項目的實際需求選擇不同的數(shù)據(jù)抽取模式，具體包括：l 日志分析模式：日志分析模式，是指通過分析數(shù)據(jù)庫的日志來抽取數(shù)據(jù)變化增量數(shù)據(jù);由于目前各個數(shù)據(jù)庫日志的記錄模式，開放程度都不一樣，通過對目前常用的數(shù)據(jù)庫分析，oracle數(shù)據(jù)庫對日志的

20、開放程度比較高，記錄的比較詳細(xì)，故此抽取模式只針對oracle數(shù)據(jù)庫，其優(yōu)點對數(shù)據(jù)庫侵入性低，只需要打開數(shù)據(jù)庫的歸檔日志即可，無需在數(shù)據(jù)庫上做更多的配置。l 觸發(fā)器模式：觸發(fā)器模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即通過配置工具在要進行交換的數(shù)據(jù)表上自動創(chuàng)建一些必要的觸發(fā)器，當(dāng)數(shù)據(jù)發(fā)生變化是可以定時或者實時的把發(fā)生變化的數(shù)據(jù)交換出去。l 時間戳模式：時間戳抽取模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即要進行數(shù)據(jù)交換的數(shù)據(jù)表上要求有一個時間類型的字段，業(yè)務(wù)數(shù)據(jù)發(fā)送變化的時候此字段更新成變化時間，系統(tǒng)會定時掃描發(fā)生變化的數(shù)據(jù)進行交換。l 標(biāo)志位模式：標(biāo)志位抽取模式是針對目前常用數(shù)據(jù)庫

21、都支持的一種通用模式，即可以指定要進行交換的數(shù)據(jù)表中的某一個字段的值是什么時候進行交換，這里稱其為標(biāo)志位，當(dāng)完成交換后把此字段設(shè)置成另外一種狀態(tài)，即已經(jīng)完成交換。4.2.1.2. 交換觸發(fā)模式交換流程的執(zhí)行觸發(fā)方式可分為定時觸發(fā)，實時觸發(fā)，手工觸發(fā)，條件觸發(fā)。l 定時觸發(fā)：數(shù)據(jù)交換可指定某個時間，或某個周期定時執(zhí)行。l 實時觸發(fā)：數(shù)據(jù)交換實時進行，當(dāng)系統(tǒng)檢測到數(shù)據(jù)增量變化時實時交換數(shù)據(jù)，檢測頻率可設(shè)定。l 手工觸發(fā)：可通過手工操作來執(zhí)行數(shù)據(jù)交換。l 條件觸發(fā)：可根據(jù)某個條件，當(dāng)條件滿足時來觸發(fā)交換流程的執(zhí)行。4.2.1.3. 數(shù)據(jù)處理數(shù)據(jù)處理是當(dāng)數(shù)據(jù)抽取出來后需要進行的各種處理后再進行傳輸，包

22、括交換模式，交換方向，數(shù)據(jù)加工，數(shù)據(jù)過濾，數(shù)據(jù)路由等功能的支持。l 交換模式：是指多個節(jié)點之間進行數(shù)據(jù)交換時可以對應(yīng)的幾種業(yè)務(wù)模式，平臺支持?jǐn)?shù)據(jù)庫表的一對一的交換；多個表交換到一張表中；一張表的數(shù)據(jù)交換到多張表中。l 交換方向：是指在業(yè)務(wù)數(shù)據(jù)交換中支持的交換方向，平臺支持?jǐn)?shù)據(jù)的單向下發(fā)、上傳；兩個數(shù)據(jù)庫數(shù)據(jù)的雙向交換，即任何一方發(fā)生變化都要交換到對方；數(shù)據(jù)廣播，通常用于上級數(shù)據(jù)向所有下級廣播的數(shù)據(jù)交換。l 數(shù)據(jù)過濾：對業(yè)務(wù)數(shù)據(jù)可以從兩個方向去進行過濾，一種是可以在數(shù)據(jù)發(fā)布的時候進行有條件的發(fā)布過濾，另外就是針對不同的訂閱進行各自特有的訂閱條件的過濾。l 數(shù)據(jù)路由：這里的路由首先是根據(jù)數(shù)據(jù)內(nèi)容的

23、路由，按業(yè)務(wù)要求不同的內(nèi)容交換到不同的目的地；另外就是指數(shù)據(jù)轉(zhuǎn)發(fā)的場景支持，即當(dāng)兩個交換節(jié)點之間網(wǎng)絡(luò)無法直通的情況下，可以通過一個中介的網(wǎng)絡(luò)進行路由轉(zhuǎn)發(fā)。l 數(shù)據(jù)關(guān)聯(lián)：數(shù)據(jù)交換可對單表交換，主子表關(guān)聯(lián)交換，以及數(shù)據(jù)表和文件結(jié)合的數(shù)據(jù)交換。4.2.2. 數(shù)據(jù)傳輸在數(shù)據(jù)交換中，數(shù)據(jù)的傳輸是比較關(guān)鍵的一個技術(shù)，如何能及時、可靠、完整及安全的保證數(shù)據(jù)的傳輸是最重要的，現(xiàn)有平臺的傳輸都是基于公司已有的消息中間件來完成，消息中間件經(jīng)過多年在金融電信等關(guān)鍵行業(yè)的應(yīng)用后已經(jīng)非常成熟穩(wěn)定，數(shù)據(jù)平臺無縫的集成消息中間件，消息中間件對用戶來說是透明的?，F(xiàn)有平臺在數(shù)據(jù)傳輸過程中支持：l 鏈接管理：支持網(wǎng)絡(luò)常連接和按需

24、連接兩種連接模式，以更好地適應(yīng)不同的網(wǎng)絡(luò)通訊環(huán)境，節(jié)省系統(tǒng)資源和提高傳輸效率；l 斷點續(xù)傳：消息不重傳，從中斷的位置開始續(xù)傳，直到消息傳輸完成。l 壓縮傳輸：提供數(shù)據(jù)壓縮機制，提高網(wǎng)絡(luò)傳輸性能。l 加密傳輸：提供數(shù)據(jù)加密機制，加強數(shù)據(jù)傳輸安全控制。l 支持多種網(wǎng)絡(luò)底層環(huán)境，如：租用線 (Leased line)、撥號線、分組交換網(wǎng)（X.25）、DDN , 幀中繼 (Frame Relay) 、衛(wèi)星網(wǎng)絡(luò)等。5. 平臺特點5.1. 提供平臺級數(shù)據(jù)應(yīng)用集成框架TI-DXP提供了一個平臺級的數(shù)據(jù)集成框架，可以實現(xiàn)從一個系統(tǒng)采集數(shù)據(jù)，對數(shù)據(jù)進行加工處理，將需要的數(shù)據(jù)提交給另一個系統(tǒng)使用。5.2. 適合業(yè)

25、務(wù)人員快速搭建的數(shù)據(jù)交換平臺所有的配置、管理、監(jiān)控全部集成在一個統(tǒng)一的B/S界面進行操作。由于數(shù)據(jù)交換相對于用戶來說，是一個相對底層的整合技術(shù)，無論從概念還是技術(shù)上都比較偏技術(shù)，通常做一個交換的配置首先需要學(xué)習(xí)一些專業(yè)的交換概念，進行各種配置，包括傳輸?shù)囊恍┎呗耘渲眉耙恍┤蒎e、出錯處理及補償?shù)奶幚淼龋@些東西對于業(yè)務(wù)人員熟練使用來說是比較困難的。數(shù)據(jù)交換平臺首先把數(shù)據(jù)交換的一些專業(yè)概念都進行了屏蔽，留給用戶的只有簡單的交換節(jié)點，數(shù)據(jù)交換的源發(fā)布，數(shù)據(jù)接收的目的訂閱，有了這個概念，通過數(shù)據(jù)交換平臺就可以完成一套交換的配置、開發(fā)及管理；其次，所有的交換路徑，平臺會自動根據(jù)配置的交換節(jié)點網(wǎng)絡(luò)拓?fù)鋱D去

26、尋找最優(yōu)通路；最后相關(guān)的容錯、出錯處理及補償?shù)奶幚淼榷际峭ㄟ^數(shù)據(jù)平臺內(nèi)置的一套流程來完成的，無需用戶再做單獨配置。因此，可以說數(shù)據(jù)交換平臺上適合業(yè)務(wù)人員快速搭建的一個交換整合平臺，整個過程屏蔽了數(shù)據(jù)交換的專業(yè)概念及交換技術(shù)細(xì)節(jié)，學(xué)習(xí)曲線更低，使普通業(yè)務(wù)人員也可以安裝、配置、部署、監(jiān)控、管理。5.3. 預(yù)置多種管理業(yè)務(wù)模式，簡化建設(shè)管理步驟支持跨地域、跨部門、跨層級的數(shù)據(jù)交換技術(shù)支撐體系的快速建設(shè)。為參與交換的組織機構(gòu)及其人員、交換設(shè)施、交換資源、交換模式、交換流程、交換安全等交換要素提供運行、管理的技術(shù)支撐。5.4. 完全松耦合的數(shù)據(jù)交換架構(gòu)l 平臺把數(shù)據(jù)的交換定義為更容易理解的數(shù)據(jù)發(fā)布訂閱，

27、發(fā)布和訂閱完全松耦合。 l 數(shù)據(jù)發(fā)布者在發(fā)布數(shù)據(jù)的時候可以不關(guān)心誰訂閱此數(shù)據(jù)，如上圖業(yè)務(wù)庫A發(fā)布a表時不需要關(guān)心誰訂閱他的數(shù)據(jù)，只要在權(quán)限范圍內(nèi)的用戶都可以訂閱此數(shù)據(jù)；數(shù)據(jù)發(fā)布者也可以在發(fā)布數(shù)據(jù)的時候就直接進行訂閱者的配置來指定訂閱者； l 數(shù)據(jù)交換的訂閱者在進行數(shù)據(jù)訂閱的時候不需要關(guān)心這個數(shù)據(jù)從哪里發(fā)布的，只需要關(guān)心是否是自己需要的數(shù)據(jù)，是否有權(quán)限訂閱，如果都符合的情況下，就可以直接進行訂閱。l 當(dāng)有新的節(jié)點訂閱時，無需對發(fā)布端做任何改動，做到完全松耦合。l 一個數(shù)據(jù)發(fā)布后可以被多個訂閱者訂閱；一個訂閱者的一類數(shù)據(jù)，可以從多個發(fā)布數(shù)據(jù)方來。5.5. 多種數(shù)據(jù)抽取、處理模式5.5.1. 數(shù)據(jù)抽

28、取模式數(shù)據(jù)交換平臺有多種數(shù)據(jù)抽取模式，包括日志分析模式、觸發(fā)器模式、時間戳模式，標(biāo)志位模式，每一種數(shù)據(jù)抽取模式都可以配置不同的數(shù)據(jù)抽取頻率，包括實時抽取、定時抽取、手工臨時抽取等。l 從業(yè)務(wù)的角度來說，有的數(shù)據(jù)需要在某一個時間點開始進行交換，例如每天晚上或者每個月底，這種需求就可以采用定時抽取，平時也不消耗任何資源；l 有些數(shù)據(jù)需要一個準(zhǔn)實時的交換，這種數(shù)據(jù)就可以采取實施抽取模式，在源端數(shù)據(jù)發(fā)生變化后能快速準(zhǔn)確的交換到目的地；l 還存在一種數(shù)據(jù)，平時可以定時抽取，但是有時候用戶對數(shù)據(jù)修改后，需要及時交換到目的地，就可以采用手工抽取模式臨時發(fā)出一個抽取指令，完成抽取。5.5.2. 數(shù)據(jù)交換模式數(shù)

29、據(jù)的交換模式可以支持一對多、多對一、多對多，即一個庫中的某一張表要同時交換到多個庫中的表中；多個庫中的表數(shù)據(jù)要匯聚到一個庫中的某張表中： l 不同場景下的數(shù)據(jù)交換支持，例如單向交換、普通雙向交換、數(shù)據(jù)廣播，特殊雙向交換等：Ø 數(shù)據(jù)單向交換，當(dāng)發(fā)布方發(fā)生數(shù)據(jù)變化后，變化數(shù)據(jù)交換到訂閱方，訂閱方數(shù)據(jù)發(fā)生變化后不需要交換到發(fā)布方，這種場景一般情況是數(shù)據(jù)訂閱方只是數(shù)據(jù)的使用者，也不做數(shù)據(jù)的更改，所有的更改都是由數(shù)據(jù)的發(fā)布方進行的，更改后下發(fā)到數(shù)據(jù)使用者(訂閱者)Ø 數(shù)據(jù)雙向交換，當(dāng)其中一方數(shù)據(jù)發(fā)生變化后，數(shù)據(jù)就交換到另外一方，這種交換模式有一個基本的原理就是對數(shù)據(jù)發(fā)生變化有一個判斷

30、，如果這個數(shù)據(jù)變化是由另一端交換過來的，那么就不需要再傳回去，否則就會一直傳下去，例如，某一類數(shù)據(jù)，上級單位和下級單位都可以進行修改，修改后都會交換到對方，保證數(shù)據(jù)的一致性，就可以采用數(shù)據(jù)雙向交換：Ø 數(shù)據(jù)廣播，主要是指某一個點做為數(shù)據(jù)廣播點，例如一個上下級數(shù)據(jù)整合的場景，上級會有一些通知進行廣播，就可以采用這種模式：雙向及廣播結(jié)合模式，這種場景主要是指當(dāng)一個中心和所有下級節(jié)點都是雙向交互的時候，就會出現(xiàn)兩種情況，一種是上面提到的雙向交換，即其中一個下級節(jié)點數(shù)據(jù)只和中心的數(shù)據(jù)完成同步，不過中心的其他下級節(jié)點，另外一種模式就是把這種雙向和廣播結(jié)合起來的，即所有的下級節(jié)點數(shù)據(jù)發(fā)生變化，不

31、只要和上級節(jié)點同步，上級節(jié)點還要把這個變化的數(shù)據(jù)廣播到其他的下級節(jié)點，例如：人口基本信息，存在國家和各個省都有一份，當(dāng)一個人的信息在某一個省發(fā)生變化的時候，首先要交換到國家的庫，然后還需要下發(fā)到其他省的庫，要保證所有數(shù)據(jù)都一致。5.5.3. 數(shù)據(jù)的處理支持?jǐn)?shù)據(jù)在不同交換點上做簡單、復(fù)雜的條件過濾，支持?jǐn)?shù)據(jù)的內(nèi)容路由功能。l 交換的數(shù)據(jù)可以在數(shù)據(jù)發(fā)布端進行各種條件過濾，當(dāng)某一個節(jié)點的數(shù)據(jù)需要對外進行交換，可以設(shè)置哪些數(shù)據(jù)進行交換的條件，這里的條件即可以是發(fā)布的這張表上的某一個字段做條件，例如，審批完成的數(shù)據(jù)才可以發(fā)布；也可以是關(guān)聯(lián)到其他表上的復(fù)雜條件，例如：要發(fā)布的數(shù)據(jù)必須在另外一張表中有關(guān)聯(lián)才

32、可以發(fā)布。l 針對發(fā)布的數(shù)據(jù)，訂閱端也可以選擇條件的接收，例如：源端發(fā)布了人員基本信息的數(shù)據(jù)，而做為某一個省，只想訂閱自己本省的數(shù)據(jù)，就可以通過設(shè)置訂閱條件類支持此需求。l 支持根據(jù)傳輸?shù)臄?shù)據(jù)內(nèi)容做不同目的地的路由，例如：根據(jù)一個機構(gòu)代碼來判斷，沒一條數(shù)據(jù)都會交換到符合此機構(gòu)代碼的省份。5.6. 支持跨網(wǎng)絡(luò)的管理和數(shù)據(jù)交換數(shù)據(jù)交換平臺整體架構(gòu)支持跨網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)，對于交換節(jié)點間不可直接連通，但可通過某個中間節(jié)點做路由連通的情況，可通過節(jié)點的管理代理功能，來實現(xiàn)節(jié)點的跨網(wǎng)管理和數(shù)據(jù)交換。交換節(jié)點A 和交換節(jié)點B直接沒有網(wǎng)絡(luò)鏈接可通，但是現(xiàn)在有業(yè)務(wù)需要，交換節(jié)點A的數(shù)據(jù)要交換到交換節(jié)點B；此時，發(fā)現(xiàn)

33、有一個交換節(jié)點C和這兩個節(jié)點都有聯(lián)通的網(wǎng)絡(luò)，在這種情況下，數(shù)據(jù)交換平臺有一個代理轉(zhuǎn)發(fā)的功能就可以解決此問題，當(dāng)數(shù)據(jù)從A節(jié)點出來后，到達(dá)C節(jié)點，判斷是B節(jié)點訂閱的數(shù)據(jù)，C節(jié)點不做任何處理，直接轉(zhuǎn)發(fā)給B節(jié)點。5.7. 穩(wěn)定可靠安全的數(shù)據(jù)傳輸支撐數(shù)據(jù)交換平臺的穩(wěn)定可靠安全傳輸主要是由各個階段不同的處理機制來支撐的，在各個階段都會有不同的方式保證在出現(xiàn)錯誤的時候來保護數(shù)據(jù)，避免數(shù)據(jù)丟失或者不完整。l 數(shù)據(jù)發(fā)布階段，當(dāng)發(fā)布數(shù)據(jù)通過底層傳輸通道發(fā)送的時候，發(fā)現(xiàn)發(fā)送通道有問題，馬上會在系統(tǒng)庫中保留此數(shù)據(jù)，通過重新處理機制來保證通道正常的情況下馬上交給發(fā)送通道，成功發(fā)到發(fā)送通道后，這才完成數(shù)據(jù)的發(fā)布。l 當(dāng)數(shù)

34、據(jù)進入傳輸通道后，就由傳輸通道保證數(shù)據(jù)，數(shù)據(jù)交換平臺的傳輸是基于公司已有的消息中間件來完成，消息中間件經(jīng)過多年在金融電信等關(guān)鍵行業(yè)的應(yīng)用后已經(jīng)非常成熟穩(wěn)定，數(shù)據(jù)平臺無縫的集成消息中間件，消息中間件對用戶來說是透明的。在數(shù)據(jù)傳輸過程中支持：Ø 數(shù)據(jù)的斷點續(xù)傳。Ø 支持網(wǎng)絡(luò)常連接和按需連接兩種連接模式，以更好地適應(yīng)不同的網(wǎng)絡(luò)通訊環(huán)境，節(jié)省系統(tǒng)資源和提高傳輸效率。Ø 提供數(shù)據(jù)壓縮機制，提高網(wǎng)絡(luò)傳輸性能。Ø 提供數(shù)據(jù)加密機制，加強數(shù)據(jù)傳輸安全控制。Ø 支持多種網(wǎng)絡(luò)底層環(huán)境，如：租用線 (Leased line)、撥號線、分組交換網(wǎng)（X.25）、DDN

35、, 幀中繼 (Frame Relay) 、衛(wèi)星網(wǎng)絡(luò)等。l 數(shù)據(jù)訂閱端，當(dāng)數(shù)據(jù)通過傳輸?shù)竭_(dá)目的交換節(jié)點后，系統(tǒng)會把收到的數(shù)據(jù)先保存到系統(tǒng)數(shù)據(jù)庫中一份，當(dāng)數(shù)據(jù)正常被交換入庫成功后，才對系統(tǒng)數(shù)據(jù)庫中的備份做刪除，否則，會對備份表數(shù)據(jù)做定期重試。5.8. 支持遠(yuǎn)程部署配置可以實現(xiàn)平臺管理中心對跨地域不同部門的交換設(shè)施、交換流程的遠(yuǎn)程配置與部署功能，使得上級可以幫助下級單位創(chuàng)建部署新的交換流程。尤其在參與交換單位多而分散、邊遠(yuǎn)地區(qū)技術(shù)力量薄弱的環(huán)境下，可以發(fā)揮中心技術(shù)力量優(yōu)勢，減少現(xiàn)場安裝部署的差旅、溝通、培訓(xùn)的成本，提高了應(yīng)用上線速度。5.9. 多角度監(jiān)控管理及告警監(jiān)控管理平臺提供對交換基礎(chǔ)設(shè)施設(shè)置告

36、警閥值，所有交換平臺的基礎(chǔ)配置都會在監(jiān)控之內(nèi)，超過閥值會產(chǎn)生報警，以多種形式進行通知。另外就是用戶最關(guān)心的業(yè)務(wù)數(shù)據(jù)交換情況的監(jiān)控，例如某個表在某個時間端有多少數(shù)據(jù)發(fā)生變化，交換成功多少，失敗多少，失敗原因等信息都可以在平臺上從多個角度去統(tǒng)計、分析并形成報表。5.10. 可靈活配置的數(shù)據(jù)詳細(xì)審計l 可以從不同的緯度進行靈活的數(shù)據(jù)內(nèi)容審計配置，審計內(nèi)容記錄了什么時間交換了什么數(shù)據(jù)的詳細(xì)內(nèi)容。l 可在交換的流程中配置需要審計的交換信息，可精確到字段級別。在配置交換流程時即可實現(xiàn)審計字段的配置。5.11. 提供豐富的管理配置API，方便二次開發(fā)TI-DXP提供了豐富的配置開發(fā)和管理API，便于在特定項

37、目中進行二次開發(fā)，將DXP集成到特定項目中。6. 適應(yīng)場景及參考案例6.1. 適應(yīng)場景l(fā) 跨部門、跨層級、有集中監(jiān)控管理的需求需要集中監(jiān)控管理需要遠(yuǎn)程配置部署、遠(yuǎn)程監(jiān)控管理l 跨部門、跨地域、跨層級參與交換的系統(tǒng)（部門）多（10個以上）系統(tǒng)（部門）地點分散有多級交換平臺（多個交換管理中心）業(yè)務(wù)系統(tǒng)接入交換平臺通過前置機方式l 快速、靈活的集成要求要求多個點快速安裝、配置、部署上線用戶可以調(diào)整或創(chuàng)建交換流程6.2. 案例一6.2.1. 項目概要2002年底，江西省電子政務(wù)信息網(wǎng)統(tǒng)一網(wǎng)絡(luò)物理平臺建成并投入運行。省、市、縣各級政府部門，依托統(tǒng)一網(wǎng)絡(luò)平臺開展的本部門縱向和橫向業(yè)務(wù)應(yīng)用系統(tǒng)建設(shè)，如黨委辦

38、、政府辦、發(fā)改委、財政、稅務(wù)、工商、質(zhì)監(jiān)、教育、司法、統(tǒng)計等30多個部門依托全省電子政務(wù)統(tǒng)一網(wǎng)絡(luò)平臺開展電子政務(wù)應(yīng)用，取得了很好的效果。隨著全省各部門業(yè)務(wù)應(yīng)用系統(tǒng)建設(shè)的加強，應(yīng)用系統(tǒng)的跨部門協(xié)作不斷增加，部門間橫向信息交流越來越多，各部門對于部門之間的數(shù)據(jù)交換、信息共享和業(yè)務(wù)協(xié)同提出了更高的要求。為了充分整合各地各部門的信息資源，實現(xiàn)各級政務(wù)部門業(yè)務(wù)應(yīng)用系統(tǒng)的互聯(lián)、互通、互操作，急需建設(shè)一個集網(wǎng)絡(luò)、應(yīng)用系統(tǒng)和數(shù)據(jù)庫于一體的可控、可管理的統(tǒng)一數(shù)據(jù)交換平臺，通過統(tǒng)一的信息資源目錄體系建立數(shù)據(jù)交換和共享機制，為電子政務(wù)業(yè)務(wù)系統(tǒng)的互聯(lián)互通和信息共享提供支撐環(huán)境，解決全省各級政務(wù)部門之間條塊分離、信息割

39、據(jù)，數(shù)據(jù)交換不充分、資源共享難、互動程度低，總體應(yīng)用水平不高的問題，推動全省電子政務(wù)健康、有序發(fā)展。為此，江西省信息中心，提出了建設(shè)江西省電子政務(wù)統(tǒng)一數(shù)據(jù)交換平臺的設(shè)想，即：建設(shè)覆蓋省、市、縣三級政府部門的數(shù)據(jù)交換平臺，支撐數(shù)以千計用戶單位開展跨部門、跨層級的業(yè)務(wù)協(xié)作，支撐全省電子政務(wù)應(yīng)用的持續(xù)、深入發(fā)展。 要求：全省統(tǒng)一規(guī)劃、統(tǒng)一規(guī)范、統(tǒng)一架構(gòu)，避免各級單位獨立建設(shè)帶來的格式各異、接口混亂、無法重用、難以擴展的局面；施行統(tǒng)一部署、統(tǒng)一監(jiān)控、統(tǒng)一管理的集中管理模式，總體上降低各級政府部門信息整合的建設(shè)、管理、應(yīng)用的成本；支撐好征信應(yīng)用、網(wǎng)上審批、電子監(jiān)察、公安社會信息共享等跨部門業(yè)務(wù)協(xié)同。6.2.2. 項目實施的難點：整合單位眾多、系統(tǒng)規(guī)模巨大平臺涉及省、市、縣三級的委辦局用戶單位、多種異構(gòu)系統(tǒng)、多