數據交換共享整合系統(tǒng)平臺技術方案

1、數據交換共享整合協同平臺設計整合協同平臺的主要功能是從其它子系統(tǒng)中提取共享數據，并對多來源渠道的、相互不一致的數據進行數據融合處理；基于數據字典對實時數據和歷史數據進行組織，以保證數據間關系的正確性、可理解性并避免數據冗余；以各種形式提供數據服務，采用分層次的方法對各類用戶設置權限，使不同用戶既能獲得各自所需要的數據，又能確保數據傳輸過程的安全性及共享數據的互操作性和互用性；維護基礎信息、動態(tài)業(yè)務數據以及系統(tǒng)管理配置參數；支撐系統(tǒng)的網絡構架、信息安全、網絡管理、流程管理、數據庫維護和備份等運維能力。整合協同平臺根據功能可分為兩個部分：第一部分，基礎數據和共享數據的交換服務和路由流程管理，該部分

2、是交換平臺的基礎，包括：靜態(tài)交換數據、動態(tài)交換數據、圖形數據及表格、統(tǒng)計資料等屬性數據。第二部分，各子系統(tǒng)之間的接口實現，根據事先制訂好的規(guī)范、標準，實現各子系統(tǒng)之間的數據共享和傳輸操作。在接入中心平臺時，應按系統(tǒng)集成要求設計系統(tǒng)結構，各類數據接口遵循系統(tǒng)集成規(guī)范。第一章 中心平臺設計1.1 平臺功能結構整合協同平臺服務器是公共基礎平臺的核心部分，XMA整合協同平臺提供一整套規(guī)范的、高效的、安全的數據交換機制。XMA整合協同平臺由部署在數據中心和各業(yè)務部門的數據交換服務器、數據接口系統(tǒng)共同組成，解決數據采集、更新、匯總、分發(fā)、一致性等數據交換問題，解決按需查詢、公共數據存取控制等問題。各業(yè)務子

3、系統(tǒng)都要統(tǒng)一使用XMA整合協同平臺進行數據交換。數據中心統(tǒng)一管理和制定數據交換標準。各業(yè)務部門通過數據級整合或者應用級整合通過XMA整合協同平臺向數據中心提供數據，也通過XMA整合協同平臺訪問共享數據。XMA整合協同平臺的基本功能如下：共享數據庫的數據采集、更新、維護。業(yè)務資料庫、公共服務數據庫的數據采集。提供安全可靠的共享數據服務。業(yè)務部門之間的業(yè)務數據交換。結合工作流的協調數據服務。功能流程說明：數據供需方的接口數據系統(tǒng)：為了滿足應用層交換和數據層交換，交換代理必須有應用層和數據層的連接和接口適配功能，數據代理必須有數據格式的轉換功能。數據傳輸：為了保證數據的正確傳輸和傳輸性能，必須有傳輸

4、管理功能，包括了傳輸協議管理和控制，傳輸過程控、數據傳輸加密、壓縮、網絡故障檢測和連接共享等功能。數據整合協同平臺：會話管理：為了能提供數據的交換方式如主動（推）、被動（拉）；支持定時和實時策略，支持超時控制管理等功能，數據交換平臺必須有會話策略、會話控制和管理功能。數據管理：為了數據能按標準進行交換，能按照部署的路由規(guī)則進行交換，必須有數據路由、數據模板管理、數據解析、數據轉換等功能。系統(tǒng)管理功能：同時數據交換平臺還應該提供服務管理功能，包括運行管理，部署管理，服務管理，系統(tǒng)日志等功能為了和安全平臺結合，還必須有與安全平臺的接口設計功能。1.2 設計原則1.2.1 安全高效的數據交換XMA整

5、合協同平臺底層采用消息中間件技術，實現可靠的數據傳輸。在應用層基于服務，實現數據交換，必須支持數據采集、數據匯總、數據分發(fā)、數據更新通知、數據轉發(fā)、數據轉換。支持實時、定時、按需的數據交換方式。支持多種數據源，提供身份驗證、用戶授權、傳輸加密、數據完整性、數據可信性、數據有效性的支持。支持數據分段傳輸、數據壓縮/解壓縮、數據緩存等。 規(guī)范的數據共享訪問共享數據是一個公共的資源，可以供多個業(yè)務系統(tǒng)同時使用。對公共數據的訪問必須經過用戶的驗證授權訪問。此外，還需要從數據中心運作的流程、規(guī)程制度等方面確保共享數據不被用于非法途徑。.1 安全可靠性由于各個業(yè)務部門間交換的數

6、據文件含許多敏感信息，所以對數據交換過程中的安全要求就十分嚴格。XMA整合協同平臺必須提供安全機制保證數據交換信息的完整性、數據交換信息的機密性。XMA整合協同平臺必須能有效的與安全認證平臺結合。通過安全認證平臺和XMA整合協同平臺，能夠保護交換信息內容免遭攔截或非法修改。.2 高可用性隨著項目工程的推進，需要數據交換的部門會越來越多，XMA整合協同平臺需要對負載平衡的支持，在分布式的體系結構上可以添加主機的方式提高整體計算能力，進行面向服務的適應性負載平衡。.3 可維護性XMA整合協同平臺具有日志監(jiān)控功能，通過數據服務日志可以記錄、跟蹤數據交換的細節(jié)。日志可以用于

7、對系統(tǒng)的運行狀態(tài)進行監(jiān)控，亦可以用于對系統(tǒng)的運行情況進行審計、故障處理、系統(tǒng)開發(fā)調試、交易跟蹤。對數據服務進行監(jiān)控管理，用戶權限管理，運行日志查看，性能統(tǒng)計。1.3 信息共享功能.1 數據匯總支持各個分支數據源匯總數據到數據中心。采集公共數據的過程可以看成是一個數據匯總的過程，通過XMA整合協同平臺將各業(yè)務部門的公共數據采集回來，匯集到數據中心的緩存數據庫。經過數據管理系統(tǒng)的比對、校驗、轉換得到一致的數據。.2 數據分發(fā)數據分發(fā)是從數據中心的角度，主動向各數據使用方提供數據的過程。通過公開數據服務，依照數據使用權限的規(guī)則，從數據中心把數據分發(fā)到各個數據使用部門，實現

8、數據共享、信息聯動。.3 數據存取訪問XMA整合協同平臺提供實時按需的數據存取訪問服務，通過統(tǒng)一標準的數據接口，以XML作為標準數據格式，通過標準的Web服務對各種技術平臺提供訪問支持。.4 數據轉換數據交換服務可以把某個數據庫的數據轉換成標準XML數據集。通過數據轉換模塊，實現對各種異構數據轉換到統(tǒng)一標準規(guī)范、具有一致性和完整性的公共數據。.5 任務定制數據接口系統(tǒng)應該允許用戶自己配置和管理相關的服務，如：數據提取服務、數據發(fā)送服務、數據接收服務、數據存儲服務等。.6 支持用戶自定義接口數據接口系統(tǒng)應該是一個開放的系統(tǒng)，要提供一些可擴充

9、的接口以及二次開發(fā)接口，支持用戶基于這些接口來定義自己的特色服務。.7 支持監(jiān)控管理對數據服務進行監(jiān)控管理，用戶權限管理，運行日志查看，性能統(tǒng)計。通過數據服務日志可以記錄、跟蹤數據交換的細節(jié)。對數據交換節(jié)點進行管理，提供安全策略指南、服務器安全管理配置。 信息交換方式XMA整合協同平臺可以支持不同方式的機構和系統(tǒng)間的數據交換與協同，主要包括： 基于Web Services服務的方式用于外部機構與中心平臺間的實時交換；基于數據庫接口的方式用于內部系統(tǒng)間實時或非實時交換；基于文件交換的方式用于外部或內部系統(tǒng)間非實時批量交換。1.4 基于Web Services服務的方式

10、基于WebServices服務的數據交換方式主要用于外部機構部門與數據中心間實時的數據交換和業(yè)務協同應用。基于WebServices技術的應用集成通過主流的WebServices協議如SOAP、XMLRPC等協議的無縫集成，支持這些應用系統(tǒng)的接口，提供基于WebServices的應用系統(tǒng)整合適配器，并提供快速整合WebServices應用的工具和接口API。數據提供方定義公開數據服務，以服務的形式封裝數據交換的內容和協議。數據使用方調用數據提供方的公開數據服務以獲取所需的數據，并且按照一定的數據轉換和數據更新規(guī)則，把數據更新到本地數據源。通過本地數據服務和公開數據服務的交互實現數據提供方和數據

11、使用方之間的數據交換。.1 基于數據庫接口的方式基于數據庫接口交換的方式主要用于內部系統(tǒng)間的實時或非實時數據交換方式。交換的雙方通過定義發(fā)送和接收任務來進行數據庫接口的交換。根據交換的數據格式的不同，這種數據交換方式又可以細分為兩種類型：一種是數據落地的數據共享，一種是數據不落地的數據交換?；跇藴蔢ML元數據和數據字典的數據交換由XMA整合協同平臺自動從前置機交換數據庫中提取數據，并按照定義好的模板打包生成標準的XML數據包，由定制好的發(fā)送路由發(fā)送給接收方。接收方接收到XML數據包后自動進行解包處理，并將數據存儲到接收方的前置機交換數據庫中。.2 基于文件交換的方

12、式基于文件交換的方式主要用于外部或內部的非實時批量數據交換方式。交換的雙方通過定義發(fā)送和接收任務來進行數據文件的交換。根據交換的數據文件的不同，這種數據交換方式又可以細分為兩種類型：一種是基于標準XML文件的數據交換，一種是基于其他文件格式的數據交換?；跇藴蔢ML文件的數據交換由XMA整合協同平臺自動從前置機交換數據庫中提取數據，并按照定義好的模板打包生成標準的XML文件，由定制好的發(fā)送任務發(fā)送給接收方。接收方接收到XML文件后自動進行解包處理，并將數據存儲到接收方的前置機交換數據庫中。基于其他文件格式的數據交換由業(yè)務系統(tǒng)將需要交換的數據文件放置到前置機上的規(guī)定路徑下，通過XMA整合協同平臺

13、發(fā)送到目的地交由接收部門自行處理。第二章 平臺接口設計制定的接口規(guī)范內容為整合協同平臺和各接入部門之間，系統(tǒng)互聯所涉及的數據交換接口。系統(tǒng)之間的信息傳輸和交換通過計算機系統(tǒng)互聯網絡來完成。數據接口“信息平臺”與接入部門信息系統(tǒng)之間通信的通用接口模型如圖所示。運輸層以下層次的通信協議選用合適的標準協議，運輸層和網絡層建議選用統(tǒng)一的TCP/IP協議，便于各節(jié)點之間組網傳輸，數據鏈路層和物理層可根據實際通信條件情況靈活選用，如ADSL、E1。“中心平臺”與接入部門之間通信的通用接口模型在整合協同平臺，按照對信息的各種需求，維護一個用于數據共享的標準數據注冊中心，采用標準化數據的方式向各接入系統(tǒng)及各應

14、用系統(tǒng)提供共享的信息；各接入系統(tǒng)在整合協同平臺處對應維護一張數據字典，用于完成非標數據和標準數據的翻譯，從而向共享的標準數據庫提供標準化的數據信息；對于單一功能領域的特殊數據信息，系統(tǒng)提供在各子系統(tǒng)之間直接進行交換的途徑，滿足特定功能的應用需求；系統(tǒng)需要有一個專門的維護和管理機構，分別對系統(tǒng)的數據字典、標準共享數據庫進行增添、更新等維護管理，以滿足新的接入系統(tǒng)接入和系統(tǒng)發(fā)展的需求。.1 數據傳輸在數據傳輸中，由于系統(tǒng)數據的異構特性，在數據發(fā)送接口和接收接口需要對數據格式按照數據字典的要求進行轉換，統(tǒng)一于標準的數據格式滿足應用的要求。.2 接口擴展數據接口的分層次、模

15、塊化、規(guī)范化設計，將有利于系統(tǒng)的擴展性，對擴展性設計主要體現在以下幾個方面： 應用層協議的分層設計，各層功能明確，層之間可通過規(guī)范化的接口進行調用和傳遞信息。各層功能可獨立實現，靈活性好，比如可通過購置商品化軟件來實現通信子層；某一層協議的功能擴展或變化時，將不影響另一層協議的功能。采用數據登記標準的、基于XML格式的數據接口方案設計，靈活性比較好，系統(tǒng)擴展方便，適合接入系統(tǒng)的增加或接入信息內容的擴展，有利于滿足新的系統(tǒng)接入和系統(tǒng)發(fā)展的需求。數據傳輸協議基于一些主流的、成熟的數據傳輸協議，能很好適應系統(tǒng)擴展的需求。 資源目錄管理數據中心通過XMA整合協同平臺以數據服務的方式從各業(yè)

16、務部門采集數據，保存到公共數據緩存庫，然后使用公共數據管理維護系統(tǒng)進行數據比對、沖突檢查、數據審核、數據轉換。當數據達到一致性、完整性要求時，數據被發(fā)布到公共數據發(fā)布庫，通過XMA整合協同平臺以數據服務的形式提供數據使用方訪問。該系統(tǒng)不僅要能夠滿足基于現狀條件下對信息資源的整合利用和規(guī)范管理，還要適應未來對信息資源的深度開發(fā)和多媒體信息資源庫擴展的要求。.1 資源目錄管理的結構數據管理系統(tǒng)以主題的方式組織數據資源，提供元數據管理、數據供需關系管理、數據標準規(guī)范管理，與XMA整合協同平臺結合，提供數據轉換、整理、發(fā)布等功能。.2 資源目錄管理的功能.2.

17、1 元數據管理功能介紹元數據目錄集中管理數據元數據的發(fā)布與維護，系統(tǒng)授權給分系統(tǒng)管理員完成對本部門元數據的維護工作。.2.2 服務注冊與接口發(fā)布前置機注冊數據源注冊適配器注冊服務注冊服務刪除服務訂閱服務審核服務啟動.2.3 數據轉換建立業(yè)務部門數據于標準規(guī)范數據的轉換映射關系和轉換規(guī)則，將業(yè)務部門的數據轉換為符合標準規(guī)范的數據。數據轉換重用數據整合協同平臺的功能。.2.4 數據整理數據中心通過XMA整合協同平臺從區(qū)級數據中心及各業(yè)務部門采集數據并放入數據中心的緩存數據庫中，然后通過數據管理系統(tǒng)對數據進行比對、清洗，檢查數據沖突，對數據進行審核校驗。確保

18、數據一致性、完整性。.2.5 主題管理數據中心以主題為單位實現數據采集、數據交換、數據共享、數據比對以及數據發(fā)布。因此必須提供主題管理功能。主題管理重用數據整合協同平臺的功能。 運行監(jiān)控管理為方便對數據中心的管理和維護，需要一套功能完整的運行管理與監(jiān)控維護系統(tǒng)，保障整個數據中心系統(tǒng)和信息資源的高可靠、高可控和高效。運行管理系統(tǒng)主要提供給數據中心的系統(tǒng)管理人員使用，用于保證數據中心的安全可靠和高效運行。其功能主要包括面向安全性的用戶管理、權限管理和密碼管理；面向可用性的節(jié)點管理和狀態(tài)監(jiān)控；面向可靠性的數據備份和恢復；面向性能優(yōu)化的性能監(jiān)控；面向運行管理機制的信息管理等

19、。提供滿足監(jiān)測統(tǒng)計要求的功能，提供對檢測日志內容的簡單統(tǒng)計分析表等。運行管理與監(jiān)控系統(tǒng)的管理對象包括：XMA整合協同平臺、數據庫服務器、主機服務器、網絡設備、備份和存儲設備、數據交換節(jié)點設備和系統(tǒng)等。.1 運行監(jiān)控管理模型運行監(jiān)控管理要涉及不同領域的多種協議和接口 - 比如 SNMP 用于網絡管理，桌面管理接口 (DMI) 用于桌面系統(tǒng)管理?；?Web 的企業(yè)管理 (WBEM) 是這個行業(yè)的一個倡議，能夠收集、管理并合并多種來源的管理數據，從而更全面、更精確地了解系統(tǒng)環(huán)境。WBEM 有兩個關鍵的組成部分（但有可能會使用更多的標準，比如使用 XML 平臺來中立地共享 CIM 對象

20、）：公共信息模型 (CIM) 規(guī)范，它定義了 WBEM 實施的要求CIM 架構，它描述了數據存儲庫的內容運行監(jiān)控管理平臺的體系結構可參考如下所示：.2 運行監(jiān)控管理結構運行管理與監(jiān)控系統(tǒng)通過數據整合協同平臺的資源管理體系和智能代理共同來完成。運行管理與監(jiān)控系統(tǒng)的系統(tǒng)結構如圖：資源管理體系和智能代理的實現符合WBEM標準和JMX規(guī)范，JMX定義了開發(fā)可管理應用或網絡管理系統(tǒng)的一個體系結構、若干設計模式、API和服務。JMX規(guī)范包含若干現有標準管理協議的Java API，JMX通過廣泛應用的兩個管理協議：SNMP管理者API和CIM/WBEM管理者與提供者API與WBEM達成無縫的集

21、成。JMX規(guī)范向業(yè)界各領域的用戶提供了裝配代碼、創(chuàng)建智能代理、實現分布式管理中間件和管理者的方式，并且可使這些解決方案平滑的集成到現有管理系統(tǒng)中。另外JMX規(guī)范也提供了若干現有標準管理技術的Java API。JMX側重管理軟件架構和數據接口系統(tǒng)（部署到各個部門的前置機）而WBEM則側重管理網絡設備，他們各有分工又互相合作。第三章 安全認證管理數據中心系統(tǒng)結合安全認證平臺的應用主要包括：數據中心應用單點登陸認證數據共享交換安全認證在項目中，根據需求把安全認證平臺應用到每個功能和模塊。.1 身份認證和單點登錄安全認證在技術上采用了大量先進成熟的安全技術，支持的功能和相應的技術特性如下

22、：訪問權限控制：對業(yè)務流程中的操作、對數據和資源的訪問，都能進行權限控制；用戶身份驗證：提供對用戶的身份驗證，支持單點注冊；數字認證體系：提供基于PKI標準的數字認證體系，通過CA認證中心的證書進行數字認證、數字簽名等保障措施，來認證用戶、實體的身份，保證消息的完整性和交易的不可否認性，確保交易合法有效；安全通信通道：通過SSL等標準的安全通道協議，提供通信層的安全，保障通信雙方的身份正確性，通道和會話的私密性，消息的完整性和交易的不可否認性。安全總線技術特性身份認證 (Authentication)強身份認證單點登錄 (Single Sign-on)授權訪問控制 (Authorization

23、)可定制的訪問控制列表 (ACL)權限管理 (Group, User, Action, Permission)數據加密插件式的數據加密模塊的部署數字認證基于PKI的CA認證、數字證書、數字簽名支持安全通信協議，如 SSL, HTTPS .集成其他安全服務兼容 LDAP, NT Domain 等安全服務.2 數據交換加密認證下圖表示數據在應用層交換的請求/響應流程圖過程描述如下：通過接口API之間的數據流通道接收請求方發(fā)送的XML請求數據；對請求方進行身份認證和權限控制；寫請求日志，存儲請求XML數據文件；解析請求XML數據；驗證數字簽名；對XML數據中的加密數據進行解密；根據解析

24、后的明文請求數據進行對應的業(yè)務處理；對處理后的響應數據按需要進行加密；進行數字簽名；將數據封裝成XML 數據文件；通過數據流通道發(fā)送XML數據；寫響應日志，存儲響應XML數據文件。涉及到安全體系的步驟包括：第2、第5、第6、第8、第9步。除了和登陸認證的登陸認證之外，還包括了數據的加解密過程。 系統(tǒng)技術實現的優(yōu)勢特性.1 高效可靠的可擴展平臺平臺提供數據層、應用層等多層次的數據交換，提供基于文件、數據庫、應用層的多種交換方式。系統(tǒng)的穩(wěn)定性和性能已經在多個政府、銀行、電信中得到應用。.2 即插即用的柔性架構數據共享交換平臺設計了統(tǒng)一的管理總線和安全總線接

25、口、采用了“即插即用”的管理模型，具備了即插即用的特性，對于新拓展的適配器能夠快速、動態(tài)的部署和集成。.3 高擴展低維護的特性使系統(tǒng)有足夠好的可擴展能力，各部分之間必須是松散耦合的，每個部分的實現方法的變化不應該對系統(tǒng)的其他部分造成影響；系統(tǒng)中的新增的模塊只需要在一處配置，可以被多個子系統(tǒng)共享的能力。.4 安全可靠的特性保證系統(tǒng)必須保證在廣域網環(huán)境下的具有足夠的安全性，符合信息化建設中的安全要求，能與認證中心CA/PKI系統(tǒng)無縫結合。.5 靈活可靠的數據傳輸.6 支撐擴展的綜合應用通過對應用支撐體系的實現，不僅可以支持數據中心的數據整合、

26、共享交換，還可為其他部門或綜合應用提供支撐，如公共服務系統(tǒng)、決策支持系統(tǒng)等，真正做到成為企業(yè)信息系統(tǒng)的樞紐。第四章 系統(tǒng)能力及性能指標XMA整合協同平臺服務器是任務關鍵系統(tǒng)，縱向聯接多級系統(tǒng)，橫向聯接多個業(yè)務部門，系統(tǒng)結構復雜、業(yè)務量大、吞吐量高，需要具備良好的安全性、穩(wěn)定性、可用性、可伸縮性和可擴展性。XMA整合協同平臺的技術路線采用SOA、EAI、ETL、XML等大量成熟的先進技術，架構在J2EE的分布式體系結構之上，數據交換采用XML，支持WEB服務和SOAP協議，在軟件架構管理上采用JMX與WBEM集成的技術，使之成為管理模塊技術的核心，結合CA認證機制的提供安全保障。同時提供中間層集

27、成框架用來滿足無需太多費用而又需要高可用性、高可靠性以及可擴展性的應用需求。通過提供統(tǒng)一的集成平臺降低了資源整合和應用的成本和復雜性，同時提供對現有應用程序集成強有力支持。XMA整合協同平臺是各個部門建設業(yè)務系統(tǒng)的一個標準架構，作為數據中心的平臺建設，必須能滿足及支持區(qū)域性體系架構的要求。系統(tǒng)遵循國際主流的SOA架構體系，采用先進、主流、可靠、安全、開放、實用、性價比好的系統(tǒng)架構，具有優(yōu)秀的技術能力和性能指標。.1 系統(tǒng)能力項目技術指標遵循標準規(guī)范采用面向服務架構(SOA)設計和企業(yè)服務總線(ESB)技術，遵循J2EE標準體系結構，具有靈活的擴展性和良好的移植性。多種交換方式數據交換接口主要包含：Web服務方式，支持主流的協議接口，如SOAP、REST等Web服務協議標準數據庫接口方式，支持主流關系型數據庫的接口，包括了ORACLE、SQL SERVER、SYBASE、DB2等基于文件交換方式，支持基于自定義格式的文件交換多種數據格式以XML格式為主，可支持各種類型的數據源的交換，包括關系型、結構化、XML、消息、文本數據、WEB數據、矢量地圖、影像、視頻、音頻等。數據交換能力支持服務、消息、數據庫、文