水資源數(shù)據(jù)交換解決方案v

水資源數(shù)據(jù)交換解決方案1、 項目概述實行最嚴(yán)格水資源管理制度的關(guān)鍵是圍繞水資源配置、節(jié)約和保護(hù)，確立水資源管理三條紅線，建立水資源管理責(zé)任制和考核制度，確保水資源管理目標(biāo)的實現(xiàn)。全面實行最嚴(yán)格的水資源管理制度，必須加強(qiáng)水資源監(jiān)控設(shè)施建設(shè)，實時掌握來水、取水、用水和排水動態(tài)，保證第一手信息的準(zhǔn)確性、科學(xué)性和精細(xì)化，為最嚴(yán)格水資源管理制度考核提供手段和依據(jù)。實行最嚴(yán)格的水資源管理制度，目前的關(guān)鍵是解決水資源管理基礎(chǔ)薄弱的問題。水利部組織編制了《國家水資源監(jiān)控能力建設(shè)項目實施方案》，提出利用三年左右時間，開展國家水資源監(jiān)控能力建設(shè)項目，初步形成與實行最嚴(yán)格水資源管理制度近期目標(biāo)相適應(yīng)的國家水資源監(jiān)控能力，為支撐水資源管理定量考核工作奠定基礎(chǔ)。國家水資源監(jiān)控能力建設(shè)項目建設(shè)內(nèi)容以國控監(jiān)測點(diǎn)的在線監(jiān)測與傳輸能力建設(shè)和中央、流域、省三級監(jiān)控管理信息平臺建設(shè)為重點(diǎn)，構(gòu)建包括針對8558個規(guī)模以上取用水、4493個重要水功能區(qū)、789個省界斷面和重要控制斷面等國控監(jiān)測點(diǎn)組成的國家水量水質(zhì)在線監(jiān)測數(shù)據(jù)采集傳輸網(wǎng)絡(luò)（不包括土建工程）；構(gòu)建包括1個中央平臺、7個流域平臺和32個省級平臺（含31個省、自治區(qū)、直轄市和新疆生產(chǎn)建設(shè)兵團(tuán)）組成的國家水資源監(jiān)控管理平臺。2、 現(xiàn)狀與需求分析2.1、現(xiàn)狀目前水利相關(guān)組織架構(gòu)與建設(shè)體系逐步完善，從“十一五”到“十二五”過程中，將逐步建設(shè)圍繞水利核心業(yè)務(wù)的工程項目。網(wǎng)絡(luò)環(huán)境建設(shè)方面，已經(jīng)建成了連接水利部與7個流域機(jī)構(gòu)、32個省級水利部門的全國水利政務(wù)外網(wǎng)的骨干網(wǎng)和水利部連接水利部在京直屬單位、7個流域機(jī)構(gòu)的水利政務(wù)內(nèi)網(wǎng)，各流域機(jī)構(gòu)、省（自治區(qū)、直轄市）水利部門均建成了部門內(nèi)的政務(wù)外網(wǎng)（或政務(wù)內(nèi)網(wǎng)）局域網(wǎng)，流域機(jī)構(gòu)到所屬單位的政務(wù)外網(wǎng)廣域網(wǎng)基本建成，18個?。ㄖ陛犑校┮呀ǔ芍粮鞯兀ㄊ校┧帧⒅睂賳挝坏恼?wù)外網(wǎng)廣域網(wǎng)。2.2、平臺接入系統(tǒng)分析在本項目系統(tǒng)建設(shè)過程當(dāng)中，涉及到眾多的業(yè)務(wù)系統(tǒng)，此處雖無法全部列出，但從不同維度可以對各種業(yè)務(wù)系統(tǒng)進(jìn)行分類分析，從中歸納出各類業(yè)務(wù)系統(tǒng)/業(yè)務(wù)對象的接入特點(diǎn)。2.2.1、 建設(shè)時間維度以建設(shè)時間維度來分析，各類接入業(yè)務(wù)系統(tǒng)可以分為已建、待建或在建以及規(guī)劃中三類。建設(shè)時間的不同將決定各個接入業(yè)務(wù)系統(tǒng)與數(shù)據(jù)交換平臺之間的對接方式不同。對于已建的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換平臺應(yīng)以兼容性的接入方式為主，盡量以低侵入的方式減少對已建系統(tǒng)的變更影響；對于在建或待建的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換平臺可以通過建議和規(guī)劃的方式為系統(tǒng)提供對接的接口，以其與業(yè)務(wù)系統(tǒng)實現(xiàn)無縫集成；對于規(guī)劃中的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換平臺應(yīng)提供可擴(kuò)展的接口支持，并制定相應(yīng)的技術(shù)接口規(guī)范，以便于后續(xù)業(yè)務(wù)系統(tǒng)的規(guī)劃和架構(gòu)。2.2.2、 系統(tǒng)類型維度此處“系統(tǒng)類型”主要是從交換共享業(yè)務(wù)所需信息資源的存儲位置角度來定義系統(tǒng)。從整體上來分，本期項目所涉及的業(yè)務(wù)系統(tǒng)可分為部級、流域級、省級。部、流域、省三級結(jié)構(gòu)的業(yè)務(wù)系統(tǒng)是指采用部級、流域級、省級三級部署架構(gòu)的業(yè)務(wù)系統(tǒng)；各級獨(dú)立結(jié)構(gòu)的業(yè)務(wù)系統(tǒng)是指現(xiàn)階段在每一級已經(jīng)在用的的業(yè)務(wù)系統(tǒng)。經(jīng)過調(diào)研目前已經(jīng)完成系統(tǒng)建設(shè)的省份是江蘇省，其他部級、流域級、省級信息平臺都未建設(shè)。2.3、平臺交互場景分析平臺交換場景分析了數(shù)據(jù)交換平臺與各接入系統(tǒng)之間的交換關(guān)系，說明了業(yè)務(wù)系統(tǒng)之間通過數(shù)據(jù)交換平臺所完成的業(yè)務(wù)流程。2.3.1、橫向數(shù)據(jù)交換每一級業(yè)務(wù)系統(tǒng)之間的橫向內(nèi)部數(shù)據(jù)交換，需要通過業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)交換平臺來實現(xiàn)。橫向場景是指，在部級節(jié)點(diǎn)、流域節(jié)點(diǎn)、省級節(jié)點(diǎn)的水資源信息平臺都需要和水利部其他業(yè)務(wù)系統(tǒng)（例如：防汛抗旱、水資源電子政務(wù)等）做數(shù)據(jù)采集，即將外部業(yè)務(wù)系統(tǒng)數(shù)據(jù)采集進(jìn)入信息平臺數(shù)據(jù)庫。以部級業(yè)務(wù)系統(tǒng)為例。目前看到的橫向數(shù)據(jù)交換更多的是單向的數(shù)據(jù)匯總。2.3.2、 縱向數(shù)據(jù)交換部、流域、省三級的業(yè)務(wù)系統(tǒng)之間的縱向交換，需要通過部、流域、省三級的交換數(shù)據(jù)庫來實現(xiàn)。異地數(shù)據(jù)交換方式實現(xiàn)了部、流域、省三級業(yè)務(wù)數(shù)據(jù)的交換。包括數(shù)據(jù)上傳與數(shù)據(jù)下發(fā)兩部分：數(shù)據(jù)上傳是指流域節(jié)點(diǎn)、省級節(jié)點(diǎn)將水資源數(shù)據(jù)上傳至部級節(jié)點(diǎn)，即流域、省級信息平臺數(shù)據(jù)庫與部級信息平臺數(shù)據(jù)的交換。數(shù)據(jù)下發(fā)是部級節(jié)點(diǎn)將數(shù)據(jù)下發(fā)至指流域節(jié)點(diǎn)、省級節(jié)點(diǎn)，即部級信息平臺與流域、省級信息平臺數(shù)據(jù)庫的交換。以部級與流域縱向的數(shù)據(jù)交換為例，交換場景分為：?流域級業(yè)務(wù)系統(tǒng)向部級業(yè)務(wù)系統(tǒng)上報數(shù)據(jù)流域級業(yè)務(wù)系統(tǒng)根據(jù)部級系統(tǒng)的要求定時或?qū)崟r的將數(shù)據(jù)信息通過數(shù)據(jù)交換平臺進(jìn)行上報。?部級業(yè)務(wù)系統(tǒng)向流域級業(yè)務(wù)系統(tǒng)下發(fā)數(shù)據(jù)流域級業(yè)務(wù)系統(tǒng)可以通過數(shù)據(jù)交換平臺向部級業(yè)務(wù)系統(tǒng)申請共享數(shù)據(jù)，部級業(yè)務(wù)系統(tǒng)通過數(shù)據(jù)交換平臺將共享數(shù)據(jù)下發(fā)給流域級系統(tǒng)。2.3.3、 內(nèi)外網(wǎng)數(shù)據(jù)交換數(shù)據(jù)內(nèi)外網(wǎng)交互場景是考慮到水利數(shù)據(jù)不能在流域、省級節(jié)點(diǎn)內(nèi)外網(wǎng)之間直接交互數(shù)據(jù)，數(shù)據(jù)流是流域、省級節(jié)點(diǎn)外網(wǎng)先上傳至部級節(jié)點(diǎn)外網(wǎng)，然后在部級節(jié)點(diǎn)內(nèi)網(wǎng)、外網(wǎng)通過網(wǎng)閘、或者物理刻盤方式傳輸?shù)絻?nèi)網(wǎng)，然后在內(nèi)網(wǎng)做數(shù)據(jù)下發(fā)。反之亦然2.4、平臺交互數(shù)據(jù)分析在不同交互場景之中，平臺能夠提供的交互內(nèi)容和方式按照不同維度來分，可以分為以下若干種類。交互數(shù)據(jù)類型分析圖示，如下圖：2.5、平臺隔離性分析數(shù)據(jù)交換平臺獨(dú)立于各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)邏輯，數(shù)據(jù)交換平臺與現(xiàn)有的業(yè)務(wù)系統(tǒng)再交互上保持相互隔離和透明，數(shù)據(jù)交換平臺對現(xiàn)有業(yè)務(wù)系統(tǒng)沒有影響或盡量減少影響。在此基礎(chǔ)上擴(kuò)充增加業(yè)務(wù)系統(tǒng)，不影響數(shù)據(jù)交換平臺的基礎(chǔ)架構(gòu)?？紤]到平臺隔離性需要引入前置概念，由前置庫、交換庫來屏蔽數(shù)據(jù)交換平臺與業(yè)務(wù)系統(tǒng)的緊耦合。2.6、 平臺統(tǒng)一性分析在本項目中需要數(shù)據(jù)交換平臺需要制定統(tǒng)一的交換協(xié)議和數(shù)據(jù)規(guī)范，能夠約束與規(guī)范平臺與業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交換。在進(jìn)行數(shù)據(jù)交換時，連接到數(shù)據(jù)交換平臺的各個業(yè)務(wù)系統(tǒng)遵循統(tǒng)一的標(biāo)準(zhǔn)。統(tǒng)一性的要求有利于在各種業(yè)務(wù)系統(tǒng)之間、異構(gòu)數(shù)據(jù)庫之間、不同網(wǎng)絡(luò)系統(tǒng)之間提供整合手段，保證整個數(shù)據(jù)交換平臺的數(shù)據(jù)一致性，便宜管理和監(jiān)控，簡化各個業(yè)務(wù)系統(tǒng)與交換平臺互聯(lián)的開發(fā)量。采用數(shù)據(jù)交換平臺方式搭建，有效方式就是建設(shè)標(biāo)準(zhǔn)交換庫。2.7、 平臺擴(kuò)展性分析數(shù)據(jù)交換與共享平臺在完成本期項目建設(shè)目標(biāo)和任務(wù)的基礎(chǔ)上，還應(yīng)當(dāng)著眼“水資源建設(shè)體系”的整體規(guī)劃，為體系內(nèi)業(yè)務(wù)系統(tǒng)的持續(xù)建設(shè)與發(fā)展提供基礎(chǔ)性的技術(shù)支撐，并對可預(yù)見的平臺擴(kuò)展性需求進(jìn)行分析和考慮。主要體現(xiàn)在三級業(yè)務(wù)系統(tǒng)的橫向擴(kuò)展、三級級業(yè)務(wù)系統(tǒng)的縱向擴(kuò)展以及隨著規(guī)模和業(yè)務(wù)量的擴(kuò)大所進(jìn)行的平臺升級和加固。2.7.1、 橫向擴(kuò)展?兼容已建的業(yè)務(wù)系統(tǒng)對于水利其他項目已經(jīng)建設(shè)完成的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換與共享平臺應(yīng)有能力提供系統(tǒng)接入和數(shù)據(jù)交換的功能支持，以適應(yīng)已建系統(tǒng)的業(yè)務(wù)擴(kuò)展。?為待建的業(yè)務(wù)系統(tǒng)提供支持對于本項目在建或待建的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換與共享平臺可以提供規(guī)范性的數(shù)據(jù)交換接口以及數(shù)據(jù)交換標(biāo)準(zhǔn)規(guī)范，為業(yè)務(wù)系統(tǒng)建設(shè)提供參考性意見，并能夠?qū)ζ溥M(jìn)行系統(tǒng)接入，為其提供數(shù)據(jù)交換與共享服務(wù)。2.7.2、 縱向擴(kuò)展?流域級業(yè)務(wù)系統(tǒng)的接入策略數(shù)據(jù)交換平臺應(yīng)當(dāng)考慮接入流域級信息平臺不同業(yè)務(wù)逐步需要接入到部級信息平臺的接入支持。?省級業(yè)務(wù)系統(tǒng)的接入策略數(shù)據(jù)交換平臺應(yīng)當(dāng)考慮接入省級信息平臺不同業(yè)務(wù)逐步需要接入到部級信息平臺的接入支持。2.8、 平臺跨平臺運(yùn)行分析隨著業(yè)務(wù)系統(tǒng)規(guī)模的不斷擴(kuò)大，必然會涉及硬件平臺需要升級，在硬件系統(tǒng)升級時，數(shù)據(jù)交換平臺需要平滑過渡。隨著業(yè)務(wù)擴(kuò)展，系統(tǒng)升級，所有的處理過程，包括程序代碼均不需要做任何修改，即可平滑的遷移到新的平臺上。同時，數(shù)據(jù)交換平臺能夠適應(yīng)各個部門的各種軟硬件平臺。2.9、 平臺功能需求分析數(shù)據(jù)交換平臺建設(shè)完畢后要縱向打通部、流域、省三級信息平臺信息交換，橫向打通防辦、水文局、外部業(yè)務(wù)系統(tǒng)的信息交換。不管是縱向還是橫向數(shù)據(jù)交換都需要交換平臺具有如下功能：數(shù)據(jù)采集功能數(shù)據(jù)管理功能數(shù)據(jù)交換功能數(shù)據(jù)共享功能應(yīng)用集成整合功能數(shù)據(jù)安全功能平臺擴(kuò)展功能3、建設(shè)內(nèi)容本項目數(shù)據(jù)交換平臺建設(shè)建設(shè)內(nèi)容是:數(shù)據(jù)交換平臺連接中央信息平臺、流域信息平臺、省級信息平臺以及其他政府部門單位，在縱橫雙向廣域網(wǎng)絡(luò)上以星型拓?fù)浣Y(jié)構(gòu)實現(xiàn)業(yè)務(wù)數(shù)據(jù)的交換、同步，形成統(tǒng)一共享的數(shù)據(jù)中心。在縱向上可以由數(shù)據(jù)交換管理平臺定時或?qū)崟r地從下級節(jié)點(diǎn)取得數(shù)據(jù)，通過消息中間件向上級節(jié)點(diǎn)作業(yè)務(wù)數(shù)據(jù)匯總，上級節(jié)點(diǎn)的集成中間件取得數(shù)據(jù)，經(jīng)過加工處理，送入相應(yīng)節(jié)點(diǎn)的數(shù)據(jù)庫。同時橫向各相關(guān)委辦局外部應(yīng)用系統(tǒng)在進(jìn)行數(shù)據(jù)交換和共享時通過數(shù)據(jù)采集工具提供的各種適配器將不同業(yè)務(wù)系統(tǒng)接入，并進(jìn)行業(yè)務(wù)整合。4、總體設(shè)計方案4.1、平臺總體架構(gòu)根據(jù)本期項目的業(yè)務(wù)要求和應(yīng)用特點(diǎn)，提出的交換與共享平臺方案，應(yīng)立足為水資源的建設(shè)提供一個“基礎(chǔ)化、可復(fù)用”的平臺交換設(shè)施，交換平臺將考慮未來為更多數(shù)據(jù)共享提供支撐與整合。數(shù)據(jù)交換與共享平臺在設(shè)計實現(xiàn)上充分考慮了以下主要因素:首先其符合國家對交換信息資源交換管理的相關(guān)標(biāo)準(zhǔn)和規(guī)范；其次，采用先進(jìn)的技術(shù)設(shè)計實現(xiàn)，包括多層設(shè)計的中間件技術(shù)體系等；再次，吸收目前東方通在政務(wù)資源交換與管理實施方面的經(jīng)驗和對一些技術(shù)實現(xiàn)的可行性驗證，在平臺設(shè)計上做到客觀、實際、以滿足業(yè)務(wù)應(yīng)用需求為主導(dǎo)；最后，設(shè)計實現(xiàn)的方式完全基于東方通現(xiàn)有集成中間件產(chǎn)品，具有完整的自有知識產(chǎn)權(quán)。平臺整體上分為部級、流域級、省級兩級部署方式，整體解決方案重點(diǎn)強(qiáng)調(diào)對整體數(shù)據(jù)交換過程的松耦合、統(tǒng)一規(guī)范、可擴(kuò)展、可管理。部級的數(shù)據(jù)交換平臺由數(shù)據(jù)交換管理平臺TongDXP、消息中間件TongLINK/Q、數(shù)據(jù)采集工具Tongintegrator、部級前置數(shù)據(jù)庫組成。其中數(shù)據(jù)交換管理平臺TongDXP、消息中間件TongLINK/Q、數(shù)據(jù)采集工具Tongintegrator三個部分是平臺的核心組成部分，部級前置數(shù)據(jù)庫是平臺中間數(shù)據(jù)的承載部分，是平臺的重要補(bǔ)充。流域級、省級數(shù)據(jù)交換部分和部級數(shù)據(jù)交換部分配置相同。在縱向上，以部級、流域、省兩級交換庫構(gòu)成了基礎(chǔ)的數(shù)據(jù)同步架構(gòu)，兩級平臺通過數(shù)據(jù)交換管理平臺TongDXP完成上下級交換庫之間的數(shù)據(jù)交換管理，消息中間件TongLINK/Q保障跨網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)陌踩?。在?jié)點(diǎn)交換庫與節(jié)點(diǎn)信息平臺數(shù)據(jù)庫之間采用數(shù)據(jù)采集工具Tongintegrator完成數(shù)據(jù)采集、轉(zhuǎn)換、加載、入庫過程。在橫向上，部級、流域、省級橫向操作模式相同，以部級為例，重點(diǎn)是完成部級信息平臺數(shù)據(jù)庫與水利外部業(yè)務(wù)系統(tǒng)（例如：防汛抗旱、水利電子政務(wù)等）的數(shù)據(jù)對接工作。以業(yè)務(wù)前置庫為輔的方式形成了“數(shù)據(jù)權(quán)威集中、共享需求隔離”的數(shù)據(jù)交互架構(gòu)，業(yè)務(wù)系統(tǒng)對共享數(shù)據(jù)的個性化需求由各自的業(yè)務(wù)前置庫來滿足。4.2、平臺組成4.2.1、 數(shù)據(jù)交換管理平臺數(shù)據(jù)交換管理平臺TongDXP在本方案中承載部級節(jié)點(diǎn)、流域節(jié)點(diǎn)、省級節(jié)點(diǎn)邏輯上三級交換庫之間的數(shù)據(jù)交換，同時也承載三級平臺交換過程的數(shù)據(jù)管理。數(shù)據(jù)交換管理平臺TongDXP提供業(yè)務(wù)人員易用的web管理控制臺，能夠?qū)θ壠脚_交換庫之間的傳輸非常簡易的配置，同時也可以按照集中方式統(tǒng)一管理、分域方式對以樹形結(jié)構(gòu)管理整體交換工程，例如：部級數(shù)據(jù)交換管理平臺以分域形式可以管理7大流域到部級的整體數(shù)據(jù)交換過程，長江流域數(shù)據(jù)交換管理平臺能夠管理其下屬省份到長江流域的數(shù)據(jù)交換過程。高效合理的管理方式是水資源項目后期的組織保障。數(shù)據(jù)交換管理平臺TongDXP能夠管理全網(wǎng)水資源兩級信息平臺交換庫之間的數(shù)據(jù)交換過程、信息平臺交換庫與信息平臺業(yè)務(wù)庫的數(shù)據(jù)交換過程、外部業(yè)務(wù)前置庫與業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)交換過程。4.2.2、 數(shù)據(jù)采集工具數(shù)據(jù)采集工具在本項目中承載業(yè)務(wù)前置庫與信息平臺業(yè)務(wù)庫之間數(shù)據(jù)交換，信息平臺業(yè)務(wù)庫與信息平臺交換庫之間數(shù)據(jù)交換，在有可能的情況下完成業(yè)務(wù)前置庫與水資源外部系統(tǒng)數(shù)據(jù)之間數(shù)據(jù)交換。數(shù)據(jù)采集工具Tongintegrator提供功能豐富的適配器組件技術(shù)。每個適配器不但提供功能數(shù)據(jù)交換適配和服務(wù)功能，而且無需編碼，只需經(jīng)過簡單的配置就可以實現(xiàn)數(shù)據(jù)交換。數(shù)據(jù)采集工具能夠通過數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫時間戳直接讀取數(shù)據(jù)，也可以讀取數(shù)據(jù)文件、訪問應(yīng)用接口獲取數(shù)據(jù)。4.2.3、 消息中間件消息中間件TongLINK/Q承擔(dān)在外網(wǎng)上傳輸數(shù)據(jù)信息的重要職責(zé)，亦是連接各級數(shù)據(jù)交換管理平臺與各個數(shù)據(jù)采集工具的主要數(shù)據(jù)通道。消息中間件TongLINK/Q為各個相關(guān)信息系統(tǒng)與數(shù)據(jù)交換平臺之間的數(shù)據(jù)傳輸提供了可靠保證。消息中間件的消息傳輸一次且只有一次，是可靠的傳輸，其可靠性主要反應(yīng)在消息中間件許多內(nèi)建功能的可靠上。即使在網(wǎng)絡(luò)阻塞，物理鏈路暫時中斷，甚至主機(jī)宕機(jī)等嚴(yán)重情況下仍然可以通過續(xù)傳保證數(shù)據(jù)不丟、不重、不錯的傳送到接收節(jié)點(diǎn)。4.2.4、 信息平臺交換庫交換庫的設(shè)置是為了解決部級信息平臺與流域級信息平臺、流域級信息平臺、省級信息平臺的接入標(biāo)準(zhǔn)化問題，通過在各級信息平臺設(shè)置交換庫，能夠?qū)⑿畔⑵脚_業(yè)務(wù)庫的數(shù)據(jù)已標(biāo)準(zhǔn)化方式接入，成功解耦上下級平臺，權(quán)限職責(zé)分明，并最終形成數(shù)據(jù)的上傳下達(dá)。信息平臺交換庫的設(shè)置在水資源項目實施過程中能夠解耦上下級平臺，搭建好傳輸骨干，具有良好的模式優(yōu)勢：第一，擴(kuò)展性非常好。能夠非常容易做縱向擴(kuò)展，例如實施過程中，部級信息平臺與7大流域信息平臺、32個省級信息平臺可以逐步接入，定義好交換庫標(biāo)準(zhǔn)，無論7大流域信息平臺是哪種方式、什么時間接入，都不會對傳輸骨干造成影響，每個流域信息平臺接入只需要做信息平臺交換庫與信息平臺業(yè)務(wù)庫的數(shù)據(jù)標(biāo)準(zhǔn)映射。第二，能夠解耦上下級平臺。信息平臺交換庫成為平臺間交換標(biāo)準(zhǔn)角色，有效減少緊耦合帶來的數(shù)據(jù)交換實施工作量，同時能夠較為清晰定義上下級責(zé)任邊界，降低項目實施過程中“扯皮現(xiàn)象”，采用數(shù)據(jù)交換管理平臺TongDXP可以監(jiān)控具體數(shù)據(jù)傳輸量作為評測依據(jù)。第三，標(biāo)準(zhǔn)化定義非常清晰。信息平臺交換庫方式是電子政務(wù)交換體系重要組成部分，相關(guān)模式已經(jīng)很清晰，在實施過程中只需要定義標(biāo)準(zhǔn)規(guī)范就可以快速復(fù)制，具體的標(biāo)準(zhǔn)規(guī)范包括：《部級信息平臺數(shù)據(jù)庫和流域級交換庫對接標(biāo)準(zhǔn)》、《部級信息平臺數(shù)據(jù)庫和省級交換庫對接標(biāo)準(zhǔn)》、《流域級交換庫和流域信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》、《省級交換庫和省級信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》等。4.2.5、 業(yè)務(wù)前置庫業(yè)務(wù)前置庫的設(shè)置是為了解決部級信息平臺與部級外部業(yè)務(wù)系統(tǒng)、流域級信息平臺與流域級外部業(yè)務(wù)系統(tǒng)、省級信息平臺與省級外部業(yè)務(wù)系統(tǒng)的接入標(biāo)準(zhǔn)化問題，通過設(shè)置業(yè)務(wù)前置庫，能夠?qū)⑼獠繕I(yè)務(wù)系統(tǒng)的數(shù)據(jù)已標(biāo)準(zhǔn)化方式前置橋接接入，并最終形成數(shù)據(jù)的上傳下達(dá)。業(yè)務(wù)前置庫的設(shè)置在水資源項目實施過程中能夠解耦信息平臺與外部業(yè)務(wù)系統(tǒng)，以前置方式對接外部系統(tǒng)，具有良好的模式優(yōu)勢：第一，擴(kuò)展性非常好。能夠非常容易做橫向擴(kuò)展，例如實施過程中，信息平臺與防汛抗旱、水利電子政務(wù)系統(tǒng)等外部業(yè)務(wù)系統(tǒng)可以逐步接入，定義好前置標(biāo)準(zhǔn)，可以輕松的與外部系統(tǒng)對接，每級業(yè)務(wù)系統(tǒng)接入只需要做業(yè)務(wù)前置庫與業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)標(biāo)準(zhǔn)映射。第三，標(biāo)準(zhǔn)化定義非常清晰。業(yè)務(wù)前置庫方式是電子政務(wù)交換體系重要組成部分，在實施過程中只需要定義標(biāo)準(zhǔn)規(guī)范就可以快速復(fù)制，具體的標(biāo)準(zhǔn)規(guī)范包括：《長江流域前置庫和長江流域水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》、《廣東省前置庫和廣東省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》、《四川省前置庫和四川省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》等。4.3、業(yè)務(wù)場景分析4.3.1、數(shù)據(jù)采集場景數(shù)據(jù)采集場景是指，在部級節(jié)點(diǎn)、流域節(jié)點(diǎn)、省級節(jié)點(diǎn)的水資源信息平臺都需要和水利部其他業(yè)務(wù)系統(tǒng)（例如：防汛抗旱、水資源電子政務(wù)等）做數(shù)據(jù)采集，即將外部業(yè)務(wù)系統(tǒng)數(shù)據(jù)采集進(jìn)入信息平臺數(shù)據(jù)庫。數(shù)據(jù)采集場景是采用業(yè)務(wù)前置庫方式解決系統(tǒng)緊耦合、平臺擴(kuò)展性。數(shù)據(jù)采集是分兩步完成工作，第一步需要將外部業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)搬遷到業(yè)務(wù)前置庫，第二步需要將業(yè)務(wù)前置庫數(shù)據(jù)交換至信息平臺數(shù)據(jù)庫。第一步工作可以由業(yè)務(wù)系統(tǒng)采用主動方式將數(shù)據(jù)推送至業(yè)務(wù)前置庫，同時也可以采用水資源項目提供的Tongintegrator數(shù)據(jù)采集工具通過數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)文件讀取、應(yīng)用接口訪問、消息中間件對接等多種方式將數(shù)據(jù)交換至業(yè)務(wù)前置庫。其中數(shù)據(jù)庫觸發(fā)器方式需要業(yè)務(wù)系統(tǒng)提供操作權(quán)限，會對業(yè)務(wù)系統(tǒng)數(shù)據(jù)操作一定壓力負(fù)荷；數(shù)據(jù)文件讀取方式，由外部業(yè)務(wù)系統(tǒng)形成數(shù)據(jù)文件，數(shù)據(jù)文件可以采用數(shù)據(jù)批量和增量方式提供；應(yīng)用接口由外部業(yè)務(wù)系統(tǒng)提供標(biāo)準(zhǔn)化的webservice接口；消息中間件接口對接方式由外部業(yè)務(wù)系統(tǒng)提供接口。第二步工作由集成商使用Tongintegrator工具完成業(yè)務(wù)前置庫到信息平臺數(shù)據(jù)庫的數(shù)據(jù)交換工作，因為業(yè)務(wù)前置庫只是數(shù)據(jù)的存儲，可以采用已經(jīng)采購的Oralce數(shù)據(jù)庫、地方自有的數(shù)據(jù)庫或者免費(fèi)的mysql數(shù)據(jù)等多種方式，使用Tongintegrator工具可以用數(shù)據(jù)庫觸發(fā)器方式構(gòu)建數(shù)據(jù)，同時可以猜業(yè)務(wù)前置庫設(shè)計過程中考慮時間戳設(shè)計模式完成數(shù)據(jù)交換。4.3.2、 數(shù)據(jù)上傳場景數(shù)據(jù)上傳是指流域節(jié)點(diǎn)、省級節(jié)點(diǎn)將水資源數(shù)據(jù)上傳至部級節(jié)點(diǎn)，即流域、省級信息平臺數(shù)據(jù)庫與部級信息平臺數(shù)據(jù)的交換。數(shù)據(jù)上傳場景同樣采用松耦合架構(gòu)方式建設(shè)，在流域節(jié)點(diǎn)、省級節(jié)點(diǎn)建設(shè)標(biāo)準(zhǔn)的交換庫，交換庫的建模標(biāo)準(zhǔn)采用和部級信息平臺數(shù)據(jù)同樣的建模結(jié)構(gòu)，這樣在39個流域、省級節(jié)點(diǎn)都是做流域、省級節(jié)點(diǎn)信息平臺數(shù)據(jù)庫與交換庫的對接，39個交換庫只是做到與部級節(jié)點(diǎn)信息平臺數(shù)據(jù)庫的同構(gòu)交換。數(shù)據(jù)場景分為三步：第一步是做流域、省級節(jié)點(diǎn)信息平臺交換庫與交換庫的數(shù)據(jù)交換；第二步是抽取交換庫數(shù)據(jù)做數(shù)據(jù)傳輸；第三步獲得流域、省級節(jié)點(diǎn)數(shù)據(jù)做入庫操作。第一步是采用Tongintegrator主動從信息平臺數(shù)據(jù)抽取數(shù)據(jù)到交換庫，因為考慮到信息平臺數(shù)據(jù)庫絕大多數(shù)都是新建系統(tǒng)（江蘇已經(jīng)建設(shè)系統(tǒng)），系統(tǒng)建設(shè)規(guī)劃過程就可以考慮交換數(shù)據(jù)的形式，可以把交換數(shù)據(jù)存儲數(shù)據(jù)庫，數(shù)據(jù)庫數(shù)據(jù)有時間戳標(biāo)志，交換數(shù)據(jù)以文件落地或者以應(yīng)用接口方式發(fā)布，Tongintegrator采用觸發(fā)器方式、時間戳方式、文件方式、應(yīng)用接口方式對接。第二步是采用TongDXP從交換庫中抽取數(shù)據(jù)做發(fā)布，交換庫的建設(shè)考慮到項目投資，建議可以采用Oracle、MySQL兩種數(shù)據(jù)庫，交換庫不承載業(yè)務(wù)應(yīng)用只做數(shù)據(jù)交換標(biāo)準(zhǔn)化，TongDXP提供Oracle日志讀取、觸發(fā)器兩種方式能夠快速抽取業(yè)務(wù)數(shù)據(jù)。第三步采用TongDXP訂閱流域、省級節(jié)點(diǎn)的發(fā)布數(shù)據(jù)，訂閱完畢后使用TongLINK/Q搭建的可靠傳輸網(wǎng)絡(luò)做數(shù)據(jù)傳輸，傳輸至部級節(jié)點(diǎn)的數(shù)據(jù)由TongDXP做入庫操作。4.3.3、 數(shù)據(jù)下發(fā)場景數(shù)據(jù)下發(fā)是部級節(jié)點(diǎn)將數(shù)據(jù)下發(fā)至指流域節(jié)點(diǎn)、省級節(jié)點(diǎn)，即部級信息平臺與流域、省級信息平臺數(shù)據(jù)庫的交換。數(shù)據(jù)下發(fā)場景同樣采用松耦合架構(gòu)方式建設(shè)，在流域節(jié)點(diǎn)、省級節(jié)點(diǎn)建設(shè)標(biāo)準(zhǔn)的交換庫。數(shù)據(jù)下發(fā)場景分為三步：第一步抽取部級節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)發(fā)布，第二步流域、省級節(jié)點(diǎn)訂閱部級節(jié)點(diǎn)發(fā)布數(shù)據(jù)入流域、省級節(jié)點(diǎn)交換庫，第三步流域、省級節(jié)點(diǎn)交換庫同步至信息平臺數(shù)據(jù)庫第一步是采用TongDXP抽取部級節(jié)點(diǎn)數(shù)據(jù)，考慮到部級節(jié)點(diǎn)數(shù)據(jù)庫采用Oracle數(shù)據(jù)庫，那么使用TongDXP提供的Oracle日志方式就能以低侵入方式訪問部級信息平臺數(shù)據(jù)庫。第二步是采用TongDXP訂閱部級的發(fā)布數(shù)據(jù)，采用TongLINK/Q的安全通道傳輸至流域、省級節(jié)點(diǎn)，并入庫到交換庫。部級節(jié)點(diǎn)的發(fā)布數(shù)據(jù)可以是一對多方式被流域、省級節(jié)點(diǎn)使用。第三步采用Tongintegrator工具將節(jié)點(diǎn)交換庫與節(jié)點(diǎn)信息平臺數(shù)據(jù)庫做數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)入庫。從節(jié)點(diǎn)交換庫采集數(shù)據(jù)采用觸發(fā)器、時間戳兩種方式。4.3.4、 數(shù)據(jù)內(nèi)外網(wǎng)交互數(shù)據(jù)內(nèi)外網(wǎng)交互場景是考慮到水利數(shù)據(jù)不能在流域、省級節(jié)點(diǎn)內(nèi)外網(wǎng)之間直接交互數(shù)據(jù)，數(shù)據(jù)流是流域、省級節(jié)點(diǎn)外網(wǎng)先上傳至部級節(jié)點(diǎn)外網(wǎng)，然后在部級節(jié)點(diǎn)內(nèi)網(wǎng)、外網(wǎng)通過網(wǎng)閘、或者物理刻盤方式傳輸?shù)絻?nèi)網(wǎng)，然后在內(nèi)網(wǎng)做數(shù)據(jù)下發(fā)。反之亦然數(shù)據(jù)內(nèi)外網(wǎng)交互場景是數(shù)據(jù)上傳、下發(fā)場景的結(jié)合，差異性在于部級節(jié)點(diǎn)的內(nèi)外網(wǎng)交互，會有物理網(wǎng)閘和物理隔離兩種方式。物理網(wǎng)閘方式的內(nèi)外網(wǎng)隔離可以考慮TongLINK/Q的穿擺鐘式網(wǎng)閘解決方案完成內(nèi)外網(wǎng)。物理隔離方式做手工拷盤操作。4.4、 部署架構(gòu)在本項目中整體的數(shù)據(jù)交換平臺需要在1個部級節(jié)點(diǎn)、7個流域節(jié)點(diǎn)、32個省級節(jié)點(diǎn)部署數(shù)據(jù)交換管理平臺、消息中間件、數(shù)據(jù)采集工具。其中在部級節(jié)點(diǎn)部署1套數(shù)據(jù)交換管理平臺、1套消息中間件、1套數(shù)據(jù)采集工具；在流域節(jié)點(diǎn)部署7套數(shù)據(jù)交換管理平臺、7套消息中間件、7套數(shù)據(jù)采集工具；在省級節(jié)點(diǎn)部署32套數(shù)據(jù)交換管理平臺、32套消息中間件、32套數(shù)據(jù)采集工具，共計40套數(shù)據(jù)交換管理平臺、40套消息中間件、40套數(shù)據(jù)采集工具。4.5、 標(biāo)準(zhǔn)規(guī)范本項目標(biāo)準(zhǔn)規(guī)范體系框架由總體標(biāo)準(zhǔn)規(guī)范、技術(shù)標(biāo)準(zhǔn)規(guī)范部分組成。（1）總體標(biāo)準(zhǔn)規(guī)范：包括系統(tǒng)標(biāo)準(zhǔn)規(guī)范目錄、系統(tǒng)名詞術(shù)語、系統(tǒng)建設(shè)管理辦法等內(nèi)容。（2）技術(shù)標(biāo)準(zhǔn)規(guī)范：包括數(shù)據(jù)標(biāo)準(zhǔn)、交換標(biāo)準(zhǔn)。4.5.1、總體標(biāo)準(zhǔn)規(guī)范體系（1） 應(yīng)用系統(tǒng)建設(shè)運(yùn)行標(biāo)準(zhǔn)規(guī)范體系針對應(yīng)用系統(tǒng)建設(shè)與應(yīng)用的需求，根據(jù)國家已制訂的標(biāo)準(zhǔn)體系或信息系統(tǒng)建設(shè)標(biāo)準(zhǔn)規(guī)范參考模型的基礎(chǔ)上，制訂符合國家標(biāo)準(zhǔn)要求的應(yīng)用系統(tǒng)建設(shè)和運(yùn)行標(biāo)準(zhǔn)規(guī)范體系。首先提出支持應(yīng)用系統(tǒng)集成建設(shè)任務(wù)的標(biāo)準(zhǔn)規(guī)范體系。（2） 建設(shè)術(shù)語規(guī)范針對應(yīng)用系統(tǒng)集成建設(shè)內(nèi)容，根據(jù)國家相關(guān)標(biāo)準(zhǔn)，制訂覆蓋整個應(yīng)用系統(tǒng)的業(yè)務(wù)術(shù)語規(guī)范，統(tǒng)一規(guī)范應(yīng)用系統(tǒng)建設(shè)和運(yùn)行的信息及其管理術(shù)語。（3） 項目建設(shè)管理辦法本辦法對調(diào)度運(yùn)行管理系統(tǒng)建設(shè)集成實施規(guī)范化管理提供指導(dǎo)，通過明確項目管理的基本流程、項目建設(shè)和維護(hù)階段基本流程，制訂各應(yīng)用系統(tǒng)招標(biāo)投標(biāo)階段、設(shè)計階段、實施階段、測試驗收階段和運(yùn)行及維護(hù)階段的相關(guān)管理辦法，明確有關(guān)方責(zé)任，確保項目建設(shè)有序推進(jìn)和質(zhì)量的提高。4.5.2、技術(shù)標(biāo)準(zhǔn)規(guī)范體系信息系統(tǒng)的基礎(chǔ)是業(yè)務(wù)規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)。為保障信息系統(tǒng)中信息流動暢通，應(yīng)建立符合國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)的應(yīng)用機(jī)制，確保系統(tǒng)建設(shè)的實用性、先進(jìn)性、規(guī)范性和統(tǒng)一性。接入規(guī)范鑒于本項目所要對接的各系統(tǒng)，數(shù)據(jù)集成交換平臺、數(shù)據(jù)橋接系統(tǒng)所要建立的標(biāo)準(zhǔn)有：《部級信息平臺數(shù)據(jù)庫和流域級交換庫對接標(biāo)準(zhǔn)》《部級信息平臺數(shù)據(jù)庫和省級交換庫對接標(biāo)準(zhǔn)》《流域級交換庫和流域信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》《省級交換庫和省級信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》《長江流域前置庫和長江流域水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》《廣東省前置庫和廣東省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》《四川省前置庫和四川省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》數(shù)據(jù)規(guī)范本項目各業(yè)務(wù)系統(tǒng)所涉及的業(yè)務(wù)數(shù)據(jù)有多種，在項目實施過程中都需要定義標(biāo)準(zhǔn)規(guī)范，例如：《人員信息定義及格式規(guī)范》《取水許可證數(shù)據(jù)定義及格式規(guī)范》《水文數(shù)據(jù)數(shù)據(jù)定義及格式規(guī)范》數(shù)據(jù)交換規(guī)范為保障本項目數(shù)據(jù)傳輸?shù)膶崟r性、準(zhǔn)確性、安全性等方面，需對數(shù)據(jù)交換方面編制相應(yīng)的要求，需制定《水利水資源數(shù)據(jù)共享交換規(guī)范》業(yè)務(wù)邊界規(guī)范為了保障本項目系統(tǒng)集成整合的順利實施，需要在兩兩系統(tǒng)整合時定義整合的業(yè)務(wù)邊界規(guī)范，以明確的邊界劃分有效理清責(zé)任問題，避免“扯皮”現(xiàn)象發(fā)生，便于時候就查原因。4.6、系統(tǒng)實施分析本項目考慮到項目實施，需要有多重角色定義：總集成商、分集成商（流域、省級）、廠商?？偧缮套鳛樗Y源項目的總體協(xié)調(diào)單位，要總體規(guī)劃本項目，總集成商完成部級平臺與省級平臺對接，包括流域節(jié)點(diǎn)、省級節(jié)點(diǎn)交換庫建模與標(biāo)準(zhǔn)規(guī)范設(shè)計，完成流域、省級信息平臺與節(jié)點(diǎn)交換庫交換實施工作，完成39個節(jié)點(diǎn)交換庫與部級信息平臺數(shù)據(jù)庫數(shù)據(jù)交換實施工作。同時也參與流域、省級節(jié)點(diǎn)信息平臺與水利外部系統(tǒng)業(yè)務(wù)前置庫標(biāo)準(zhǔn)規(guī)范定義。分集成商作為流域、省級節(jié)點(diǎn)的集成補(bǔ)充，將參與各自流域、省級節(jié)點(diǎn)信息平臺與水利外部系統(tǒng)業(yè)務(wù)前置庫標(biāo)準(zhǔn)規(guī)范定義，同時完成各自流域、省級節(jié)點(diǎn)業(yè)務(wù)前置庫與流域、省級信息平臺數(shù)據(jù)庫數(shù)據(jù)交換實施工作，有可能完成各自流域、省級節(jié)點(diǎn)業(yè)務(wù)前置庫與水利外部業(yè)務(wù)系統(tǒng)系統(tǒng)數(shù)據(jù)交換實施工作。廠商作為本平臺的產(chǎn)品提供，輔助于集成商完成標(biāo)準(zhǔn)制定，提供產(chǎn)品培訓(xùn)、現(xiàn)場服務(wù)。5、平臺詳細(xì)設(shè)計5.1、數(shù)據(jù)交換管理平臺5.1.1、 體系架構(gòu)數(shù)據(jù)交換管理平臺的體系圖，如下圖所示：在交換中心節(jié)點(diǎn)上的交換模塊由交換流程層、傳輸通訊層以及中心數(shù)據(jù)源三個部分組成。交換中心節(jié)點(diǎn)通過數(shù)據(jù)傳輸通道（TLQ）消息中間件，完成與其相鄰節(jié)點(diǎn)的數(shù)據(jù)傳輸，通過Tongintegrator交換流程控制引擎，控制經(jīng)過本級中心的數(shù)據(jù)、文件等交換的流轉(zhuǎn)，通過Tongintegrator交換服務(wù)管理模塊，發(fā)布本級中心代理或者代理途經(jīng)本中心的服務(wù)請求。監(jiān)控管理中心數(shù)據(jù)源是中心所有交換業(yè)務(wù)異常數(shù)據(jù)、交換過程信息、管理信息的數(shù)據(jù)存儲區(qū)，通過交換流程在中心流轉(zhuǎn)的異常數(shù)據(jù)將保存在中心庫中，由中心的異常處理流程做數(shù)據(jù)持久化和數(shù)據(jù)補(bǔ)償，而中心管理庫則記錄所有中心交換的過程基礎(chǔ)信息等。5.1.2、 功能實現(xiàn)前置交換這里的前置交換是指數(shù)據(jù)交換平臺中真正完成數(shù)據(jù)交換的一個技術(shù)實現(xiàn)，數(shù)據(jù)交換從整個流程上來說有數(shù)據(jù)抽取，數(shù)據(jù)處理及數(shù)據(jù)傳輸，通過這三個環(huán)節(jié)就完成了一個基本的數(shù)據(jù)交換的過程。數(shù)據(jù)抽取模式數(shù)據(jù)交換平臺有多種數(shù)據(jù)抽取模式，每一種數(shù)據(jù)抽取模式都可以配置不同的數(shù)據(jù)抽取頻率。搭建平臺的設(shè)計階段就可以根據(jù)項目的實際需求選擇不同的數(shù)據(jù)抽取模式，具體包括：日志分析模式：日志分析模式，是指通過分析數(shù)據(jù)庫的日志來抽取數(shù)據(jù)變化增量數(shù)據(jù);由于目前各個數(shù)據(jù)庫日志的記錄模式，開放程度都不一樣，通過對目前常用的數(shù)據(jù)庫分析，oracle數(shù)據(jù)庫對日志的開放程度比較高，記錄的比較詳細(xì)，故此抽取模式只針對oracle數(shù)據(jù)庫，其優(yōu)點(diǎn)對數(shù)據(jù)庫侵入性低，只需要打開數(shù)據(jù)庫的歸檔日志即可，無需在數(shù)據(jù)庫上做更多的配置。觸發(fā)器模式：觸發(fā)器模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即通過配置工具在要進(jìn)行交換的數(shù)據(jù)表上自動創(chuàng)建一些必要的觸發(fā)器，當(dāng)數(shù)據(jù)發(fā)生變化是可以定時或者實時的把發(fā)生變化的數(shù)據(jù)交換出去。時間戳模式：時間戳抽取模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)表上要求有一個時間類型的字段，業(yè)務(wù)數(shù)據(jù)發(fā)送變化的時候此字段更新成變化時間，系統(tǒng)會定時掃描發(fā)生變化的數(shù)據(jù)進(jìn)行交換。標(biāo)志位模式：標(biāo)志位抽取模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即可以指定要進(jìn)行交換的數(shù)據(jù)表中的某一個字段的值是什么時候進(jìn)行交換，這里稱其為標(biāo)志位，當(dāng)完成交換后把此字段設(shè)置成另外一種狀態(tài)，即已經(jīng)完成交換。交換觸發(fā)模式交換流程的執(zhí)行觸發(fā)方式可分為定時觸發(fā)，實時觸發(fā)，手工觸發(fā)，條件觸發(fā)。定時觸發(fā)：數(shù)據(jù)交換可指定某個時間，或某個周期定時執(zhí)行。實時觸發(fā)：數(shù)據(jù)交換實時進(jìn)行，當(dāng)系統(tǒng)檢測到數(shù)據(jù)增量變化時實時交換數(shù)據(jù)，檢測頻率可設(shè)定。手工觸發(fā)：可通過手工操作來執(zhí)行數(shù)據(jù)交換。條件觸發(fā)：可根據(jù)某個條件，當(dāng)條件滿足時來觸發(fā)交換流程的執(zhí)行。數(shù)據(jù)處理數(shù)據(jù)處理是當(dāng)數(shù)據(jù)抽取出來后需要進(jìn)行的各種處理后再進(jìn)行傳輸，包括交換模式，交換方向，數(shù)據(jù)加工，數(shù)據(jù)過濾，數(shù)據(jù)路由等功能的支持。交換模式：是指多個節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換時可以對應(yīng)的幾種業(yè)務(wù)模式，平臺支持?jǐn)?shù)據(jù)庫表的一對一的交換；多個表交換到一張表中；一張表的數(shù)據(jù)交換到多張表中。交換方向：是指在業(yè)務(wù)數(shù)據(jù)交換中支持的交換方向，平臺支持?jǐn)?shù)據(jù)的單向下發(fā)、上傳;兩個數(shù)據(jù)庫數(shù)據(jù)的雙向交換，即任何一方發(fā)生變化都要交換到對方；數(shù)據(jù)廣播，通常用于上級數(shù)據(jù)向所有下級廣播的數(shù)據(jù)交換。數(shù)據(jù)過濾：對業(yè)務(wù)數(shù)據(jù)可以從兩個方向去進(jìn)行過濾，一種是可以在數(shù)據(jù)發(fā)布的時候進(jìn)行有條件的發(fā)布過濾，另外就是針對不同的訂閱進(jìn)行各自特有的訂閱條件的過濾。數(shù)據(jù)路由：這里的路由首先是根據(jù)數(shù)據(jù)內(nèi)容的路由，按業(yè)務(wù)要求不同的內(nèi)容交換到不同的目的地；另外就是指數(shù)據(jù)轉(zhuǎn)發(fā)的場景支持，即當(dāng)兩個交換節(jié)點(diǎn)之間網(wǎng)絡(luò)無法直通的情況下，可以通過一個中介的網(wǎng)絡(luò)進(jìn)行路由轉(zhuǎn)發(fā)。數(shù)據(jù)關(guān)聯(lián)：數(shù)據(jù)交換可對單表交換，主子表關(guān)聯(lián)交換，以及數(shù)據(jù)表和文件結(jié)合的數(shù)據(jù)交換。數(shù)據(jù)傳輸在數(shù)據(jù)交換中，數(shù)據(jù)的傳輸是比較關(guān)鍵的一個技術(shù)，如何能及時、可靠、完整及安全的保證數(shù)據(jù)的傳輸是最重要的，現(xiàn)有平臺的傳輸都是基于公司已有的消息中間件來完成，消息中間件經(jīng)過多年在金融電信等關(guān)鍵行業(yè)的應(yīng)用后已經(jīng)非常成熟穩(wěn)定，數(shù)據(jù)平臺無縫的集成消息中間件，消息中間件對用戶來說是透明的?，F(xiàn)有平臺在數(shù)據(jù)傳輸過程中支持：鏈接管理：支持網(wǎng)絡(luò)常連接和按需連接兩種連接模式，以更好地適應(yīng)不同的網(wǎng)絡(luò)通訊環(huán)境，節(jié)省系統(tǒng)資源和提高傳輸效率；斷點(diǎn)續(xù)傳：消息不重傳，從中斷的位置開始續(xù)傳，直到消息傳輸完成。壓縮傳輸：提供數(shù)據(jù)壓縮機(jī)制，提高網(wǎng)絡(luò)傳輸性能。加密傳輸：提供數(shù)據(jù)加密機(jī)制，加強(qiáng)數(shù)據(jù)傳輸安全控制。支持多種網(wǎng)絡(luò)底層環(huán)境，如：租用線(Leasedline)、撥號線、分組交換網(wǎng)(X..25)、DDN,幀中繼(FrameRelay)、衛(wèi)星網(wǎng)絡(luò)等。統(tǒng)一配置管理交換基礎(chǔ)信息配置交換節(jié)點(diǎn)/交換通道/網(wǎng)絡(luò)拓?fù)渑渲卯?dāng)要完成一個數(shù)據(jù)整合的項目的時候，必然會涉及到多個點(diǎn)的數(shù)據(jù)的交換，這里的交換節(jié)點(diǎn)主要就是指這些要進(jìn)行交換的交換服務(wù)器的配置；交換節(jié)點(diǎn)都是在一定的權(quán)限控制下，由配置管理中心統(tǒng)一進(jìn)行配置，這些節(jié)點(diǎn)的配置、管理及監(jiān)控都以一個交換拓?fù)鋱D為基礎(chǔ)進(jìn)行，操作簡單快捷，可以定義交換節(jié)點(diǎn)之間的上下級關(guān)系，定義節(jié)點(diǎn)之間的交換路徑等，當(dāng)節(jié)點(diǎn)配置完成后，各個交換服務(wù)器上的相關(guān)配置信息就全部配置完成，整個交換的拓?fù)鋱D也就自然形成，所有的交換的傳輸通道也已經(jīng)創(chuàng)建完成。交換業(yè)務(wù)配置所有的交換業(yè)務(wù)、交換規(guī)則、交換路徑都在這里進(jìn)行配置及管理，具體配置包括：交換數(shù)據(jù)庫配置：要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)庫的基本信息配置管理。發(fā)布數(shù)據(jù)庫流程配置：要對外發(fā)布的數(shù)據(jù)配置管理，這里會配置哪個數(shù)據(jù)庫的那個業(yè)務(wù)表要把數(shù)據(jù)交換出去；用什么模式抽取這些數(shù)據(jù)；抽取是否有條件及條件的配置；抽取的頻率及相關(guān)的一些處理規(guī)則。訂閱數(shù)據(jù)流程配置：要接收發(fā)布數(shù)據(jù)的配置管理，這里會配置那個數(shù)據(jù)庫的那個業(yè)務(wù)表要接收此發(fā)布數(shù)據(jù)，一個發(fā)布的資源一旦被訂閱，就形成了一個交換流程，訂閱可以針對已發(fā)布的資源進(jìn)行過濾、轉(zhuǎn)換等；一個發(fā)布資源可以被多個資源訂閱，一個訂閱也也可以接收多個發(fā)布的數(shù)據(jù)。批量處理流程配置：批量發(fā)布資源：要對外發(fā)布的數(shù)據(jù)批量配置管理，這里主要會配置哪個數(shù)據(jù)庫的那些業(yè)務(wù)表要把數(shù)據(jù)交換出去；可以完成一個數(shù)據(jù)庫所有表或者部分表的批量發(fā)布，這些批量發(fā)布的基本規(guī)則統(tǒng)一配置，發(fā)布條件等信息也可以單獨(dú)進(jìn)行配置。批量訂閱資源：要接收發(fā)布數(shù)據(jù)的批量配置管理，這里會配置那個數(shù)據(jù)庫的那些業(yè)務(wù)表要接收發(fā)布數(shù)據(jù)，系統(tǒng)會出某一個數(shù)據(jù)庫的所有發(fā)布，同時針對選定的訂閱數(shù)據(jù)庫按一定規(guī)則先進(jìn)行自動匹配發(fā)布訂閱流程，用戶也可以手工進(jìn)行匹配。統(tǒng)一監(jiān)控管理數(shù)據(jù)交換平臺的監(jiān)控管理主要分為兩方面：?交換環(huán)境監(jiān)控：數(shù)據(jù)交換平臺（基礎(chǔ)設(shè)施監(jiān)控），即交換節(jié)點(diǎn)、交換配置的基礎(chǔ)信?交換業(yè)務(wù)數(shù)據(jù)監(jiān)控：交換數(shù)據(jù)監(jiān)控是指數(shù)據(jù)交換的業(yè)務(wù)數(shù)據(jù)交換統(tǒng)計分析，例如某個業(yè)務(wù)表在某個時間段有多少數(shù)據(jù)進(jìn)行了交換。交換統(tǒng)計分析，可從不同角度來進(jìn)行：節(jié)點(diǎn)交換統(tǒng)計，數(shù)據(jù)源交換統(tǒng)計，交換流程（業(yè)務(wù)表）交換統(tǒng)計。交換環(huán)境監(jiān)控交換環(huán)境的監(jiān)控主要是指各個交換節(jié)點(diǎn)以及整個交換網(wǎng)絡(luò)的監(jiān)控，通過之前在配置管理中配置好的一個交換網(wǎng)絡(luò)拓?fù)鋱D可以很清晰的監(jiān)控到整個交換網(wǎng)絡(luò)及網(wǎng)絡(luò)中各交換節(jié)點(diǎn)的狀態(tài)是否正常；當(dāng)發(fā)現(xiàn)交換節(jié)點(diǎn)有異常的顯示后，可以查看此交換節(jié)點(diǎn)詳細(xì)的監(jiān)控，包括交換服務(wù)器資源占用情況、交換服務(wù)器上各交換流程的運(yùn)行情況等信息。交換節(jié)點(diǎn)資源監(jiān)控：可監(jiān)控節(jié)點(diǎn)的基礎(chǔ)設(shè)備資源，如：CPU，內(nèi)存，硬盤使用百分比，網(wǎng)絡(luò)使用情況等。交換節(jié)點(diǎn)狀態(tài)監(jiān)控：可監(jiān)控平臺系統(tǒng)中的交換節(jié)點(diǎn)的狀態(tài)，如某節(jié)點(diǎn)是否連通等。交換流程監(jiān)控：可監(jiān)控交換流程的狀態(tài)，是否啟動等。系統(tǒng)告警監(jiān)控：當(dāng)上述監(jiān)控中發(fā)現(xiàn)異常，記錄告警，并可通過配置的告警方式告警，平臺默認(rèn)實現(xiàn)了郵件告警方式，只需要配置相應(yīng)的郵件信息，當(dāng)有警告產(chǎn)生時，會自動發(fā)送告警郵件給郵件接收者。同時平臺還提供了可擴(kuò)展的告警方式接口，可根據(jù)項目需要擴(kuò)展不同的告警方式，如短信告警等。交換業(yè)務(wù)數(shù)據(jù)監(jiān)控在數(shù)據(jù)交換中，用戶最關(guān)心的是數(shù)據(jù)是否正確、完整的交換到指定的目的地，現(xiàn)有數(shù)據(jù)平臺從多個角度去完成了數(shù)據(jù)交換的監(jiān)控及告警：節(jié)點(diǎn)交換統(tǒng)計：可以統(tǒng)計某一個或者某幾個節(jié)點(diǎn)在某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程（即那張表），發(fā)送（中轉(zhuǎn)或接收）成功數(shù)、失敗數(shù)等信息。數(shù)據(jù)源交換統(tǒng)計：可以統(tǒng)計某一個或某幾個數(shù)據(jù)庫某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程（即那張表），發(fā)送（中轉(zhuǎn)或接收）成功數(shù)、失敗數(shù)等信息。發(fā)布訂閱統(tǒng)計：可以根據(jù)節(jié)點(diǎn)、數(shù)據(jù)源及其上的發(fā)布或者訂閱的資源進(jìn)行更細(xì)的定位來統(tǒng)計某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程（即那張表），發(fā)送（中轉(zhuǎn)或接收）成功數(shù)、失敗數(shù)等信息。交換節(jié)點(diǎn)是指平臺系統(tǒng)中實際參與數(shù)據(jù)交換的一個邏輯節(jié)點(diǎn)，負(fù)責(zé)根據(jù)流程的配置，從業(yè)務(wù)庫/前置庫中按照指定的抽取數(shù)據(jù)模式抽取數(shù)據(jù)，并進(jìn)行數(shù)據(jù)處理，打包，通過數(shù)據(jù)傳輸模塊將數(shù)據(jù)發(fā)送到指定的目標(biāo)交換節(jié)點(diǎn)，目標(biāo)交換節(jié)點(diǎn)接收數(shù)據(jù)，并處理數(shù)據(jù)。5.2、消息中間件設(shè)計5.2.1、設(shè)計思路數(shù)據(jù)交換平臺的TongLINK/Q傳輸總線，提供松散耦合的消息通信機(jī)制。消息通信由消息中間件TongLINK/Q來完成。消息中間件TongLINK/Q負(fù)責(zé)將交付的消息傳送到目標(biāo)節(jié)點(diǎn)的目標(biāo)隊列。消息的發(fā)送者和消息的接收者完全不需要關(guān)注對方在什么位置，他們之間通過隊列實現(xiàn)點(diǎn)對點(diǎn)的消息傳輸。同時，消息傳輸網(wǎng)絡(luò)，也支持發(fā)布/訂閱模型的消息傳輸。在應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)通訊時，應(yīng)用進(jìn)程通過TongLINK/Q接口函數(shù)，將消息放入消息隊列中。TongLINK/Q核心進(jìn)程從消息隊列中取出消息，根椐消息中的接收者的名字，通過TongLINK/Q之間建立的數(shù)據(jù)通道，將該消息傳送到接收者所在TongLINK/Q核心。接收者所在的TongLINK/Q核心收到消息，若是需要可靠傳輸?shù)南懭胂㈥犃兄?，接收?yīng)用進(jìn)程通過調(diào)用TongLINK/Q的接口函數(shù)，從消息隊列中取出消息。至此，一個消息傳遞完畢。消息中間件TongLINK/Q的消息傳輸一次且只有一次，是可靠的傳輸，其可靠性主要反應(yīng)在TongLINK/Q許多內(nèi)建功能的可靠上。即使在網(wǎng)絡(luò)阻塞，物理鏈路暫時中斷，甚至主機(jī)宕機(jī)等嚴(yán)重情況下仍然可以通過續(xù)傳保證數(shù)據(jù)不丟、不重、不錯的傳送到接收節(jié)點(diǎn)。消息可靠傳遞通過兩種機(jī)制加以保證，一是消息收發(fā)時的事務(wù)管理，二是消息的可靠存儲和可靠傳遞。?消息的事務(wù)管理消息的事務(wù)管理是保證消息可靠投遞到隊列中，或可靠地從隊列中取出使用。事務(wù)管理可以保證幾個消息同時放入隊列都成功或都失敗，保證幾個消息同時從隊列中取出都成功或都失敗，應(yīng)用處理消息不成功可以將消息回退到隊列中，等待下次繼續(xù)處理。?消息的可靠存儲和可靠傳遞消息可靠存儲和可靠傳遞是保證消息在兩個隊列間的可靠傳輸?shù)?。在傳輸過程中不論是機(jī)器意外停機(jī)或網(wǎng)絡(luò)意外中斷，在消息生命周期內(nèi)這些故障得以恢復(fù)后，TongLINK/Q可以保證消息可以繼續(xù)可靠的傳遞到目的隊列中。5.2.2、體系結(jié)構(gòu)本節(jié)描述TongLINK/Q的基本組成和運(yùn)行方式。TongLINK/Q的體系結(jié)構(gòu)如下圖：在應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)通訊時，應(yīng)用進(jìn)程通過TongLINK/Q接口函數(shù)，將消息放入消息隊列中。TongLINK/Q核心進(jìn)程從消息隊列中取出消息，根椐消息中的接收者的名字，通過TongLINK/Q之間建立的數(shù)據(jù)通道，將該消息傳送到接收者所在TongLINK/Q核心。接收者所在的TongLINK/Q核心收到消息后將消息寫入消息隊列中，接收應(yīng)用進(jìn)程通過調(diào)用TongLINK/Q的接口函數(shù)，從消息隊列中取出消息。至此，一個消息傳遞完畢。TongLINK/Q系統(tǒng)核心由以下幾部分組成，包括核心程序、代理程序、用于信息登記的共享內(nèi)存和記錄系統(tǒng)運(yùn)行信息的日志。核心程序核心程序由一組守護(hù)進(jìn)程構(gòu)成。核心程序主要工作是建立、維護(hù)、監(jiān)控數(shù)據(jù)通道；從應(yīng)用隊列中取出要發(fā)送的消息，通過數(shù)據(jù)通道將消息發(fā)送出去；從數(shù)據(jù)通道中接收消息，將消息通過數(shù)據(jù)通道進(jìn)行轉(zhuǎn)發(fā)或?qū)懭氡镜氐膽?yīng)用隊列，提交給本地的應(yīng)用進(jìn)程。對于需要可靠傳輸?shù)南ⅲM(jìn)行傳輸過程跟蹤登記，根據(jù)網(wǎng)絡(luò)情況和主機(jī)情況保證消息的可靠傳遞。?代理程序代理程序是一組依賴于核心程序，同時能夠分擔(dān)核心程序負(fù)載的進(jìn)程組成。主要包括:監(jiān)控代理、客戶方代理和發(fā)布訂閱代理。代理程序負(fù)責(zé)接收特定客戶程序的請求，如遠(yuǎn)程監(jiān)控發(fā)來的請求、瘦客戶端請求等，并進(jìn)行分析，將需要核心完成的工作通過特定接口交給核心，并將請求處理結(jié)果返回給客戶程序。?共享內(nèi)存TongLINK/Q系統(tǒng)的共享內(nèi)存用于存放系統(tǒng)運(yùn)行所需的一些控制信息、狀態(tài)信息、統(tǒng)計信息，或用于消息的緩沖隊列。通過TongLINK/Q系統(tǒng)的管理工具可以實時監(jiān)控系統(tǒng)運(yùn)行狀態(tài)，獲取系統(tǒng)運(yùn)行過程的狀態(tài)信息。運(yùn)行日志TongLINK/Q系統(tǒng)的運(yùn)行日志在核心運(yùn)行過程中生成，它記錄具體傳送的消息數(shù)據(jù)，記錄系統(tǒng)的運(yùn)行步驟和出錯信息。用戶可以通過操作系統(tǒng)工具和TongLINK/Q系統(tǒng)的管理工具瀏覽運(yùn)行日志的具體內(nèi)容。這些信息可以用于對系統(tǒng)的運(yùn)行過程進(jìn)行審計，可以幫助系統(tǒng)管理員了解系統(tǒng)運(yùn)行過程，排除故障，調(diào)整系統(tǒng)運(yùn)行參數(shù)。5.2.3、功能實現(xiàn)基于TongLINK/Q的數(shù)據(jù)傳輸子系統(tǒng)提供如下的功能實現(xiàn)：提供端到端的實時通信服務(wù)。應(yīng)用不必關(guān)心網(wǎng)絡(luò)路由和其他的網(wǎng)絡(luò)細(xì)節(jié)，使網(wǎng)絡(luò)的建立與網(wǎng)絡(luò)的物理聯(lián)結(jié)無關(guān)。TongLINK/Q支持多種網(wǎng)絡(luò)底層環(huán)境，支持多種通訊鏈路方式，比如：租用線（Leasedline）、撥號線、分組交換網(wǎng)（X..25）、DDN、幀中繼（FrameRelay）、衛(wèi)星網(wǎng)絡(luò)等，并能夠支持在互聯(lián)網(wǎng)進(jìn)行交換數(shù)據(jù)的傳輸。能夠通過互聯(lián)網(wǎng)進(jìn)行交換數(shù)據(jù)的傳輸；提供端到端的可靠傳輸服務(wù)。適用于分布式環(huán)境下各種不同類型的應(yīng)用開發(fā)，特別是對通信的可靠性要求較高的應(yīng)用，提供多層次的異步通信機(jī)制。相互通信的應(yīng)用具有時間上的不相關(guān)性，發(fā)送方在發(fā)送數(shù)據(jù)時接收方應(yīng)用可以還未啟動。提供簡單易用、高效可靠的分布式應(yīng)用系統(tǒng)的開發(fā)平臺，應(yīng)用編程接口（APIs）簡單且易學(xué)易用。網(wǎng)絡(luò)環(huán)境和細(xì)節(jié)對用戶完全透明并且支持多種網(wǎng)絡(luò)底層環(huán)境，并提供了跨操作系統(tǒng)的Java接口；提供對多種消息傳輸?shù)闹С?；提供快速可靠的面向事?wù)處理的數(shù)據(jù)（塊）遞送功能，保證數(shù)據(jù)的完整性和可靠性；提供統(tǒng)一的應(yīng)用集成環(huán)境。提供分布式應(yīng)用的管理平臺，通過名字服務(wù)和應(yīng)用管理等方式，提供對分布式應(yīng)用的管理和監(jiān)控。應(yīng)用管理提供了對服務(wù)程序的策略性調(diào)度、監(jiān)控、并發(fā)（支持順序發(fā)送）管理和異常處理等功能，為關(guān)鍵的應(yīng)用服務(wù)提供了有效的支持。運(yùn)行系統(tǒng)管理來維護(hù)TongLINK/Q邏輯通信鏈路，實時的檢測網(wǎng)絡(luò)狀態(tài)，屏蔽通信中的瞬間網(wǎng)絡(luò)故障。工作在可靠傳輸方式時，在應(yīng)用、系統(tǒng)、網(wǎng)絡(luò)從失效到恢復(fù)正常狀態(tài)后能夠接續(xù)原來的工作，保證一次傳送，可靠到達(dá)。除了支持傳統(tǒng)的樹型邏輯結(jié)構(gòu)還提供對網(wǎng)狀結(jié)構(gòu)的支持，從而強(qiáng)化了TongLINK/Q系統(tǒng)本身的多元化邏輯結(jié)構(gòu)功能。提供安全管理（加/解密）功能，為客戶應(yīng)用之間的消息傳輸提供了數(shù)據(jù)安全性保證，有效保護(hù)了私有數(shù)據(jù)的保密性。支持常連接和動態(tài)連接（遠(yuǎn)程網(wǎng)絡(luò)的撥號連接），能夠更好的適應(yīng)不同情況下通訊的應(yīng)用。提供調(diào)試開關(guān)的功能，使用戶可以根據(jù)需要及時調(diào)節(jié)系統(tǒng)的核心，提高效率和可靠性。提供日志定時清理和磁盤空間管理功能。Client/Server模式，優(yōu)化設(shè)計的可調(diào)諧核心系統(tǒng)，支持高度并發(fā)，開銷小，通訊效率高；具有完整的日志功能，查看系統(tǒng)運(yùn)行情況；實時監(jiān)控網(wǎng)絡(luò)性能、動態(tài)地配置系統(tǒng)的參數(shù)、調(diào)協(xié)系統(tǒng)的性能。提供只基于開發(fā)庫和代理的TongLINK/Q瘦客戶系統(tǒng)。使TongLINK/Q系統(tǒng)的應(yīng)用降低了對硬件環(huán)境的要求。為了提高系統(tǒng)的可靠性和可擴(kuò)展性，TongLINK/Q系統(tǒng)提供了CLUSTER隊列功能。5.2.4、隊列管理隊列是消息存儲的地方，消息在收發(fā)過程中將存儲于隊列中，可靠隊列中的消息存儲于硬盤中，不可靠隊列中的消息存儲于內(nèi)存BUF中。隊列結(jié)構(gòu)由消息索引和數(shù)據(jù)存儲區(qū)兩部分組成，其大小可以定義。TongLINK/Q系統(tǒng)提供的隊列基本類型為發(fā)送隊列和接收隊列，另外的事件隊列、發(fā)布隊列、訂閱隊列等都為基本類型的功能延伸。?發(fā)送隊列發(fā)往目的地的消息要經(jīng)由發(fā)送隊列，被發(fā)送的消息分別被放到不同的發(fā)送隊列中，核心從發(fā)送隊列中取消息進(jìn)行網(wǎng)絡(luò)發(fā)送。每個發(fā)送隊列都有自己唯一的名字，分別都對應(yīng)于某個目的節(jié)點(diǎn)的一個接收隊列。發(fā)送隊列的大小、可存放消息數(shù)等都可以配置。每個發(fā)送隊列可以擁有多個優(yōu)先級，核心會根據(jù)消息的優(yōu)先級，按照優(yōu)先級對應(yīng)的配置進(jìn)行相應(yīng)比例的發(fā)送。一般，優(yōu)先級高的消息會得到更多的發(fā)送機(jī)會。用戶在發(fā)送消息之前可以根據(jù)消息的緊急特性設(shè)置不同的優(yōu)先級。?接收隊列核心收到消息后，將根據(jù)發(fā)送方的設(shè)置將消息放到相應(yīng)的接收隊列中。每個接收隊列都有唯一的名稱，其大小和可存放消息的個數(shù)可以設(shè)置。一般，一類消息對應(yīng)一個接收隊列，用戶可以根據(jù)所收到的消息的特性設(shè)置接收隊列的屬性：可靠和非可靠。接收隊列中的消息有兩種狀態(tài)：Receiving和Ready，分別表示消息處于接收過程中和消息已接收完畢。?事件隊列事件隊列是接收隊列的特殊應(yīng)用，用于存放TongLINK/Q系統(tǒng)產(chǎn)生的事件，隊列名為EVENT類型為可靠用戶不可改變。其大小和可存放消息的個數(shù)都可以設(shè)置。?集群隊列集群隊列是接收隊列的特殊應(yīng)用，該隊列可能存在于若干節(jié)點(diǎn)上。網(wǎng)關(guān)節(jié)點(diǎn)可以根據(jù)既定的分配策略將消息分配到不同的節(jié)點(diǎn)上，實現(xiàn)消息處理的均衡負(fù)載作用。?發(fā)布隊列和訂閱接收隊列發(fā)布隊列和訂閱接收隊列都為接收隊列的特殊應(yīng)用。在發(fā)布/訂閱傳輸模式中，發(fā)布者發(fā)布消息時，將消息放到發(fā)布隊列中，核心分析訂閱者的訂閱請求信息，如果為本地訂閱者，則將消息復(fù)制到本地訂閱者的訂閱接收隊列中，如果為異地訂閱者，則復(fù)制到相應(yīng)的發(fā)布隊列中。5.2.5、消息通信方式TongLINK/Q支持多種消息傳遞方式，以滿足不同應(yīng)用方式的要求。?點(diǎn)到點(diǎn)傳輸發(fā)送方將消息放入發(fā)送隊列，TongLINK/Q核心負(fù)責(zé)消息在不同節(jié)點(diǎn)間的傳遞，接收方從接收隊列中獲取消息。發(fā)送方順序?qū)⑾⒎湃氚l(fā)送隊列，接收方順序從接收隊列接收消息。?路由轉(zhuǎn)發(fā)消息發(fā)往不相鄰的節(jié)點(diǎn)。? 發(fā)布/訂閱訂閱和發(fā)布可以實現(xiàn)一對多，多對一，和多對多的消息傳遞方式。訂閱者可以根據(jù)自己的需要訂閱某些共享，然后在適當(dāng)?shù)臅r間從該共享上接收已經(jīng)發(fā)布的消息。發(fā)布者將消息發(fā)布到某個共享上，TongLINK/Q核心負(fù)責(zé)將該消息分配給訂閱該共享的訂閱者。?集群集群提供消息的接收和處理分布到若干個TongLINK/Q節(jié)點(diǎn)上的機(jī)制，多個節(jié)點(diǎn)在一個群組內(nèi)共同工作，與單獨(dú)工作的節(jié)點(diǎn)相比提高了性能和處理能力。?客戶端TongLINK/Q提供多種客戶端接入方式。普通接口包括C接口、Java接口、OCX接口。另外支持JMS消息接口標(biāo)準(zhǔn)。5.3、數(shù)據(jù)采集工具設(shè)計5.3.1、功能實現(xiàn)TongIntegrator提供功能豐富的適配器組件技術(shù)。每個適配器不但提供功能數(shù)據(jù)交換適配和服務(wù)功能，而且無需編碼，只需經(jīng)過簡單的配置就可以實現(xiàn)數(shù)據(jù)交換。適配器的配置過程就是數(shù)據(jù)轉(zhuǎn)換和處理規(guī)則的定義設(shè)置過程。適配器功能模型如下圖所示：不同的系統(tǒng)接入數(shù)據(jù)交換平臺，是通過適配器組件來實現(xiàn)的。適配器組件通過屬性配置和腳本，實現(xiàn)運(yùn)行環(huán)境和必要的設(shè)定，從而可以與所支持的系統(tǒng)進(jìn)行直接的交互并對數(shù)據(jù)進(jìn)行采集、載入和數(shù)據(jù)內(nèi)容的處理。適配器運(yùn)行于TI所提供的整體的運(yùn)行環(huán)境，該運(yùn)行環(huán)境提供了以組件化方式集成的整體的一致性框架。應(yīng)用系統(tǒng)比較分散，因此，數(shù)據(jù)交換需要提供跨網(wǎng)絡(luò)數(shù)據(jù)傳輸保證機(jī)制。TI支持使用消息中間件、JMS等數(shù)據(jù)傳輸機(jī)制，消息中間件是目前最佳的數(shù)據(jù)安全、高效、可靠傳輸保障機(jī)制和手段，也是最常用的數(shù)據(jù)傳輸方式。5.3.2、 數(shù)據(jù)處理在TI中的數(shù)據(jù)格式轉(zhuǎn)換，可以通過TongIntegerator提供的TIStudio工具來完成。TIStudio提供了數(shù)據(jù)轉(zhuǎn)換對象方式。數(shù)據(jù)轉(zhuǎn)換對象，是針對于用戶做大量的數(shù)據(jù)間傳輸，數(shù)據(jù)間作簡單賦值的轉(zhuǎn)換工具。通過圖形界面的賦值連線，代替用戶編寫數(shù)據(jù)轉(zhuǎn)換部分的代碼，減少代碼編輯量。數(shù)據(jù)轉(zhuǎn)換對象，是一個數(shù)據(jù)轉(zhuǎn)換工具，即Java服務(wù)的輔助工具，不能完成獨(dú)立運(yùn)行，需要嵌套在TI系統(tǒng)的Java服務(wù)中使用，幫助用戶在編輯Java服務(wù)時，自動完成數(shù)據(jù)轉(zhuǎn)換的代碼編輯。數(shù)據(jù)轉(zhuǎn)換對象，是完成源端數(shù)據(jù)到目的端數(shù)據(jù)賦值的編輯工具。數(shù)據(jù)轉(zhuǎn)換對象采用圖形界面拖拽的方式來連接兩個不同（或相同）數(shù)據(jù)對象的屬性，達(dá)到將源端數(shù)據(jù)賦值給目的端數(shù)據(jù)的轉(zhuǎn)換。5.3.3、 適配器組件TI產(chǎn)品采用框架式設(shè)計，產(chǎn)品提供豐富的適配器組件。能夠提供主流的非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、通訊協(xié)議的數(shù)據(jù)接入方式，并提供擴(kuò)展自定義數(shù)據(jù)接入接口?；诮M件的，用戶可以象搭積木一樣去配置一系列的組件關(guān)系來完成數(shù)據(jù)交換工作，適配器配置簡單，無需編碼，從而保證了數(shù)據(jù)交換體系的快速、高效建設(shè)。為適應(yīng)不同的數(shù)據(jù)交換環(huán)境和不同系統(tǒng)接入的要求，TI產(chǎn)品提供豐富的適配器組件，以解決異構(gòu)系統(tǒng)、多種數(shù)據(jù)源、多種數(shù)據(jù)格式、是不同通信方式數(shù)據(jù)交換的需要。TongIntegrator提供全面而豐富的適配器組件群，可以滿足各種復(fù)雜數(shù)據(jù)交換的需要。下圖是TI適配器組件庫的分類簡介：對于復(fù)雜或特殊系統(tǒng)的數(shù)據(jù)交換交換，有時需要進(jìn)行一些本地化的適配器組件開發(fā)工作才能完成。TI提供自定義組件機(jī)制，支持開發(fā)人員根據(jù)需要進(jìn)行組件的定制開發(fā)，以解決特殊數(shù)據(jù)交換的需要。定制組件可以直接集成到TI的交換集成框架中。定時器適配器定時器適配器實現(xiàn)了數(shù)據(jù)交換流程的周期性自動運(yùn)行。定時器適配器能夠按照指定的運(yùn)行模式和時間表進(jìn)行定時自動運(yùn)行，并按照配置，啟動相應(yīng)的業(yè)務(wù)交換流程，以完成數(shù)據(jù)交換和同步的任務(wù)。定時器適配器支持周期性運(yùn)行和定時運(yùn)行，能夠設(shè)置運(yùn)行的頻率和時間點(diǎn)。自定義適配器自定義適配器是集成中間件Tongintegrator擴(kuò)展所需的重要組成部分。在Tongintegrator系統(tǒng)中，適配器是多種異構(gòu)系統(tǒng)之間互連互通及互操作的重要組件。外系統(tǒng)只有通過適配器，才能接入到數(shù)據(jù)交換平臺中。而自定義適配器是應(yīng)對那些非通用性或系統(tǒng)自有的系統(tǒng)接口而提供的一種擴(kuò)展適配器。自定義適配器提供了一個基礎(chǔ)性的系統(tǒng)接入框架，系統(tǒng)開發(fā)人員只需要實現(xiàn)框架內(nèi)部的具體業(yè)務(wù)接入邏輯，即可完成適配器的定制。自定義適配器遵循JCA1.5標(biāo)準(zhǔn)，任何開發(fā)人員開發(fā)的適配器，只要符合JCA1.5標(biāo)準(zhǔn)，就能夠互換使用。6、平臺管理模式6.1、 統(tǒng)一化管理統(tǒng)一化管理平臺是指通過建立基礎(chǔ)性的監(jiān)控管理服務(wù)平臺，以實現(xiàn)部、流域、省三級數(shù)據(jù)交換平臺的管理架構(gòu)統(tǒng)一化、管理設(shè)施統(tǒng)一化、管理模式統(tǒng)一化。平臺統(tǒng)一管理是指對運(yùn)行在平臺上的各節(jié)點(diǎn)、流程、交換資源數(shù)據(jù)與平臺后續(xù)擴(kuò)展的基礎(chǔ)服務(wù)等方面進(jìn)行集中管理的軟件系統(tǒng)。通過該系統(tǒng)，可以對節(jié)點(diǎn)部署情況、流程部署及流程數(shù)量與使用情況，信息資源的更新、交換情況，信息資源交換的實施、運(yùn)行情況進(jìn)行監(jiān)控和考核，確保信息資源共享的長期穩(wěn)定運(yùn)行。6.2、 分級域化管理分級域化管理是指在統(tǒng)一管理平臺的基礎(chǔ)上，根據(jù)部、流域、省三級管理級別，基于各個應(yīng)用共享劃分獨(dú)立的交換管理域，保持各域之間相對獨(dú)立互不影響的管理方式。每個應(yīng)用共享形成各自獨(dú)立的應(yīng)用交換域，為了確保數(shù)據(jù)交換的安全，各應(yīng)用交換域之間的運(yùn)行隔離應(yīng)保持互相隔離。交換域管理是對平臺總體交換環(huán)境的統(tǒng)一管理，管理的對像包括中心節(jié)點(diǎn)、前置節(jié)點(diǎn)、節(jié)點(diǎn)之間的傳輸鏈路以及運(yùn)行在交換節(jié)點(diǎn)上的交換流程。交換域管理是基于TI、TongLINK/Q產(chǎn)品提供API接口定制開發(fā)而來，從而實現(xiàn)對節(jié)點(diǎn)、傳輸鏈路以及交換流程的集中管理與控制。7、平臺擴(kuò)展模式數(shù)據(jù)交換平臺作為“基礎(chǔ)化、可復(fù)用”的交換設(shè)施，與業(yè)務(wù)系統(tǒng)之間是松耦合接入關(guān)系，不但應(yīng)當(dāng)能夠支撐現(xiàn)有的數(shù)據(jù)交換與共享需求，還應(yīng)當(dāng)提供靈活可擴(kuò)展的框架基礎(chǔ)，為后續(xù)的業(yè)務(wù)信息系統(tǒng)接入提供簡便的擴(kuò)展策略。7.1、 部級橫向擴(kuò)展7.1.1、 兼容已建的業(yè)務(wù)系統(tǒng)對于部委已建的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)交換平臺提供了豐富的系統(tǒng)接入手段，可以便捷地對系統(tǒng)進(jìn)行對接。按照接入方式，已建的業(yè)務(wù)系統(tǒng)對外提供的接口，可以分為數(shù)據(jù)層面和應(yīng)用層面，如下圖所示：考慮到各個已建業(yè)務(wù)系統(tǒng)的自身架構(gòu)特性不同，數(shù)據(jù)交換平臺在進(jìn)行系統(tǒng)接入時的技術(shù)策略也不盡相同?；诩芍虚g件TI的數(shù)據(jù)交換平臺可以在幾下方面獲得便利的支持，使得對接工作變得簡單易行。1、 提供大量內(nèi)置接入組件TI適配器集成了豐富的企業(yè)級應(yīng)用組件，包括：xml、excel、txt等文件組件，F(xiàn)TP、HTTP、JMS等網(wǎng)絡(luò)通訊組件，Oracle、DB2、SQLServer.SyBase、