公共信息平臺(tái)技術(shù)方案

1、公共信息平臺(tái)技術(shù)方案文檔版本V1.0發(fā)布日期2014.03.07目 錄1.系統(tǒng)架構(gòu)12.軟件架構(gòu)23.硬件架構(gòu)34.軟硬件配置需求45.系統(tǒng)功能55.1.數(shù)據(jù)共享系統(tǒng)55.1.1.數(shù)據(jù)采集55.1.2.采集任務(wù)管理55.1.3.信息處理55.1.4.數(shù)據(jù)服務(wù)65.1.5.接口檢測65.1.6.數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表65.1.7.自身管理75.2.數(shù)據(jù)交換系統(tǒng)75.2.1.數(shù)據(jù)交換與訪問75.2.2.發(fā)布流程管理95.2.3.訪問流程管理95.2.4.參數(shù)配置95.2.5.信息使用行為統(tǒng)計(jì)報(bào)表991. 系統(tǒng)架構(gòu)公共信息平臺(tái)的總體架構(gòu)如下圖所示：圖1 系統(tǒng)總體架構(gòu)圖如上圖所示，公共信息平臺(tái)由數(shù)據(jù)共享系統(tǒng)

2、和數(shù)據(jù)交換系統(tǒng)兩個(gè)子系統(tǒng)組成。數(shù)據(jù)共享系統(tǒng)實(shí)現(xiàn)對(duì)公共數(shù)據(jù)、以及各智慧應(yīng)用需要共享出來的數(shù)據(jù)進(jìn)行統(tǒng)一采集和集中存儲(chǔ)，為綜合門戶和手機(jī)APP等應(yīng)用提供基礎(chǔ)數(shù)據(jù)支撐。數(shù)據(jù)交換系統(tǒng)實(shí)現(xiàn)對(duì)數(shù)據(jù)共享系統(tǒng)的對(duì)外接口以及各智慧應(yīng)用的對(duì)外接口進(jìn)行集中調(diào)度和管理。2. 軟件架構(gòu)公共信息平臺(tái)的軟件部署架構(gòu)如下圖所示：表示層數(shù)據(jù)共享系統(tǒng)數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)來源文件用戶操作界面數(shù)據(jù)庫KETTLE數(shù)據(jù)庫WebServiceHTTP信息流DB數(shù)據(jù)流MuleESBOther數(shù)據(jù)采集數(shù)據(jù)服務(wù)流程引擎平臺(tái)管理模塊發(fā)布流程訪問流程圖3 軟件部署架構(gòu)圖3. 硬件架構(gòu)公共信息平臺(tái)的硬件部署架構(gòu)如下圖所示：圖2 物理部署架構(gòu)圖如上圖所示，公

3、共信息平臺(tái)需部署三臺(tái)服務(wù)器和一臺(tái)PC終端，分別為數(shù)據(jù)共享系統(tǒng)服務(wù)器、數(shù)據(jù)交換系統(tǒng)服務(wù)器、數(shù)據(jù)庫服務(wù)器、管理終端。4. 軟硬件配置需求序號(hào)業(yè)務(wù)名稱臺(tái)數(shù)CPU內(nèi)存硬盤操作系統(tǒng)（小版本號(hào)）中間件部署（小版本號(hào)）其他軟件或要求1數(shù)據(jù)共享系統(tǒng)服務(wù)器1Intel E5 26808核8G600GWindows 2008Tomcat 6Kettle2數(shù)據(jù)交換系統(tǒng)服務(wù)器1Intel E5 26808核16GB600GWindows 2008Tomcat 6MuleESB3數(shù)據(jù)庫服務(wù)器1Intel E5 26808核16GB1TWindows 2008無Oracle 10g4管理終端1Intel i3 2核4GB

4、100GWindows 7無5. 系統(tǒng)功能5.1. 數(shù)據(jù)共享系統(tǒng)5.1.1. 數(shù)據(jù)采集數(shù)據(jù)共享系統(tǒng)支持對(duì)組織機(jī)構(gòu)域、公共域、平臺(tái)域、基礎(chǔ)設(shè)施域、業(yè)務(wù)應(yīng)用域和綜合域等六個(gè)域的信息數(shù)據(jù)進(jìn)行采集，針對(duì)不同的采集方式提供相應(yīng)的WebService適配器、文件適配器、數(shù)據(jù)庫適配器等適配器進(jìn)行數(shù)據(jù)的采集。為了使系統(tǒng)具備良好的可擴(kuò)展性，充分適應(yīng)未來變化的數(shù)據(jù)管理需求，系統(tǒng)提供了高可擴(kuò)展性的數(shù)據(jù)適配框架。WebService的Server端、Client端，以及其它適配器，都作為數(shù)據(jù)適配框架的插件而存在。未來如果出現(xiàn)需要擴(kuò)展的其它適配技術(shù)，只需要增加新的插件即可。無論插件的增加、移除，均不影響適配框架的正常運(yùn)

5、行。5.1.2. 采集任務(wù)管理為了使系統(tǒng)具有更好的靈活性，系統(tǒng)采用基于策略的采集技術(shù)和任務(wù)化的采集方式，支持管理員靈活設(shè)置采集周期、執(zhí)行時(shí)間、采集接口等參數(shù)，同時(shí)對(duì)于采集任務(wù)，支持增加、修改、刪除、啟用、停用等操作。5.1.3. 信息處理信息處理包括對(duì)采集到的數(shù)據(jù)進(jìn)行語法檢查、語義分析、格式轉(zhuǎn)換、持久化存儲(chǔ)等環(huán)節(jié)，具體來說：語法檢查：根據(jù)數(shù)據(jù)接口規(guī)范的要求，系統(tǒng)對(duì)采集的數(shù)據(jù)進(jìn)行語法檢查。檢查的內(nèi)容主要包括：數(shù)據(jù)格式的正確性、數(shù)據(jù)的完整性、數(shù)據(jù)類型的正確性、數(shù)據(jù)是否可空等。如果檢查不通過，則在記錄本批次的數(shù)據(jù)異常信息，以便后續(xù)的分析。語義分析：系統(tǒng)對(duì)采集到的數(shù)據(jù)進(jìn)行語義解析和處理。格式轉(zhuǎn)換：將數(shù)

6、據(jù)從元數(shù)據(jù)模型轉(zhuǎn)換為物理模型可接受的數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一化處理，轉(zhuǎn)換單位、保留小數(shù)等。持久化存儲(chǔ)：對(duì)轉(zhuǎn)換為物理模型的數(shù)據(jù)進(jìn)行數(shù)據(jù)庫存儲(chǔ)。系統(tǒng)采用開源的ETL工具Kettle進(jìn)行信息處理，Kettle以元數(shù)據(jù)驅(qū)動(dòng)的方式提供強(qiáng)大的抽取、轉(zhuǎn)換和加載(ETL) 能力，并且提供了簡單易用的圖形界面設(shè)計(jì)器。Kettle本身支持各種數(shù)據(jù)源，包括數(shù)據(jù)庫、文件、LDAP、WebServcie和RSS等數(shù)據(jù)源。Kettle提供了一組Java接口，可以通過應(yīng)用控制Kettle的執(zhí)行過程，并對(duì)Kettle的執(zhí)行信息和結(jié)果信息進(jìn)行監(jiān)控。5.1.4. 數(shù)據(jù)服務(wù)數(shù)據(jù)共享系統(tǒng)對(duì)綜合門戶和手機(jī)APP等應(yīng)用等第三方應(yīng)用系統(tǒng)提

7、供訪問系統(tǒng)內(nèi)數(shù)據(jù)的服務(wù)。5.1.5. 接口檢測數(shù)據(jù)共享系統(tǒng)提供接口檢測的功能，通過周期性巡檢的方式，對(duì)各數(shù)據(jù)采集接口和數(shù)據(jù)服務(wù)的接口進(jìn)行檢測，當(dāng)發(fā)現(xiàn)接口異常時(shí)，自動(dòng)記錄日志便于維護(hù)人員進(jìn)行分析。同時(shí)，對(duì)于數(shù)據(jù)服務(wù)的接口支持自保護(hù)的功能，當(dāng)接口檢測發(fā)現(xiàn)數(shù)據(jù)服務(wù)接口異常時(shí)，通過自動(dòng)重啟該接口服務(wù)的方式，快速恢復(fù)數(shù)據(jù)服務(wù)運(yùn)行。5.1.6. 數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表數(shù)據(jù)共享系統(tǒng)提供數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表，對(duì)系統(tǒng)中的數(shù)據(jù)進(jìn)行匯總分析，通過宏觀全景的分析報(bào)表來表現(xiàn)用戶關(guān)心的數(shù)據(jù)，并支持將報(bào)表導(dǎo)出為Excel、PDF等格式的文件。5.1.7. 自身管理數(shù)據(jù)共享系統(tǒng)提供自身管理的功能，主要包括數(shù)據(jù)自動(dòng)備份、采集日志管理、訪

8、問日志管理等對(duì)于系統(tǒng)自身的管理功能。數(shù)據(jù)自動(dòng)備份，系統(tǒng)定期對(duì)數(shù)據(jù)庫中的數(shù)據(jù)備份為庫文件或SQL文件，用于防范當(dāng)系統(tǒng)故障時(shí)，可以快速進(jìn)行數(shù)據(jù)恢復(fù)。采集日志管理，系統(tǒng)自動(dòng)記錄數(shù)據(jù)采集接口的日志，主要包括接口名稱、接口地址、采集時(shí)間、采集結(jié)果等參數(shù)。同時(shí)，系統(tǒng)提供支持管理員對(duì)采集日志進(jìn)行查詢和導(dǎo)出。訪問日志管理，系統(tǒng)自動(dòng)記錄數(shù)據(jù)訪問接口的日志，主要包括接口名稱、接口地址、訪問者地址、訪問時(shí)間、訪問結(jié)果等參數(shù)。同時(shí)，系統(tǒng)提供支持管理員對(duì)訪問日志進(jìn)行查詢和導(dǎo)出。5.2. 數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)交換系統(tǒng)實(shí)現(xiàn)對(duì)數(shù)據(jù)共享系統(tǒng)的對(duì)外接口以及各智慧應(yīng)用的對(duì)外接口進(jìn)行集中調(diào)度和管理。從功能上來講，主要包括數(shù)據(jù)交換與訪問、

9、發(fā)布流程管理、訪問流程管理、用戶與角色管理、權(quán)限管理、日志管理、參數(shù)配置、信息使用行為統(tǒng)計(jì)報(bào)表等。5.2.1. 數(shù)據(jù)交換與訪問數(shù)據(jù)交換系統(tǒng)以開源組件Mule-ESB為基礎(chǔ)，提供數(shù)據(jù)交換與訪問的服務(wù)。Mule ESB是一種基于java的、輕量級(jí)的企業(yè)服務(wù)總線和集成平臺(tái)，并且允許開發(fā)者快速的、簡單的連接應(yīng)用，并能夠?qū)崿F(xiàn)數(shù)據(jù)的轉(zhuǎn)換。Mule-ESB的數(shù)據(jù)交換功能示意圖如下所示：圖5 Mule-ESB數(shù)據(jù)交換示意圖數(shù)據(jù)交換與訪問的功能主要包括：1) 服務(wù)目錄：用Mule ESB作為一個(gè)服務(wù)容器來暴露可訪問的服務(wù)。2) 服務(wù)調(diào)解：隱藏服務(wù)消息的格式和協(xié)議，將業(yè)務(wù)邏輯從消息中獨(dú)立出來，并可以實(shí)現(xiàn)本地獨(dú)立的

10、服務(wù)調(diào)用。3) 消息路由：基于內(nèi)容和規(guī)則的消息路由、消息過濾、消息合并和消息的重新排序。4) 數(shù)據(jù)轉(zhuǎn)換：在不同的格式和傳輸協(xié)議中進(jìn)行轉(zhuǎn)換數(shù)據(jù)。無論數(shù)據(jù)共享系統(tǒng)還是各智慧應(yīng)用對(duì)外提供的數(shù)據(jù)接口都統(tǒng)一在數(shù)據(jù)交換系統(tǒng)中注冊(cè)，對(duì)于綜合展示門戶和手機(jī)APP等數(shù)據(jù)使用方直接通過數(shù)據(jù)交換系統(tǒng)來訪問數(shù)據(jù)。數(shù)據(jù)交換系統(tǒng)在接受到數(shù)據(jù)使用方的調(diào)用請(qǐng)求時(shí)，通過消息路由功能，將此請(qǐng)求轉(zhuǎn)換至數(shù)據(jù)提供方的接口進(jìn)行響應(yīng)。5.2.2. 發(fā)布流程管理為了方便后期系統(tǒng)功能的擴(kuò)展，系統(tǒng)提供發(fā)布流程管理功能，對(duì)服務(wù)的發(fā)布過程進(jìn)行管理，新服務(wù)的發(fā)布需要經(jīng)過申請(qǐng)、審核，批準(zhǔn)后才能執(zhí)行發(fā)布，執(zhí)行發(fā)布后更新服務(wù)目錄。5.2.3. 訪問流程管理訪問流程管理是對(duì)服務(wù)訪問方首次訪問服務(wù)之前的申請(qǐng)及審批過程進(jìn)行管理，訪問請(qǐng)求被批準(zhǔn)后用戶需要更新權(quán)限信息，然后服務(wù)訪問方才能訪問相應(yīng)的服務(wù)。5.2.4. 參數(shù)配置參數(shù)配置功能時(shí)對(duì)系統(tǒng)中的關(guān)鍵參數(shù)進(jìn)行設(shè)置的功能，具體包括：1) 系統(tǒng)啟動(dòng)參數(shù)：最大內(nèi)存占用量，服務(wù)IP地址，總線參數(shù)等。2)