數(shù)據(jù)交換平臺.功能白皮書

數(shù)字校園系列軟件產(chǎn)品數(shù)據(jù)交換平臺功能白皮書目錄1 產(chǎn)品概述 -3-1.1 產(chǎn)品簡介 -3-1.2 應(yīng)用范圍 -3-2 產(chǎn)品功能結(jié)構(gòu) -4-3 產(chǎn)品功能 -5-3.1 數(shù)據(jù)源適配器 -5- 數(shù)據(jù)源類型 -5- 數(shù)據(jù)獲取方式 -5-3.2 數(shù)據(jù)抽取 -6- 抽取全量、增量數(shù)據(jù) -6- 數(shù)據(jù)過濾 -6- 數(shù)據(jù)關(guān)聯(lián) -7- 數(shù)據(jù)分包 -8- 數(shù)據(jù)加密 -8- 數(shù)據(jù)壓縮 -8- 數(shù)據(jù)備份、刪除 -8-3.3 數(shù)據(jù)傳輸 -9-3.4 數(shù)據(jù)映射、轉(zhuǎn)換 -9-3.5 數(shù)據(jù)同步 -9- 數(shù)據(jù)同步方式 -10- 數(shù)據(jù)同步異常 -10-3.6 效勞調(diào)度 -10-3.7 運(yùn)維監(jiān)控 -11- 告警監(jiān)控 -11- 流程監(jiān)控 -12- 資源監(jiān)控 -12- 日志管理 -13-4 產(chǎn)品特點 -13-4.1 支持多種數(shù)據(jù)交換方式 -13-4.2 效勞調(diào)度時間多種選擇 -14-4.3 進(jìn)行可視化的數(shù)據(jù)交換過程監(jiān)控 -14-4.4 提供多種數(shù)據(jù)個性化業(yè)務(wù)處理 -14-4.5 支持海量數(shù)據(jù)處理 -14-4.6 先進(jìn)的體系結(jié)構(gòu) -14-4.7 完善的平安設(shè)計 -15-5 運(yùn)行環(huán)境 -15-5.1 效勞器配置 -15-5.2 客戶端配置 -15-6 典型客戶 -15-

產(chǎn)品概述產(chǎn)品簡介在校園信息化趨勢日益高漲的同時，暴露出很多問題：信息化建設(shè)缺乏統(tǒng)一指導(dǎo)和總體規(guī)劃，各部門單獨為戰(zhàn)，信息孤島現(xiàn)象日益嚴(yán)重由于建設(shè)時期不同，采用的技術(shù)架構(gòu)和建設(shè)情況各有差異，各系統(tǒng)之間的運(yùn)行管理維護(hù)等也相對獨立缺少統(tǒng)一應(yīng)用平臺，不能提供基于全面準(zhǔn)確的標(biāo)準(zhǔn)數(shù)據(jù)及基于此的決策分析等深層次的增值效勞數(shù)據(jù)交換平臺正是立足于解決以上問題，通過對現(xiàn)有的系統(tǒng)進(jìn)行數(shù)據(jù)整合，尤其是對相關(guān)的數(shù)據(jù)資源進(jìn)行整合，消除“信息孤島”，實現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)效勞層，為上層應(yīng)用提供數(shù)據(jù)效勞，為校園綜合信息效勞的便利、完善和高效提供可靠的數(shù)據(jù)根底。數(shù)據(jù)交換平臺采用星型拓?fù)浣Y(jié)構(gòu)，有效的簡化了網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)了數(shù)據(jù)交換智能路由功能，根據(jù)交換數(shù)據(jù)內(nèi)容，能夠方便實現(xiàn)一點對多點，多點對一點，以及發(fā)送、轉(zhuǎn)換、轉(zhuǎn)發(fā)、接收等多種交換流程。通過采用中間件機(jī)制，很好的屏蔽了應(yīng)用系統(tǒng)直接的耦合程度，實現(xiàn)了數(shù)據(jù)的無縫交換和共享訪問，保證了各應(yīng)用系統(tǒng)的有效協(xié)同，同時又能保證各應(yīng)用系統(tǒng)的相互獨立性和低耦合性，從整體上提高了系統(tǒng)運(yùn)作效率和可靠性。應(yīng)用范圍主要用戶主要功能學(xué)校信息化主管領(lǐng)導(dǎo)了解學(xué)校數(shù)據(jù)集成情況以及運(yùn)行情況維護(hù)人員整體交換流程監(jiān)控、異常處理報告業(yè)務(wù)系統(tǒng)管理員監(jiān)控自身數(shù)據(jù)交換情況系統(tǒng)管理員用戶管理、系統(tǒng)設(shè)置、流程配置產(chǎn)品功能結(jié)構(gòu)數(shù)據(jù)交換平臺功能結(jié)構(gòu)圖產(chǎn)品功能數(shù)據(jù)源適配器數(shù)據(jù)源類型數(shù)據(jù)交換平臺支持各種主流、非主流的數(shù)據(jù)源，通過數(shù)據(jù)適配器可以靈活擴(kuò)展。支持多種主流關(guān)系型數(shù)據(jù)庫，包括：Oralce〔9i、10g、11g〕、MicrosoftSQLServer〔2000、2005、2008〕、IBMDB2、Sybase支持多種ODBC數(shù)據(jù)類型，包括：MicrosoftAccess〔.mdb〕、MicrosoftExcel〔.xls〕、VisualFoxpro〔.dbf〕支持XML文件支持Webservice支持純粹的文件類型，例如：照片、Word文件數(shù)據(jù)獲取方式數(shù)據(jù)交換平臺支持多種數(shù)據(jù)獲取方式：數(shù)據(jù)庫視圖可以從指定數(shù)據(jù)庫的視圖中提取數(shù)據(jù)。數(shù)據(jù)表可以從指定數(shù)據(jù)庫的表中提取數(shù)據(jù)。自定義SQL可以用自定義SQL從指定數(shù)據(jù)庫中提取數(shù)據(jù)。Webservice可以從指定Webservice提供的方法中提取數(shù)據(jù)。文件可以從指定XML、Excel、Access、Dbf文件中提取數(shù)據(jù)；可以把任意類型的文件從一個地方交換到另一個地方。數(shù)據(jù)抽取數(shù)據(jù)交換的第一個環(huán)節(jié)是要進(jìn)行數(shù)據(jù)抽取，根據(jù)特定的業(yè)務(wù)規(guī)那么進(jìn)行抽取，例如：抽取全量數(shù)據(jù)、抽取增量數(shù)據(jù)、數(shù)據(jù)過濾、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分包、數(shù)據(jù)加密、數(shù)據(jù)刪除、數(shù)據(jù)備份、數(shù)據(jù)壓縮等。抽取全量、增量數(shù)據(jù)根據(jù)實際業(yè)務(wù)需要，數(shù)據(jù)交換平臺需要獲取全量或者只提取有變化的數(shù)據(jù)，即增量數(shù)據(jù)。全量、增量數(shù)據(jù)數(shù)據(jù)過濾對于業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)，有些數(shù)據(jù)不是實際需要的，那么可以通過設(shè)置數(shù)據(jù)過濾條件和選擇數(shù)據(jù)字段，對數(shù)據(jù)源進(jìn)行過濾。選擇字段設(shè)置過濾條件數(shù)據(jù)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)中，缺少某些字段，需要關(guān)聯(lián)其他系統(tǒng)的數(shù)據(jù)后才能得到，通過數(shù)據(jù)關(guān)聯(lián)可以輕松解決此問題，要關(guān)聯(lián)的數(shù)據(jù)源類型和源數(shù)據(jù)一樣都支持所有數(shù)據(jù)類型數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)分包針對大數(shù)據(jù)量的抽取，一下子讀取所有數(shù)據(jù)，對系統(tǒng)壓力比擬大，通過數(shù)據(jù)分包，按照數(shù)據(jù)條數(shù)可以把數(shù)據(jù)分成多個包，分包進(jìn)行交換，大大減輕系統(tǒng)的承受壓力。數(shù)據(jù)加密針對一些機(jī)密數(shù)據(jù)，在數(shù)據(jù)抽取過程中，會對數(shù)據(jù)進(jìn)行加密，即使在交換過沖被截獲，也無法獲取數(shù)據(jù)的真實內(nèi)容。數(shù)據(jù)壓縮針對大數(shù)據(jù)量的抽取，可以采用數(shù)據(jù)壓縮，縮小數(shù)據(jù)文件的大小。數(shù)據(jù)備份、刪除針對增量數(shù)據(jù)源的數(shù)據(jù)，數(shù)據(jù)抽取完需要刪除原數(shù)據(jù)，為保證數(shù)據(jù)的完整性，在刪除前，需要對數(shù)據(jù)進(jìn)行備份。數(shù)據(jù)傳輸數(shù)據(jù)抽取完成后，下一步就是數(shù)據(jù)傳輸，傳輸時可以通過協(xié)議和Ftp協(xié)議進(jìn)行傳輸。數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換環(huán)節(jié)是數(shù)據(jù)交換平臺中的重中之重，主要提供了以下支持：字段關(guān)聯(lián)合并多個字段可以合并到一個目標(biāo)字段，字段首尾可以連接自定義字符大小寫轉(zhuǎn)換對字段進(jìn)行大小寫轉(zhuǎn)換首尾空格刪除對字段首尾空格進(jìn)行刪除字段長度計算獲取字段內(nèi)容長度映射配置數(shù)據(jù)映射關(guān)系的配置，可以通過拖曳式的操作，建立源和目標(biāo)之前的對應(yīng)關(guān)系數(shù)據(jù)同步經(jīng)過數(shù)據(jù)抽取、數(shù)據(jù)映射轉(zhuǎn)換后的數(shù)據(jù)，就可以給目標(biāo)數(shù)據(jù)源進(jìn)行同步了。數(shù)據(jù)同步方式數(shù)據(jù)同步支持的方式有：數(shù)據(jù)表目標(biāo)數(shù)據(jù)源為數(shù)據(jù)表，需要指定數(shù)據(jù)表的主鍵，同步過程中根據(jù)主鍵來判斷數(shù)據(jù)插入、更新。存儲過程存儲過程提供輸出參數(shù)，在目標(biāo)數(shù)據(jù)源配置中指定預(yù)期輸出，在同步過程中，判斷預(yù)期輸出值和輸入值是否一致，同時記錄異常數(shù)據(jù)和異常原因。Webservice通過判斷Webservice調(diào)用后的返回結(jié)果和預(yù)期是否一致，判斷同步是否成功，記錄成功的記錄數(shù)和失敗的記錄數(shù)。文件把轉(zhuǎn)換后的數(shù)據(jù)同步成文件，文件類型可以是任意文件類型數(shù)據(jù)同步異常數(shù)據(jù)同步過程中的異常數(shù)據(jù)，系統(tǒng)會自動記錄下來，包括數(shù)據(jù)和錯誤原因，在監(jiān)控平臺上，可以下載異常數(shù)據(jù)和異常記錄，供系統(tǒng)維護(hù)人員進(jìn)行分析處理。效勞調(diào)度每一個源數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源之間的數(shù)據(jù)交換頻率是不盡相同的，可以為每一個流程設(shè)置運(yùn)行周期調(diào)度：流程在啟動狀態(tài)時執(zhí)行，滿足輪詢策略具體到某一時刻執(zhí)行設(shè)置時間段運(yùn)行周期運(yùn)行，周期可以設(shè)置為分鐘、小時、天、周、月、年效勞調(diào)度運(yùn)維監(jiān)控數(shù)據(jù)交換平臺提供了多種監(jiān)控，實時反映各個數(shù)據(jù)交換流程的運(yùn)行情況，效勞器資源的使用情況，交換平臺的整體接入情況。所有的流程都可以進(jìn)行啟動、停止操作。告警監(jiān)控提供平臺運(yùn)行過程中的異常信息。告警監(jiān)控流程監(jiān)控對每一個流程中的各個環(huán)節(jié)進(jìn)行監(jiān)控，針對出錯的環(huán)節(jié)通過下載錯誤數(shù)據(jù)和錯誤原因分析問題具體的原因。流程監(jiān)控資源監(jiān)控實時監(jiān)控效勞器CPU、內(nèi)存、硬盤的使用情況。資源監(jiān)控整體情況監(jiān)控日志管理平臺記錄了數(shù)據(jù)交換各個環(huán)節(jié)的日志。日志管理產(chǎn)品特點支持多種數(shù)據(jù)交換方式數(shù)據(jù)庫表〔支持ORACLE、SQLSERVER、SYBASE、DB2等〕視圖、存儲過程數(shù)據(jù)文件〔EXCEL文件、XML文件、TXT文件〕WebService接口效勞調(diào)度時間多種選擇固定時間設(shè)定周期循環(huán)〔年、月、周、日、時、分〕指定時間段〔如：每年8、9月等〕進(jìn)行可視化的數(shù)據(jù)交換過程監(jiān)控整個數(shù)據(jù)交換流程的運(yùn)行狀態(tài)各個客戶端代理的運(yùn)行環(huán)境異常狀況的告警提醒提供多種數(shù)據(jù)個性化業(yè)務(wù)處理字段內(nèi)容組合、格式轉(zhuǎn)換數(shù)據(jù)驗證、過濾、關(guān)聯(lián)文件、圖片等大字段處理支持相同架構(gòu)數(shù)據(jù)源的訂閱支持海量數(shù)據(jù)處理全量數(shù)據(jù)增量收取海量數(shù)據(jù)自定義分包先進(jìn)的體系結(jié)構(gòu)基于先進(jìn)的SOA體系結(jié)構(gòu)設(shè)計。采用B/S結(jié)構(gòu)，使得用戶通過瀏覽器就可以完成各種信息處理，簡單易用，提高了工作效率?；贘2EE開發(fā)標(biāo)準(zhǔn)，跨平臺、跨數(shù)據(jù)庫、支持多種應(yīng)用效勞器三層體系的結(jié)構(gòu)設(shè)計，使得各局部的獨立性和互聯(lián)性能力更強(qiáng)，便于擴(kuò)充和維護(hù)完善的平安設(shè)計敏感信息的加密處理數(shù)據(jù)傳輸?shù)募用?，可以支持s協(xié)議的訪問完善的數(shù)據(jù)備份機(jī)制和網(wǎng)絡(luò)平安認(rèn)證機(jī)制運(yùn)行環(huán)境效勞器配置類別最低配置推薦配置硬件CPU2GHZ3G以上內(nèi)存2G4G以上硬盤80G160G及