勞動與社會保障數(shù)據(jù)交換平臺建議方案

1、 利用信息集成技術(shù)構(gòu)建勞動與社會保障數(shù)據(jù)交換平臺ibm技術(shù)建議方案一、 概述以現(xiàn)有信息網(wǎng)絡(luò)為依托，以現(xiàn)有業(yè)務(wù)信息為樞紐，為勞動與社?？蛻艚⒔y(tǒng)一的數(shù)據(jù)交換平臺。在建立集中統(tǒng)一的數(shù)據(jù)交換平臺，實現(xiàn)提取生產(chǎn)區(qū)的實際業(yè)務(wù)數(shù)據(jù)，并進行數(shù)據(jù)的過濾、檢測。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。形成統(tǒng)一的交換資源數(shù)據(jù)庫，為統(tǒng)計分析提供基礎(chǔ)數(shù)據(jù)。完成全國聯(lián)網(wǎng)數(shù)據(jù)上報工作。同時實現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫的遠程備份。1. 現(xiàn)狀現(xiàn)在的勞動與社保數(shù)據(jù)庫有近十個，其中數(shù)據(jù)庫容量平均是50g，而且數(shù)據(jù)源為異構(gòu)數(shù)據(jù)源，包括oracle、db2、sqlserver等數(shù)據(jù)庫；2. 系統(tǒng)主要建設(shè)目標(biāo)：l 建立數(shù)據(jù)中心業(yè)務(wù)資源庫的數(shù)據(jù)采集平臺，用以實現(xiàn)對垂直的下

2、級業(yè)務(wù)系統(tǒng)數(shù)據(jù)向上級中心業(yè)務(wù)資源庫的及時更新以及數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)中心資源庫數(shù)據(jù)采集平臺包括數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換兩個主要部分。數(shù)據(jù)采集平臺起到隔離基層業(yè)務(wù)系統(tǒng)和相關(guān)資源庫應(yīng)用的作用，使得未來任何的業(yè)務(wù)系統(tǒng)的變化（系統(tǒng)更新、升級、數(shù)據(jù)格式改變甚至數(shù)據(jù)庫系統(tǒng)變更等）都不會影響整個資源庫系統(tǒng)的運行。數(shù)據(jù)轉(zhuǎn)換平臺起到數(shù)據(jù)質(zhì)量管理的作用，對數(shù)據(jù)的屬性、邏輯正確性、完整性、一致性等進行驗證查核工作。保障信息資源庫取得的數(shù)據(jù)是真實、一致和完整的。數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換相結(jié)合，將形成一個長期穩(wěn)定的數(shù)據(jù)采集平臺。l 支持?jǐn)?shù)據(jù)分析和綜合決策。在資源庫基礎(chǔ)上，進行數(shù)據(jù)信息的綜合利用，實現(xiàn)信息分析、數(shù)據(jù)挖掘和決策支持。同時資源

3、庫的建設(shè)將為數(shù)據(jù)倉庫及應(yīng)用的建設(shè)打下基礎(chǔ)。l 建立對外的統(tǒng)一數(shù)據(jù)交換區(qū)，實現(xiàn)業(yè)務(wù)資源數(shù)據(jù)與交換資源數(shù)據(jù)的數(shù)據(jù)交換、上報的功能，將數(shù)據(jù)及時地通過統(tǒng)一的數(shù)據(jù)交換平臺，實現(xiàn)向部里及橫向與其它平級單位間的數(shù)據(jù)交換。實現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫到交換資源庫的數(shù)據(jù)交換，實現(xiàn)向部上報數(shù)據(jù)的功能。建立統(tǒng)一的交換數(shù)據(jù)區(qū)。l 基于交換平臺，實現(xiàn)對業(yè)務(wù)數(shù)據(jù)的檢測、過濾、篩選、抽取等功能。實現(xiàn)業(yè)務(wù)資源數(shù)據(jù)的數(shù)據(jù)檢測、過濾、篩選、抽取。 數(shù)據(jù)交換平臺是建設(shè)勞動與社保數(shù)據(jù)分析區(qū)及數(shù)據(jù)交換區(qū)的核心系統(tǒng)，其主要的作用為： 為地市級社保信息向上級提供安全、高效的信息傳遞、采集通道； 保證社保分析數(shù)據(jù)信息交互的數(shù)據(jù)實時性和數(shù)據(jù)一致性； 在

4、社保內(nèi)部形成統(tǒng)一的數(shù)據(jù)視圖，方便管理； 提供向部里進行數(shù)據(jù)交換的統(tǒng)一平臺； 屏蔽當(dāng)前勞動與社保內(nèi)的i t環(huán)境的復(fù)雜性，方便應(yīng)用開發(fā)和管理； 屏蔽當(dāng)前勞動與社保管理機構(gòu)內(nèi)的i t環(huán)境的分布式特性（省級、地市級管理），方便應(yīng)用開發(fā)和管理；在此，我們建議利用ibm最新的信息整合的技術(shù)和解決方案構(gòu)建一個統(tǒng)一的公共數(shù)據(jù)交換平臺方案。下面我們對這樣的一個解決方案進行詳細(xì)說明。二、 勞動與社會保障行業(yè)數(shù)據(jù)交換平臺方案1. 本解決方案的設(shè)計出發(fā)點： 快速實現(xiàn)對多種異構(gòu)數(shù)據(jù)源的集成 保證勞動與社保分析區(qū)數(shù)據(jù)采集、交換區(qū)數(shù)據(jù)的實時性、一致性； 建立一套安全可靠的信息交換通道，實現(xiàn)數(shù)據(jù)在上、下級管理系統(tǒng)之間的數(shù)據(jù)交

5、換、數(shù)據(jù)同步； 建立統(tǒng)一數(shù)據(jù)視圖，支持真正意義上的勞動與社保信息分析區(qū)及交換區(qū)的建立，提供復(fù)雜、分布式環(huán)境下的可讀寫操作環(huán)境，并支持今后建立跨業(yè)務(wù)系統(tǒng)條塊的新的業(yè)務(wù)流程； 簡化應(yīng)用編程的難度，縮短開發(fā)和實施的周期，降低日常維護難度； 能夠很好地將當(dāng)前業(yè)務(wù)系統(tǒng)與新的綜合業(yè)務(wù)系統(tǒng)的用戶管理、認(rèn)證及授權(quán)機制結(jié)合，建立方便、清晰、易管理的用戶安全認(rèn)證管理機制； 在分布式的環(huán)境下實現(xiàn)全局優(yōu)化，保證分析應(yīng)用及數(shù)據(jù)交換的整體性能表現(xiàn)； 適應(yīng)未來擴展性要求，方便應(yīng)用范疇的擴展；2. 建議通過ibm信息集成（ii）技術(shù)方式實現(xiàn)公共數(shù)據(jù)交換平臺信息整合方式也稱為數(shù)據(jù)整合方式。信息整合就是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進行有機的

6、整合集成，從而實現(xiàn)對信息數(shù)據(jù)共享、交換的過程。ibm信息集成ii的核心在于業(yè)務(wù)數(shù)據(jù)的采集，并不關(guān)心原有業(yè)務(wù)數(shù)據(jù)的流程。因此，ii的核心是數(shù)據(jù)的集成。它采用數(shù)據(jù)包裝器作為連接件，將現(xiàn)有客戶的異種數(shù)據(jù)庫（oracle、db2、sqlserver）等連接在一起。ii可以采用xml格式或者關(guān)系型格式對數(shù)據(jù)進行標(biāo)準(zhǔn)定義，平臺工具內(nèi)嵌數(shù)據(jù)采集監(jiān)測功能。應(yīng)用的開發(fā)支持sql99、xml和web service標(biāo)準(zhǔn)，保障了數(shù)據(jù)使用的通用性。并且可以保證系統(tǒng)的有效性、性能和易開發(fā)性。在有效性方面，ii的數(shù)據(jù)采集機制，對源數(shù)據(jù)增量識別的問題采用了偵聽同步或者數(shù)據(jù)復(fù)制的方式，可以有效地解決數(shù)據(jù)采集同步的問題。而ii

7、的數(shù)據(jù)包裝器運行在資源庫系統(tǒng)中心，無需異地開發(fā)。ii能跨本地和異地網(wǎng)提取數(shù)據(jù)，也能在源業(yè)務(wù)系統(tǒng)屏蔽訪問時，由源業(yè)務(wù)系統(tǒng)傳遞xml數(shù)據(jù)包，對xml數(shù)據(jù)文件進行信息分解和提取，能夠滿足不同的源業(yè)務(wù)系統(tǒng)的特點。在性能方面，實際的測試表明，ii的數(shù)據(jù)復(fù)制能夠達到1.26gb/小時的數(shù)據(jù)提取量，而ii的快速數(shù)據(jù)導(dǎo)入功能更能達到30gb/小時，而該測試結(jié)果還是在一臺資源緊張的服務(wù)器運行出來的。由于ii的平臺設(shè)計的目的就是為了解決數(shù)據(jù)整合的問題，因此能夠得到這樣比較理想的測試結(jié)果，而無需依賴于特殊的開發(fā)和編程手段?；谏鲜隼碛?，我們推薦使用信息集成平臺來完成資源庫的數(shù)據(jù)采集功能，以建立長期穩(wěn)定的綜合資源數(shù)據(jù)

8、庫平臺，滿足中心業(yè)務(wù)數(shù)據(jù)庫交換和數(shù)據(jù)復(fù)用的需求。通過ibm數(shù)據(jù)整合平臺，建立勞動與社會保障業(yè)務(wù)數(shù)據(jù)中心及數(shù)據(jù)分析區(qū)和交換區(qū)我們利用ibm數(shù)據(jù)整合平臺建立一個信息集成訪問接口，建立起社保信息數(shù)據(jù)交換平臺，同時在分級上下系統(tǒng)間業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)采集平臺，并在分析數(shù)據(jù)區(qū)、交換數(shù)據(jù)區(qū)間建立一個可讀寫的雙向訪問接口，實現(xiàn)不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。在所提供的統(tǒng)一訪問接口的支持下，就可以在一個整體數(shù)據(jù)庫的邏輯視圖下（這一視圖跨越地市級勞動與社保信息管理系統(tǒng)），經(jīng)過相應(yīng)的數(shù)據(jù)轉(zhuǎn)換，來實現(xiàn)中心業(yè)務(wù)數(shù)據(jù)，和面向勞動與社保信息分析及交換的數(shù)據(jù)流程和業(yè)務(wù)流程，實現(xiàn)整個勞動與社保分析系統(tǒng)和數(shù)據(jù)交換系統(tǒng)快速開發(fā)和部署。在分級

9、縱向信息整合建立起數(shù)據(jù)中心的過程中，建議分階段實現(xiàn)，第一階段旨在利用數(shù)據(jù)映射層，實現(xiàn)統(tǒng)一查詢訪問，使全省數(shù)據(jù)可共享。第二階段，結(jié)合數(shù)據(jù)整合層的各項功能，進行分極系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范化，提高共享的質(zhì)量和數(shù)據(jù)復(fù)用，并為數(shù)據(jù)交換做準(zhǔn)備。這兩個階段是信息整合所不可或缺的必要環(huán)節(jié)。第三階段，將部分被頻繁訪問、且實時性要求有限的數(shù)據(jù)物理集中，提高數(shù)據(jù)查詢的質(zhì)量，便于決策分析等業(yè)務(wù)應(yīng)用。第四階段，在第二階段數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化的基礎(chǔ)上，實現(xiàn)統(tǒng)一的數(shù)據(jù)交換。這兩個階段可根據(jù)實際業(yè)務(wù)需求取舍，也可更換先后次序。數(shù)據(jù)交換平臺的架構(gòu)圖如下：數(shù)據(jù)整合平臺負(fù)責(zé)從市級業(yè)務(wù)數(shù)據(jù)庫及外部數(shù)據(jù)源中獲取資源庫所需的數(shù)據(jù)，實現(xiàn)中心不同數(shù)

10、據(jù)分區(qū)間的交換。數(shù)據(jù)整合平臺位于業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)轉(zhuǎn)換平臺之間，屏蔽了后續(xù)數(shù)據(jù)處理與數(shù)據(jù)來源間的直接關(guān)系。整合平臺主要實現(xiàn)兩個方面的功能： 業(yè)務(wù)數(shù)據(jù)中心的數(shù)據(jù)采集和轉(zhuǎn)換 不同數(shù)據(jù)分區(qū)（業(yè)務(wù)數(shù)據(jù)區(qū)、分析區(qū)、交換區(qū)）間的數(shù)據(jù)交換為保證對數(shù)據(jù)整合平臺的統(tǒng)一控制和管理，我們采用集中式的數(shù)據(jù)整合平臺設(shè)計思路，即在中心部署一個大的平臺上完成對主要業(yè)務(wù)數(shù)據(jù)的采集，及不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。數(shù)據(jù)整合平臺設(shè)計的基本原則是在業(yè)務(wù)系統(tǒng)部署軟件，和編寫專用接口，所有的軟件部署也都在此平臺上實施。2.1實現(xiàn)數(shù)據(jù)交換在本方案中，根據(jù)與已有系統(tǒng)連接的要求，需要支持實現(xiàn)與oracle，sql server，db2等異構(gòu)、多個

11、數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)復(fù)制，這就面臨著一個異構(gòu)數(shù)據(jù)庫之間雙向復(fù)制的技術(shù)要求，這在數(shù)據(jù)庫領(lǐng)域一直是一個很難解決的問題。而ibm websphere information integrator 恰恰在解決一個企業(yè)級異構(gòu)數(shù)據(jù)集成同時，很好地解決了這一棘手的問題。ibm websphere information integrator 能夠支持用戶在一個廣泛的異構(gòu)數(shù)據(jù)環(huán)境內(nèi)，定義各個異構(gòu)數(shù)據(jù)源之間的復(fù)制關(guān)系和復(fù)制機制，ibm websphere information integrator可以支持表級的、雙向的、指定時間點的復(fù)制，能夠提供接近實時的，事務(wù)一致的數(shù)據(jù)復(fù)制機制的定義和實現(xiàn)。使用ibm we

12、bsphere information inetgrator 后，ibm db2，ibm informix，microsoft，oracle，和sybase都可以作為復(fù)制源或復(fù)制目標(biāo)； 用戶可以配置一個多樣性的拓?fù)洵h(huán)境l 復(fù)制服務(wù)器支持分布式（從一個數(shù)據(jù)庫到多個數(shù)據(jù)庫的數(shù)據(jù)遷移）和集中式（從多個數(shù)據(jù)庫到一個數(shù)據(jù)庫的數(shù)據(jù)遷移）l 數(shù)據(jù)遷移可以同時使用標(biāo)準(zhǔn)的sql表達式或存儲過程l 數(shù)據(jù)遷移可以定時的自動執(zhí)行，或在一定的時間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行數(shù)據(jù)復(fù)制定義關(guān)系如下圖所示：數(shù)據(jù)運輸表oraclesql serverany source地市級管理系統(tǒng)統(tǒng)縣級管理系統(tǒng)數(shù)據(jù)復(fù)制引擎外部應(yīng)

13、用管理系統(tǒng)數(shù)據(jù)庫系統(tǒng)oracle從上圖可以看出，使用ibm websphere information integrator后，可以非常方便地實現(xiàn)跨業(yè)務(wù)平臺、跨數(shù)據(jù)平臺、跨地域的業(yè)務(wù)數(shù)據(jù)匯總、統(tǒng)計分析等工作的開展。而從前，我們要實現(xiàn)這樣一個應(yīng)用，就需要花費大量的精力，進行數(shù)據(jù)采集匯總的工作，從各個地域、各個業(yè)務(wù)系統(tǒng)、各個數(shù)據(jù)庫平臺上進行數(shù)據(jù)遷移，工作量大，而且準(zhǔn)確率和實時性都很差。而在本方案中，這一切難題都會迎刃而解。2.2實現(xiàn)數(shù)據(jù)采集通過數(shù)據(jù)整合平臺，實現(xiàn)中心對垂直業(yè)務(wù)數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說明如下：批量數(shù)據(jù)抽取 對于比較規(guī)范的業(yè)務(wù)系統(tǒng)，如果通過理解其數(shù)據(jù)庫表結(jié)構(gòu)能

14、夠識別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。批量數(shù)據(jù)抽取的方式一般為非實時模式，在業(yè)務(wù)系統(tǒng)空閑時進行運行。對于網(wǎng)絡(luò)條件較好的數(shù)據(jù)源，該方式可直接通過信息采集平臺向業(yè)務(wù)數(shù)據(jù)庫發(fā)送數(shù)據(jù)抽取的sql 語句，增量信息通過where 條件傳入，采集的數(shù)據(jù)直接保存在信息整合平臺。對于網(wǎng)絡(luò)狀況不理想的業(yè)務(wù)系統(tǒng)，該方式可分兩步進行。首先在業(yè)務(wù)系統(tǒng)數(shù)據(jù)源將增量信息卸載為文件，然后再將文件傳送到信息采集平臺。這種模式要求在數(shù)據(jù)源部署卸載及數(shù)據(jù)傳輸程序，管理維護成本較大，建議盡量采用第一種方式。數(shù)據(jù)復(fù)制數(shù)據(jù)采集平臺提供對各類主流數(shù)據(jù)庫的各主要版本數(shù)據(jù)復(fù)制的能力。在復(fù)制的過程中，系統(tǒng)自動抽取數(shù)據(jù)的變化，通過中間的傳

15、輸，最后加載到目的地。在大多數(shù)情況下，復(fù)制應(yīng)該不干預(yù)現(xiàn)有的應(yīng)用，對系統(tǒng)的影響應(yīng)該降到最低，復(fù)制過程有必要進行管理和監(jiān)控。復(fù)制可分為兩個步驟capture用于獲取數(shù)據(jù)源數(shù)據(jù)的增量。對oracle數(shù)據(jù)源，通過trigger機制實現(xiàn)。apply負(fù)責(zé)將變更的數(shù)據(jù)送到數(shù)據(jù)目標(biāo)。wii提供對純增量的復(fù)制能力，在目標(biāo)端自動附加操作類型、時間戳等信息，以用于后續(xù)數(shù)據(jù)轉(zhuǎn)換的處理。wii所提供的數(shù)據(jù)復(fù)制方式提供多種調(diào)度手段，支持分鐘級數(shù)據(jù)的同步。對大多數(shù)據(jù)業(yè)務(wù)系統(tǒng)而言，數(shù)據(jù)復(fù)制對系統(tǒng)有一定影響，但影響有限。建議應(yīng)用在難以提供增量信息，而業(yè)務(wù)負(fù)荷又有一定擴展性的系統(tǒng)。數(shù)據(jù)偵聽同步數(shù)據(jù)偵聽同步的模式與數(shù)據(jù)復(fù)制有一定類

16、似，但可大大降低對業(yè)務(wù)系統(tǒng)正常工作時間的影響。對于部分不能提供增量信息，而當(dāng)前業(yè)務(wù)系統(tǒng)負(fù)荷又較重的系統(tǒng)，可采用數(shù)據(jù)偵聽的模式。數(shù)據(jù)偵聽與數(shù)據(jù)復(fù)制最大的不同是在變更數(shù)據(jù)捕獲方面。數(shù)據(jù)偵聽只捕獲變更數(shù)據(jù)的主鍵信息，占整個記錄的信息量很小。因而對業(yè)務(wù)系統(tǒng)的工作時間的影響很小。數(shù)據(jù)偵聽同步分兩個步驟完成數(shù)據(jù)的采集。首先通過數(shù)據(jù)偵聽獲取變更數(shù)據(jù)的主鍵及操作類型信息，并同步到數(shù)據(jù)采集平臺。然后在業(yè)務(wù)系統(tǒng)的空閑時間，通過偵聽得到的變更信息，重新通過數(shù)據(jù)采集平臺訪問數(shù)據(jù)源，批量將其他數(shù)據(jù)內(nèi)容信息抽取到數(shù)據(jù)采集平臺。數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動管理。數(shù)據(jù)采集平臺通過提供批量數(shù)據(jù)抽取、數(shù)據(jù)復(fù)制和數(shù)據(jù)偵聽同步

17、的方式，針對省廳的多種不同情況的源業(yè)務(wù)系統(tǒng)，均提出了有效的采集方案，對建立系統(tǒng)打下了堅實的基礎(chǔ)。3. ibm數(shù)據(jù)整合平臺的功能我們建議選用ibm數(shù)據(jù)整合平臺websphere information integrator作為數(shù)據(jù)交換平臺的核心技術(shù)。將市社保的各類數(shù)據(jù)源通過聯(lián)邦的方式映射到一個數(shù)據(jù)采集平臺的邏輯數(shù)據(jù)庫中。對所有業(yè)務(wù)數(shù)據(jù)的訪問都通過websphere ii完成，數(shù)據(jù)存儲的異構(gòu)性和不同數(shù)據(jù)庫操作的異構(gòu)性由websphere ii屏蔽。信息整合平臺基礎(chǔ)架構(gòu)如下所示：基于聯(lián)邦數(shù)據(jù)映射能力，在數(shù)據(jù)整合平臺可直接獲取業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)。在此基礎(chǔ)上，wii還提供異構(gòu)數(shù)據(jù)復(fù)制技術(shù)及數(shù)據(jù)偵聽技術(shù)，實

18、現(xiàn)對增量信息的識別和同步。其實現(xiàn)原理如下圖所示：圖中：聯(lián)邦服務(wù)器（federated database server）通過稱為包裝器（wrapper）的軟件模塊與數(shù)據(jù)源進行通信。對于上述各類數(shù)據(jù)源，websphere ii 提供專用的wrapper，每個wrapper實現(xiàn)異構(gòu)數(shù)據(jù)源的sql處理，支持異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)類型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。對關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源而言，包裝器通過安裝在信息整合平臺的該數(shù)據(jù)庫的客戶端與其進行交互。對非關(guān)系型數(shù)據(jù)源，包裝器直接進行數(shù)據(jù)訪問。包裝器從信息整合服務(wù)器接受數(shù)據(jù)訪問指令，進行轉(zhuǎn)換為數(shù)據(jù)源所支持的sql，通過數(shù)據(jù)源的客戶端提交執(zhí)行。然后將結(jié)果返回給信息整合服務(wù)器處

19、理。除包裝器外，信息整合服務(wù)器還有三個核心的部分。信息整合服務(wù)器維護一個全局的數(shù)據(jù)字典，其中保存需在信息整合平臺被訪問的數(shù)據(jù)的相關(guān)描述，包括數(shù)據(jù)源的配置信息，數(shù)據(jù)源表的結(jié)構(gòu)，字段數(shù)據(jù)類型，相應(yīng)的索引及數(shù)據(jù)量數(shù)據(jù)分布的統(tǒng)計信息。（注：該類信息無需用戶自行輸入，在定義過程中，系統(tǒng)可從源數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)字典中自動獲?。Ａ硗馊?jǐn)?shù)據(jù)字典還記錄數(shù)據(jù)源的cpu，網(wǎng)絡(luò)，i/o等系統(tǒng)資源情況?，F(xiàn)對ibm信息集成關(guān)鍵技術(shù)進行說明1）聯(lián)邦技術(shù)采用聯(lián)邦技術(shù)，可通過簡單的配置，快速實現(xiàn)數(shù)據(jù)共享。其主要特點為：l 透明性。所有信息源看起來就像是一個信息源。l 異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)。l 雙向sql訪問?；跇?biāo)準(zhǔn)

20、的通用訪問方式，且雙向可讀寫。l 可擴展性和工具化?？梢栽L問任何數(shù)據(jù)源，配置方便。l 避免對現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進行更改。l 其性能可以滿足實際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級查詢優(yōu)化技術(shù)、本地數(shù)據(jù)訪問以及透明緩存支持。l 可以充分利用標(biāo)準(zhǔn)的分析、報告和開發(fā)工具等高級功能。websphere ii查詢接口提供了基于標(biāo)準(zhǔn)的完整功能包括對后端數(shù)據(jù)源中缺失能力的補償。 2）sql復(fù)制在多種數(shù)據(jù)源的環(huán)境中，主要采用sql復(fù)制技術(shù)。sql復(fù)制技術(shù)能夠支持網(wǎng)絡(luò)上同構(gòu)或異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)的有效傳輸和冗余性復(fù)制，能夠?qū)崿F(xiàn)多種復(fù)制模式（如：準(zhǔn)實時復(fù)制、定時復(fù)制、雙向復(fù)制、復(fù)制轉(zhuǎn)發(fā)等，復(fù)制范圍可整表復(fù)制或

21、表中部分行復(fù)制或修改單元復(fù)制）。復(fù)制運行時包括三個組成部分：capture、monitor和apply。其中capture提取復(fù)制數(shù)據(jù)源的變化增量；apply獲取capture的結(jié)果，并根據(jù)復(fù)制映射關(guān)系進行轉(zhuǎn)換，按照一定的時間規(guī)劃，作用于目標(biāo)數(shù)據(jù)；monitor監(jiān)控復(fù)制過程，并給出監(jiān)控信息。sql復(fù)制實現(xiàn)機制能夠解決以下三個主要問題：增量復(fù)制支持對數(shù)據(jù)的變化增量識別、提取和復(fù)制，與全量數(shù)據(jù)復(fù)制相比，可避免全量數(shù)據(jù)傳輸?shù)木薮筘?fù)載對各個系統(tǒng)的影響。對db2家族的復(fù)制數(shù)據(jù)源而言，通過讀取數(shù)據(jù)庫日志信息獲取數(shù)據(jù)增量，可避免對數(shù)據(jù)庫運行性能的影響。對于復(fù)制數(shù)據(jù)源為非db2的數(shù)據(jù)庫，其獲取數(shù)據(jù)增量的cap

22、ture方式由數(shù)據(jù)源的trigger機制實現(xiàn)(注：這些trigger由db2的復(fù)制機制自動維護)。圖3.1 sql復(fù)制機制源數(shù)據(jù)與目標(biāo)數(shù)據(jù)間的復(fù)制轉(zhuǎn)換源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間,往往存在著數(shù)據(jù)類型、格式、邏輯等不一致。為了使目標(biāo)數(shù)據(jù)源能夠讀懂、接受復(fù)制數(shù)據(jù)源的數(shù)據(jù)，就必須進行復(fù)制轉(zhuǎn)換。在復(fù)制過程中的常用轉(zhuǎn)換方法有如下兩種：復(fù)制映射和添加計算列：復(fù)制映射主要指復(fù)制源和目標(biāo)之間的列映射，可以用如下圖所示的配置工具實現(xiàn)。鼠標(biāo)拖拽產(chǎn)生的箭頭指示源與目標(biāo)列的對應(yīng)關(guān)系?！疤砑佑嬎懔小笨梢允褂胹ql對復(fù)制源的某列進行運算，產(chǎn)生一個計算列，該列的定義記錄在復(fù)制控制表中，不影響源表。如下圖紫色方框標(biāo)注的兩列：右側(cè)的是

23、目標(biāo)列，其定義長度為30個字符；左側(cè)的是對源表某列作substr字符串截取生成的計算列，截取前30個字符。此外常用的sql還有date函數(shù)、case語句等等。圖：復(fù)制映射和添加計算列兩階段復(fù)制：一致更改數(shù)據(jù)ccd表作中間表兩階段復(fù)制的優(yōu)勢在于能夠獲取數(shù)據(jù)增量及其類別，并結(jié)合多種數(shù)據(jù)轉(zhuǎn)換方法。兩階段復(fù)制中，首先由源表復(fù)制到一致更改數(shù)據(jù)ccd表，后者能夠記錄在源表上所有的更改操作的類型（插入、更新及刪除）和結(jié)果，從而捕獲源表中所有的增量信息。第二階段，開發(fā)者可以編寫存儲過程、或應(yīng)用程序處理ccd表中的數(shù)據(jù)，再采用復(fù)制方法使數(shù)據(jù)作用到最終目標(biāo)表?？膳渲?、可管理的數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)主要指apply的過程

24、，即將復(fù)制數(shù)據(jù)源的增量應(yīng)用到復(fù)制目標(biāo)。數(shù)據(jù)分發(fā)過程中的配置和管理，對復(fù)制的可靠性和可管理十分重要。數(shù)據(jù)分發(fā)提供的配置選擇包括：啟動/停止數(shù)據(jù)應(yīng)用到目標(biāo)表；選擇連續(xù)復(fù)制方式或設(shè)置復(fù)制時間間隔等；提供自動數(shù)據(jù)分組、出錯自動回滾等功能，處理傳輸過程中的異常處理，用戶可配置發(fā)生網(wǎng)絡(luò)或系統(tǒng)故障時的傳輸重試間隔。3）雙層認(rèn)證授權(quán)機制websphere ii的雙層認(rèn)證授權(quán)機制，充分保證異地數(shù)據(jù)訪問下的數(shù)據(jù)安全。information integrator用戶對數(shù)據(jù)的操作權(quán)限，取決于各個應(yīng)用系統(tǒng)數(shù)據(jù)庫向它開放的用戶的授權(quán)，是且僅可能是后者的子集。通過開放不同權(quán)限的用戶給information integrat

25、or，可限制通過ii的用戶訪問的數(shù)據(jù)內(nèi)容和數(shù)據(jù)庫操作（如插入、修改和刪除），這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性，不會出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級用戶，消除數(shù)據(jù)安全隱患。三、 ibm 信息集成技術(shù)的特點3.1 全局統(tǒng)一的數(shù)據(jù)視圖按照 ibm 的預(yù)想，信息集成基礎(chǔ)構(gòu)架必須為應(yīng)用層提供對其所需訪問數(shù)據(jù)的全局統(tǒng)一的數(shù)據(jù)視圖，使應(yīng)用對數(shù)據(jù)的訪問不受數(shù)據(jù)格式、數(shù)據(jù)位置和訪問接口差異的限制。對數(shù)據(jù)管理系統(tǒng)的發(fā)展不僅是要實現(xiàn)對單一數(shù)據(jù)庫中存儲的信息進行管理，而且還要能夠提供對所有形式數(shù)據(jù)的增值性集成、對數(shù)據(jù)安排實施動態(tài)管理以滿足可用性、實時性同時滿足性能要求以及提供可繼續(xù)減輕 it 人員管理復(fù)雜數(shù)據(jù)體系結(jié)構(gòu)負(fù)擔(dān)的自主

26、特色功能。為此，ibm 制訂了一項代號為 xperanto 的計劃，旨在應(yīng)對客戶對集成結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的需求。依靠在研究上的不斷投資及在關(guān)系數(shù)據(jù)、xml、內(nèi)容管理、聯(lián)邦、搜索和復(fù)制等領(lǐng)域所擁有的可靠的數(shù)據(jù)管理技術(shù)，ibm 正著手開發(fā)集成式基礎(chǔ)構(gòu)架（如下圖所示）。ibm 基礎(chǔ)構(gòu)架憑借一系列程序設(shè)計模型、一套豐富的集成特色功能及與 ibm 的整個業(yè)務(wù)集成框架的互操作性提供了靈活的訪問方式。3.2 靈活的訪問方式ibm 的設(shè)想是通過行業(yè)標(biāo)準(zhǔn)接口提供對信息集成基礎(chǔ)構(gòu)架的靈活訪問?？蛻魬?yīng)用訪問信息可通過 odbc、jbdc、網(wǎng)絡(luò)服務(wù)、本地客戶機或異步客戶機接口來實現(xiàn)。無論數(shù)據(jù)是分布在何種數(shù)

27、據(jù)庫,文件或消息隊列中,應(yīng)用對數(shù)據(jù)的訪問都如同是在對一個邏輯的數(shù)據(jù)庫進行. 它所支持的查詢語言將包括：l 結(jié)構(gòu)化查詢語言 (sql)：業(yè)界最成熟、功能最強大的查詢語言，市場應(yīng)用廣泛；l xquery：有關(guān) xml 數(shù)據(jù)訪問的新興標(biāo)準(zhǔn)，萬維網(wǎng)協(xié)會 (w3c) 目前正在進行其標(biāo)準(zhǔn)化工作l ibm db2 content manager： 是面向?qū)ο蟮膽?yīng)用程序編程接口，它支持內(nèi)容管理生命周期，包括富文本和圖像查詢。無論采用何種客戶訪問方式和查詢語言，應(yīng)用程序都應(yīng)能夠訪問通過集成服務(wù)器連接的所有數(shù)據(jù)。這種客戶訪問和查詢語言靈活性的組合使現(xiàn)有開發(fā)和分析工具能夠通過集成服務(wù)器訪問更廣泛的數(shù)據(jù),并直接利用集

28、成服務(wù)器所提供的信息集成功能。它還使基礎(chǔ)構(gòu)架能夠通過web services適應(yīng)以服務(wù)為導(dǎo)向的體系結(jié)構(gòu)，還可提供與工作流異步集成或輕松調(diào)度長耗時的查詢?nèi)蝿?wù)，并能保護您在現(xiàn)有和新應(yīng)用程序基礎(chǔ)構(gòu)架上的投資。3.3 豐富的特色功能利用 ibm 信息集成基礎(chǔ)構(gòu)架可實現(xiàn)對各種分散于各處的實時數(shù)據(jù)的集成，就好像它們來自同一數(shù)據(jù)源。該基礎(chǔ)構(gòu)架具有聯(lián)邦、搜索、高速緩存、轉(zhuǎn)換和復(fù)制異構(gòu)數(shù)據(jù)等重要的功能：聯(lián)邦: ibm 提供業(yè)界領(lǐng)先的對相異數(shù)據(jù)源的聯(lián)邦功能。聯(lián)邦的概念是：用戶可以像對待一個數(shù)據(jù)源那樣對多個數(shù)據(jù)源實施查詢和處理，同時保持?jǐn)?shù)據(jù)源各自的獨立性和完整性。視實施的具體情況，這些數(shù)據(jù)源可能是同構(gòu)或異構(gòu)數(shù)據(jù)源，

29、也可能是集中或分散的數(shù)據(jù)源。ibm 的聯(lián)邦引擎提供了下述功能： 透明度:它具有屏蔽作用，可協(xié)助使用戶在訪問數(shù)據(jù)時,無法察覺底層數(shù)據(jù)源的差異、特質(zhì)和實現(xiàn)方式，并使一組聯(lián)邦數(shù)據(jù)源看上去就像是一個系統(tǒng)。異構(gòu)性: 一如其名它具有聯(lián)邦異構(gòu)類型數(shù)據(jù)的功能，這些數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)（例如，關(guān)系數(shù)據(jù)庫）、半結(jié)構(gòu)化數(shù)據(jù)（例如，xml 文檔）、非結(jié)構(gòu)化數(shù)據(jù)（例如，自由格式文本）。可擴展性: 一種可將聯(lián)邦能力擴展到幾乎任何數(shù)據(jù)源的功能。可擴展性專為這一目的而設(shè)計，即最大程度降低集成新數(shù)據(jù)源的工作量，同時靈活地為優(yōu)化查詢訪問提供必要的信息。豐富的函數(shù)功能: 包括通過支持的查詢語言提供的函數(shù)、對后端數(shù)據(jù)源中所缺函數(shù)的

30、補償以及將數(shù)據(jù)源專用功能無縫嵌入到查詢語言中的功能。數(shù)據(jù)源自主性: 即可將數(shù)據(jù)源聯(lián)邦在一起，而對現(xiàn)有應(yīng)用程序或系統(tǒng)沒有或幾乎沒有影響。性能優(yōu)化: 使聯(lián)邦查詢成為一種現(xiàn)實備選方案的性能特性。憑借超過 25 年的研究和開發(fā)經(jīng)驗及專利的優(yōu)化技術(shù)，ibm 可以事實證明，聯(lián)邦是一個能夠滿足性能要求的可行方案。搜索: ibm 的基礎(chǔ)構(gòu)架將提供高級搜索和查詢功能，包括網(wǎng)絡(luò)爬行、文檔索引建立、多搜索引擎搜索結(jié)果聯(lián)邦、以實現(xiàn)智能訪問為目標(biāo)的文本文檔分類和摘要信息建立以及語義理解。2002 年，ibm 組建了“ibm 搜索和文本分析研究院”，以通過集成式體系結(jié)構(gòu)統(tǒng)一并加速 ibm 在高級搜索和挖掘功能上的研究和部

31、署。研究成果將可為 ibm 信息集成平臺以及其它 ibm 方案提供動力。高速緩沖存儲器: ibm 的信息集成基礎(chǔ)構(gòu)架將支持在數(shù)據(jù)層級中的多個點放置和管理數(shù)據(jù)，以改善性能。這絕非是簡單的高速緩存功能，而是基于策略的數(shù)據(jù)安排和管理。需要由一系列高速緩存策略才能向發(fā)出請求的應(yīng)用程序提供足夠的性能、實時性和可用性特性。轉(zhuǎn)換: 基礎(chǔ)構(gòu)架必須提供豐富的轉(zhuǎn)換特色功能，以便進行分析、交換和呈現(xiàn)。轉(zhuǎn)換功能完成不同類型數(shù)據(jù)庫sql語句的動態(tài)轉(zhuǎn)換(如數(shù)據(jù)類型及函數(shù)的匹配).另外還包括對數(shù)據(jù)源缺失函數(shù)的補償和原有數(shù)據(jù)源專用功能(如存儲過程和用戶自定義函數(shù))的嵌入。復(fù)制: 作為信息集成基礎(chǔ)構(gòu)架的一個基本特征，復(fù)制功能不

32、可或缺。它是分布式訪問特色功能的有益補充，實現(xiàn)了對集中式數(shù)據(jù)存儲器的管理，并為高效管理數(shù)據(jù)高速緩沖存儲器提供了必需的基礎(chǔ)構(gòu)架。信息集成可實現(xiàn)異構(gòu)關(guān)系型數(shù)據(jù)源之間的相互復(fù)制. 支持多點對一點的數(shù)據(jù)集中模式和一點對多點的數(shù)據(jù)分發(fā)模式. 包括初始的數(shù)據(jù)同步和增量的鑒別和同步. 并提供對復(fù)制過程的監(jiān)控.簡化全面業(yè)務(wù)集成: 如前所提及，信息集成只是整個業(yè)務(wù)集成基礎(chǔ)構(gòu)架的一部分。為支持業(yè)務(wù)的改良需求，此基礎(chǔ)構(gòu)架補充了強健的數(shù)據(jù)和內(nèi)容存儲器及附加集成技術(shù)，并采用了行業(yè)標(biāo)準(zhǔn)。數(shù)據(jù)存儲：ibm 現(xiàn)今提供業(yè)內(nèi)領(lǐng)先的關(guān)系數(shù)據(jù)庫管理系統(tǒng)和內(nèi)容管理系統(tǒng)，并在提供集成 xml 支持方面引領(lǐng)著行業(yè)的發(fā)展。除現(xiàn)有功能（基于關(guān)

33、系數(shù)據(jù)庫模型）外，xml 儲存還必須完整地包含和充分利用 xml 數(shù)據(jù)模型。xml 儲存設(shè)計有一個內(nèi)置 xml 注冊表，可以輕松管理大量 xml 工件。這些工件包括隨 xml 數(shù)據(jù)數(shù)量和種類的增加而可能產(chǎn)生的 xml schema 文檔、文檔類型定義 (dtd) 和web services說明文檔等。利用互補的集成技術(shù)：開發(fā)企業(yè)集成基礎(chǔ)構(gòu)架的關(guān)鍵在于能否自如地組合利用或單獨利用適用的集成技術(shù)。ibm 繼續(xù)專注于信息集成對“ibm 軟件集團”全線產(chǎn)品，特別是 websphere 業(yè)務(wù)集成系列產(chǎn)品的集成，以提供一套全面的業(yè)務(wù)集成基礎(chǔ)構(gòu)架。websphere 軟件平臺為數(shù)據(jù)庫及聯(lián)邦數(shù)據(jù)庫應(yīng)用程序提供

34、了一個開放、集成式的 java 技術(shù)開發(fā)環(huán)境。同時，ibm 也在投入力量使其能夠與 microsoft visualstudio 順暢協(xié)作并實現(xiàn)集成。簡言之，ibm 的集成式解決方案是業(yè)內(nèi)覆蓋領(lǐng)域最廣、最完整的集成式解決方案。 支持行業(yè)標(biāo)準(zhǔn)：ibm 繼續(xù)處于開發(fā)和采用行業(yè)標(biāo)準(zhǔn)的最前沿，為在不同開發(fā)商工具間實現(xiàn)廣泛的互操作性提供便利。四、 ibm信息整合解決方案的優(yōu)勢我們建議的社保信息數(shù)據(jù)交換平臺解決方案具備以下幾個關(guān)鍵的技術(shù)優(yōu)勢：41建立、地市級管理系統(tǒng)之間的信息交互、地市級管理系統(tǒng)的信息交互，實際包含兩方面的含義：u 數(shù)據(jù)交換：實現(xiàn)、地市級級系統(tǒng)之間的數(shù)據(jù)交換，實現(xiàn)數(shù)據(jù)的物理遷移，數(shù)據(jù)由某個

35、數(shù)據(jù)源傳遞到某個目標(biāo)數(shù)據(jù)庫中；數(shù)據(jù)共享：為跨越社保管理現(xiàn)有的業(yè)務(wù)系統(tǒng)、各個合作機構(gòu)的業(yè)務(wù)系統(tǒng)中所有相關(guān)數(shù)據(jù)，進行綜合查詢和分析提供數(shù)據(jù)集成訪問支持； 42利用異構(gòu)數(shù)據(jù)透明訪問技術(shù)實現(xiàn)數(shù)據(jù)共享ibm解決方案的核心產(chǎn)品是ibm information integrator，其中核心技術(shù)之一為聯(lián)邦數(shù)據(jù)訪問技術(shù)。如下圖所示，通過采用 ibm information integrator， 將數(shù)據(jù)交換平臺各級業(yè)務(wù)管理系統(tǒng)中的各類數(shù)據(jù)源，通過聯(lián)邦的方式映射到一個邏輯的數(shù)據(jù)庫中。對所有數(shù)據(jù)的訪問都通過ibm information integrator完成，數(shù)據(jù)存儲的異構(gòu)性和不同數(shù)據(jù)庫操作的異構(gòu)性由ibm

36、information integrator屏蔽?；趇bm information integrator可實現(xiàn)異構(gòu)平臺的表級數(shù)據(jù)庫的通用sql操作。43統(tǒng)一編程接口，簡化應(yīng)用編程由于對所有數(shù)據(jù)的訪問都通過ibm information integrator完成，數(shù)據(jù)存儲的異構(gòu)性和不同數(shù)據(jù)庫操作的異構(gòu)性由ibm information integrator屏蔽。因此對于新的省級社保信息綜合業(yè)務(wù)系統(tǒng)（如數(shù)據(jù)實時交換、綜合查詢、數(shù)據(jù)遷移等）的開發(fā)者來說，不必了解現(xiàn)有各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫訪問接口及編程方法，而只需熟練掌握ibm information integrator所提供的一套編程訪問接口就可

37、以實現(xiàn)所有的應(yīng)用開發(fā)工作。整個編程開發(fā)將非常簡便。44提供全局優(yōu)化技術(shù)，保證系統(tǒng)整體性能領(lǐng)先的基于成本的優(yōu)化器:ibm 在業(yè)界最早實現(xiàn)了基于成本的優(yōu)化技術(shù)，優(yōu)化器能夠模擬采用不同方式從磁盤中查詢數(shù)據(jù)所付出的代價，從而選用最佳查詢方案。它在優(yōu)化時考慮了cpu速度、磁盤i/o率、表格尺寸、有效訪問路徑，并且如果可能的話可以重寫查詢，以得到更高的性能。ibm的優(yōu)化器充分考慮了并行、大量并發(fā)用戶、復(fù)雜查詢等各種可能遇到的情況，使其能夠運行于各種計算環(huán)境。通過調(diào)節(jié)相應(yīng)參數(shù)，數(shù)據(jù)庫管理員還可以根據(jù)數(shù)據(jù)庫應(yīng)用的具體類型方便地選擇是否讓優(yōu)化器為此種應(yīng)用做專門的優(yōu)化。獨特的查詢重寫技術(shù):ibm對用戶的每一個sq

38、l語句的處理過程于其它數(shù)據(jù)庫有所不同：在經(jīng)過語法分析和語義檢查之后，先對用戶的sql語句進行查詢重寫，再將重寫后的查詢sql語句送交優(yōu)化器優(yōu)化。由于經(jīng)過查詢重寫的sql語句可以最有效的被優(yōu)化器優(yōu)化，程序員可以專心于業(yè)務(wù)邏輯的實現(xiàn)，而不必過多地將精力放在了解數(shù)據(jù)庫優(yōu)化器工作原理以及關(guān)注sql語句的寫法上，減少了應(yīng)用程序不能正確實現(xiàn)業(yè)務(wù)邏輯的可能性。另一方面，查詢重寫技術(shù)還有助于消除經(jīng)常見到的由于項目組中不同開發(fā)人員的水平差異導(dǎo)致的程序執(zhí)行效率不同，或圖形界面動態(tài)生成sql語句繁瑣、低效的現(xiàn)象。在異構(gòu)環(huán)境下優(yōu)化技術(shù)同樣適用：使用ibm information integrator構(gòu)建一個異構(gòu)分布式

39、數(shù)據(jù)庫環(huán)境后，ibm先進的基于成本優(yōu)化器仍然可以通過ibm information integrator發(fā)揮作用，也就是說，ibm可以將一個跨越多個業(yè)務(wù)系統(tǒng)的sql語句根據(jù)各個業(yè)務(wù)系統(tǒng)的實際狀況進行成本估算、查詢重寫、最優(yōu)查詢路徑模擬及確定。實現(xiàn)一個跨業(yè)務(wù)系統(tǒng)的全局優(yōu)化。從而保證了整個系統(tǒng)的整體性能。ibm information integrator 提供一個本地的數(shù)據(jù)存儲支持，聯(lián)邦服務(wù)引擎實現(xiàn)sql的分解和訪問路徑的優(yōu)化，其主要原則為將對數(shù)據(jù)的操作盡量分發(fā)到分布式的數(shù)據(jù)源，在ibm information integrator 聯(lián)邦服務(wù)引擎中統(tǒng)一考慮處理的成本，選擇成本最低的路徑。成本優(yōu)化

40、依據(jù)保存在ibm information integrator catalog 中的各類數(shù)據(jù)源的統(tǒng)計信息。45先進的cache技術(shù)，保證系統(tǒng)性能ibm information integrator內(nèi)置了先進的cache技術(shù)，可以支持用戶建立物化查詢表（materialized query table），這個物化查詢表可以跨越各個業(yè)務(wù)系統(tǒng)建立一個針對經(jīng)常查詢內(nèi)容的預(yù)計算、預(yù)處理的結(jié)果集，使用cache技術(shù)存放起來，來提高使用到這些結(jié)果集的運算或查詢操作的速度。46對xml技術(shù)的完美支持我們知道xml作為數(shù)據(jù)交換的一個載體，將在未來的應(yīng)用中占據(jù)越來越重要的位置，因此，在ibm informatio

41、n integrator中對xml有強大的支持，以適應(yīng)當(dāng)前和未來的應(yīng)用需要。ibm information integrator提供了專用的xml wrapper。 通過xml wrapper, ibm information integrator支持對xml內(nèi)容基于sql的訪問支持。即用戶可以使用sql直接操作xml文本，將存放在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)組成一個xml文本輸出，或者將一個xml文本依照dtd或schema分解存儲。47簡化web services技術(shù)實現(xiàn)ibm作為web service架構(gòu)的倡導(dǎo)者和領(lǐng)導(dǎo)者，在自身的全部產(chǎn)品線中，都提供了全面的web services支持，ibm

42、information integrator也不例外，如下圖所示，基于統(tǒng)一數(shù)據(jù)服務(wù)平臺，可大大簡化復(fù)雜異構(gòu)環(huán)境的web services的實現(xiàn)。48對mq的直接支持mq是在消息傳輸中間件市場的冠軍產(chǎn)品，在很多涉及數(shù)據(jù)傳輸和數(shù)據(jù)交換平臺建設(shè)中，ibm mq產(chǎn)品系列得到了廣泛的應(yīng)用，因此作為綜合業(yè)務(wù)系統(tǒng)整合的數(shù)據(jù)管理產(chǎn)品，一定要具備與mq的直接訪問和支持的能力。而在本建議方案中，ibm information integrator提供了對mq message的直接訪問能力。可將sql的輸出直接送入mq的隊列，也可用sql直接訪問mq隊列，對應(yīng)用的整合提供了更好的靈活性。49 結(jié)合各業(yè)務(wù)系統(tǒng)用戶管理

43、機制，支持建立跨業(yè)務(wù)應(yīng)用的用戶管理機制使用ibm information integrator可以實現(xiàn)一個原有系統(tǒng)的用戶及其權(quán)限對information integrator用戶權(quán)限的一個映射定義。即information integrator中的一個用戶，也就是省級數(shù)據(jù)交換平臺系統(tǒng)中的一個用戶可以映射到下屬各個業(yè)務(wù)系統(tǒng)中的某個或某幾個用戶上，由各個業(yè)務(wù)系統(tǒng)管理訪問自身業(yè)務(wù)數(shù)據(jù)的所有用戶及其授權(quán)，而省級數(shù)據(jù)交換平臺的用戶僅是這些數(shù)據(jù)的一個使用者，其對數(shù)據(jù)的操作權(quán)限不能超越自身系統(tǒng)的授權(quán)機制，這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性。不會出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級用戶，消除數(shù)據(jù)安全隱患。410 開放性，支持

44、多種主流平臺ibm information integrator是一個開放的系統(tǒng)，能夠支持主流的unix、windows、linux： microsoft windows nt microsoft windows 2000 aix hp-ux sun solaris linux五、 ibm配置方案方案中，我們通過先進的數(shù)據(jù)整合技術(shù)，實現(xiàn)一個邏輯集中、物理分布與物理集中相配合的中心業(yè)務(wù)信息庫，從而構(gòu)建起一個數(shù)據(jù)交換平臺，解決了數(shù)據(jù)的讀寫雙向訪問技術(shù)難點，在此之上可以定義跨越社保管理條塊的業(yè)務(wù)流程和數(shù)據(jù)流程。是一個先進、合理、可實施的方案。在方案中，數(shù)據(jù)中心部署ibm數(shù)據(jù)整合平臺，建立數(shù)據(jù)中心的業(yè)

45、務(wù)數(shù)據(jù)中心，形成一個全局范圍內(nèi)的業(yè)務(wù)數(shù)據(jù)全集，首先可以滿足對勞動與社保業(yè)務(wù)的分析要求，而且，在一定程度上滿足了數(shù)據(jù)層面中心對市級單位數(shù)據(jù)的冗余，備份。系統(tǒng)配置如下圖所示：市級社保業(yè)務(wù)應(yīng)用l ibm db2 information integrator advanced edition connectorl ibm db2 ii connector內(nèi)蒙古勞動廳數(shù)據(jù)中心根據(jù)各地的實際情況，ibm websphere information integrator advanced 可以考慮配置在unix、windows或者linux服務(wù)器上，支撐整個信息集成的應(yīng)用。如果在該級數(shù)據(jù)中心需要建立一個本地

46、數(shù)據(jù)庫系統(tǒng)來支撐類似統(tǒng)一單位庫、統(tǒng)一人員庫等標(biāo)準(zhǔn)化的數(shù)據(jù)存儲，同時還考慮開展決策分析系統(tǒng)，那么可以使用ibm information integrator內(nèi)置的企業(yè)級數(shù)據(jù)庫存儲引擎支持建立一個本地的數(shù)據(jù)庫系統(tǒng)。根據(jù)數(shù)據(jù)量的大小，配置合適的磁盤陣列。同時我們建議購置磁帶庫及相應(yīng)的企業(yè)級備份管理軟件，配合ibm information integrator實現(xiàn)數(shù)據(jù)的備份/恢復(fù)工作。以保證整個系統(tǒng)運行的安全、可靠。建議軟件配置： ibm websphere information integrator advance edition ibm websphere information integra

47、tor connector ibm websphere data stage server edition附件ibm db2 information integrator產(chǎn)品簡介由于當(dāng)前信息技術(shù)的飛速發(fā)展，各企業(yè)的業(yè)務(wù)環(huán)境日益復(fù)雜，各種業(yè)務(wù)數(shù)據(jù)不斷的增加，使得企業(yè)中各種數(shù)據(jù)類型繁多，數(shù)據(jù)源也十分分散。用戶越來越希望能夠?qū)φ麄€企業(yè)不同數(shù)據(jù)源及數(shù)據(jù)類型的數(shù)據(jù)進行統(tǒng)一的相關(guān)聯(lián)的管理。但是目前很多企業(yè)受各方面因素的約束，分散的且不同廠商的數(shù)據(jù)源很難復(fù)制或集中到單一的數(shù)據(jù)庫上。因此，這就使用戶越來越渴望能夠獲得一個可以整合企業(yè)中各個分布式的數(shù)據(jù)源以方便訪問多樣化數(shù)據(jù)的解決方案。在這種需求之下，ibm公司

48、提供了ibm information integrator系列產(chǎn)品，能夠在整個企業(yè)范圍內(nèi)訪問關(guān)系型、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它能提供戰(zhàn)略上的數(shù)據(jù)集成架構(gòu)，以幫助用戶去訪問、處理以及整合異構(gòu)的、分布式的實時數(shù)據(jù)。ibm information integrator包括聯(lián)邦數(shù)據(jù)服務(wù)器（federated data server）和復(fù)制服務(wù)器（replication server），用于整合異構(gòu)的實時數(shù)據(jù)。聯(lián)邦數(shù)據(jù)服務(wù)器（federated data server）利用sql或產(chǎn)生sql的工具（整合的開發(fā)環(huán)境、報表、分析工具）訪問、整合及處理分布式的和異構(gòu)的數(shù)據(jù)。該產(chǎn)品主要適用于數(shù)據(jù)源為各類關(guān)系型數(shù)據(jù)庫及其他如xml、web或內(nèi)容數(shù)據(jù)源。ibm information int