計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)論文設(shè)計(jì)基于XML數(shù)據(jù)交換的中間件交換初步研究

1、海 南 大 學(xué)畢 業(yè) 論 文（設(shè)計(jì)）題 目： 基于xml數(shù)據(jù)交換的中間件交換初步研究 學(xué) 號(hào)： 20081602b060 姓 名： 年 級(jí)： 08級(jí) 學(xué) 院： 信息學(xué)院 系 別： 計(jì)算機(jī)系 專 業(yè)： 計(jì)算機(jī)科學(xué)與技術(shù) 指導(dǎo)教師： 完成日期： 2012 年 05 月 01 日 摘 要本論文研究數(shù)據(jù)交換問(wèn)題，其目的是為了實(shí)現(xiàn)個(gè)數(shù)據(jù)之間互通互聯(lián)，信息共享。在數(shù)據(jù)交換中關(guān)鍵的兩點(diǎn)是各數(shù)據(jù)源之間數(shù)據(jù)異構(gòu)的問(wèn)題及交換過(guò)程動(dòng)態(tài)配置問(wèn)題。針對(duì)上述兩個(gè)問(wèn)題，本文使用xml及插件技術(shù)提供了一種解決的思路。本文首先針對(duì)數(shù)據(jù)的異構(gòu)性進(jìn)行歸納總結(jié)，然后使用xml分別表示數(shù)據(jù)的結(jié)構(gòu)信息和值信息。通過(guò)對(duì)數(shù)據(jù)結(jié)構(gòu)文件和用戶定

2、義的規(guī)則文件進(jìn)行分析生成映射文件，從而解決數(shù)據(jù)沖突。在此基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于xml的數(shù)據(jù)交換中間件（xedm）系統(tǒng)。系統(tǒng)將數(shù)據(jù)交換的處理方法和流程相分離，用戶可以開發(fā)不同的流程處理插件，以滿足交換過(guò)程的動(dòng)態(tài)配置。這些極大地增強(qiáng)了系統(tǒng)的適應(yīng)性、擴(kuò)展性。本文最后對(duì)（xedm）系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)做了總結(jié)。關(guān)鍵詞：數(shù)據(jù)交換; 數(shù)據(jù)沖突; xml; 中間件abstactthis paper reserches on data exchange.its purpose is to realize the interconnection and information sharing among eve

3、ry “detached islang of information”.in data enchange process,two key points are data isomerism and dynamic configuration.the adoption of xml.and piugin technology has offered a kind of new of settlement for data exchange.this paper has carried on the induction and the summary according to the data i

4、somerism.then it expresses the structure information and value information separately with two xml files.it realize data exchange through the analysis of data structure files and rule files user defind. after that the paper has designed and implemented a xml-based data exchange middleware(xdem). xde

5、m separates treatment method from data processing procedure.user can customize different for different occasione so as to stregthen adaptability and expansion.in the concluding part,the paper summarize the design and realize of xdem and suggested the future improvement on it.key words: data exchange

6、,data confilct,xml,middleware 目 錄摘要. 1abstract.1第一章緒論. . 21.1研究背景. 21.1.1模式集成法. . 21.1.2數(shù)據(jù)復(fù)制方法. .31.2研究現(xiàn)狀. 31.3研究目標(biāo)與意義. .51.4論文工作內(nèi)容. 5第二章相關(guān)技術(shù)介紹. .52.1中間件技術(shù). 52.1.1中間件的定義. .62.1.2中間件分類. . . .62.1.3中間件的作用. .72.2xml技術(shù). 72:2.1文檔結(jié)構(gòu). .72.2.2技術(shù)特點(diǎn). .72.2.3數(shù)據(jù)模型. .82.3本章小結(jié). 8第三章數(shù)據(jù)交換方案的設(shè)計(jì). 83.1異構(gòu)數(shù)據(jù).83.1.1異構(gòu)數(shù)據(jù)分

7、析.83.1.2數(shù)據(jù)沖突分類. .93.2數(shù)據(jù)交換方案設(shè)計(jì). . .113.2.1數(shù)據(jù)交換方案總覽. .123.2.2公共數(shù)據(jù)表示. 123.2.3數(shù)據(jù)分析. 123.24數(shù)據(jù)轉(zhuǎn)換. 163.3數(shù)據(jù)交換實(shí)例. 173.4本章小結(jié). 19第四章數(shù)據(jù)交換中間件的設(shè)計(jì)實(shí)現(xiàn). 194.1系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì). .194.2配置管理. 20 4.2.1配置信息管理結(jié)構(gòu). 204.2.2配置信息管理器. 214.3任務(wù)管理. 214.4主控制器. 224.5數(shù)據(jù)適配器. 224.6本章小結(jié). . . .22第五章總結(jié)與展望. 225.1論文總結(jié). 23參考文獻(xiàn). 23致謝. 25第一章 緒 論本章是全文的緒論

8、部分，主要介紹了論文相關(guān)的研究背景，研究現(xiàn)狀，研究目的、意義。1.1研究背景人類已經(jīng)進(jìn)入21實(shí)際了，中國(guó)也已經(jīng)加入，都將面臨全球經(jīng)濟(jì)一體化的市場(chǎng)環(huán)境，競(jìng)爭(zhēng)日益激烈。誰(shuí)能迅速的掌握市場(chǎng)信息，并隨市場(chǎng)變化而動(dòng)，誰(shuí)就能在競(jìng)爭(zhēng)中立于不敗之地。為此，很多企業(yè)建立更多的信息管理系統(tǒng)來(lái)提高企業(yè)的效率。然而不幸的是大部分企業(yè)或政府部門在其信息管理系統(tǒng)建設(shè)初期并未進(jìn)行統(tǒng)一的規(guī)則，采用了不同的硬件平臺(tái)，不同的操作系統(tǒng)或不同的數(shù)據(jù)庫(kù)技術(shù)構(gòu)建起來(lái)的管理系統(tǒng)就像是一個(gè)個(gè)“信息孤島”?！靶畔⒐聧u”的存在造成了整個(gè)企業(yè)信息平臺(tái)存在大量的數(shù)據(jù)冗余、垃圾數(shù)據(jù)，難以保證數(shù)據(jù)的一致性，降低了信息的使用效率和利用率。針對(duì)這一問(wèn)題，人

9、們已經(jīng)開始進(jìn)行數(shù)據(jù)集成方面的研究，也形成了一些成熟的框架和模型，其中最主要的是模式集成方法和數(shù)據(jù)復(fù)制方法。1.1.1模式集成方法模式集成是人們最早采用數(shù)據(jù)集成方法，其基本思想是在構(gòu)建集成系統(tǒng)時(shí)將個(gè)數(shù)據(jù)源的視圖集成系統(tǒng)時(shí)將各自的數(shù)據(jù)源的數(shù)據(jù)視圖即成為全局模式，使用戶能夠按全局模式透明地訪問(wèn)各數(shù)據(jù)源的數(shù)據(jù)。全局模式描述了數(shù)據(jù)源共享數(shù)據(jù)的結(jié)構(gòu)、語(yǔ)義及操作等，用戶直接在全局模式的基礎(chǔ)上提交請(qǐng)求。模式集成的方法的特點(diǎn)是直接為用戶提供透明的數(shù)據(jù)訪問(wèn)方法。模式集成主要解決的兩個(gè)基本問(wèn)題是：構(gòu)建全局模式與數(shù)據(jù)源數(shù)據(jù)視圖間的映射關(guān)系；中間件集成方法是現(xiàn)有的一種典型的模式集成方法。中間件集成方法中間件集成方法通過(guò)

10、統(tǒng)一的全局?jǐn)?shù)據(jù)模式來(lái)訪問(wèn)的異構(gòu)的數(shù)據(jù)庫(kù)、遺留系統(tǒng)、web資源等，如圖1.1所示。中間件位于異構(gòu)數(shù)據(jù)源系統(tǒng)和應(yīng)用系統(tǒng)之間，向下協(xié)調(diào)各數(shù)據(jù)源系統(tǒng)，向上為訪問(wèn)集成數(shù)據(jù)的應(yīng)用提供統(tǒng)一的數(shù)據(jù)模式和數(shù)據(jù)訪問(wèn)的通用接口。個(gè)數(shù)據(jù)源的應(yīng)用仍然完成它們各自的任務(wù)，中間件系統(tǒng)則主要集中為異構(gòu)數(shù)據(jù)提供一個(gè)高層次檢索服務(wù)。中間件注重于全局的查詢的處理和優(yōu)化。1.1.2 數(shù)據(jù)復(fù)制方法數(shù)據(jù)復(fù)制的方法將各個(gè)數(shù)據(jù)源的數(shù)據(jù)復(fù)制到與其相關(guān)的其它數(shù)據(jù)源上，并維護(hù)數(shù)據(jù)源整體上數(shù)據(jù)的一致性，提高信息共享利用效率。數(shù)據(jù)的復(fù)制可以使整個(gè)數(shù)據(jù)源的復(fù)制，也可以是僅對(duì)變化的傳播和復(fù)制。數(shù)據(jù)復(fù)制的方法可以減少用戶使用的數(shù)據(jù)集成系統(tǒng)對(duì)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)

11、訪問(wèn)量，從而提高數(shù)據(jù)訪問(wèn)的性能。目前比較常見(jiàn)得數(shù)據(jù)倉(cāng)庫(kù)使用的正是數(shù)據(jù)復(fù)制方法。數(shù)據(jù)倉(cāng)庫(kù)是在企業(yè)管理和決策中面向主題的、集成的數(shù)據(jù)方法。1.2研究現(xiàn)狀數(shù)據(jù)庫(kù)的異構(gòu)問(wèn)題自其產(chǎn)生之日起就受到個(gè)數(shù)據(jù)庫(kù)廠家及許多數(shù)據(jù)庫(kù)專家的關(guān)注。經(jīng)過(guò)長(zhǎng)期的研究、探索和實(shí)踐，人們已取得不少的成果，提出了許多解決了許多異構(gòu)數(shù)據(jù)的交換和方法，總的來(lái)說(shuō)，可以分一下幾種。1） 使用數(shù)據(jù)庫(kù)自帶工具進(jìn)行轉(zhuǎn)換一般情況下，數(shù)據(jù)庫(kù)管理系統(tǒng)都提供將外部條件中的數(shù)據(jù)轉(zhuǎn)移到本身數(shù)據(jù)庫(kù)表中的數(shù)據(jù)裝入工具。比如oracle提供的將外部文本文件中的數(shù)據(jù)轉(zhuǎn)移到oracle數(shù)據(jù)庫(kù)表中的數(shù)據(jù)裝入工具sql loader，microsoft公司開發(fā)的sql

12、server中的數(shù)據(jù)轉(zhuǎn)換工具和powpersoft公司的powerbuilder中提供的數(shù)據(jù)管道。這些數(shù)據(jù)轉(zhuǎn)移工具可以以多種靈活的方式進(jìn)行數(shù)據(jù)轉(zhuǎn)換，而且由于它們是數(shù)據(jù)庫(kù)管理系統(tǒng)自身所附帶的工具，執(zhí)行速度很快，不需要的支持。但是使用這些數(shù)據(jù)轉(zhuǎn)換工具的缺點(diǎn)是它們不是獨(dú)立的軟件產(chǎn)品。）利用中間件數(shù)據(jù)庫(kù)的轉(zhuǎn)換在兩個(gè)異構(gòu)數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)交換時(shí)還可以使用“中間數(shù)據(jù)庫(kù)”的方法，即在實(shí)現(xiàn)兩個(gè)具體數(shù)據(jù)庫(kù)之間的轉(zhuǎn)換時(shí)，依據(jù)關(guān)系定義、字段定義，對(duì)要轉(zhuǎn)出的數(shù)據(jù)庫(kù)生成腳本，將數(shù)據(jù)源從源數(shù)據(jù)庫(kù)中讀出通過(guò)中間數(shù)據(jù)庫(kù)寫入目的數(shù)據(jù)庫(kù)中。這利用中間數(shù)據(jù)庫(kù)的轉(zhuǎn)換辦法，所需轉(zhuǎn)換模塊少，且擴(kuò)展性強(qiáng)，但缺點(diǎn)是在實(shí)現(xiàn)的過(guò)程中比較復(fù)雜，轉(zhuǎn)

13、換質(zhì)量不高，轉(zhuǎn)換過(guò)程長(zhǎng)。3）設(shè)置傳送變量轉(zhuǎn)換借助數(shù)據(jù)庫(kù)應(yīng)用程序開發(fā)工具與數(shù)據(jù)庫(kù)連接的強(qiáng)大功能，通過(guò)設(shè)置源數(shù)據(jù)庫(kù)與目的數(shù)據(jù)庫(kù)兩個(gè)不同的傳送變量，同時(shí)連接兩個(gè)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)之間的直接轉(zhuǎn)換。4 ) 通過(guò)開發(fā)數(shù)據(jù)庫(kù)組件的轉(zhuǎn)換利用等數(shù)據(jù)庫(kù)應(yīng)用程序開發(fā)技術(shù)，通過(guò)源數(shù)據(jù)庫(kù)與目的數(shù)據(jù)庫(kù)組件來(lái)存取數(shù)據(jù)信息，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)之間的直接轉(zhuǎn)換。通過(guò)組件存取數(shù)據(jù)。1.3研究目標(biāo)與意義目前，各數(shù)據(jù)庫(kù)廠商雖然提供了很多工具來(lái)提取和轉(zhuǎn)換數(shù)據(jù)，但是這些工具教依賴與具體的數(shù)據(jù)庫(kù)廠商提供的產(chǎn)品，通用性不強(qiáng)。而其它較成熟的通用異構(gòu)數(shù)據(jù)轉(zhuǎn)換產(chǎn)品非常少。針對(duì)以上情況，本文設(shè)計(jì)了一個(gè)具有可擴(kuò)展性、可制定性及與平臺(tái)無(wú)關(guān)性的數(shù)據(jù)庫(kù)交換中

14、間件系統(tǒng)，能很好的消除數(shù)據(jù)在結(jié)構(gòu)和語(yǔ)義上的差異。數(shù)據(jù)交換問(wèn)題的解決，能為數(shù)據(jù)集成提供有力的支持，實(shí)現(xiàn)企業(yè)各信息系統(tǒng)的信息系統(tǒng)的信息共享；能充分利用現(xiàn)有資源，避免重復(fù)開發(fā)，保護(hù)原有系統(tǒng)的投資；還能避免“信息孤島”造成的重復(fù)錄入、資源浪費(fèi)、數(shù)據(jù)不一致性問(wèn)題，為開發(fā)新的應(yīng)用系統(tǒng)提供基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。1.4論文工作內(nèi)容本論文研究的數(shù)據(jù)交換實(shí)質(zhì)上是一個(gè)將源數(shù)據(jù)源中的數(shù)據(jù)提取出來(lái)，經(jīng)過(guò)處理和轉(zhuǎn)換，得到符合目標(biāo)數(shù)據(jù)源結(jié)構(gòu)式的數(shù)據(jù)并加載到目標(biāo)數(shù)據(jù)源中的過(guò)程。在順利實(shí)現(xiàn)數(shù)據(jù)交換，一個(gè)重要的問(wèn)題就是如何消除個(gè)數(shù)據(jù)源的異構(gòu)性，即解決數(shù)據(jù)源在結(jié)構(gòu)和語(yǔ)義上的不同。由于目前市場(chǎng)上關(guān)系數(shù)據(jù)源時(shí)的情況。此外，隨著業(yè)務(wù)需求的發(fā)展變

15、化，可能隨時(shí)都會(huì)有新的數(shù)據(jù)源加入到數(shù)據(jù)交換的隊(duì)伍中來(lái)，或者是需要對(duì)已有的數(shù)據(jù)進(jìn)行交換。修改。如何隨需而變，靈活配置就是數(shù)據(jù)交換中須解決的另一個(gè)問(wèn)題。本文通過(guò)研究使用中間來(lái)實(shí)現(xiàn)個(gè)異構(gòu)數(shù)據(jù)間的數(shù)據(jù)轉(zhuǎn)換。第二章 相關(guān)技術(shù)介紹2.1 中間件技術(shù)計(jì)算機(jī)技術(shù)的飛速發(fā)展，各種各樣的應(yīng)用軟件需要在各種平臺(tái)之間進(jìn)行移植，或者一個(gè)平臺(tái)需要支持多種應(yīng)用軟件和管理多種應(yīng)用系統(tǒng)，軟、硬件平臺(tái)和應(yīng)用系統(tǒng)之間需要可靠和高效的數(shù)據(jù)傳遞或轉(zhuǎn)換，使系統(tǒng)的協(xié)調(diào)性得以保證。這些，都需要一種構(gòu)筑于軟、硬件平臺(tái)之上，同時(shí)對(duì)更上層得應(yīng)用軟件提供支持的軟件系統(tǒng)，中間件正式在這個(gè)環(huán)境下應(yīng)孕而生的。2.1.1 中間件的定義中間件是基礎(chǔ)軟件的一大

16、類，屬于可復(fù)用軟件的范疇。它介于系統(tǒng)軟件和用戶的應(yīng)用軟件之間，使用系統(tǒng)軟件所提供的基礎(chǔ)服務(wù)，銜接網(wǎng)絡(luò)上應(yīng)用系統(tǒng)的各個(gè)部分或不同的應(yīng)用，能夠達(dá)到資源共享、功能共享的目的。也就是說(shuō)，中間件在操作系統(tǒng)、網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)之上，應(yīng)用軟件的下層，其作用是在為處于自己上層的應(yīng)用的應(yīng)用軟件提供運(yùn)行與開發(fā)的環(huán)境，幫助用戶靈活、高效地開發(fā)和集成復(fù)雜的應(yīng)用軟件。由于中間件技術(shù)正處于發(fā)展過(guò)程之中，因此目前尚不能對(duì)它進(jìn)行精確的定義。但是業(yè)界普遍能接受的定義是：中間件是一種獨(dú)立的系統(tǒng)軟件或服務(wù)程序。由中間件的定義可以看出，中間件為一類軟件而非一種軟件。，它不僅僅實(shí)現(xiàn)互連，還要實(shí)現(xiàn)應(yīng)用之間的互操作，是基于分布式的處理軟件。2.

17、1.2 中間件分類隨著計(jì)算機(jī)軟件技術(shù)發(fā)展，中間件技術(shù)也已經(jīng)日近成熟，并且出現(xiàn)了不同層次、不同類型的中間件技術(shù)可以分為三大類：1） 數(shù)據(jù)類：用于數(shù)據(jù)的存取、利用和增值，此類中間件用于構(gòu)建以數(shù)據(jù)為中心的應(yīng)用。2） 處理類：把分布在網(wǎng)絡(luò)節(jié)點(diǎn)上的各個(gè)應(yīng)用或處理連接在一起，形成一個(gè)統(tǒng)一的、協(xié)同工作的分布式應(yīng)用。3） 分布式構(gòu)建類：支持構(gòu)件式應(yīng)用，維埃里應(yīng)用的發(fā)展方向，目前競(jìng)爭(zhēng)激烈。而按照的分類方法，中間件則可細(xì)分為六類，分別是數(shù)據(jù)訪問(wèn)中間件、基于遠(yuǎn)程過(guò)程調(diào)用的中間件、消息中間件、交易中間價(jià)、對(duì)象中間件和終端仿真屏幕轉(zhuǎn)換中間件等。需要注意的是，中間件的分類是隨著技術(shù)的進(jìn)步而不斷變化和拓展的。上面的分類是比

18、較傳統(tǒng)經(jīng)典的，隨著電子商務(wù)和企業(yè)信息化建設(shè)的深入，中間件的類型會(huì)更加豐富起來(lái)。2.1.3 中間件的作用由于標(biāo)準(zhǔn)接口對(duì)于可移植性喝標(biāo)準(zhǔn)協(xié)議對(duì)于互操作性的重要性，中間件已成為許多標(biāo)準(zhǔn)化工作的主要部分。對(duì)于應(yīng)用軟件開發(fā)，中間件遠(yuǎn)比操作系統(tǒng)和網(wǎng)絡(luò)服務(wù)更為重要，中間件提供的程序接口定義了一個(gè)相對(duì)穩(wěn)定的高層應(yīng)用環(huán)境，不管底層的計(jì)算機(jī)硬件和系統(tǒng)軟件怎樣更新?lián)Q代，只要將中間件升級(jí)更新，并保持中間件對(duì)外的借口定義不變，應(yīng)用軟件幾乎不需要任何修改，從而保護(hù)了企業(yè)在應(yīng)用軟件開發(fā)和維護(hù)中的重大投資。世界著名的咨詢機(jī)構(gòu)the standish group在一份研究報(bào)告中歸納了中間件的十大優(yōu)越性：節(jié)約應(yīng)用開發(fā)成本、減少系

19、統(tǒng)初期的建設(shè)成本、縮短應(yīng)用開發(fā)周期、降低項(xiàng)目開發(fā)風(fēng)險(xiǎn)、保護(hù)已有的投資、簡(jiǎn)化應(yīng)用集成、減少系統(tǒng)維護(hù)費(fèi)用、提高應(yīng)用開發(fā)質(zhì)量、提高應(yīng)用開發(fā)質(zhì)量、保證技術(shù)革新的連續(xù)性、增強(qiáng)應(yīng)用的生命力。具體來(lái)說(shuō)就是，中間件能屏蔽了底層操作系統(tǒng)的復(fù)雜性。2.2 技術(shù)，可擴(kuò)展標(biāo)記語(yǔ)言（eetensible markup language），起源于sgml(stangard generalized markup language)。是iso（國(guó)際標(biāo)準(zhǔn)化）在80年代推出的一個(gè)用來(lái)創(chuàng)建標(biāo)記語(yǔ)言的語(yǔ)言標(biāo)準(zhǔn)。為出但也提供了一種將數(shù)據(jù)內(nèi)容與顯示分離開來(lái)的數(shù)據(jù)表示方法，使得數(shù)據(jù)獨(dú)立于器平臺(tái)和處理程序。2.2.1 文檔結(jié)構(gòu)由于現(xiàn)在的ht

20、ml標(biāo)記實(shí)現(xiàn)上相當(dāng)混亂，存在大量不規(guī)范的標(biāo)記，所以從一開始，的設(shè)計(jì)者就嚴(yán)格規(guī)定了xml的語(yǔ)法和結(jié)構(gòu)，我們編寫的xml文件必須遵循這些規(guī)定。其主要原則有：1） 文件的第一行必須是聲明該文件是xml文件以及它所使用的規(guī)范版本。在文件的前面不能夠有其它元素或者注釋。2） 在xml文件中有且只能夠有一個(gè)根元素。3） 在文件中的標(biāo)記必須正確的關(guān)閉。也就是說(shuō)，在xml文件中，控制標(biāo)記必須有與之對(duì)應(yīng)的結(jié)束標(biāo)記。4） 標(biāo)記之間不得交叉、重疊，標(biāo)記必須以規(guī)則性的次序來(lái)出現(xiàn)。5） 屬性值必須要用引號(hào)（“”）括起來(lái)。6） 控制標(biāo)記、指令和屬性名稱等英文要區(qū)分大小寫。下面是一個(gè)文檔的簡(jiǎn)單實(shí)例？xml version=

21、”1.0”ending=”gb2312”booksbooknamexml 入門精解nameauthor張三authorprince uint=”人民幣”20.00pricebookbooknamexml語(yǔ)法nameauthor李四authorprince uint=”人民幣”18.00pricebookbooks第一行是處理指令，申明了此文檔的版本和使用的編碼。這與論文所討論的關(guān)系不大。上面的文檔也可用下圖所示的樹結(jié)構(gòu)圖來(lái)表現(xiàn)：2.2.2 技術(shù)特點(diǎn)主要用于描述數(shù)據(jù)文檔中數(shù)據(jù)的組織和安排的結(jié)構(gòu)，非常簡(jiǎn)單，只是為數(shù)據(jù)的結(jié)構(gòu)化提供了一套規(guī)則。它的關(guān)注點(diǎn)不是數(shù)據(jù)在瀏覽器如何布局和顯示，而是數(shù)據(jù)內(nèi)容和結(jié)

22、構(gòu)以便數(shù)據(jù)進(jìn)行交流和處理，有良好的可靠性與互操作性，有以下一些特點(diǎn)：）具有可擴(kuò)展性。xml是一種元標(biāo)記語(yǔ)言，可以定義其它語(yǔ)言。它的標(biāo)記都是用戶自己定義的，所以從理論上講其類型的數(shù)量可以是無(wú)限的。2）結(jié)構(gòu)性強(qiáng)，易于處理，雖然xml在定義標(biāo)簽時(shí)很靈活，但對(duì)格式的定義卻非常嚴(yán)格，使其具有良好層次結(jié)構(gòu)。3）純文本，與本臺(tái)無(wú)關(guān)。xml將數(shù)據(jù)保存在標(biāo)準(zhǔn)的文檔文件中，可以使用任何文本編輯工具來(lái)創(chuàng)建和比那幾xml文檔。4）數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)顯示的分離。文檔定義的僅僅是數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)和關(guān)系，對(duì)于數(shù)據(jù)的顯示沒(méi)有任何結(jié)束和限制，用戶可以根據(jù)自己的要求將文檔中的數(shù)據(jù)這樣或那樣顯示出來(lái)。）很強(qiáng)的鏈接能力。可以定義雙向鏈接、

23、多目標(biāo)鏈接、擴(kuò)展鏈接和兩個(gè)文檔之間的鏈接。）公共的和廣泛接受的標(biāo)準(zhǔn)。w3c是一個(gè)開放的、公共的組織，其任何事開發(fā)internet上的技術(shù)和標(biāo)準(zhǔn)，就是有創(chuàng)建的，公開而被廣泛支持的標(biāo)準(zhǔn)。2.2.3 數(shù)據(jù)模型為了讓用于更多非讓環(huán)境，如與數(shù)據(jù)有關(guān)的應(yīng)用，圍繞xml核心發(fā)展了許多相關(guān)的標(biāo)準(zhǔn)和工具，下面簡(jiǎn)單介紹一些在文本講使用到的一些技術(shù)標(biāo)準(zhǔn)。是一種存儲(chǔ)結(jié)構(gòu)化信息的語(yǔ)言，它通常用文檔中的信息來(lái)堅(jiān)持特定的結(jié)構(gòu)。這是通過(guò)定義一個(gè)描述文檔結(jié)構(gòu)的模式來(lái)完成。模式可以指定： 文檔中所允許的標(biāo)簽的名稱。 可以分配給每個(gè)元素的屬性。 元素之間的關(guān)系哪些元素是子元素、哪些元素是父元素以及嵌套的層數(shù)。 每個(gè)元素可以包括哪些

24、數(shù)據(jù)文本、其它元素或者文本與元素的組合。文檔有效性對(duì)于處理數(shù)據(jù)的應(yīng)用程序來(lái)說(shuō)至關(guān)重要，因?yàn)檫@樣，應(yīng)用程序可以期待文檔中的數(shù)據(jù)以期望的結(jié)構(gòu)出現(xiàn)。文檔類型定義dtd是為xml文檔定義模式的原始的且得到廣泛支持的方法?；緓ml1.0規(guī)范的一部分，起源于sgml。它使用了特殊的語(yǔ)法來(lái)描述文檔的結(jié)構(gòu)。2.3 本章小結(jié)本章介紹了論文中相關(guān)的基礎(chǔ)知識(shí)，如中間件的定義、分類和作用及的技術(shù)特點(diǎn)、數(shù)據(jù)模型。第三章數(shù)據(jù)交換方案的設(shè)計(jì)3.1 異構(gòu)數(shù)據(jù)數(shù)據(jù)的異構(gòu)是數(shù)據(jù)交換要解決的主要問(wèn)題，分析數(shù)據(jù)的異構(gòu)性，總結(jié)其特點(diǎn)，對(duì)數(shù)據(jù)交換的順利實(shí)現(xiàn)與有重要的意義。3.1.1 異構(gòu)數(shù)據(jù)分析異構(gòu)數(shù)據(jù)是一個(gè)內(nèi)容非常豐富的概念，不僅指

25、不同數(shù)據(jù)庫(kù)系統(tǒng)之間的數(shù)據(jù)異構(gòu)的，如oracle和sql server數(shù)據(jù)庫(kù)；而且還包括不同結(jié)構(gòu)的數(shù)據(jù)之間的異構(gòu)，如結(jié)構(gòu)化地?cái)?shù)據(jù)、半結(jié)構(gòu)化地?cái)?shù)據(jù)以及無(wú)結(jié)構(gòu)數(shù)據(jù)（一般指文本文檔）?？偟膩?lái)說(shuō)，數(shù)據(jù)的異構(gòu)性主要包括下面三個(gè)方面：系統(tǒng)異構(gòu)、模式、異構(gòu)和邏輯異構(gòu)。系統(tǒng)異構(gòu)是指數(shù)據(jù)所處的硬件平臺(tái)、操作系統(tǒng)、網(wǎng)絡(luò)環(huán)境等的不同，具體如下：1）計(jì)算機(jī)體系結(jié)構(gòu)的不同：各個(gè)數(shù)據(jù)庫(kù)可分別運(yùn)行在大型機(jī)、小型機(jī)、工作站、個(gè)人機(jī)或嵌入式系統(tǒng)中。2）操作系統(tǒng)不同:各個(gè)數(shù)據(jù)庫(kù)系統(tǒng)所以存的操作系統(tǒng)可以分別是unix、linux、windows等等。3）開發(fā)語(yǔ)言不同：比如c、c+、java、delphi等。4）網(wǎng)絡(luò)環(huán)境的不同：如tc

26、pip，spx，atm，以太網(wǎng)等。模式異構(gòu)是指數(shù)據(jù)所處的dbms本身的異構(gòu)，數(shù)據(jù)庫(kù)技術(shù)發(fā)展至今，已先后出現(xiàn)了層次、網(wǎng)狀、關(guān)系和面向?qū)ο蟮炔煌瑪?shù)據(jù)模式的數(shù)據(jù)庫(kù)管理系統(tǒng)。就算是同為一種數(shù)據(jù)模式如關(guān)系型，也有oracle、db2、sybase等之分。邏輯異構(gòu)主要指數(shù)據(jù)間的類型、命名、語(yǔ)義或語(yǔ)法等方面的不同，如同樣的數(shù)據(jù)結(jié)構(gòu)表示不同的語(yǔ)義或者同樣的語(yǔ)義由不同形式的數(shù)據(jù)結(jié)構(gòu)來(lái)表示。在處理上述數(shù)據(jù)的異構(gòu)性時(shí)難點(diǎn)主要表現(xiàn)在語(yǔ)法異構(gòu)和語(yǔ)義異構(gòu)上。語(yǔ)法異構(gòu)一般指源數(shù)據(jù)和目的數(shù)據(jù)之間命名規(guī)則及數(shù)據(jù)類型存在不同。對(duì)數(shù)據(jù)庫(kù)而言，命名是規(guī)則指表明和字段名。語(yǔ)法結(jié)構(gòu)相對(duì)簡(jiǎn)單，只要實(shí)現(xiàn)字段到字段記錄到記錄的映射，解決其中的

27、名字沖突和數(shù)據(jù)類型的沖突。語(yǔ)義異構(gòu)要比語(yǔ)法異構(gòu)要復(fù)雜得多，它往往是需要破壞字段的原子性，即需要直接處理數(shù)據(jù)內(nèi)容。常見(jiàn)的語(yǔ)義異構(gòu)包括以下一些方式：字段拆分、字段合并、字段數(shù)據(jù)格式變換、記錄間字段轉(zhuǎn)移等等。3.1.2 數(shù)據(jù)沖突分類本文數(shù)據(jù)由于異構(gòu)性而表現(xiàn)出在格式、語(yǔ)法和語(yǔ)義等方面的不同稱之為數(shù)據(jù)沖突。不固定的數(shù)據(jù)沖突給數(shù)據(jù)交換帶來(lái)了很大的困難。依據(jù)關(guān)系型數(shù)據(jù)源的特點(diǎn)及具體處理時(shí)的方便性，本論文將數(shù)據(jù)的異構(gòu)性即數(shù)據(jù)沖突分為兩大類：同構(gòu)沖突和異構(gòu)沖突。同構(gòu)沖突是指數(shù)據(jù)沖突雙方字段屬性能夠一一對(duì)應(yīng)，只是在類型、格式、長(zhǎng)度、精度等方面存在差異。而異構(gòu)沖突指沖突雙方在數(shù)據(jù)項(xiàng)的構(gòu)成存在差異，即數(shù)據(jù)的組成結(jié)構(gòu)不

28、同。3.1.2.1 同構(gòu)沖突1）命名沖突：有兩種情況，一種是同名異義，即表示同一概念的字段在不同的數(shù)據(jù)表中采用的是不同的名稱。第二種是同義異名，即同樣的字段名但表示不同的概念。本論文主要考慮第一種情況。2）類型沖突：表示同一概念的字段，在不同的表里采用的數(shù)據(jù)類型不一致。如年齡age字段，在一個(gè)表中采用的是數(shù)值型，而在另一個(gè)表中采用字符型。3）長(zhǎng)度沖突：同一語(yǔ)義字段屬性，交換雙方的長(zhǎng)度定義不同。4）精度沖突：字段屬性精度不同，如兩邊都是數(shù)值，一表是精確到小數(shù)點(diǎn)后兩位，另一表卻只精確到小數(shù)點(diǎn)的后一位。5）度量沖突：使用的度量單位不同，如同樣表示重量，儀表使用公斤但另一表卻使用克。除了以上這些常見(jiàn)的

29、同構(gòu)數(shù)據(jù)的沖突類型，還有日期格式不同、默認(rèn)值不同、是否允許null值等等許多。3.1.2.2 異構(gòu)沖突1）合并分裂沖突：數(shù)據(jù)源表和目的數(shù)據(jù)表中的字段屬性個(gè)數(shù)不同，但是可以將源數(shù)據(jù)表中的幾個(gè)字段合成目的的表的某個(gè)字段，或者將源數(shù)據(jù)表中某個(gè)字段分拆目的表的的幾個(gè)字段，達(dá)到源與目的表的匹配。如下兩個(gè)表company1和company2：company1（id#，name，county，city，street，number，desc）；company2（id#,name,address,desc）;在company1表轉(zhuǎn)換成company2表的過(guò)程中，須將county、city、street和numb

30、er四個(gè)字段合并成company2合成表中的address字段;反之，則須將address字段分解為四個(gè)部分并存如company1中的相應(yīng)字段。2）表-字段-值沖突：可以細(xì)分為表-字段、字段-表、字段-值、值-字段、表-值、值-表六種情況，以表3-1、3-2、3-3中的幾張關(guān)系表來(lái)詳細(xì)說(shuō)明這幾種沖突。這些表是表現(xiàn)某員工自身發(fā)展情況，在表3-1的四張表是員工各季度完成的簽約項(xiàng)目額數(shù)，表3-2是員工各個(gè)季度完成項(xiàng)目金額的一個(gè)匯總，表3-3是全年的一個(gè)明細(xì)表。表3-1 各季度表一季度： 二季度：表3-2 員工季度統(tǒng)計(jì)表表3-3公司明細(xì)表表-字段與字段-表沖突：相互交換的兩個(gè)表，一個(gè)表的表名在另一個(gè)表

31、中卻以字段的形式來(lái)表現(xiàn)。如表3-1中每個(gè)季度有一張表，它們表明在表3-2中卻對(duì)應(yīng)為一個(gè)字段的名稱。這就是表字段的沖突，反之則是字段表的沖突。3.2 數(shù)據(jù)交換方案設(shè)計(jì)3.2.1 數(shù)據(jù)交換方案總覽由上面的分析結(jié)構(gòu)可知，異構(gòu)數(shù)據(jù)之間進(jìn)行交換的核心問(wèn)題是如何解決它們同構(gòu)和異構(gòu)沖突所帶來(lái)的數(shù)據(jù)轉(zhuǎn)換問(wèn)題。斑紋將利用xml作為交換的公共數(shù)據(jù)表示，在表示數(shù)據(jù)的時(shí)候，將其結(jié)果信息和值信息分開來(lái)描述，分別定義為數(shù)據(jù)結(jié)構(gòu)文檔和數(shù)據(jù)值文檔。通過(guò)分析結(jié)構(gòu)信息文檔，解決數(shù)據(jù)沖突，完成數(shù)據(jù)值文檔的轉(zhuǎn)換并最終完成數(shù)據(jù)交換。本文所設(shè)計(jì)的數(shù)據(jù)交換方案主要有數(shù)據(jù)提取、 數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換和加載等步驟，如圖3-1所示。數(shù)據(jù)提取是根據(jù)

32、用戶的指令的將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)提取數(shù)來(lái)，并將提取出來(lái)的數(shù)據(jù)轉(zhuǎn)換成xml格式的過(guò)程。數(shù)據(jù)加載是數(shù)據(jù)提取的反過(guò)程，即將轉(zhuǎn)換好的格式的數(shù)據(jù)按照要求加載到相應(yīng)的關(guān)系表中。這兩部分與具體實(shí)現(xiàn)相關(guān)，將在下一章詳細(xì)討論。數(shù)據(jù)轉(zhuǎn)換是通過(guò)利用數(shù)據(jù)分析生成的映射文件協(xié)助完成數(shù)據(jù)值xml文檔轉(zhuǎn)換過(guò)程。3.2.2 公共數(shù)據(jù)表示關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)都是規(guī)則的二位結(jié)構(gòu)關(guān)系表，所以能使用很簡(jiǎn)單的文件來(lái)表示。在本文中，源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的值信息和結(jié)構(gòu)信息分別用viewdata 和viewstruct文件來(lái)表示。在數(shù)據(jù)分析時(shí)只需要使用結(jié)構(gòu)文件viewstruct，而不用對(duì)可能極大的之文件viewdata進(jìn)行處理。3.2.3 數(shù)據(jù)分

33、析用戶通過(guò)比較源數(shù)據(jù)與目標(biāo)之間結(jié)構(gòu)的差異，定義好源與目的數(shù)據(jù)的轉(zhuǎn)換規(guī)則文件。數(shù)據(jù)分析的功能就是通過(guò)分析數(shù)據(jù)源、目標(biāo)結(jié)構(gòu)和轉(zhuǎn)換規(guī)則三個(gè)文件得到一個(gè)進(jìn)行數(shù)據(jù)值文檔交換時(shí)所需的映射文件，如圖3-2顯示：3.2.3.1 映射文件映射文件是由源結(jié)構(gòu)文件、目標(biāo)結(jié)構(gòu)文件和用戶定義的轉(zhuǎn)換規(guī)則文件三者經(jīng)數(shù)據(jù)分析處理而得到的。此文件是程序在進(jìn)行實(shí)際的數(shù)據(jù)轉(zhuǎn)換時(shí)的控制信息，是面向程序處理的，其格式應(yīng)當(dāng)方便程序編寫。依據(jù)用戶定義的轉(zhuǎn)換規(guī)則，下面分為四種情況介紹。1）處理normal元素包含的字段，即同構(gòu)沖突，如圖3-3所示。2）處理field_value元素包含的字段，即字段-值沖突，如圖3-4所示。處理流程與1）類

34、似，非別賦予field元素sid、did、vid和type屬性值，然后將sid和vid節(jié)點(diǎn)當(dāng)成normal沖突來(lái)生成field元素下的execute子元素。3）處理assembly元素包含的字段，即合并分拆沖突，如圖3-5所示。處理時(shí)需要注意合并與分拆的區(qū)分，首先取出此assembly元素中所有的sid和did的子元素，分別統(tǒng)計(jì)其個(gè)數(shù)，如只有一個(gè)sid元素，則進(jìn)入分拆沖突處理，如只有一個(gè)did元素，則進(jìn)入合并沖突處理，否則進(jìn)行出錯(cuò)處理。合并沖突時(shí)，生成的field元素個(gè)數(shù)與sid個(gè)數(shù)相同，type=；分拆沖突時(shí)，field元素個(gè)數(shù)與did元素個(gè)數(shù)相同，type=sp。4）處理table_val

35、ue元素包含的字段，即表-值沖突。這類僅需在生成的field元素中，給did賦與相應(yīng)值，type=。當(dāng)源結(jié)構(gòu)中的字段沒(méi)有出現(xiàn)在轉(zhuǎn)換規(guī)則文檔中，那么在目標(biāo)數(shù)據(jù)結(jié)構(gòu)文件dstruct中取與sid同名的字段，其余操作與normal元素情況相同。依據(jù)以上的情況的處理流程分析，整個(gè)映射文件的生側(cè)和功能算法如圖3-6所示。輸入：sstruct文檔、dstruct文檔、轉(zhuǎn)換規(guī)則文檔輸出：映射匹配文檔算法描述：首先，將結(jié)構(gòu)sstruct、 dstruct和規(guī)則文件用解析，在內(nèi)存中簡(jiǎn)歷樹，方便隨機(jī)訪問(wèn)。然后遍歷源結(jié)構(gòu)sstruct，對(duì)其中每一字段，遍歷規(guī)則文件，根據(jù)此字段的定義，進(jìn)行相應(yīng)的沖突處理。在處理完所有

36、的字段后，查看規(guī)則文件中是否定義了field_value元素，如是，則進(jìn)行表_值沖突處理。最后生成映射文件。3.2.4 數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是真正完成從源數(shù)據(jù)到目標(biāo)數(shù)據(jù)轉(zhuǎn)換過(guò)程。圖3-7表示了數(shù)據(jù)轉(zhuǎn)換算法的主要流程。輸入：源數(shù)據(jù)值文件、映射匹配文件輸出：目的數(shù)據(jù)值文件算法描述：正如前面介紹的，數(shù)據(jù)轉(zhuǎn)換算法使用sax技術(shù)來(lái)處理數(shù)據(jù)值xml文件，而映射匹配文件還是用dom技術(shù)處理。首先，將解析輸入映射的匹配文件，并建立一個(gè)輸出流用于輸出目標(biāo)數(shù)據(jù)值文件。然后，解析源數(shù)據(jù)值文件。按觸發(fā)的時(shí)間執(zhí)行相應(yīng)方法。其中，合并或拆分沖突涉及多個(gè)字段，而表-值沖突無(wú)相應(yīng)字段對(duì)應(yīng)，需要暫時(shí)存儲(chǔ)，在row元素結(jié)束事件時(shí)才處

37、理。其他情況只涉及單個(gè)字段，在col元素事件發(fā)生時(shí)即可處理。按照上面方法不斷將數(shù)據(jù)輸出到目標(biāo)數(shù)據(jù)值文件中。3.3 數(shù)據(jù)交換實(shí)例在這里，使用一個(gè)實(shí)例來(lái)簡(jiǎn)單說(shuō)明數(shù)據(jù)交換的過(guò)程。圖要對(duì)下面兩個(gè)關(guān)系進(jìn)行數(shù)據(jù)交換，其中表3-5 student_score 記錄學(xué)生各科的成績(jī)情況，表3-6 math記錄學(xué)生數(shù)學(xué)的成績(jī)情況?，F(xiàn)在需要將math表中的數(shù)據(jù)增加到student_score表中。表3-5 student_score 表sidnamesexcoursedatescore00001zhang sanmmath010620058500003li sifenglishi0107200580表3-6 mat

38、h表sidfirstnamelastnamexingbiedatescore0005wangerm20050107860006zhaowuf2005010789目標(biāo)數(shù)據(jù)文檔結(jié)構(gòu)student_score_viewstruct.xml 如下：目標(biāo)數(shù)據(jù)結(jié)構(gòu)文檔student_score_viewstruct.xml如下：用戶定義的轉(zhuǎn)換規(guī)則文件如下：由上述三個(gè)文件，經(jīng)過(guò)數(shù)據(jù)分析處理可以后可以得到數(shù)據(jù)之間的映射文件math2student_map.xml:46按照上面的映射文件，就可以將源數(shù)據(jù)值文件轉(zhuǎn)換為目標(biāo)數(shù)據(jù)值文件最終寫入目標(biāo)數(shù)據(jù)源。新的student_score表如下：sidnamesexcou

39、rsedatescore000001zhang sanmmath01/06/200585000003wang ermenglish01/07/200550000006zhao wufmath01/07/2005863.4 本章小結(jié)數(shù)據(jù)間的異構(gòu)性是數(shù)據(jù)交換中要解決的主要問(wèn)題。通過(guò)分析，本章將這些異構(gòu)性分為同構(gòu)沖突和異構(gòu)沖突，并設(shè)計(jì)了一個(gè)以xml作為公共數(shù)據(jù)表示的數(shù)據(jù)交換方案。其中數(shù)據(jù)的結(jié)構(gòu)信息和值信息被兩個(gè)xml文件分別表示。通過(guò)對(duì)數(shù)據(jù)交換雙方的結(jié)構(gòu)文件的分析，生成映射文件并最終完成數(shù)據(jù)交換。第四章 數(shù)據(jù)交換中間件的設(shè)計(jì)實(shí)現(xiàn)4.1系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)第三章詳細(xì)分析并基本解決了數(shù)據(jù)交換的數(shù)據(jù)沖突的問(wèn)題

40、。但是在實(shí)際的應(yīng)用中總會(huì)有一些新的，預(yù)料不到的數(shù)據(jù)處理需求出現(xiàn)。這也是本文需要解決的另一個(gè)問(wèn)題。為此，在上一章設(shè)計(jì)的數(shù)據(jù)交換方案的基礎(chǔ)上，將數(shù)據(jù)交換處理時(shí)方法分離開來(lái)，提出一個(gè)具有良好擴(kuò)展性、可配置性的數(shù)據(jù)交換中間件系統(tǒng)。其總結(jié)如圖4-1所示。在此系統(tǒng)中主要包含任務(wù)管理器、活動(dòng)插件、主控制器、配置管理、傳輸管道、數(shù)據(jù)適配器等幾個(gè)部分。xdem系統(tǒng)具有以下特點(diǎn)：1）采用集中式數(shù)據(jù)處理，降低交換復(fù)雜度。2）系統(tǒng)運(yùn)行時(shí)配置。本系統(tǒng)利用java的反射機(jī)制?？梢愿鶕?jù)任務(wù)配置信息在運(yùn)行期動(dòng)態(tài)的加載活動(dòng)插件，而不需要中心編譯和部署，從而使數(shù)據(jù)交換能夠雖需而變，動(dòng)態(tài)配置。3）用戶能按照不同的數(shù)據(jù)處理要求，定制

41、開發(fā)自己的活動(dòng)插件，并將其配置到任務(wù)定義的信息中，使xdem完成不同場(chǎng)合，不同要求的數(shù)據(jù)交換。4）xdem利用了技術(shù)強(qiáng)大的表示能力，不但數(shù)據(jù)、轉(zhuǎn)換規(guī)則、映射文件使用文檔來(lái)表示，而且任務(wù)定義、數(shù)據(jù)源信息等各種配置信息使用文檔表示，使系統(tǒng)能在不同平臺(tái)上運(yùn)行。4.2配置管理4.2.1配置信息結(jié)構(gòu)在xdem中，配置信息主要包括系統(tǒng)基本信息、數(shù)據(jù)源信息、任務(wù)定義信息等，這些信息都是以xml格式的文檔保存的。)l系統(tǒng)基本信息:協(xié)助完成系統(tǒng)的初始化，并指明其它資源的位置，為系統(tǒng)訪問(wèn)提供保證。主要需定義以下信息項(xiàng):a、數(shù)據(jù)源信息:注冊(cè)數(shù)據(jù)源目錄及文件;b、任務(wù)信息:任務(wù)文件目錄及其名稱;c、活動(dòng)插件信息:系統(tǒng)插件存放目錄及插件配置文件名稱;d、用戶工作目