網(wǎng)絡社區(qū)中的數(shù)據(jù)交換引擎設計

網(wǎng)絡社區(qū)中的數(shù)據(jù)交換引擎設計摘要隨著互聯(lián)網(wǎng)應用的飛速增長，網(wǎng)絡社區(qū)在互聯(lián)網(wǎng)上興起。網(wǎng)絡社區(qū)平臺開放，其數(shù)據(jù)具有廣泛的異構性，這導致數(shù)據(jù)共享困難，數(shù)據(jù)的價值無法得到有效的發(fā)揮和利用。要解決網(wǎng)絡社區(qū)中的信息共享，本質(zhì)上是解決數(shù)據(jù)的異構問題，而數(shù)據(jù)交換是解決數(shù)據(jù)異構問題的關鍵技術。因此，如何實現(xiàn)網(wǎng)絡社區(qū)中的數(shù)據(jù)交換具有非常重大的應用價值和現(xiàn)實意義。本文對數(shù)據(jù)交換技術的發(fā)展和國內(nèi)外現(xiàn)狀進行了分析和總結，詳細對三種數(shù)據(jù)交換技術進行了介紹：基于數(shù)據(jù)庫工具的數(shù)據(jù)交換、數(shù)據(jù)交換中間件和基于XML等中間文本的數(shù)據(jù)交換。這些傳統(tǒng)的數(shù)據(jù)交換技術在網(wǎng)絡社區(qū)中具有一定的局限性，它們更多地偏重于數(shù)據(jù)交換功能的實現(xiàn)，且主要針對企業(yè)系統(tǒng)中的數(shù)據(jù)集成。而在網(wǎng)絡社區(qū)中，數(shù)據(jù)的結構更為多樣、更新速度更快、數(shù)據(jù)私密性更強，傳統(tǒng)的數(shù)據(jù)交換技術已經(jīng)無法很好的適應網(wǎng)絡社區(qū)中的數(shù)據(jù)交換需求。為解決網(wǎng)絡社區(qū)中的數(shù)據(jù)交換問題，考慮到網(wǎng)絡社區(qū)環(huán)境及數(shù)據(jù)的特殊性，本文借鑒基于中間文本的數(shù)據(jù)交換思想，引入可視化數(shù)據(jù)管理技術，設計了一個可通過用戶配置的可靠、有效的數(shù)據(jù)交換引擎。本文構建的數(shù)據(jù)交換引擎主要由四個模塊組成，分別是可視化數(shù)據(jù)源配置模塊、數(shù)據(jù)輸入模塊、數(shù)據(jù)輸出模塊、系統(tǒng)日志模塊。其中，重點對數(shù)據(jù)輸入模塊和數(shù)據(jù)輸出模塊中的相關技術進行了詳細的研究。本文在數(shù)據(jù)交換引擎中提供了友好的可視化的數(shù)據(jù)源配置界面，采用日志表與觸發(fā)器結合的方法監(jiān)控數(shù)據(jù)變化并提取數(shù)據(jù)變化內(nèi)容，引入MsgPack技術將數(shù)據(jù)交換內(nèi)容序列化為二進制格式，提高數(shù)據(jù)交換效率，在數(shù)據(jù)傳輸過程中采用加密及可靠傳輸策略保障了數(shù)據(jù)的隱私性和安全性。最后，本文以武漢大學教育社區(qū)為背景，進行了數(shù)據(jù)交換引擎仿真實驗。仿真實驗系統(tǒng)采用JavaEE架構，將數(shù)據(jù)交換過程中產(chǎn)生的數(shù)據(jù)交換內(nèi)容描敘對象序列化為二進制格式文件，成功實現(xiàn)了Linux下的Oracle數(shù)據(jù)庫系統(tǒng)與Windows7下的MySQL數(shù)據(jù)庫系統(tǒng)之間的有效數(shù)據(jù)交換和數(shù)據(jù)同步，驗證了本文所設計的數(shù)據(jù)交換引擎是網(wǎng)絡社區(qū)下數(shù)據(jù)交換的有效解決方案。關鍵詞：網(wǎng)絡社區(qū)；異構數(shù)據(jù)交換；可視化配置；數(shù)據(jù)變化捕捉；

ABSTRACTWiththerapidgrowthofInternetapplications,OnlineSocialNetworks(OSN)riseontheInternet.TheOSNhasopenplatform,andisfilledwithheterogeneousdata,whichleadtheproblemofdatasharingandthevalueofthedatacannotbewellused.Therefore,inordertoachieveinformationsharinginOSN,itisessentialtosolvetheproblemoftheheterogeneityofdatabetweensystems.Dataexchangeisoneofthetechnicalmethodstosolvetheproblemofdataheterogeneity.Thus,howtorealizethedataexchangeinOSNisofgreatapplicationvalueandpracticalsignificances.Inthisthesis,thecurrentresearchesanddevelopmentsofdataexchangetechnologyhomeandabroadarestudied.Wemainlyintroduced3kindsofdataexchangetechnology:DataExchangeSystembasedonthedatabasetool,DataExchangeMiddleware,andDataExchangeSystembasedonXML.However,thereisagreatresistanceinthesetraditionalmethodsortools.Theypaidgreadattentionontherealizationofthefunctionalityofdataexchange,andtheyaremoresuitedtothecaseofdataexchangeinenterpriseworld.ButdatainOSNhavemorevariousforms,morefreeexpression,moreprivacyandusersofOSNdemandbetteruserexperience.Aboveall,traditionaldataexchangetechnologyisnotaverygoodsolutiontothedataexchangeinOSN.ConsideringoftheparticularityofdatainOSN,thispaperdesignedanewdataexchangeenginetosolvetheproblemofdataexchangeinOSN,whichprovidesavisualeditortoeasilyconfiguredatasources.Thisdataexchangeengineismainlycomposedoffourmodules:visuallyconfiguringofdatasource,datainputmodule,dataoutputmodule,andsystemlogmodule.Amongthem,wepaidmoreattentiontotherelatedtechnologyofdatainputmoduleanddataoutputmodule.Inthispaper,weprovidedafriendlyvisualeditorforthedatasourceconfiguration,acombinedmethodoflogtablesandtriggersispropsedtomonitordatachanges.Toachievequickerdatatransfer,MsgPacktechnologyisproposedtoSerializingdatatobinaryformat.Intheprocessofdatatransmission,weuseencryptionandreliabletransmissionstrategytoensuretheprivacyandsecurityofdata.Finally,thispapercarriedoutadataexchangeenginesimulationexperiment,takingWuHanUniversityeducationcommunityasthebackground.SimulationsystemusesJavaEEarchitecture,introduceMsgPackserializationtooltoserializetheexchangecontenttobinaryfileintheprocessofdataexchange.ThesystemrealizedthedataexchangebetweentheMySQLdatabasesystemunderWindows7andOracledatabasesystemunderLinuxsuccessfullyandeffectively,whickverifiedthatthedesignofdataexchangeengineproposedinthispaperisaneffectivesolutionofdataexchangeinOSN,itcanprovideeasierdatasourceconfigurationandquickerdatatransferthanthetraditionaldataexchangescheme.Keywords:OnlineSocialNetworks;heterogeneousdataexchange;visualconfiguration;DataChangeCapture;目錄摘要 .2.3中的分析可知，RSA算法是一種非對稱密鑰算法，在加密方和解密方分別使用不同的密鑰（公開密鑰RK1和專用密鑰RK2）對數(shù)據(jù)進行加密和解密。在數(shù)據(jù)接收方生成公鑰和私鑰，將公鑰傳送給數(shù)據(jù)發(fā)送方（數(shù)據(jù)源服務器），私鑰自己保留，用于解密。生成公鑰和私鑰方法的核心是歐拉定理，其過程如下：隨機選擇兩個不等的質(zhì)數(shù)p和q（數(shù)值不宜太?。挥嬎鉷、q的乘積n；通過下述歐拉函數(shù)，計算大于0小于n，且與n互質(zhì)的整數(shù)的個數(shù)φ(n)，φ(n)=φ(p)φ(q)=(p-1)(q-1)；在1與φ(n)之間隨機選擇一個與φ(n)互質(zhì)的整數(shù)e；根據(jù)以下公式，計算e相對于φ(n)的模反元素d，d≡e-1(modφ(n))；將n和e封裝成公鑰，n和d封裝成私鑰。由以上過程可以看出，密鑰長度越大，密鑰被破解的可能性就越低，這種方式很好的保護了數(shù)據(jù)的安全性。形成公鑰和私鑰之后，就可分別在數(shù)據(jù)發(fā)送方和接收方進行加密和解密。當需要對明文m進行加密時，我們使用n和e作為加密密鑰，加密過程即為計算下式中的c：me

≡c(modn)；數(shù)據(jù)加密方在計算出加密后的密文c后，將密文傳輸給數(shù)據(jù)接收方。在解密時，通過下面的式子計算出被加密的原文m，cd≡m(modn);至此，完成加密和解密的全過程。密文傳輸根據(jù)REF_Ref385322570\r\h節(jié)中的分析，本文采用tcp套接字編程進行數(shù)據(jù)的可靠傳輸，本文數(shù)據(jù)傳輸方案設計如下：在數(shù)據(jù)中心運行一個單獨的線程監(jiān)聽某個端口；數(shù)據(jù)源也運行一個獨立的線程向數(shù)據(jù)中心發(fā)起連接請求；建立可靠連接后，數(shù)據(jù)源發(fā)送數(shù)據(jù)；數(shù)據(jù)中心的監(jiān)聽端口收到連接后，建立一個新的線程接收來自數(shù)據(jù)源的數(shù)據(jù)。本文通過java的.Socket類來實現(xiàn)對tcp的基礎操作，這些基礎操作包括連接的建立、數(shù)據(jù)傳輸、連接的關閉以及socket選項的設置，而socket類的輸入輸出均通過流的方式實現(xiàn)。在創(chuàng)建socket對象時，需指定本機的ip、端口號以及遠程連接服務器的地址和連接端口號，通過REF_Ref386279832\h表43中列出的方法實現(xiàn)與數(shù)據(jù)讀寫相關的常用方。表STYLEREF1\s4SEQ表_\*ARABIC\s13javasocket編程接口說明方法功能publicInetAddressgetInetAddress()獲取創(chuàng)建socket連接時指定服務器的IP地址publicInetAddressgetLocalAddress()獲取創(chuàng)建socket連接時客戶端主機的IP地址publicintgetPort()獲取創(chuàng)建Socket連接時指定的服務器的端口號publicintgetLocalPort()獲取創(chuàng)建Socket連接時客戶端的端口號publicInputStreamgetInputStream()throwsIOException為當前的socket對象創(chuàng)建輸入流publicOutputStreamgetOutputStream()throwsIOException為當前的socket對象創(chuàng)建輸出流publicStringtoString()轉(zhuǎn)換該Socket成一個String.字符串表示publicsynchronizedvoidclose()throwsIOException關閉建立的Socket連接。當通信結束時，應調(diào)用該方法關閉Socket連接。若在關閉Socket連接時發(fā)生I/O錯誤則拋出IOException異常在服務器端（數(shù)據(jù)中心），java提供ServerSocket類來響應客戶端（數(shù)據(jù)源）的連接請求，ServerSocket類提供的常用方法如REF_Ref386279853\h表44所示。表STYLEREF1\s4SEQ表_\*ARABIC\s14javaServerSocket編程接口說明方法功能publicInetAddressgetInetAddress()獲取服務器端Socket的IP地址publicintgetLocalPort()獲取服務器正偵聽的端口號publicSocketaccept()throwsIOException在服務器端指定端口偵聽客戶端發(fā)出的連接請求并與之連接。若等待連接時發(fā)生I/O錯誤則拋出IOException異常publicStringtoString()返回該socket的字符串表示publicsynchronizedvoidclose()throwsIOException關閉該socket連接。當服務器需要關閉，不處理任何其他入站連接時，調(diào)用該方法。若在關閉Socket連接時發(fā)生I/O錯誤則拋出IOException異常本文中TCP連接建立的步驟如下，此步驟是在數(shù)據(jù)交換內(nèi)容的數(shù)據(jù)包已經(jīng)準備好的條件下進行的。數(shù)據(jù)中心端：創(chuàng)建一個等待連接的ServerSocket對象；調(diào)用ServerSocket對象的accept()方法監(jiān)聽客戶端的連接請求。連接成功后返回一個用于通信的Socket對象；創(chuàng)建與該Socket對象綁定的數(shù)據(jù)輸入輸出流；通過數(shù)據(jù)輸入輸出流接收來自數(shù)據(jù)源端的數(shù)據(jù)，以完成通信；當客戶端斷開連接時，關閉各個流對象，結束通信。2-5可循環(huán)執(zhí)行。數(shù)據(jù)源端：創(chuàng)建指定服務端（數(shù)據(jù)中心服務器）上指定端口號的Socket對象；創(chuàng)建與Socket對象綁定的數(shù)據(jù)輸入輸出流；通過數(shù)據(jù)輸入輸出流向數(shù)據(jù)中心發(fā)送加密后的數(shù)據(jù)，以完成通信；關閉連接和各個流對象，結束數(shù)據(jù)通信。數(shù)據(jù)輸出模塊數(shù)據(jù)輸出模塊的功能主要是數(shù)據(jù)中心接收到來自數(shù)據(jù)源的數(shù)據(jù)后，對數(shù)據(jù)進行解密和反序列化得到描述數(shù)據(jù)交換內(nèi)容的數(shù)據(jù)對象，然后通過JDBC將數(shù)據(jù)導入到數(shù)據(jù)中心的數(shù)據(jù)庫中。數(shù)據(jù)解密和反序列化的方法及過程在前文中已經(jīng)進行了詳細的描述和介紹，本節(jié)將不再贅述。數(shù)據(jù)輸出模塊需調(diào)用數(shù)據(jù)接口模塊中提供的數(shù)據(jù)操作接口。在導入數(shù)據(jù)到目的數(shù)據(jù)庫中時，需要讀取描述數(shù)據(jù)庫系統(tǒng)的Java描述對象，通過配置進行完成數(shù)據(jù)庫的連接以及各個字段映射字段的轉(zhuǎn)換。通過描述數(shù)據(jù)交換過程的對象，分步驟導入數(shù)據(jù)。如REF_Ref388857366\h圖47中，為了得到最終導入的數(shù)據(jù)對象Po3，需根據(jù)用戶配置的數(shù)據(jù)表關系，分步驟分別讀取數(shù)據(jù)源描述對象Po1、Po2、Po4、Po5等數(shù)據(jù)對象內(nèi)的數(shù)據(jù)，之后拼裝成目的數(shù)據(jù)表可兼容的數(shù)據(jù)對象Po3。圖STYLEREF1\s4SEQ圖\*ARABIC\s17導入數(shù)據(jù)對象生成流程在進行數(shù)據(jù)導入時，還需要處理屬性類型的兼容性問題，大部分數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)類型大致可以分為數(shù)字、日期（時間）、字符串（字符）三種類型，在部分DBMS中，日期類型被處理為數(shù)字類型或字符串類型，為了保證數(shù)據(jù)的統(tǒng)一性，簡化交換過程，在此將日期類型數(shù)據(jù)統(tǒng)一轉(zhuǎn)為字符串類型。在進行數(shù)據(jù)導入時，只需考慮字符類型的屬性和非字符類型的屬性，需對各個字段之間的轉(zhuǎn)換進行處理。本章小結本章詳細描述了數(shù)據(jù)交換引擎的設計目標和總體架構，數(shù)據(jù)交換引擎由四個主要部分構成：可視化數(shù)據(jù)源配置模塊、數(shù)據(jù)輸入模塊、數(shù)據(jù)輸出模塊、系統(tǒng)日志模塊。然后，本章分小節(jié)對這幾個主要的模塊進行了詳細的介紹。REF_Ref385227193\r\h4.2節(jié)介紹了基于MsgPack的數(shù)據(jù)標準，對數(shù)據(jù)交換內(nèi)容等數(shù)據(jù)結構進行了設計，同時對MsgPack技術在本文中的應用形式進行了分析和介紹。REF_Ref385427928\r\h4.3節(jié)對可視化的數(shù)據(jù)管理技術進行了介紹，同時，分步驟對本文可視化數(shù)據(jù)源配置的界面進行了說明，詳細介紹了可視化數(shù)據(jù)源配置的過程。REF_Ref321941426\r\h4.4節(jié)和REF_Ref385489545\r\h4.5節(jié)分別介紹了本文的兩個核心模塊：數(shù)據(jù)輸入模塊和數(shù)據(jù)輸出模塊。在數(shù)據(jù)輸入模塊，通過JDBC來整合數(shù)據(jù)接口模塊的所有功能；使用日志法與觸發(fā)器法結合的方式進行監(jiān)控數(shù)據(jù)變化，在獲得數(shù)據(jù)變更內(nèi)容后，進行MsgPack數(shù)據(jù)序列化；在進行數(shù)據(jù)傳輸前，通過TripleDES算法對數(shù)據(jù)進行加密，同時使用RSA算法對三級密鑰進行加密，使用TCP套接字將數(shù)據(jù)傳輸至數(shù)據(jù)接收方。在數(shù)據(jù)中心輸出模塊，先對數(shù)據(jù)進行解密和反序列化，然后調(diào)用數(shù)據(jù)接口模塊中的接口，將數(shù)據(jù)導入到數(shù)據(jù)中心的數(shù)據(jù)庫表中。數(shù)據(jù)交換引擎仿真系統(tǒng)的實驗及分析根據(jù)前文的分析，本文以教育社區(qū)為背景，在此基礎上搭建了數(shù)據(jù)交換引擎仿真系統(tǒng)對本文的工作進行了分析和驗證。實驗環(huán)境準備本文在window環(huán)境下用Java語言開發(fā)了實驗平臺，實驗系統(tǒng)開發(fā)環(huán)境如REF_Ref386279945\h表51所示：表STYLEREF1\s5SEQ表_\*ARABIC\s11實驗平臺開發(fā)環(huán)境操作系統(tǒng)Windows7開發(fā)語言Java、Jsp、html、css、javascriptIDEMyEclipse8.5開發(fā)架構JavaEE實驗系統(tǒng)完成將武漢大學教務部中的部分教師、學生及課程的數(shù)據(jù)推送至教育社區(qū)數(shù)據(jù)中心，其運行環(huán)境如REF_Ref386279953\h表52所示。表STYLEREF1\s5SEQ表_\*ARABIC\s12實驗平臺運行環(huán)境實驗環(huán)境源數(shù)據(jù)系統(tǒng)目標數(shù)據(jù)系統(tǒng)操作系統(tǒng)CentOS6.0Windows7數(shù)據(jù)庫系統(tǒng)OracleMySQL內(nèi)存16G4G數(shù)據(jù)交換平臺搭建過程實驗步驟本仿真系統(tǒng)針對教育社區(qū)進行數(shù)據(jù)交換實驗，驗證系統(tǒng)的有效性，保證系統(tǒng)的可擴展性，方便后續(xù)教育社區(qū)的應用接入。本次實驗步驟如下：準備實驗環(huán)境，在教育社區(qū)的數(shù)據(jù)中心搭建實驗平臺，安裝開發(fā)及數(shù)據(jù)分析所需的環(huán)境，包括MyEclipse、Tomcat、MySQL、MsgPack等，建立與教務系統(tǒng)類似的仿真環(huán)境；搭建數(shù)據(jù)交換仿真系統(tǒng)各個模塊；分析數(shù)據(jù)交換內(nèi)容，整理武漢大學教務部中的用戶數(shù)據(jù)、課程數(shù)據(jù)及資源數(shù)據(jù)的數(shù)據(jù)結構，與數(shù)據(jù)中心的數(shù)據(jù)進行對應，設計數(shù)據(jù)交換相關對象；配置數(shù)據(jù)源及目的數(shù)據(jù)庫，進行數(shù)據(jù)交換驗證；針對數(shù)據(jù)增加、修改、刪除等操作分別對數(shù)據(jù)交換的有效性進行驗證；分析實驗結果。數(shù)據(jù)準備本實驗系統(tǒng)選取武漢大學教務系統(tǒng)中的課程信息作為實驗數(shù)據(jù)，在教育社區(qū)中建立課程表存儲課程數(shù)據(jù)。在系統(tǒng)初始化時，需將教務系統(tǒng)中的課程信息導入教育社區(qū)中的課程表中，在系統(tǒng)運行期間，需監(jiān)控數(shù)據(jù)變化，保證兩邊的數(shù)據(jù)同步。實驗中用到的數(shù)據(jù)交換相關內(nèi)容描述對象如下。圖STYLEREF1\s5SEQ圖\*ARABIC\s11實驗數(shù)據(jù)關系說明數(shù)據(jù)庫系統(tǒng)信息描述//數(shù)據(jù)源DataBasesourceDB=newDataBase();sourceDB.setDbType("Oracle");sourceDB.setDbHost("5");sourceDB.setDbPort(12095);sourceDB.setDbUser("educate");sourceDB.setDbPsw("123456");//目的數(shù)據(jù)庫DataBasedesDB=newDataBase();desDB.setDbType("MySQL");desDB.setDbHost("4");desDB.setDbPort(3306);desDB.setDbUser("root");desDB.setDbPsw("123456");源數(shù)據(jù)信息描述//數(shù)據(jù)表T_CJGL_LESSONHEAD2012FieldlessionId=newField();lessionId.setFieldName("lessionId");lessionId.setFieldType("integer");lessionId.setFieldLength(32);lessionId.setIsPrimaryKey(true);lessionId.setIsNull(false);lessionId.setDefault(null);FieldteacherNum=newField();teacherNum.setFieldName("teacherNum");teacherNum.setFieldType("char");teacherNum.setFieldLength(32);teacherNum.setIsPrimaryKey(false);teacherNum.setIsNull(false);teacherNum.setDefault(0);FieldteacherName=newField();teacherName.setFieldName("teacherName");teacherName.setFieldType("varchar");teacherName.setFieldLength(64);teacherName.setIsPrimaryKey(false);teacherName.setIsNull(true);teacherName.setDefault(null);FieldmaxStudentNum=newField();maxStudentNum.setFieldName("maxStudentNum");maxStudentNum.setFieldType("integer");maxStudentNum.setFieldLength(32);maxStudentNum.setIsPrimaryKey(false);maxStudentNum.setIsNull(true);maxStudentNum.setDefault(0);FieldapplyNum=newField();applyNum.setFieldName("applyNum");applyNum.setFieldType("integer");applyNum.setFieldLength(32);applyNum.setIsPrimaryKey(false);applyNum.setIsNull(true);applyNum.setDefault(0);TabletableOne=newTable();tableOne.setTableName("T_CJGL_LESSONHEAD2012");List<Field>fields=newArrayList<Field>();fields.add(lessionId);fields.add(teacherName);fields.add(teacherNum);fields.add(maxStudentNum);fields.add(applyNum);//數(shù)據(jù)表T_RES_LESSONFieldplanId=newField();planId.setFieldName("planId");planId.setFieldType("integer");planId.setFieldLength(32);planId.setIsPrimaryKey(true);planId.setIsNull(false);planId.setDefault(0);FieldlessonName=newField();lessonName.setFieldName("lessonName");lessonName.setFieldType("varchar");lessonName.setFieldLength(64);lessonName.setIsPrimaryKey(false);lessonName.setIsNull(true);lessonName.setDefault(0);TabletableTwo=newTable();tableTwo.setTableName("T_RES_LESSON");List<Field>fields_two=newArrayList<Field>();fields_two.add(planId);fields_two.add(lessonName);//關系表T_RES_PLANTabletableThree=newTable();tableTwo.setTableName("T_RES_PLAN");List<Field>fields_three=newArrayList<Field>();fields_three.add(planId);fields_three.add(lessonId);目的數(shù)據(jù)表信息描述//目的表edu_lessonFieldkeTouId=newField();keTouId.setFieldName("keTouId");keTouId.setFieldType("integer");keTouId.setFieldLength(32);keTouId.setIsPrimaryKey(true);keTouId.setIsNull(false);keTouId.setDefault(0);FieldkeChengMingCheng=newField();keChengMingCheng.setFieldName("keChengMingCheng");keChengMingCheng.setFieldType("varchar");keChengMingCheng.setFieldLength(64);keChengMingCheng.setIsPrimaryKey(false);keChengMingCheng.setIsNull(true);keChengMingCheng.setDefault(0);FieldchuangJianZhe=newField();chuangJianZhe.setFieldName("chuangJianZhe");chuangJianZhe.setFieldType("integer");chuangJianZhe.setFieldLength(32);chuangJianZhe.setIsPrimaryKey(false);chuangJianZhe.setIsNull(false);chuangJianZhe.setDefault(0);FieldchuangJianZheName=newField();chuangJianZheName.setFieldName("chuangJianZheName");chuangJianZheName.setFieldType("varchar");chuangJianZheName.setFieldLength(64);chuangJianZheName.setIsPrimaryKey(false);chuangJianZheName.setIsNull(true);chuangJianZheName.setDefault(null);FieldxueShengRenShu=newField();xueShengRenShu.setFieldName("xueShengRenShu");xueShengRenShu.setFieldType("integer");xueShengRenShu.setFieldLength(32);xueShengRenShu.setIsPrimaryKey(false);xueShengRenShu.setIsNull(true);xueShengRenShu.setDefault(0);TabletableDes=newTable();tableDes.setTableName("edu_lesson");List<Field>fields_des=newArrayList<Field>();fields_des.add(keTouId);fields_des.add(keChengMingCheng);fields_des.add(chuangJianZhe);fields_des.add(chuangJianZheName);fields_des.add(xueShengRenShu);數(shù)據(jù)交換測試結果分析實驗過程及結果分析根據(jù)上一節(jié)中對數(shù)據(jù)源、目的數(shù)據(jù)庫、數(shù)據(jù)交換內(nèi)容及過程的定義，數(shù)據(jù)交換引擎在實驗過程中對數(shù)據(jù)的變化進行了監(jiān)控，記錄了相應的數(shù)據(jù)變化日志并產(chǎn)生了相應的數(shù)據(jù)更新文件內(nèi)容。MsgPack序列化及加密等過程正常運行，保證了數(shù)據(jù)傳輸?shù)男屎桶踩?。系統(tǒng)初始化系統(tǒng)初始化過程是指從源數(shù)據(jù)向目標數(shù)據(jù)庫的導入初始數(shù)據(jù)過程，此時目標數(shù)據(jù)庫中沒有任何數(shù)據(jù)，僅對數(shù)據(jù)庫表結構進行了定義。系統(tǒng)根據(jù)上述配置中所定義的數(shù)據(jù)映射關系，讀取源數(shù)據(jù)庫中的數(shù)據(jù)并導入目的數(shù)據(jù)庫中。通過可視化數(shù)據(jù)配置界面對數(shù)據(jù)之間的映射關系及實體之間的關系進行配置。配置過程如REF_Ref388857444\h圖52所示。圖STYLEREF1\s5SEQ圖\*ARABIC\s12表關系配置圖STYLEREF1\s5SEQ圖\*ARABIC\s13屬性映射關系配置數(shù)據(jù)關系配置完成后，系統(tǒng)對其進行分析，并產(chǎn)生相應Java對象對數(shù)據(jù)交換流程進行描述，如下：ChangeDatadataMapTmp=newChangeData();dataMapTmp.setSourceSystem(sourceDB);dataMapTmp.setDesSystem(sourceDB);dataMapTmp.setSourceTable(tableOne);dataMapTmp.setDesTable(tableTwo);List<Map(Field,Field)>fieldsMapping1=newArrayList<Map(Field,Field)>();fieldsMapping1.put(lessonName,lessonNames);dataMapTmp.setChangeMap(fieldsMapping1);ChangeDatadataMap=newChangeData();dataMap.setSourceSystem(sourceDB);dataMap.setDesSystem(desDB);dataMap.setSourceTable(tableOne);dataMap.setDesTable(tableDes);List<Map(Field,Field)>fieldsMapping2=newArrayList<Map(Field,Field)>();fieldsMapping2.put(lessionId,keTouId);fieldsMapping2.put(teacherNum,chuangJianZhe);fieldsMapping2.put(teacherName,chuangJianZheName);fieldsMapping2.put(maxStudentNum,xueShengRenShu);dataMap.setChangeMap(fieldsMapping2);ChangeDatadataMap2=newChangeData();dataMap2.setSourceSystem(sourceDB);dataMap2.setDesSystem(desDB);dataMap2.setSourceTable(tableTwo);dataMap2.setDesTable(tableDes);List<Map(Field,Field)>fieldsMapping3=newArrayList<Map(Field,Field)>();fieldsMapping3.put(lessonName,keChengMingCheng);dataMap2.setChangeMap(fieldsMapping3);系統(tǒng)根據(jù)數(shù)據(jù)交換流程，以及源數(shù)據(jù)的配置文件，讀取源數(shù)據(jù)庫中的相應數(shù)據(jù)內(nèi)容，將源數(shù)據(jù)中的數(shù)據(jù)導入目的數(shù)據(jù)中。數(shù)據(jù)導入過程中產(chǎn)生的中間文件包括：①.數(shù)據(jù)交換內(nèi)容序列化結果文件；②.數(shù)據(jù)交換內(nèi)容DES加密文件；③.DES密鑰加密文件；④.數(shù)據(jù)解密并反序列化后的結果文件。數(shù)據(jù)導入完成后，對比源數(shù)據(jù)庫系統(tǒng)與目的數(shù)據(jù)庫中的內(nèi)容發(fā)現(xiàn)系統(tǒng)可正確進行數(shù)據(jù)導入工作，完成系統(tǒng)初始化。新增數(shù)據(jù)測試在源數(shù)據(jù)庫中和目的數(shù)據(jù)庫中分別新增不同的數(shù)據(jù)，驗證數(shù)據(jù)是否能相互同步。在源數(shù)據(jù)庫表T_CJGL_LESSONHEAD2012中增加一條課頭數(shù)據(jù)：102116788李婷大學生形象設計10412……T_RES_PLAN中相應增加一條數(shù)據(jù)10211在目的數(shù)據(jù)庫表中新增一條不同的數(shù)據(jù)：104大學生就業(yè)指導116928王鑫105……在源數(shù)據(jù)服務器中產(chǎn)生日志數(shù)據(jù)10T_CJGL_LESSONHEAD2012102ADD2014-04-1015:20:28……11T_RES_PLAN102ADD2014-04-1015:20:28……在目的數(shù)據(jù)庫服務器中產(chǎn)生日志數(shù)據(jù)105edu_lesson104ADD2014-04-1015:34:20……系統(tǒng)讀取日志內(nèi)容，將源數(shù)據(jù)庫中的數(shù)據(jù)讀取出來推送至目的數(shù)據(jù)庫中，目的數(shù)據(jù)庫根據(jù)系統(tǒng)日志內(nèi)容添加數(shù)據(jù)并將數(shù)據(jù)同步至源數(shù)據(jù)庫中。更新數(shù)據(jù)測試在源數(shù)據(jù)庫和目的數(shù)據(jù)庫中分別更新相同的數(shù)據(jù)，驗證產(chǎn)生數(shù)據(jù)沖突時，系統(tǒng)能否正確地處理沖突，并更新數(shù)據(jù)。在源數(shù)據(jù)庫中，對于下面這一條數(shù)據(jù)，修改其課程名稱字段。102116788李婷大學生形象設計10412……修改后為102116788李婷女大學生形象設計10412……在目的數(shù)據(jù)庫中，做類似的修改：102大學生形體訓練116788李婷104……測試結果表明源數(shù)據(jù)庫與目的數(shù)據(jù)庫中的數(shù)據(jù)均將課程名稱修改為“大學生形體訓練”。在數(shù)據(jù)交換過程中產(chǎn)生的系統(tǒng)日志如下：源數(shù)據(jù)庫：12T_CJGL_LESSONHEAD2012102UDP2014-04-1016:10:12……目的數(shù)據(jù)庫：115edu_lesson102UDP2014-04-1016:30:50……系統(tǒng)根據(jù)日志記錄時間判斷數(shù)據(jù)新舊，解決數(shù)據(jù)更新產(chǎn)生的數(shù)據(jù)沖突。刪除數(shù)據(jù)測試對于數(shù)據(jù)刪除操作，存在兩種情況：1.兩邊對相同的數(shù)據(jù)分別進行了更新和刪除操作；2.兩邊分別刪除了不同的數(shù)據(jù)。本文對這兩種情況分別進行了實驗。更新和刪除沖突前文已經(jīng)約定，本文對于更新和刪除操作沖突，無論操作時間先后，都選擇保留數(shù)據(jù)，并將數(shù)據(jù)更新。本文在源數(shù)據(jù)庫中刪除ID為102的數(shù)據(jù)記錄，在目的數(shù)據(jù)庫中修改ID為102的數(shù)據(jù)記錄；產(chǎn)生的日志分別如下所示。源數(shù)據(jù)庫：13T_CJGL_LESSONHEAD2012102DEL2014-04-1018:25:39……目的數(shù)據(jù)庫：125edu_lesson102UDP2014-04-1019:30:46……系統(tǒng)分析日志內(nèi)容，在目的數(shù)據(jù)庫端保留數(shù)據(jù)，并將保留的數(shù)據(jù)結果同步至源數(shù)據(jù)庫中。刪除不同數(shù)據(jù)在源數(shù)據(jù)庫和目的數(shù)據(jù)庫中分別刪除不同的兩條數(shù)據(jù)，預期結果為源數(shù)據(jù)庫和目的數(shù)據(jù)庫中這兩條數(shù)據(jù)均被刪除；產(chǎn)生的日志如下。源數(shù)據(jù)庫：14T_CJGL_LESSONHEAD2012102DEL2014-04-1020:52:21……目的數(shù)據(jù)庫：155edu_lesson105DEL2014-04-1021:36:26……系統(tǒng)分析日志內(nèi)容，在源數(shù)據(jù)庫和目的數(shù)據(jù)庫均刪除日志中所記錄的數(shù)據(jù)。數(shù)據(jù)交換實驗結果分析以上實驗結果表明，本文實現(xiàn)的網(wǎng)絡社區(qū)中的數(shù)據(jù)交換引擎可以有效地將源數(shù)據(jù)庫中的數(shù)據(jù)導入目的數(shù)據(jù)庫中。在數(shù)據(jù)交換引擎工作期間，系統(tǒng)可以有效地檢測到源數(shù)據(jù)庫和目的數(shù)據(jù)庫中的數(shù)據(jù)變化，包括數(shù)據(jù)的添加、刪除、修改等操作，實驗證明本文的數(shù)據(jù)交換引擎設計方案能夠滿足網(wǎng)絡社區(qū)中的數(shù)據(jù)交換需求，達到了預期效果，是一個有效的解決方案。數(shù)據(jù)交換引擎真實的運行環(huán)境與本文的仿真實驗系統(tǒng)相比要復雜得多，數(shù)據(jù)量大且更多變，在真實實現(xiàn)過程中，需對數(shù)據(jù)交換引擎進行進一步的驗證。針對本文所設計的數(shù)據(jù)交換引擎的特點進行總結如下：方便新系統(tǒng)的接入：新的信息系統(tǒng)或者第三方應用接入社區(qū)時，只需要配置相應系統(tǒng)的數(shù)據(jù)接入文件，在新的系統(tǒng)上安裝相應的數(shù)據(jù)抽取及數(shù)據(jù)推送服務即可，不僅保證了系統(tǒng)良好的可擴展性，同時也降低了開發(fā)的難度。實現(xiàn)高效率的數(shù)據(jù)交換：數(shù)據(jù)交換過程中對數(shù)據(jù)進行了序列化，二進制的數(shù)據(jù)格式可以很快被計算機識別，保證了數(shù)據(jù)交換的效率。本章小結本章以教育社區(qū)為背景，建立了武漢大學教務系統(tǒng)與教育社區(qū)之間的數(shù)據(jù)交換仿真系統(tǒng)。在數(shù)據(jù)源與目的數(shù)據(jù)庫的系統(tǒng)和所在環(huán)境均不一致的情況下，完成了系統(tǒng)用戶數(shù)據(jù)、課程數(shù)據(jù)及之間關系的數(shù)據(jù)交換。驗證了本文設計的數(shù)據(jù)交換引擎的有效性。實驗結果表明，本文設計的數(shù)據(jù)交換引擎可以完成網(wǎng)絡社區(qū)中異構系統(tǒng)之間的數(shù)據(jù)交換。系統(tǒng)運行期間，在數(shù)據(jù)庫表內(nèi)容發(fā)生變化時，系統(tǒng)自定義的日志表內(nèi)產(chǎn)生多條數(shù)據(jù)，證明數(shù)據(jù)交換引擎可以自動監(jiān)控數(shù)據(jù)的變化，并對數(shù)據(jù)變化內(nèi)容進行了詳細的記錄，系統(tǒng)將變化數(shù)據(jù)內(nèi)容從源數(shù)據(jù)庫中推送至數(shù)據(jù)中心，完成了數(shù)據(jù)同步功能。實驗系統(tǒng)證明了數(shù)據(jù)交換的有效性，但是本次實驗僅為教育社區(qū)中的數(shù)據(jù)交換仿真，在實際應用過程中，數(shù)據(jù)交換內(nèi)容定義文件、相關配置等根據(jù)數(shù)據(jù)源的類型需要有所調(diào)整?？偨Y及展望論文工作總結論文主要工作數(shù)據(jù)交換技術從上世紀70年代發(fā)展到今天，已經(jīng)有很多的技術積累，目前業(yè)界已有的解決方案主要包括數(shù)據(jù)庫工具法、傳統(tǒng)中間件法和基于中間文本的數(shù)據(jù)交換這三種方法。對于網(wǎng)絡社區(qū)而言，這三類方法各有千秋，基于中間文本的數(shù)據(jù)交換技術小巧靈活，最適用于網(wǎng)絡社區(qū)，然而中間文本格式如xml等文件占用空間較大，常常會影響數(shù)據(jù)交換的處理效率。本文借鑒其思想，采用MsgPack技術對數(shù)據(jù)交換內(nèi)容進行序列化，同時引入可視化數(shù)據(jù)管理內(nèi)容增強系統(tǒng)易用性，構建了網(wǎng)絡社區(qū)中的數(shù)據(jù)交換引擎。本文主要工作包括：設計了通用的數(shù)據(jù)交換引擎總體框架；本文研究了已有的幾種常見的數(shù)據(jù)交換架構設計，取長補短，設計了網(wǎng)絡社區(qū)中的數(shù)據(jù)交換引擎總體框架。通用數(shù)據(jù)交換引擎總體框架包括可視化數(shù)據(jù)源配置模塊、數(shù)據(jù)輸入模塊、數(shù)據(jù)輸出模塊、系統(tǒng)日志模塊四個大的模塊，其中數(shù)據(jù)輸入模塊還包括數(shù)據(jù)接口模塊、數(shù)據(jù)變化捕捉模塊、數(shù)據(jù)加密解密及文件傳輸模塊。各個模塊之間耦合性低，易于擴展。提出了一套通用的數(shù)據(jù)交換相關標準的定義；數(shù)據(jù)交換時，通用的數(shù)據(jù)格式是數(shù)據(jù)交換平臺集成應用的基礎，本文使用多個特定的Java對象類型對數(shù)據(jù)交換內(nèi)容及過程進行詳細定義，主要包括數(shù)據(jù)庫系統(tǒng)描述、數(shù)據(jù)庫表描述、數(shù)據(jù)交換內(nèi)容描述、數(shù)據(jù)交換流程描述。在進行數(shù)據(jù)交換時，對數(shù)據(jù)交換內(nèi)容相關的對象進行MsgPack序列化，以節(jié)省文件占用空間、加快文件傳輸?shù)乃俣取Ｌ岢隽艘粋€有效的數(shù)據(jù)變化監(jiān)控方法；通過研究已有的數(shù)據(jù)變化監(jiān)控方法，對各種方法的效率和普適性進行了對比，提出了日志表和觸發(fā)器相結合的變化監(jiān)測方法，對觸發(fā)器和日志表結構進行了設計。以教育社區(qū)為應用背景搭建實驗平臺；通過實驗平臺，完成了對網(wǎng)絡社區(qū)中數(shù)據(jù)交換引擎有效性的驗證，根據(jù)用戶不同的數(shù)據(jù)操作行為，分別進行了四組實驗，驗證了本文設計的數(shù)據(jù)交換引擎在各種情況下的適用性。論文特色引入可視化數(shù)據(jù)管理技術；在數(shù)據(jù)交換引擎中引入可視化數(shù)據(jù)管理技術，讓用戶自行對數(shù)據(jù)源進行配置，解決了已有的傳統(tǒng)數(shù)據(jù)交換系統(tǒng)中數(shù)據(jù)交換配置困難，可操作性差的問題，提升了數(shù)據(jù)交換引擎的易用性及用戶體驗。使用序列化技術提高數(shù)據(jù)交換效率；通過MsgPack技術，對數(shù)據(jù)交換過程中涉及到的數(shù)據(jù)變化內(nèi)容進行序列化，二進制數(shù)據(jù)可直接被計算機讀取，不僅可以提高數(shù)據(jù)傳輸?shù)乃俾?，還可以極大地減少了數(shù)據(jù)交換文件的占用空間，提高數(shù)據(jù)交換效率。提出觸發(fā)器與自定義日志表相結合的數(shù)據(jù)變化監(jiān)控方法；對各種數(shù)據(jù)變化監(jiān)控方法進行比較，提出使用觸發(fā)器與日志表相結合的數(shù)據(jù)變化監(jiān)控方法，提高了數(shù)據(jù)變化監(jiān)控的處理效率和適用性。下一步工作本文研究的課題具有良好的應用前景，數(shù)據(jù)交換不僅可以應用在已有的網(wǎng)絡社區(qū)中間，同時也可以為數(shù)據(jù)挖掘、數(shù)據(jù)分析提供良好的數(shù)據(jù)基礎。然而網(wǎng)絡社區(qū)中的數(shù)據(jù)交換是一項較為復雜的工作，由于時間以及水平的局限性，本文對網(wǎng)絡社區(qū)的數(shù)據(jù)交換引擎只做了部分工作。隨著信息技術法飛速發(fā)展，社區(qū)中的數(shù)據(jù)將會越來越龐大和雜亂，這些必然對數(shù)據(jù)交換提出更高的要求。在數(shù)據(jù)交換領域，還有很多工作值得進一步探究：半結構化與非結構化的數(shù)據(jù)交換；本文在實驗時，以關系數(shù)據(jù)庫作為研究對象，后續(xù)可以將注意力放在半結構化與非結構化的數(shù)據(jù)上，進行實驗，進一步研究其數(shù)據(jù)的融合技術，提高系統(tǒng)通用性；數(shù)據(jù)質(zhì)量評估；在Web2.0時代茁壯成長的今天，數(shù)據(jù)源中數(shù)據(jù)的可信性變得越來越難以捉摸，在數(shù)據(jù)交換過程中，應考慮數(shù)據(jù)提供者的數(shù)據(jù)可信性，對數(shù)據(jù)源進行質(zhì)量評估，去除冗余數(shù)據(jù)，消解數(shù)據(jù)沖突，實現(xiàn)高質(zhì)量的數(shù)據(jù)交換。

參考文獻王偉軍,孫晶.Web2.0的研究與應用綜述[J].情報科學,2008,25(12):1907-1913.O'reillyT.WhatisWeb2.0:Designpatternsandbusinessmodelsforthenextgenerationofsoftware[J].Communications&strategies,2007(65).王珊,王會舉,覃雄派,等.架構大數(shù)據(jù):挑戰(zhàn),現(xiàn)狀與展望[J].計算機學報,2011,34(10):1741-1752.張永新.面向Web數(shù)據(jù)集成的數(shù)據(jù)融合問題研究[D].山東大學,2012.武琳.

Web

2.0時代信息交流模式分析[J].

情報雜志.

2006,

25(3):

10-12.維基百科，網(wǎng)絡社區(qū)[EB/OL].:/wiki/網(wǎng)絡社區(qū),2014-2-25孟小峰，慈祥.

大數(shù)據(jù)管理:概念、技術與挑戰(zhàn)[J].

計算機研究與發(fā)展.

2013(01):

146-169LawtonG.Web2.0createssecuritychallenges[J].Computer,2007,40(10):13-16.田秀霞,王曉玲,高明,等.數(shù)據(jù)庫服務——安全與隱私保護[J].軟件學報,2010,21(5):991-1006.AndrioleSJ.BusinessimpactofWeb2.0technologies[J].CommunicationsoftheACM,2010,53(12):67-79.DonaldA.Norman.Thedesignofeverydaythings[M].NewYork:BasicBooks,2002.搜搜百科，數(shù)據(jù)交換[EB/OL].:/v54135.htm?ch=ch.bk.innerlink,2014-03-04李國杰.大數(shù)據(jù)研究的科學價值[J].中國計算機學會通訊,2012,8(9):8-15.FaginR,KolaitisPG,MillerRJ,etal.Dataexchange:semanticsandqueryanswering[J].TheoreticalComputerScience,2005,336(1):89-124.SibleyEH,TaylorRW.Adatadefinitionandmappinglanguage[J].CommunicationsoftheACM,1973,16(12):750-759.LumVY,ShuNC,HouselBC.Ageneralmethodologyfordataconversionandrestructuring[J].IBMJournalofresearchanddevelopment,1976,20(5):483-497.ShuNC,HouselBC,TaylorRW,etal.EXPRESS:adataextraction,processing,andrestructuringsystem[J].ACMTransactionsonDatabaseSystems(TODS),1977,2(2):134-174.McHughJ,AbiteboulS,GoldmanR,etal.Lore:Adatabasemanagementsystemforsemistructureddata[J].SIGMODrecord,1997,26(3):54-66.ChamberlinD,RobieJ,FlorescuD.Quilt:AnXMLquerylanguageforheterogeneousdatasources[M]//TheWorldWideWebandDatabases.SpringerBerlinHeidelberg,2001:1-25.FongJ,WongHK,ChengZ.ConvertingrelationaldatabaseintoXMLdocumentswithDOM[J].InformationandSoftwareTechnology,2003,45(6):335-355.GravellM.protobuf-net:Fast,portable,binaryserializationfor.NET[J].SleeM,AgarwalA,KwiatkowskiM.Thrift:Scalablecross-languageservicesimplementation[J].FacebookWhitePaper,2007,5.SumarayA,MakkiSK.Acomparisonofdataserializationformatsforoptimalefficiencyonamobileplatform[C]//Proceedingsofthe6thInternationalConferenceonUbiquitousInformationManagementandCommunication.ACM,2012:48.ErikssonM,HallbergV.?comparisonbetweenJSONandProtoBuffordataserialization?[J].周洪波.物聯(lián)網(wǎng):技術,應用,標準和商業(yè)模式[M].電子工業(yè)出版社,2010.Piatetsky-ShapiroG,JakobsonG.Anintermediatedatabaselanguageanditsrule-basedtransformationtodifferentdatabaselanguages[J].Data&knowledgeengineering,1987,2(1):1-29.梁彥杰，廉東本.

基于消息中間件的數(shù)據(jù)交換平臺傳輸框架設計[J].

計算機系統(tǒng)應用.

2012,

21(4):

10-13.李亞楠,劉連忠,賈燚星.數(shù)據(jù)交換研究[J].計算機技術與發(fā)展,2008.涂海龍.數(shù)據(jù)交換技術及其Web應用研究[D].華中科技大學,2011.李雯,謝輔雯,鄒道明.XML數(shù)據(jù)交換技術的應用與研究[J].計算機與現(xiàn)代化,2008(1):91-93.MessagePack[EB/OL].:http://MsgP/.htm,2014-03-19PrusinskiB,PhillipsS,ChungR.ExpertOracleGoldenGate[M].Apress,2011.Yan-huiZ,Teng-xuJ.SolutionofHeterogeneousDataSourcesBasedonPowerBuilderDataPipeline[J].ComputerandModernization,2008,4:035.維基百科，標記語言[EB/OL].:/wiki/標記語言,2014-03-21.HuL,LiP,WangY.ThedesignandimplementationofaSOA-baseddataexchangemiddleware[C]//ServiceSciences(ICSS),2010InternationalConferenceon.IEEE,2010:39-42.ZhaoJH.HeterogeneousDataExchangeTechnologyBasedonXML[J].AppliedMechanicsandMaterials,2013,347:3837-3841.LvJJ,ZhengXY.ResearchforadatasynchronizationmodelbasedonMiddlewareandrulebase[C]//InformationScienceandEngineering(ICISE),20091stInternationalConferenceon.IEEE,2009:2998-3001.李學榮,李莎.基于元數(shù)據(jù)的異構數(shù)據(jù)源集成系統(tǒng)設計與實現(xiàn)[J].計算機應用,2006,25(B12):209-210.ArenasM,LibkinL.XMLdataexchange:consistencyandqueryanswering[J].JournaloftheACM(JACM),2008,55(2):7.BormannC.TheBinaryPack1pre2JSON-likerepresentationformat[J].2013.滕東興，曾志榮，楊海燕，等.一種面向關系型數(shù)據(jù)的可視質(zhì)量分析方法[J].軟件學報.2013,24(4):810-824.者敬.開放式異構數(shù)