分布式空間數(shù)據(jù)庫同步更新技術(shù)的研究與應(yīng)用

1、分布式空間數(shù)據(jù)庫同步更新技術(shù)的研究與應(yīng)用近年來，隨著地理信息產(chǎn)業(yè)的深入發(fā)展，該行業(yè)對于高效率高容量的空間數(shù)據(jù)庫需求進一步加大。各類空間數(shù)據(jù)庫的建設(shè)取得了很大發(fā)展，尤其是多節(jié)點分布式空間數(shù)據(jù)庫模式開始在政府、企業(yè)等關(guān)鍵部門的基礎(chǔ)地理信息服務(wù)系統(tǒng)中得到應(yīng)用，這就使得多源數(shù)據(jù)的集成訪問、海量數(shù)據(jù)的組織管理等問題已經(jīng)不再是制約行業(yè)發(fā)展的因素。但是，多節(jié)點的分布式空間數(shù)據(jù)如何保持一致性始終是決定地理信息系統(tǒng)建設(shè)質(zhì)量的關(guān)鍵問題。傳統(tǒng)解決空間數(shù)據(jù)一致性的方案是物理交匯【1】的方式，使用存儲設(shè)備（如磁盤、硬盤）進行數(shù)據(jù)傳遞，對原始數(shù)據(jù)進行全覆蓋，以達到數(shù)據(jù)庫之間同步更新的目的。但是，這種方法存在明顯缺陷，如：

2、無法實現(xiàn)跨數(shù)據(jù)庫平臺之間的復(fù)制，無法實現(xiàn)要素級更新和按需同步，不支持版本管理，不支持拓撲關(guān)系與網(wǎng)絡(luò)等高級對象。針對上述問題，本文研究了基于Geodatabase Replication的分布式空間數(shù)據(jù)庫同步更新技術(shù)，結(jié)合ArcObject組件技術(shù)進行了實施驗證，研究出了一套可行的解決方案。1 分布式數(shù)據(jù)與空間數(shù)據(jù)庫空間數(shù)據(jù)也稱為地理數(shù)據(jù)，它是地理信息的載體，是將現(xiàn)實世界經(jīng)模型抽象后形成的實質(zhì)性內(nèi) 容【2】。通過它的描述，人們可以準確地捕捉客觀世界的信息。一般來說，國土行業(yè)的空間數(shù)據(jù)包括遙感攝影圖像、測量測繪數(shù)據(jù)、礦山勘探數(shù)據(jù)、地形地貌數(shù)據(jù)、土地數(shù)據(jù)、環(huán)境監(jiān)測數(shù)據(jù)及相關(guān)資料等?？臻g數(shù)據(jù)的集合實際

3、上就是廣義上的空間數(shù)據(jù)庫，它以提供空間數(shù)據(jù)服務(wù)為目的，對某一區(qū)域內(nèi)的地理數(shù)據(jù)集合按照某種組織方式進行管理。1.1 分布式數(shù)據(jù)隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，集中式的服務(wù)器部署模式已經(jīng)跟不上日益增長的數(shù)據(jù)管理需求，大規(guī)模的服務(wù)請求加大了中央服務(wù)器的處理壓力，同時數(shù)據(jù)量的劇增也導(dǎo)致存儲設(shè)備和帶寬的成本大大增加。為應(yīng)對這種情況，采用分布式數(shù)據(jù)服務(wù)器部署模式是大勢所趨。分配在同一網(wǎng)絡(luò)空間數(shù)據(jù)庫中的多份數(shù)據(jù)副本，它們物理上分離邏輯上集中。大規(guī)模并發(fā)訪問時，可以緩解服務(wù)器爭用以及對中央服務(wù)器網(wǎng)絡(luò)訪問速度慢的情況，實現(xiàn)服務(wù)器的負載均衡。分布式管理不僅可以提高數(shù)據(jù)訪問性能，而且在業(yè)務(wù)邏輯上符合國土行業(yè)實際。國土行業(yè)實行

4、垂直管理，從上到下分別有國家、省、市、縣區(qū)等多級土地管理部門，同級也存在各類部門及業(yè)務(wù)科室，這些數(shù)據(jù)分布在不同地點及不同設(shè)備上。同時，數(shù)據(jù)采集工作人員需要將數(shù)據(jù)庫中的部分數(shù)據(jù)帶入現(xiàn)場進行編輯，要與網(wǎng)絡(luò)完全斷開連接的時間長短尚不確定，這時也需要執(zhí)行數(shù)據(jù)分布。1.2 空間數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)相比，空間數(shù)據(jù)存在特殊性，它具有空間特征和空間關(guān)系【3】?？臻g數(shù)據(jù)的變更不僅僅是位置、形態(tài)、屬性的變化，而且通常會引起相鄰要素拓撲關(guān)系的變化，因此數(shù)據(jù)表達更為復(fù)雜。這樣就使得地理數(shù)據(jù)的存儲與關(guān)系型數(shù)據(jù)存儲存在巨大差別。早期的空間數(shù)據(jù)以文件形式存儲，如Esri公司研制的Shapefile格式文件、Autodesk的

5、DWG文件等。文件系統(tǒng)管理數(shù)據(jù)在安全性、一致性、可維護性等方面存在很大的缺陷。隨著計算機技術(shù)的發(fā)展，關(guān)系型數(shù)據(jù)庫引入GIS系統(tǒng)，但是關(guān)系模型難以表達空間數(shù)據(jù)的復(fù)雜性，數(shù)據(jù)的圖形部分存儲于圖形文件中，屬性數(shù)據(jù)則存儲于關(guān)系型數(shù)據(jù)庫中。實體本身與其屬性分開存儲，維護兩者的一致性并進行一體化管理便成為必須解決的問題。隨著地理信息理論與方法的發(fā)展，面向?qū)ο蟮乃枷氡灰氲乩頂?shù)據(jù)模型設(shè)計?，F(xiàn)實世界的地物經(jīng)過數(shù)據(jù)模型抽象歸納為某一類具有公共屬性的對象，如點、線、面等。在GIS中，點、線、面被定義為基本數(shù)據(jù)類型，其他所有實體對象均繼承自這3個基本數(shù)據(jù)類型，每個實例不僅擁有其基本數(shù)據(jù)類型的公共屬性，同時還可以擁有

6、自己的屬性。基于對象模型的數(shù)據(jù)分層管理，解決了空間數(shù)據(jù)與屬性數(shù)據(jù)的一體化管理問題?，F(xiàn)在行業(yè)普遍采用的數(shù)據(jù)庫方案是以商用DBMS為核心，對系統(tǒng)功能進行必要的擴充，使空間數(shù)據(jù)與屬性數(shù)據(jù)統(tǒng)一在DBMS管理之下。如Esri公司推出的空間數(shù)據(jù)庫引擎ArcSDE，它通過在應(yīng)用層擴展DBMS，從而實現(xiàn)了跨平臺、分布式空間數(shù)據(jù)管理（見圖1）。2 數(shù)據(jù)庫同步更新關(guān)鍵技術(shù)同一網(wǎng)絡(luò)中，各節(jié)點數(shù)據(jù)的空間范圍與其他節(jié)點數(shù)據(jù)之間存在空間交集（僅考慮有交集情況，如無交集，則不需要同步更新）。由于數(shù)據(jù)同步的要求，單節(jié)點數(shù)據(jù)的變化在成果提交時需將變化部分更新到與它空間范圍有交集的節(jié)點上。這樣才能實現(xiàn)多級數(shù)據(jù)聯(lián)動、自動更新的目的

7、。同步更新分為兩個步驟：數(shù)據(jù)庫復(fù)制和增量更新。數(shù)據(jù)庫復(fù)制是將初始版本數(shù)據(jù)庫的整體或部分數(shù)據(jù)拷貝到其他節(jié)點，使各節(jié)點數(shù)據(jù)保持狀態(tài)一致；增量更新是指各節(jié)點在初始版本數(shù)據(jù)的基礎(chǔ)上，記錄各自數(shù)據(jù)的變化情況，在同步時將變化信息提交給目標節(jié)點，目標節(jié)點按照接收到的變化記錄更新自身數(shù)據(jù)庫。2.1 數(shù)據(jù)庫復(fù)制地理數(shù)據(jù)庫復(fù)制是通過 ArcGIS 提供的一種數(shù)據(jù)分發(fā)方法【4】。使用地理數(shù)據(jù)庫復(fù)制，在多個空間數(shù)據(jù)庫之間可通過復(fù)制整體或部分數(shù)據(jù)集部署數(shù)據(jù)。復(fù)制數(shù)據(jù)集后，會創(chuàng)建一個復(fù)本對，一個復(fù)本位于原始空間數(shù)據(jù)庫，另一個相關(guān)復(fù)本被分布在目標空間數(shù)據(jù)庫?？梢詫⑦@些復(fù)本在其各自數(shù)據(jù)庫中發(fā)生的變化進行同步，以使一個復(fù)本中的

8、數(shù)據(jù)與其相關(guān)復(fù)本中的數(shù)據(jù)相符。地理數(shù)據(jù)庫復(fù)制支持完整的地理數(shù)據(jù)庫數(shù)據(jù)模型，包括拓撲、網(wǎng)絡(luò)、地形和關(guān)系等。它是在地理數(shù)據(jù)庫級別實現(xiàn)的，所以涉及的 DBMS 可以不同。例如，一個復(fù)本空間數(shù)據(jù)庫可建立在 SQL Server 的基礎(chǔ)上，而另一個復(fù)本空間數(shù)據(jù)庫則可以建立在 Oracle 的基礎(chǔ)上。地理數(shù)據(jù)庫復(fù)制包括版本化和創(chuàng)建復(fù)本兩個步驟。2.1.1 版本化版本是空間數(shù)據(jù)庫在某個時刻的快照【5】，它包含數(shù)據(jù)庫的所有數(shù)據(jù)集與狀態(tài)信息。數(shù)據(jù)庫復(fù)制建立在上版本管理基礎(chǔ)之上，執(zhí)行數(shù)據(jù)復(fù)制時必須先將數(shù)據(jù)注冊版本。注冊版本時，數(shù)據(jù)庫會自動創(chuàng)建添加表和刪除表，這些表會追蹤對數(shù)據(jù)集所做的編輯并記錄下來。這些復(fù)本版本中

9、的變化將在同步過程中進行交換。由于復(fù)本對的版本處于關(guān)聯(lián)狀態(tài)，因此可將其視為是通過擴展版本樹來跨越多個空間數(shù)據(jù)庫的方法。2.1.2 創(chuàng)建復(fù)本源數(shù)據(jù)庫經(jīng)過版本化后，可以創(chuàng)建多個數(shù)據(jù)復(fù)本，以便可以跨數(shù)據(jù)庫同步變化數(shù)據(jù)。創(chuàng)建復(fù)本時，首先確定哪些數(shù)據(jù)需要進行復(fù)制，這時可以使用空間過濾器和屬性過濾器配合刷選，例如定義空間過濾器為某區(qū)域邊界，這時復(fù)制到目標數(shù)據(jù)庫的數(shù)據(jù)將被圈定在此邊界范圍內(nèi)；其次，需要運行一個進程來執(zhí)行創(chuàng)建，將數(shù)據(jù)從源數(shù)據(jù)庫復(fù)制到目標數(shù)據(jù)庫，并在每個數(shù)據(jù)庫中都創(chuàng)建一個復(fù)本。復(fù)本中包含已復(fù)制數(shù)據(jù)的信息、變更信息記錄表及其他同步更改所需的信息，它是執(zhí)行同步的主要依據(jù)。源數(shù)據(jù)庫中的復(fù)本是父復(fù)本，目

10、標數(shù)據(jù)庫中的復(fù)本是子復(fù)本，子復(fù)本與父復(fù)本的每個組合都是一個復(fù)本對。地理數(shù)據(jù)庫復(fù)制有3種類型：檢出/檢入、單向和雙向。檢出/檢入復(fù)制可用于在子復(fù)本中編輯數(shù)據(jù)，并將這些編輯內(nèi)容同步到父復(fù)本中，這種復(fù)制類型適用于從數(shù)據(jù)庫導(dǎo)出部分數(shù)據(jù)進行野外編輯工作；單向復(fù)制可用于向一個方向多次發(fā)送數(shù)據(jù)變更，適用于下級數(shù)據(jù)庫向上級數(shù)據(jù)庫提交數(shù)據(jù)成果；雙向復(fù)制可用于父復(fù)本與子復(fù)本之間多次雙向傳遞數(shù)據(jù)變更，適用于橫向同級數(shù)據(jù)庫之間的數(shù)據(jù)同步。單向復(fù)制和雙向復(fù)制在數(shù)據(jù)同步后復(fù)本會保留，以便用戶繼續(xù)發(fā)送數(shù)據(jù)變更。2.2 增量的記錄增量的定義是一個相對于初始狀態(tài)數(shù)據(jù)庫的概念，初始源數(shù)據(jù)庫中的所有數(shù)據(jù)記錄擁有全局唯一的代碼標識，

11、這樣任何數(shù)據(jù)的增加、刪除和修改都可以被精確記錄?？臻g數(shù)據(jù)的變化過程可以描述為原有記錄的刪除、新記錄的增加。數(shù)據(jù)注冊版本時，創(chuàng)建添加表（A表）、原始表（B表）和刪除表（D表）。A表存放新增記錄，B表存放初始數(shù)據(jù)，D表存放刪除記錄，這樣任何編輯操作只是記錄在A表、D表中，而不是真正的添加刪除，而要獲得當前版本的數(shù)據(jù)就是將A表、B表、D表三表進行合并的結(jié)果。當然，這只是簡單的不完全精確的描述，在具體的SQL實現(xiàn)上要比這復(fù)雜一些。2.3 同步各節(jié)點復(fù)本在經(jīng)過編輯后，變更內(nèi)容會記錄到增量表（A表、D表），將增量表發(fā)送目標數(shù)據(jù)庫進行更新，則完成了復(fù)本之間的同步。同步支持在線模式和離線模式。在聯(lián)網(wǎng)環(huán)境下，通

12、過連接ArcGIS Server提供空間數(shù)據(jù)服務(wù)，將增量信息發(fā)送目標數(shù)據(jù)庫，這種情況適合數(shù)據(jù)量小且網(wǎng)絡(luò)穩(wěn)定的環(huán)境；在非聯(lián)網(wǎng)環(huán)境下，可以將更新的數(shù)據(jù)內(nèi)容導(dǎo)出到數(shù)據(jù)文件中，同過存儲設(shè)備傳遞到遠端，這種方式安全穩(wěn)定，利于數(shù)據(jù)保密。3 技術(shù)應(yīng)用本文研究的數(shù)據(jù)庫同步更新技術(shù)在湖南省地理國情普查數(shù)據(jù)應(yīng)用示范平臺得到了實施驗證。在同步技術(shù)的基礎(chǔ)上，設(shè)計并實現(xiàn)了同步更新模塊，并用部分普查數(shù)據(jù)進行了相關(guān)實驗。3.1 同步更新模塊的設(shè)計數(shù)據(jù)庫同步更新模塊的架構(gòu)（見圖2）分為3層設(shè)計：最底層為數(shù)據(jù)層，是經(jīng)過特別設(shè)計的分布式空間數(shù)據(jù)庫體系（詳細見下一節(jié)）；中間層為組件層，依托數(shù)據(jù)庫同步技術(shù)構(gòu)建4個核心組件模塊，分別為

13、數(shù)據(jù)變化發(fā)現(xiàn)、在線同步、離線同步、沖突分析，這4個組件是本模塊的具體功能實現(xiàn)；最上層為表現(xiàn)層，也是應(yīng)用示范平臺的一個功能模塊，實現(xiàn)了分布式空間數(shù)據(jù)庫的集中管理和分布更新。3.2 數(shù)據(jù)服務(wù)器的部署分布式空間數(shù)據(jù)庫的部署（見圖3）基于下級分布-上級集中;的基本原則，分為省、市、縣區(qū)三級。省級國土部門持有全局空間數(shù)據(jù)庫，它維護管理區(qū)域內(nèi)的全部空間數(shù)據(jù)，負責(zé)對下級數(shù)據(jù)的分發(fā)與匯總；下級部門同樣擁有一份只包含適用于各自區(qū)域的復(fù)本，并可將此數(shù)據(jù)的變更傳送到上級部門。省級部門可對整個范圍內(nèi)的最新數(shù)據(jù)執(zhí)行同步和分析。部門內(nèi)部的連接速度會很快，但部門之間的連接需要經(jīng)過上級中轉(zhuǎn)，速度要慢很多。3.3 功能介紹3.

14、3.1 數(shù)據(jù)變化發(fā)現(xiàn)各數(shù)據(jù)管理部門對所屬區(qū)域的空間數(shù)據(jù)庫數(shù)據(jù)進行更新，并通過數(shù)據(jù)變化監(jiān)測程序?qū)崿F(xiàn)數(shù)據(jù)變化信息的提取和發(fā)送。目標數(shù)據(jù)庫接受到變化信息后，返回確認信息，若雙向信息傳遞過程中出現(xiàn)網(wǎng)絡(luò)問題，則待下一個工作日繼續(xù)發(fā)送。3.3.2 在線同步在聯(lián)網(wǎng)環(huán)境下，系統(tǒng)根據(jù)事先設(shè)置好的數(shù)據(jù)庫連接參數(shù)、同步周期以及更新時間自動實現(xiàn)變化數(shù)據(jù)的傳輸及更新，這種方式適合于更新頻繁的空間數(shù)據(jù)庫，省時省力。根據(jù)實際情況制定同步策略，可以有效地避開網(wǎng)絡(luò)高峰期。3.3.3 離線同步離線同步需要在人的介入下手動進行，在沒有網(wǎng)絡(luò)環(huán)境的情況下，數(shù)據(jù)庫操作人員使用工具將增量變化導(dǎo)出，通過存儲設(shè)備傳遞給目標數(shù)據(jù)庫，再在目標端使用工具導(dǎo)入增量信息實現(xiàn)數(shù)據(jù)的更新。3.3.4 沖突分析多個數(shù)據(jù)庫同時進行同步時，可能同時修改了相同地理要素的幾何形狀、屬性或者其他數(shù)據(jù)庫對象，這時需要沖突分析模塊協(xié)調(diào)目標數(shù)據(jù)庫更新的順序，最終將各個請求的數(shù)據(jù)變化信息提交處理。3.4 系統(tǒng)結(jié)果根據(jù)本文提出的空間數(shù)據(jù)庫同步更新技術(shù)，在湖南省地理國情普查數(shù)據(jù)應(yīng)用示范平臺中設(shè)計并實現(xiàn)了數(shù)據(jù)庫同步模塊，并用湖南省常德市和武陵、石門兩縣區(qū)數(shù)據(jù)進行了實驗，經(jīng)過驗證系統(tǒng)具有良好的穩(wěn)定性、可靠性保證，達到了設(shè)計要求。4 總結(jié)本文研究了基于Geodatabase Replication的分布式地理數(shù)據(jù)庫同步更新技術(shù)，并基于此技術(shù)，在應(yīng)用平臺