城市地理時空大數(shù)據(jù)管理與應(yīng)用平臺建設(shè)技術(shù)和方法研究

1、城市地理時空大數(shù)據(jù)管理與應(yīng)用平臺建設(shè)技術(shù)和方法研究向紅梅鈕里武長沙市規(guī)劃勘測設(shè)計研宄院武漢市測繪研宄院摘要：針對城市地理時空數(shù)據(jù)的專業(yè)類別多、數(shù)據(jù)格式多、數(shù)據(jù)分散等諸多特性，提出 了柵格式數(shù)據(jù)、圖形式數(shù)據(jù)、要素式數(shù)據(jù)、類gis數(shù)據(jù)、arc gis數(shù)據(jù)5大類地 理時空數(shù)據(jù)的管理方案。采用基于富客戶端的地圏增強技術(shù)、基于時間幀的時空 數(shù)據(jù)動態(tài)表達技術(shù)和空間數(shù)據(jù)及平臺功能自擴展定制技術(shù)，對城市地理時空大 數(shù)據(jù)管理與應(yīng)用平臺進行了總體設(shè)計，開發(fā)了集管理與應(yīng)用于一體的資源創(chuàng)建 與管理系統(tǒng)、信息集成共享系統(tǒng)、數(shù)據(jù)交互應(yīng)用系統(tǒng)，實現(xiàn)了城市地理時空人數(shù) 據(jù)的管理與應(yīng)用的高效性。本文提出的技術(shù)方法己在長沙市規(guī)劃

2、交通勘測信息集 成管理與應(yīng)用共享平臺項目建設(shè)中得到驗證，為城市地理時空大數(shù)據(jù)的集成管 理和共享應(yīng)用提供了技術(shù)經(jīng)驗。關(guān)鍵詞：地理時空;大數(shù)據(jù);管理與應(yīng)用平臺;富客戶端;時間幀;自擴展定制;作者簡介：向紅梅(1968)，女，碩士，教授級高級工程師，主要從事gis 數(shù)據(jù)管理及應(yīng)用開發(fā)研宄工作。e-mail :xhmhpd126. com收稿日期：2017-02-23基金：湖南省科學(xué)技術(shù)廳科技計劃項目(2014gk3045)research on the technology and method of urban geography space time big data management an

3、d application platformxiang hongmei guo mingwuchangsha planning & design survey researchinstitute; wuhan geomatic institute;abstract：according to the characteristic of spatial and temporal geographical data on urban, such as multi professional category, multi data format, data dispersion and so

4、on, the management schemes of the grid format data, the data of the graph form, the data of the element type, the similar gts data and the arc gis data of 5 kinds of geography space time data arc put forward. using map enhancement technology based on rich client, dynamic representation of temporal a

5、nd spatial data based on time frame, spatial data and platform function self expanding custom technology, the overall design of the data management and application platform of the urban geography space time and space is carried out. the trinity system of resource creation and management system, info

6、rmation integration and sharing systems, data interactive application system is developed. the high efficiency of data management and application in urban geography time and space has been realized. the technology method proposed in this paper has been verified in the project construction of informa

7、tion integration management and application sharing platform for planning traffic survey in changsha city, which provides the technical experience for the integration management and sharing application of the urban geography space time big data.keyword：geographical space time; big data; management a

8、nd application platform; rich client; time frame; self expanding custom;received： 2017-02-23由于獲取城市地理空間數(shù)據(jù)的途徑多，采集和管理地理信息數(shù)據(jù)的軟件平臺各 不相同，使得城市地理信息的數(shù)據(jù)標準和數(shù)據(jù)格式多種多樣，在城市規(guī)劃建設(shè) 管理的實際應(yīng)用中，往往需耍利用不同來源和類型的地理信息，致使數(shù)據(jù)轉(zhuǎn)換 工作量大、數(shù)據(jù)利用率低下。近年來，城市規(guī)劃建設(shè)管理不斷地朝精細化和縱深 化發(fā)展，涉及的事物與內(nèi)容快速增多，管理的難度不斷加大u1，不僅需要地理 空間數(shù)據(jù)，還需要不同時期的地理空間數(shù)據(jù)，即地理空間數(shù)據(jù)的時間屬

9、性。同吋, 城市規(guī)劃設(shè)計的成果又是地理信息的衍生產(chǎn)品，使得地理信息的數(shù)據(jù)量呈tb級 增長，異致地理信息的數(shù)據(jù)格式更加多樣，應(yīng)用領(lǐng)域更加廣闊，其管理與應(yīng)用 的難度進一步更加。隨著科技進步和信息技術(shù)的發(fā)展，原本和互獨立的測繪、勘察、規(guī)劃、設(shè)計等工 作不再獨立，而是相互聯(lián)系、相互滲透的，大量設(shè)計、管理及策劃工作的開展不 但需要地理信息的支撐，還需要其他行業(yè)信息的交流共享。因此，綜合集成現(xiàn)冇 的多源、異構(gòu)和海量的地理信息數(shù)據(jù)，實現(xiàn)這些信息的集成共享與高效利用，開 發(fā)城市地理時空大數(shù)據(jù)管理與應(yīng)用平臺是各行業(yè)對地理信息數(shù)據(jù)服務(wù)的迫切需 要。1城市地理時空數(shù)據(jù)特性分析城市地理時空大數(shù)據(jù)除了具有空間數(shù)據(jù)的空間

10、、吋間和專題三人基本特征外，在 數(shù)據(jù)采集方式、存儲格式、管理模式、專業(yè)應(yīng)用等方面還有更多的特殊性管 理城市地理時空大數(shù)據(jù)，開發(fā)數(shù)據(jù)應(yīng)用共享平臺時必須充分認識它們的特性。(1) 專業(yè)類別多。隨著地理信息技術(shù)的發(fā)展和基礎(chǔ)空間數(shù)據(jù)(4d產(chǎn)品)應(yīng)用的 普及，很多行業(yè)基于空間數(shù)據(jù)，釆用地理信息技術(shù)，充分挖掘木行業(yè)數(shù)據(jù)和信 息的應(yīng)用價值，從而形成了專業(yè)門類眾多的專題地理信息產(chǎn)品。(2) 數(shù)據(jù)格式多。由于承載信息的平臺和應(yīng)用領(lǐng)域不一樣，地理時空人數(shù)據(jù)的數(shù) 據(jù)格式各不相同，僅4d產(chǎn)品就有矢量數(shù)據(jù)、柵格影像數(shù)據(jù)集及dem的格網(wǎng)點坐 標數(shù)據(jù)之分，為了專業(yè)應(yīng)用而基于免間數(shù)據(jù)重組的復(fù)合模式數(shù)據(jù)的格式就更加 多樣。(3

11、) 數(shù)據(jù)分散。地理時空數(shù)據(jù)的采集、加工和制作由不同部門來完成，數(shù)據(jù)分散 在眾多的權(quán)屬單位，數(shù)據(jù)集成管理和共享應(yīng)用的難度大。(4) 更新頻繁。隨著經(jīng)濟社會的快速發(fā)展和人類活動的加劇，地表形態(tài)及地物要 素在不停地變化，需要對基礎(chǔ)空間數(shù)據(jù)不斷地進行更新，才能讓基礎(chǔ)地理信息 數(shù)據(jù)為經(jīng)濟建設(shè)和社會發(fā)展提供及吋有效的服務(wù)。(5) 重復(fù)利用率高。地理吋空數(shù)據(jù)除了承載空間信息，還承載著吋間信息，反映 了地理形態(tài)的歷史和變遷，數(shù)據(jù)回溯和重復(fù)使用的頻率非常高。2地理時空大數(shù)據(jù)的管理方案針對地理時空數(shù)據(jù)的專業(yè)類別多、數(shù)據(jù)分散、采集管理軟件不同、應(yīng)用領(lǐng)域廣泛 等特征，按照地理時空數(shù)據(jù)的數(shù)據(jù)質(zhì)量及格式，以及與標準的ar

12、c gts數(shù)據(jù)的接 近程度，可將地理時空數(shù)據(jù)概括為5大類，分別制定管理方案u1。充分分析每 一類數(shù)據(jù)的時間特性，采用時間戳的方式實現(xiàn)地理時空數(shù)據(jù)時間維度的管理1 。(1) 柵格式數(shù)據(jù)。主要括jpg、tif等格式的航測影像、遙感影像、掃描柵格 地圖。需要依次進行坐標校正、坐標配準、數(shù)據(jù)質(zhì)量檢查等處理，制作成標準的img或tif柵格數(shù)據(jù)，形成mxd文檔，并發(fā)布為柵格地圖服務(wù)，進行地圖切片以 提高顯示速度，采取影像拍攝或地圖掃描吋間為吋間戳來管理柵格數(shù)據(jù)。(2) 圖形式數(shù)據(jù)。主要是一些非gts領(lǐng)域的工程圖數(shù)據(jù)，如dwg格式的設(shè)計圖 m。它的分層混亂，沒有按對象組織數(shù)據(jù)，只能用于圖形查看，采取將其柵格

13、 化處理的方式進行管理，方案如柵格式數(shù)據(jù)，采用圖形繪制時間為時間戳來管 理圖形數(shù)據(jù)。(3) 要素式數(shù)據(jù)。主要是基于cad平臺制作，要素分層規(guī)范，基木上按對象組織 數(shù)據(jù)，比圖形式dwg數(shù)據(jù)更接近標準的arc gts數(shù)據(jù)。采取規(guī)范化處理方式，依 次進行圖形封閉構(gòu)面、屬性掛接、數(shù)據(jù)質(zhì)量檢查，轉(zhuǎn)換為標準shp格式的gis 數(shù)據(jù)，進行符號化形成mxd文檔，發(fā)布為地閣服務(wù)，采用date time型字段為吋 間戳來管理類要素式數(shù)據(jù)。(4) 類gis數(shù)據(jù)。主要是各種非arc gis標準的地理空間數(shù)據(jù)，如einme、trans cad及來源于其他軟件的空間數(shù)據(jù)，可以直接或間接地轉(zhuǎn)換為標準的arc gts數(shù) 據(jù)。

14、需要根據(jù)數(shù)據(jù)的具體結(jié)構(gòu)，開發(fā)相應(yīng)的轉(zhuǎn)換模塊進行轉(zhuǎn)換，轉(zhuǎn)為標準shp 格式的g1s數(shù)據(jù)，進行質(zhì)量檢查和符號化，形成mxd文檔，發(fā)布為地閣服務(wù)，采 用date time型字段為時間戳來管理類gis數(shù)據(jù)。(5) arc gis 數(shù)據(jù)。主要包括 img、tif、shp、personal geodatabase 等類型的 數(shù)據(jù)，采取對其規(guī)范化處理，進行質(zhì)量檢查和符號化，形成mxd文檔，發(fā)布為 地圖服務(wù)，采用date time型字段為時間戳來管理gis數(shù)據(jù)。地理時空大數(shù)據(jù)管理的關(guān)塞技術(shù)3.1基于富客戶端技術(shù)的地圖增強顯示技術(shù)傳統(tǒng)網(wǎng)絡(luò)程序的開發(fā)是基于頁面、服務(wù)器端數(shù)據(jù)傳遞的模式，網(wǎng)絡(luò)程序的表示層 建立在ht

15、ml頁面之上£11，無法滿足網(wǎng)絡(luò)瀏覽者更高的、全方位的體驗要求，新 出現(xiàn)的豐富互聯(lián)網(wǎng)程序(rich internet applications, ria)解決/這一難題。r1a是集成最佳用戶界面功能與快速互動多媒體通信于一體的新一代網(wǎng)絡(luò)應(yīng)用 程序，較傳統(tǒng)web應(yīng)用的主要優(yōu)勢為：(1) 表現(xiàn)力更豐富:ria能基于標準瀏覽器的網(wǎng)頁應(yīng)用實現(xiàn)html標簽無法實現(xiàn)的 用戶界面效果和交互式應(yīng)用功能。(2) c/s結(jié)構(gòu)的負擔平衡:可以使客戶端和服務(wù)器端對資源的需求更加平衡，服 務(wù)器不必一直高負荷運轉(zhuǎn)，提升了服務(wù)器并行服務(wù)的客戶端數(shù)量。(3) 異步通信:用戶可在客戶端引擎與服務(wù)器端通信的同時，異步地

16、進行頁面瀏 覽及交互。程序可從服務(wù)器端預(yù)取數(shù)據(jù)，免去等待吋間。(4) 網(wǎng)絡(luò)效率高：由于ria客戶端引擎比標準的網(wǎng)頁瀏覽器更智能，能預(yù)先從服 務(wù)器端提取數(shù)據(jù)，提升了應(yīng)用程序的響應(yīng)速度。近年來rta發(fā)展迅速，0前較有實力和特點的rta開發(fā)技術(shù)有10多種，其中最 受歡迎的是silverlight、11tml5及flash,客戶端需要安裝silverlight或 flash player 插件。3.2基于時間幀的地理時空數(shù)據(jù)動態(tài)可視化表達技術(shù)地理空間數(shù)據(jù)都有時間特性，設(shè)計空間數(shù)據(jù)的時間字段，錄入時間屬性，可將 地理空間數(shù)據(jù)提升為地理時空數(shù)據(jù)。為了直觀地反映地理實體的動態(tài)變化過程， 幫助用戶從地理時空數(shù)

17、據(jù)屮分析出地理現(xiàn)象內(nèi)在的演變規(guī)律，提高地理時空數(shù) 據(jù)的應(yīng)用價值，可采用基于時間幀的地理時空數(shù)據(jù)交互式可視化表達技術(shù)。通過設(shè)置時間起點、時間跨度、時間終點，按時間軸正序或逆序的方式直觀地表 達區(qū)域內(nèi)各地理實體的變化過程。按照播放、暫停、快退、快進等方式，對某一 區(qū)域感興趣的內(nèi)容進行反復(fù)、交互式的查看，從不冋的角度研究地理實體的動態(tài) 變化，提高對時空地理信息分析和綜合的能力，從而探索新規(guī)律，發(fā)掘新認知。 閣1是對岳麓山四北處梅溪湖區(qū)域自2008年一2016年建設(shè)情況的分析。圖1基于影像拍攝吋間的動態(tài)可視化分析下載原圖3.3空間數(shù)據(jù)及平臺功能自擴展定制技術(shù)以往的gis系統(tǒng)開發(fā)通常是先根據(jù)功能需求確定

18、系統(tǒng)的數(shù)據(jù)內(nèi)容，然后設(shè)計每 類數(shù)據(jù)的標準及數(shù)據(jù)庫結(jié)構(gòu)，在系統(tǒng)中岡化數(shù)據(jù)展示的內(nèi)容、用程序語句同定數(shù) 據(jù)查詢訪問的字段。一旦原有數(shù)據(jù)結(jié)構(gòu)發(fā)生變化或需要增加新的空間數(shù)據(jù)，都需 要對系統(tǒng)進行源代碼升級，這不僅增加gis系統(tǒng)運維成木，還會導(dǎo)致建立的gis 系統(tǒng)使用受限。由于不能做到隨需應(yīng)變，約冇35%以上的gts應(yīng)用系統(tǒng)使用吋間 不超過3年就提前“壽終正寢” 5-6。自擴展定制技術(shù)又名“裝配式開發(fā)”或“搭建式開發(fā)”，是一種利用面向服務(wù) 的構(gòu)件來“零代碼”搭建應(yīng)用程序的新型軟件開發(fā)技術(shù)。裝配式開發(fā)避免了從源 代碼做起的重復(fù)開發(fā)帶來的低效率和低質(zhì)量問題，減少軟件代碼開發(fā)量，提高 開發(fā)質(zhì)量，實現(xiàn)軟件的重復(fù)利

19、用?；谶@種開發(fā)技術(shù)，用戶只需專注專業(yè)流程分 析，不必將大量的時間投入到系統(tǒng)的編碼和調(diào)試屮，根據(jù)提供的功能組件，通 過配置連接接口，就可以快速搭建滿足業(yè)務(wù)需要的應(yīng)用系統(tǒng)。應(yīng)用自擴展定制技術(shù)來進行空間數(shù)據(jù)及平臺功能的自定制，實現(xiàn)系統(tǒng)的搭建與 維護，主要包括如下定制：(1) 數(shù)據(jù)源定制：定制gis應(yīng)用系統(tǒng)中需要管理與展示的地理空間數(shù)據(jù)服務(wù)，包 括定制基礎(chǔ)數(shù)據(jù)和專題數(shù)據(jù)、切片服務(wù)和動態(tài)服務(wù)、歷史數(shù)據(jù)和現(xiàn)狀數(shù)據(jù)等；(2) 數(shù)據(jù)展示方式定制:定制顯示的字段名稱、順序等；(3) 要素操作定制:定制查詢要素、查詢字段、統(tǒng)計要素、統(tǒng)計字段、編輯要素、 編輯字段等；(4) 界面定制:菜單、工具、布局樣式、圖標等

20、定制；(5) 用戶權(quán)限定制:對用戶角色的數(shù)據(jù)權(quán)限和功能權(quán)限進行定制。圖2是空間數(shù)據(jù)、平臺功能及用戶權(quán)限自擴展定制技術(shù)應(yīng)用實例。閣2長沙市規(guī)劃交通勘測信息集成管理與應(yīng)用共享平臺的自定制界面下載原圖4管理與應(yīng)用平臺的設(shè)計4.1平臺總體設(shè)計根據(jù)地理時空數(shù)據(jù)的專業(yè)類別多、數(shù)據(jù)格式多、分散等特點，地理時空數(shù)據(jù)管理 與應(yīng)用平臺的總體架構(gòu)最理想的模式是基于soa (service-oriented architecture)進行設(shè)計。soa是基于組件模型的面向服務(wù)的體系結(jié)構(gòu)，它將應(yīng)用程序的不功能.單元 (稱為服務(wù))通過服務(wù)之間的接口和契約聯(lián)系起來。soa的主要優(yōu)勢有：(1) 可通過互聯(lián)網(wǎng)服務(wù)器發(fā)布，從而突破

21、企業(yè)內(nèi)網(wǎng)的限制，實現(xiàn)與供應(yīng)鏈上下 游伙伴業(yè)務(wù)的緊密結(jié)合。(2) 與平臺無關(guān)，減少了業(yè)務(wù)應(yīng)用實現(xiàn)的限制。(3) 具有低耦合性特點，業(yè)務(wù)伙伴對整個業(yè)務(wù)系統(tǒng)的相互影響較低。(4) 具有可按模塊分階段進行實施的優(yōu)勢。從平臺的建設(shè)目標和應(yīng)用功能出發(fā)，平臺可分為3個子系統(tǒng):資源創(chuàng)建與管理系 統(tǒng)、信息集成共享系統(tǒng)及數(shù)據(jù)交互應(yīng)用系統(tǒng)。從平臺的邏輯結(jié)構(gòu)考慮，平臺的總體結(jié)構(gòu)分為硬件層、數(shù)據(jù)層、服務(wù)層及應(yīng)用層， 如圖3所示。4.2資源創(chuàng)建與管理系統(tǒng)木系統(tǒng)主要實現(xiàn)各類常見地理空間數(shù)據(jù)的快速化處理和更新維護工作，并為自 擴展定制技術(shù)（裝配式gts系統(tǒng)）提供標準的數(shù)據(jù)服務(wù)。鑒于0前地理空間數(shù)據(jù) 最常用的是sup和dwg格

22、式數(shù)據(jù)，可以針對這兩類數(shù)據(jù)進行設(shè)計開發(fā)，即gis 環(huán)境和cad環(huán)境。gis環(huán)境主要對arc gis中shp、geodatabase等數(shù)據(jù)進行處 理;cad環(huán)境主要實現(xiàn)dwg與shp的格式轉(zhuǎn)換、dwg數(shù)據(jù)創(chuàng)建地圖服務(wù)等£立。系統(tǒng)可在.net框架下采用c/s結(jié)構(gòu)，采用c#語言，集成visual studio 2010、 arc gts engine 10. 0、arc gis server、auto cad 二次開發(fā)組件進行開發(fā)。系 統(tǒng)主要包括質(zhì)量檢查、格式轉(zhuǎn)換、數(shù)據(jù)編輯、數(shù)據(jù)輸出、數(shù)據(jù)入庫、數(shù)據(jù)歸檔、 地圖服務(wù)管理、系統(tǒng)管理及g1s通用功能。圖3地理時空大數(shù)據(jù)管理與應(yīng)用平臺總體結(jié)構(gòu)下載

23、原圖4.3信息集成共享系統(tǒng)本系統(tǒng)是平臺的核心部分，包含后臺數(shù)據(jù)與功能自定制系統(tǒng)、前臺數(shù)據(jù)展示與應(yīng) 用系統(tǒng)。后臺主要從數(shù)據(jù)源、數(shù)據(jù)展示方式、耍素操作方式、功能應(yīng)用、用戶權(quán) 限等方面配罝信息集成井享系統(tǒng)。前臺提供了 gis常見功能，實現(xiàn)地理空間數(shù)據(jù) 的集成展示、查詢定位、統(tǒng)計分析、輔助標注、疊加瀏覽、數(shù)據(jù)下載等功能。系 統(tǒng)功能結(jié)構(gòu)如圖4所示。圖4信息集成共享系統(tǒng)功能框架下載原圖系統(tǒng)可在.net框架下釆用基于s0a的b/s結(jié)構(gòu)搭建，釆用c#語言和visual studio 2010開發(fā)環(huán)境，集成gis技術(shù)、web service技術(shù)、ajax技術(shù)、 silvcrlight技術(shù)、0gc規(guī)范等多種技術(shù)手

24、段進行開發(fā)。為了提高信息集成共享系統(tǒng)的響應(yīng)速度與可交互性，提升用戶的操作體驗，系 統(tǒng)基于r1a，采用silverlight打造具有高響應(yīng)效率和良好操作體驗的富客戶端 程序。4.4數(shù)據(jù)交互應(yīng)用系統(tǒng)由于計算機輔助設(shè)計的主流軟件為auto cad平臺，90%以上的設(shè)計人員都采用 auto cad進行業(yè)務(wù)設(shè)計和成果編輯，為了讓地理空間數(shù)據(jù)服務(wù)在業(yè)務(wù)設(shè)計與成 果編制中發(fā)揮定位、查詢、統(tǒng)計、分析等作用，需開發(fā)在auto cad平臺下調(diào)用 地圖服務(wù)的功能接u，即數(shù)據(jù)交互應(yīng)用系統(tǒng)。esri公司為了能保持cad原有工作流程的同時，更好地分享和使用auto cad文 件中的地理信息，提供了一套開發(fā)組件auto c

25、ad for arc gis api。系統(tǒng)在.net 環(huán)境下，采用以msd標準框架為核心的auto cad for arc gts am組件，使用 auto cad. net api對auto cad應(yīng)用程序進行開發(fā)，將發(fā)布的地圖服務(wù)無縫加載 到auto cad制閣平臺m，同時能夠?qū)⒌亻w服務(wù)提供的數(shù)據(jù)資源與dwg數(shù)據(jù)屬性 進行掛接，實現(xiàn)了 autocad平臺下地圖服務(wù)的數(shù)據(jù)瀏覽、要素查詢及要素編輯。5結(jié)語本文方法已成功應(yīng)用于筆者所在單位的長沙市規(guī)劃交通勘測信息集成管理與應(yīng) 用共享平臺的項目建設(shè)屮。共享平臺將七大專業(yè)類別、數(shù)據(jù)格式各異、分散在不 同數(shù)據(jù)庫和服務(wù)器，且更新頻繁、反復(fù)利用的城市地理吋

26、空數(shù)據(jù)有效地進行組織 和管理9-10。平臺包含資源創(chuàng)建與管理系統(tǒng)、信息集成共享系統(tǒng)(前臺展示、 后臺定制)和數(shù)據(jù)交互應(yīng)用系統(tǒng)三大部分。采用b/s和c/s相結(jié)合的架構(gòu)，利用 富客戶端的地圖增強顯示技術(shù)，使用戶能夠快速獲取豐富的地圖數(shù)據(jù)資源;利用 地形圖、管線數(shù)據(jù)和影像圖的時間屬性，采取棊于時間幀的地理時空數(shù)據(jù)動態(tài)可 視化表達技術(shù)，實現(xiàn)了地理信息歷史數(shù)據(jù)回溯和地理實體動態(tài)演化過程;采用自 擴展定制技術(shù)開發(fā)的信息集成井享定制系統(tǒng)，能進行空間數(shù)據(jù)和平臺功能的自 定義，延伸了平臺的使用壽命。本文通過對城市地理時空數(shù)據(jù)特性的分析，針對不同的地理數(shù)據(jù)制定了相適應(yīng) 的管理方案，結(jié)合當前計算機新技術(shù)，將富客戶端技術(shù)、動態(tài)可視化技術(shù)和自擴 展定制技術(shù)應(yīng)用到地理時空大數(shù)據(jù)管