ArcGIS數(shù)據(jù)處理

1、ArcGIS數(shù)據(jù)處理Esri（中國）信息技術(shù)有限公司 張鳳總體流程前期數(shù)據(jù)處理指確定數(shù)據(jù)來源、進行數(shù)據(jù)格式轉(zhuǎn)換并進行數(shù)據(jù)整合，最終形成成果數(shù)據(jù)以供電子地圖使用；電子地圖配圖指導(dǎo)入成果數(shù)據(jù)套合 OneMap 地圖制圖模板從而完成電子地圖制作的過程；地圖服務(wù)發(fā)布指將制作好的電子地圖發(fā)布為服務(wù)以供第三方調(diào)用，并進行地圖緩存制作的過程。電子地圖制作與發(fā)布流程前期數(shù) 據(jù)處理 電子地 圖配圖 地圖服 務(wù)發(fā)布 電子地圖數(shù)據(jù)處理流程電子地圖數(shù)據(jù)處理主要包括數(shù)據(jù)獲取、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)整合、數(shù)據(jù)組織重構(gòu)、分類代碼轉(zhuǎn)換、興趣點數(shù)據(jù)處理、坐標投影變換、質(zhì)量檢查等步驟。數(shù)據(jù)處理 數(shù)學(xué)基礎(chǔ)：坐標系統(tǒng)為2000國家大地坐

2、標系，坐標單位為度 存儲與交換格式：生產(chǎn)過程中可采用通用的可交換格式存儲（如Esri shapefile 格式），建庫后采用所使用數(shù)據(jù)庫的格式 數(shù)據(jù)分層及屬性：參見400萬-5萬地理實體數(shù)據(jù)整合技術(shù)要求及本文附錄中1:1萬數(shù)據(jù)分層及屬性說明； 存儲單元：生產(chǎn)過程中的數(shù)據(jù)依據(jù)數(shù)據(jù)比例尺采用國家標準國家基本比例尺地形圖分幅和編號（GB/T 13989-92）分幅存儲，建庫后統(tǒng)一拼接； 數(shù)據(jù)要求 幾何精度：數(shù)據(jù)整合改造過程中應(yīng)保證與源數(shù)據(jù)精度一致，不得損失、破壞或降低原始數(shù)據(jù)精度；成果數(shù)據(jù)相鄰圖幅的要素要嚴格接邊，包括數(shù)據(jù)幾何接邊與屬性接邊。由于整合改造時所使用數(shù)據(jù)源不同而引起的相鄰圖幅無法接邊的情

3、況，需要在項目技術(shù)總結(jié)中說明； 屬性精度：保留原始數(shù)據(jù)屬性信息。 數(shù)據(jù)要求 Esri 提供了一套完全符合國家地理信息公共服務(wù)平臺規(guī)范的基于 ArcGIS File Geodatabase 的數(shù)據(jù)模型，在地圖制圖模板中也參照規(guī)范對坐標系統(tǒng)、數(shù)據(jù)分層及表達等進行了設(shè)置。 數(shù)據(jù)要求 矢量電子地圖數(shù)據(jù)通常來源于測繪部門的基礎(chǔ)地理信息數(shù)據(jù)，包括1:100萬、1:25萬、1:10萬、1:5萬、1:2.5萬、1:1萬、1:5000、1:2000、1:1000、1:500等不同比例尺，以及公共服務(wù)設(shè)施等專題地理信息。 確定數(shù)據(jù)來源后最關(guān)鍵的工作就是建立源數(shù)據(jù)與成果數(shù)據(jù)的分層對應(yīng)關(guān)系及要素選取轉(zhuǎn)換對照表。 數(shù)據(jù)

4、獲取ArcGIS中常用的數(shù)據(jù)格式轉(zhuǎn)換工具包括 轉(zhuǎn)換工具集（Conversion Tools） 數(shù)據(jù)互操作擴展模塊（Data Interoperability Tools） 數(shù)據(jù)轉(zhuǎn)換支持包括OGC規(guī)范數(shù)據(jù)格式WFS、KML格式轉(zhuǎn)換,多種柵格數(shù)據(jù)轉(zhuǎn)換，CAD、Collada、Coverage、dBASE、Shapefile、Geodatabase格式導(dǎo)出等。 轉(zhuǎn)換工具集 利用數(shù)據(jù)互操作（Data Interoperability）擴展模塊可實現(xiàn)超過100種數(shù)據(jù)格式的直接讀取，超過70種數(shù)據(jù)格式轉(zhuǎn)出，以及自定義格式的轉(zhuǎn)出。 數(shù)據(jù)互操作模塊數(shù)據(jù)整合 源數(shù)據(jù)轉(zhuǎn)為目標格式后，就可以按照分層對應(yīng)關(guān)系及要素選

5、取轉(zhuǎn)換對照表對數(shù)據(jù)進行整合處理了。 數(shù)據(jù)整合的過程較復(fù)雜，根據(jù)源數(shù)據(jù)與成果數(shù)據(jù)的關(guān)系數(shù)據(jù)整合處理可能涉及到數(shù)據(jù)提取、數(shù)據(jù)裁切、數(shù)據(jù)拼接等方法。數(shù)據(jù)提取是指將源數(shù)據(jù)圖層中的部分要素通過屬性篩選或空間過濾的方式提取到目標圖層中，例如將道路圖層中的高速公路、國省道提取出來。數(shù)據(jù)提取比較簡單的方法是將圖層加載到ArcMap中利用Selection菜單對要素進行選取：數(shù)據(jù)提取 數(shù)據(jù)裁切是指將源數(shù)據(jù)圖層中指定區(qū)域內(nèi)的數(shù)據(jù)導(dǎo)出到目標圖層中，并且導(dǎo)出的數(shù)據(jù)內(nèi)容與選取的多邊形要素類嚴格契合數(shù)據(jù)裁切 數(shù)據(jù)拼接是指將空間相鄰的數(shù)據(jù)拼接成為一個完整的目標數(shù)據(jù)。原始數(shù)據(jù)經(jīng)數(shù)據(jù)提取、裁切等操作后形成若干中間結(jié)果，要對這些

6、中間結(jié)果進行拼接形成最終結(jié)果要素類。拼接的前提是矢量數(shù)據(jù)經(jīng)過了嚴格的接邊，下面首先來介紹數(shù)據(jù)接邊操作。數(shù)據(jù)拼接數(shù)據(jù)接邊數(shù)據(jù)合并接邊后的數(shù)據(jù)可以通過數(shù)據(jù)合并來構(gòu)成一個整體。數(shù)據(jù)合并有多種方法，如Append、Merge、Load等。位于工具箱“Data Management Tools-General”下，Append可以將多個圖層的數(shù)據(jù)合并到一個已存在的目標圖層中。屬性傳遞有兩種模式：TEST和NO_TEST，其中TEST模式要求原始和目標圖層的屬性結(jié)構(gòu)一致，不一致將會報錯；NO_TEST模式不要求二者的屬性結(jié)構(gòu)一致，它以目標圖層的屬性結(jié)構(gòu)為準，原始圖層中與之不一致的屬性字段將會丟失，若想保留

7、原始圖層中的所有字段，在執(zhí)行該工具前要對目標圖層的屬性結(jié)構(gòu)進行處理，使其包含原始圖層的屬性，還可以在Field Map中通過字段映射建立原始與目標圖層中的屬性對應(yīng)關(guān)系。推薦采用NO_TEST模式。Append方法Append方法Merge工具位于工具箱“Data Management Tools-General”下，該工具也可以將多個圖層合并為一個，與Append不同的是它將結(jié)果生成了一個新的要素類，而不是合并到已存在的要素類當中。Merge方法Merge方法 在ArcCatalog中可以直接通過Load方法將其他要素類的內(nèi)容合并到當前要素類中。選中要與其他要素類進行合并的要素類，右鍵單擊Lo

8、ad-Load Data菜單命令，在彈出的對話框中選擇需要進行合并的要素類。Load方法數(shù)據(jù)組織重構(gòu)包括兩方面的內(nèi)容，數(shù)據(jù)分層命名和屬性結(jié)構(gòu)規(guī)整。 數(shù)據(jù)分層命名分為兩種情況，一種是經(jīng)過數(shù)據(jù)整合后的數(shù)據(jù)層與要求的數(shù)據(jù)層一一對應(yīng)，可直接按照命名規(guī)范進行修改；另一種是數(shù)據(jù)整合后的數(shù)據(jù)層與要求的數(shù)據(jù)層并不一一對應(yīng)，需要針對不同情況做相應(yīng)處理。 屬性結(jié)構(gòu)規(guī)整分為三步，首先按照規(guī)范的屬性字段及類型長度給由以上步驟所生成的數(shù)據(jù)層添加屬性項；其次是按照屬性值對應(yīng)關(guān)系將舊的屬性值賦到新屬性字段中；最后刪除舊屬性項。 數(shù)據(jù)組織重構(gòu)數(shù)據(jù)組織重構(gòu)屬性連接 OneMap地圖制圖模板中提供了分類代碼轉(zhuǎn)換工具，轉(zhuǎn)換時需要建

9、立分類代碼轉(zhuǎn)換表，建立GB/T 13923-1992分類代碼與 GB/T 13923-2006分類代碼的對應(yīng)關(guān)系，執(zhí)行工具完成轉(zhuǎn)換，該工具的使用詳見分類代碼轉(zhuǎn)換、Label換行和符號處理工具說明。分類代碼轉(zhuǎn)換 興趣點（POI）數(shù)據(jù)的用途大體上分為兩類：一類作為底圖供用戶瀏覽，一類作為業(yè)務(wù)數(shù)據(jù)供查詢、統(tǒng)計分析等使用。作為底圖的興趣點數(shù)據(jù)又包含兩種情況：一是單純作為底圖，如天地圖；二是提供底圖上的興趣點動態(tài)識別功能，如百度、搜狗地圖等。興趣點數(shù)據(jù)處理目前在ArcGIS中有三種點抽稀的方法： Maplex自動點抽稀 Subset點抽稀 Sub Points點抽稀ArcGIS中常用的點抽稀方法Mapl

10、ex是ArcGIS的高級智能標注引擎，利用Maplex的牽引線標注，將Symbol作為label顯示，從而使點符號與文字標注綁定在一起，通過調(diào)整闕值自動進行標注間避讓，計算出地圖上所有標注的最佳放置位置，達到點抽稀的目的。Maplex點抽稀方法的優(yōu)點是自動化、方便快捷，只需對圖層標注樣式進行設(shè)置就可以自動完成點抽稀。缺點是作牽引線標注后點符號的中心與實際點位存在半個符號的偏差。如果POI單純用于底圖瀏覽，并且對數(shù)據(jù)精度沒有特別高的要求可以采用這種方式。Maplex自動點抽稀如果POI單純用于底圖瀏覽，并且對數(shù)據(jù)精度沒有特別高的要求可以采用這種方式。Subset Features工具是ArcGI

11、S地統(tǒng)計分析模塊的一個工具，該工具可將數(shù)據(jù)按照百分比進行抽稀，生成兩個結(jié)果數(shù)據(jù)集，一個是抽稀后保留的數(shù)據(jù)，另一個是互補的那一部分數(shù)據(jù)。Subset點抽稀用Subset工具執(zhí)行效率較高，但該方法保持了原圖的疏密程度，并不能使數(shù)據(jù)均勻分布，原有數(shù)據(jù)密度高的地方抽稀后還是較密，因此單純利用該工具難以實現(xiàn)底圖上的抽稀效果。Sub Points工具是Esri中國自主開發(fā)的一個插件，該工具優(yōu)先考慮點在空間分布上的均勻合理性，并結(jié)合點數(shù)據(jù)中包含的“優(yōu)先級”屬性進行篩選。Sub Points點抽稀對于大數(shù)據(jù)量POI，為了兼顧圖面效果、數(shù)據(jù)精確性以及執(zhí)行效率，我們可以采用Subset與Sub Points相結(jié)合

12、的方法。首先通過Subset方法進行空間上的抽稀以減少數(shù)據(jù)量，再利用Sub Points方法進行抽稀以達到較好的制圖效果動態(tài)投影l(fā) 定義坐標系統(tǒng)（Define Projection）l 投影變換（Project）l 創(chuàng)建自定義地理變換（Create Custom Geographic Transformation）投影變換定義坐標系統(tǒng)投影變換創(chuàng)建自定義地理變換數(shù)據(jù)質(zhì)檢l 數(shù)據(jù)是GIS的基礎(chǔ)和源頭，甚至某種程度上決定了GIS的成敗，這使得對GIS數(shù)據(jù)進行質(zhì)量控制顯得尤為重要和關(guān)鍵。l 在電子地圖的制作和展示方面，數(shù)據(jù)質(zhì)量直接影響著地圖的渲染效率和制圖效果，因此在數(shù)據(jù)處理的整個過程中都要進行質(zhì)量控

13、制。質(zhì)檢的重要性幾何檢查與修復(fù)ArcGIS在數(shù)據(jù)管理工具箱中提供了對要素類中每個要素的幾何問題進行自動檢查與修復(fù)的相關(guān)工具，能發(fā)現(xiàn)的幾何問題包括：短線段、空幾何、不正確的環(huán)走向、不正確的線段方向、自相交、重復(fù)節(jié)點、非閉合環(huán)、空的部分、不匹配的屬性、不連續(xù)的部分、空的 Z 值。有效的輸入格式包括 shapefile 以及存儲在個人地理數(shù)據(jù)庫或文件地理數(shù)據(jù)庫中的要素類。邏輯關(guān)系檢查重復(fù)數(shù)據(jù)處理Delete Identical方法 Point Distance找重疊點拓撲檢查 在ArcGIS中除了可通過Geodatabase屬性域、子類型的設(shè)置有效保證屬性字段質(zhì)量外，還可通過對屬性表的相關(guān)操作處理，

14、完成對屬性字段和內(nèi)容的相關(guān)檢查處理。屬性檢查構(gòu)建路網(wǎng)數(shù)據(jù)1、國家標準2、高德數(shù)據(jù)路網(wǎng)數(shù)據(jù)要求路網(wǎng)數(shù)據(jù)分級路網(wǎng)分析服務(wù)影像底圖生產(chǎn)影像服務(wù)的兩種方式：各有優(yōu)劣：Image service cacheSave time on overview generation, fast in generating cache tilesOne service serve both dynamic and cached serviceMap service cacheCan combine cache with feature layer for metadataBuilding overviews for

15、mosaic dataset takes additional timeArcGIS+ENVI影像底圖生產(chǎn)ArcGIS的切片生產(chǎn)基于ENVI的解決方案：方案一：ArcGIS+ENVI1 鑲嵌方案一：實際生產(chǎn)案例系統(tǒng)Windows 7 64位位內(nèi)存內(nèi)存16GB航片景數(shù)：航片景數(shù)：1675景景空間分辨率：空間分辨率：0.25米米數(shù)據(jù)總量：數(shù)據(jù)總量：200GB鑲嵌所用時間：鑲嵌所用時間：4小時小時定義投影方案一：實際生產(chǎn)案例2重采樣：脫分辨率處理的本質(zhì)就是對影像進行重采樣，獲取不同空間分辨率的底圖，從而可以滿足不同級別的瓦片需求。而脫分辨率處理同樣有可能會導(dǎo)致壞點的出現(xiàn)，ENVI提供了三種重采樣方法

16、：最近鄰域法、雙線性內(nèi)插法、三次卷積。在處理中，建議選擇最近鄰域法，能最大程度避免壞點的重新出現(xiàn)。并且可以定制批處理工具，從而提高生產(chǎn)效率，減少人工投入量。方案一：實際生產(chǎn)案例3重投影：由于不同地區(qū)、不同單位都有自身的投影標準，在底圖生產(chǎn)中，需要對航片數(shù)據(jù)進行重投影操作。如下圖所示為ENVI 5.0提供的重投影工具，但是在處理結(jié)果中有可能出現(xiàn)Nodata（ArcGIS中）的情況。為了避免這種情況的發(fā)生，我們可以利用ENVI提供的API進行重投影工具的定制與開發(fā)，并且可以實現(xiàn)批處理操作。方案一：實際生產(chǎn)案例4坐標偏移：在地方坐標系中，可能與標準坐標系存在偏差。比如需要對整個影像向某個方向平移一段

17、距離。這項處理使用ENVI可以快速完成，用戶只需要手動修改ENVI柵格數(shù)據(jù)的hdr頭文件中的坐標信息即可。方案一：實際生產(chǎn)案例5發(fā)布服務(wù)并切圖：將通過ENVI前面五步處理好的影像添加到mxd中，選擇對應(yīng)schema，啟動切圖方案一：實際生產(chǎn)案例6大數(shù)據(jù)鑲嵌預(yù)處理數(shù)據(jù)脫密投影變換去除黑邊去除空洞創(chuàng)建概視發(fā)布服務(wù)調(diào)整參數(shù)生成切片方案二：ENVI+ArcGIS Mosaic Dataset創(chuàng)建MD，指定坐標系，會進行投影變換。加入鑲嵌數(shù)據(jù)集的影像將會最終被實時投影為目標影像方案二：實際生產(chǎn)案例1數(shù)據(jù)脫密：使用地理配準工具條【更新地理配準】方案二：實際生產(chǎn)案例2去除黑邊：1、設(shè)置無效值，MosaicD

18、ataset右鍵ModifyDefine NoData；2、計算Footprint或者導(dǎo)入Boundary，MosaicDataset右鍵ModifyBuildFootprints 最小數(shù)據(jù)值和最大數(shù)據(jù)值，定義了影像數(shù)據(jù)集的有效像素值。 近似擬點數(shù)，追蹤輪廓線的點數(shù)，點數(shù)越多和邊界疊合的越好。 收縮距離，輪廓線向內(nèi)收縮的距離，幫助你更好的去除邊緣無效區(qū)域。 方案二：實際生產(chǎn)案例3去除空洞：使用Streach函數(shù)。方案二：實際生產(chǎn)案例4創(chuàng)建Overview：相當于單景影像的金字塔.使用10.1及以上版本的影像服務(wù)切圖，則可以省略O(shè)verview構(gòu)建的步驟方案二：實際生產(chǎn)案例5發(fā)布服務(wù)并切圖：將通過Mosaic前面五步處理好的影像添加到mxd中，選擇對應(yīng)schem