ArcGIS數(shù)據(jù)處理

1、ArcGIS數(shù)據(jù)處理Esri（中國(guó)）信息技術(shù)有限公司 張鳳總體流程前期數(shù)據(jù)處理指確定數(shù)據(jù)來源、進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換并進(jìn)行數(shù)據(jù)整合，最終形成成果數(shù)據(jù)以供電子地圖使用；電子地圖配圖指導(dǎo)入成果數(shù)據(jù)套合 OneMap 地圖制圖模板從而完成電子地圖制作的過程；地圖服務(wù)發(fā)布指將制作好的電子地圖發(fā)布為服務(wù)以供第三方調(diào)用，并進(jìn)行地圖緩存制作的過程。電子地圖制作與發(fā)布流程前期數(shù) 據(jù)處理 電子地 圖配圖 地圖服 務(wù)發(fā)布 電子地圖數(shù)據(jù)處理流程電子地圖數(shù)據(jù)處理主要包括數(shù)據(jù)獲取、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)整合、數(shù)據(jù)組織重構(gòu)、分類代碼轉(zhuǎn)換、興趣點(diǎn)數(shù)據(jù)處理、坐標(biāo)投影變換、質(zhì)量檢查等步驟。數(shù)據(jù)處理 數(shù)學(xué)基礎(chǔ)：坐標(biāo)系統(tǒng)為2000國(guó)家大地坐

2、標(biāo)系，坐標(biāo)單位為度 存儲(chǔ)與交換格式：生產(chǎn)過程中可采用通用的可交換格式存儲(chǔ)（如Esri shapefile 格式），建庫后采用所使用數(shù)據(jù)庫的格式 數(shù)據(jù)分層及屬性：參見400萬-5萬地理實(shí)體數(shù)據(jù)整合技術(shù)要求及本文附錄中1:1萬數(shù)據(jù)分層及屬性說明； 存儲(chǔ)單元：生產(chǎn)過程中的數(shù)據(jù)依據(jù)數(shù)據(jù)比例尺采用國(guó)家標(biāo)準(zhǔn)國(guó)家基本比例尺地形圖分幅和編號(hào)（GB/T 13989-92）分幅存儲(chǔ)，建庫后統(tǒng)一拼接； 數(shù)據(jù)要求 幾何精度：數(shù)據(jù)整合改造過程中應(yīng)保證與源數(shù)據(jù)精度一致，不得損失、破壞或降低原始數(shù)據(jù)精度；成果數(shù)據(jù)相鄰圖幅的要素要嚴(yán)格接邊，包括數(shù)據(jù)幾何接邊與屬性接邊。由于整合改造時(shí)所使用數(shù)據(jù)源不同而引起的相鄰圖幅無法接邊的情

3、況，需要在項(xiàng)目技術(shù)總結(jié)中說明； 屬性精度：保留原始數(shù)據(jù)屬性信息。 數(shù)據(jù)要求 Esri 提供了一套完全符合國(guó)家地理信息公共服務(wù)平臺(tái)規(guī)范的基于 ArcGIS File Geodatabase 的數(shù)據(jù)模型，在地圖制圖模板中也參照規(guī)范對(duì)坐標(biāo)系統(tǒng)、數(shù)據(jù)分層及表達(dá)等進(jìn)行了設(shè)置。 數(shù)據(jù)要求 矢量電子地圖數(shù)據(jù)通常來源于測(cè)繪部門的基礎(chǔ)地理信息數(shù)據(jù)，包括1:100萬、1:25萬、1:10萬、1:5萬、1:2.5萬、1:1萬、1:5000、1:2000、1:1000、1:500等不同比例尺，以及公共服務(wù)設(shè)施等專題地理信息。 確定數(shù)據(jù)來源后最關(guān)鍵的工作就是建立源數(shù)據(jù)與成果數(shù)據(jù)的分層對(duì)應(yīng)關(guān)系及要素選取轉(zhuǎn)換對(duì)照表。 數(shù)據(jù)

4、獲取ArcGIS中常用的數(shù)據(jù)格式轉(zhuǎn)換工具包括 轉(zhuǎn)換工具集（Conversion Tools） 數(shù)據(jù)互操作擴(kuò)展模塊（Data Interoperability Tools） 數(shù)據(jù)轉(zhuǎn)換支持包括OGC規(guī)范數(shù)據(jù)格式WFS、KML格式轉(zhuǎn)換,多種柵格數(shù)據(jù)轉(zhuǎn)換，CAD、Collada、Coverage、dBASE、Shapefile、Geodatabase格式導(dǎo)出等。 轉(zhuǎn)換工具集 利用數(shù)據(jù)互操作（Data Interoperability）擴(kuò)展模塊可實(shí)現(xiàn)超過100種數(shù)據(jù)格式的直接讀取，超過70種數(shù)據(jù)格式轉(zhuǎn)出，以及自定義格式的轉(zhuǎn)出。 數(shù)據(jù)互操作模塊數(shù)據(jù)整合 源數(shù)據(jù)轉(zhuǎn)為目標(biāo)格式后，就可以按照分層對(duì)應(yīng)關(guān)系及要素選

5、取轉(zhuǎn)換對(duì)照表對(duì)數(shù)據(jù)進(jìn)行整合處理了。 數(shù)據(jù)整合的過程較復(fù)雜，根據(jù)源數(shù)據(jù)與成果數(shù)據(jù)的關(guān)系數(shù)據(jù)整合處理可能涉及到數(shù)據(jù)提取、數(shù)據(jù)裁切、數(shù)據(jù)拼接等方法。數(shù)據(jù)提取是指將源數(shù)據(jù)圖層中的部分要素通過屬性篩選或空間過濾的方式提取到目標(biāo)圖層中，例如將道路圖層中的高速公路、國(guó)省道提取出來。數(shù)據(jù)提取比較簡(jiǎn)單的方法是將圖層加載到ArcMap中利用Selection菜單對(duì)要素進(jìn)行選取：數(shù)據(jù)提取 數(shù)據(jù)裁切是指將源數(shù)據(jù)圖層中指定區(qū)域內(nèi)的數(shù)據(jù)導(dǎo)出到目標(biāo)圖層中，并且導(dǎo)出的數(shù)據(jù)內(nèi)容與選取的多邊形要素類嚴(yán)格契合數(shù)據(jù)裁切 數(shù)據(jù)拼接是指將空間相鄰的數(shù)據(jù)拼接成為一個(gè)完整的目標(biāo)數(shù)據(jù)。原始數(shù)據(jù)經(jīng)數(shù)據(jù)提取、裁切等操作后形成若干中間結(jié)果，要對(duì)這些

6、中間結(jié)果進(jìn)行拼接形成最終結(jié)果要素類。拼接的前提是矢量數(shù)據(jù)經(jīng)過了嚴(yán)格的接邊，下面首先來介紹數(shù)據(jù)接邊操作。數(shù)據(jù)拼接數(shù)據(jù)接邊數(shù)據(jù)合并接邊后的數(shù)據(jù)可以通過數(shù)據(jù)合并來構(gòu)成一個(gè)整體。數(shù)據(jù)合并有多種方法，如Append、Merge、Load等。位于工具箱“Data Management Tools-General”下，Append可以將多個(gè)圖層的數(shù)據(jù)合并到一個(gè)已存在的目標(biāo)圖層中。屬性傳遞有兩種模式：TEST和NO_TEST，其中TEST模式要求原始和目標(biāo)圖層的屬性結(jié)構(gòu)一致，不一致將會(huì)報(bào)錯(cuò)；NO_TEST模式不要求二者的屬性結(jié)構(gòu)一致，它以目標(biāo)圖層的屬性結(jié)構(gòu)為準(zhǔn)，原始圖層中與之不一致的屬性字段將會(huì)丟失，若想保留

7、原始圖層中的所有字段，在執(zhí)行該工具前要對(duì)目標(biāo)圖層的屬性結(jié)構(gòu)進(jìn)行處理，使其包含原始圖層的屬性，還可以在Field Map中通過字段映射建立原始與目標(biāo)圖層中的屬性對(duì)應(yīng)關(guān)系。推薦采用NO_TEST模式。Append方法Append方法Merge工具位于工具箱“Data Management Tools-General”下，該工具也可以將多個(gè)圖層合并為一個(gè)，與Append不同的是它將結(jié)果生成了一個(gè)新的要素類，而不是合并到已存在的要素類當(dāng)中。Merge方法Merge方法 在ArcCatalog中可以直接通過Load方法將其他要素類的內(nèi)容合并到當(dāng)前要素類中。選中要與其他要素類進(jìn)行合并的要素類，右鍵單擊Lo

8、ad-Load Data菜單命令，在彈出的對(duì)話框中選擇需要進(jìn)行合并的要素類。Load方法數(shù)據(jù)組織重構(gòu)包括兩方面的內(nèi)容，數(shù)據(jù)分層命名和屬性結(jié)構(gòu)規(guī)整。 數(shù)據(jù)分層命名分為兩種情況，一種是經(jīng)過數(shù)據(jù)整合后的數(shù)據(jù)層與要求的數(shù)據(jù)層一一對(duì)應(yīng)，可直接按照命名規(guī)范進(jìn)行修改；另一種是數(shù)據(jù)整合后的數(shù)據(jù)層與要求的數(shù)據(jù)層并不一一對(duì)應(yīng)，需要針對(duì)不同情況做相應(yīng)處理。 屬性結(jié)構(gòu)規(guī)整分為三步，首先按照規(guī)范的屬性字段及類型長(zhǎng)度給由以上步驟所生成的數(shù)據(jù)層添加屬性項(xiàng)；其次是按照屬性值對(duì)應(yīng)關(guān)系將舊的屬性值賦到新屬性字段中；最后刪除舊屬性項(xiàng)。 數(shù)據(jù)組織重構(gòu)數(shù)據(jù)組織重構(gòu)屬性連接 OneMap地圖制圖模板中提供了分類代碼轉(zhuǎn)換工具，轉(zhuǎn)換時(shí)需要建

9、立分類代碼轉(zhuǎn)換表，建立GB/T 13923-1992分類代碼與 GB/T 13923-2006分類代碼的對(duì)應(yīng)關(guān)系，執(zhí)行工具完成轉(zhuǎn)換，該工具的使用詳見分類代碼轉(zhuǎn)換、Label換行和符號(hào)處理工具說明。分類代碼轉(zhuǎn)換 興趣點(diǎn)（POI）數(shù)據(jù)的用途大體上分為兩類：一類作為底圖供用戶瀏覽，一類作為業(yè)務(wù)數(shù)據(jù)供查詢、統(tǒng)計(jì)分析等使用。作為底圖的興趣點(diǎn)數(shù)據(jù)又包含兩種情況：一是單純作為底圖，如天地圖；二是提供底圖上的興趣點(diǎn)動(dòng)態(tài)識(shí)別功能，如百度、搜狗地圖等。興趣點(diǎn)數(shù)據(jù)處理目前在ArcGIS中有三種點(diǎn)抽稀的方法： Maplex自動(dòng)點(diǎn)抽稀 Subset點(diǎn)抽稀 Sub Points點(diǎn)抽稀ArcGIS中常用的點(diǎn)抽稀方法Mapl

10、ex是ArcGIS的高級(jí)智能標(biāo)注引擎，利用Maplex的牽引線標(biāo)注，將Symbol作為label顯示，從而使點(diǎn)符號(hào)與文字標(biāo)注綁定在一起，通過調(diào)整闕值自動(dòng)進(jìn)行標(biāo)注間避讓，計(jì)算出地圖上所有標(biāo)注的最佳放置位置，達(dá)到點(diǎn)抽稀的目的。Maplex點(diǎn)抽稀方法的優(yōu)點(diǎn)是自動(dòng)化、方便快捷，只需對(duì)圖層標(biāo)注樣式進(jìn)行設(shè)置就可以自動(dòng)完成點(diǎn)抽稀。缺點(diǎn)是作牽引線標(biāo)注后點(diǎn)符號(hào)的中心與實(shí)際點(diǎn)位存在半個(gè)符號(hào)的偏差。如果POI單純用于底圖瀏覽，并且對(duì)數(shù)據(jù)精度沒有特別高的要求可以采用這種方式。Maplex自動(dòng)點(diǎn)抽稀如果POI單純用于底圖瀏覽，并且對(duì)數(shù)據(jù)精度沒有特別高的要求可以采用這種方式。Subset Features工具是ArcGI

11、S地統(tǒng)計(jì)分析模塊的一個(gè)工具，該工具可將數(shù)據(jù)按照百分比進(jìn)行抽稀，生成兩個(gè)結(jié)果數(shù)據(jù)集，一個(gè)是抽稀后保留的數(shù)據(jù)，另一個(gè)是互補(bǔ)的那一部分?jǐn)?shù)據(jù)。Subset點(diǎn)抽稀用Subset工具執(zhí)行效率較高，但該方法保持了原圖的疏密程度，并不能使數(shù)據(jù)均勻分布，原有數(shù)據(jù)密度高的地方抽稀后還是較密，因此單純利用該工具難以實(shí)現(xiàn)底圖上的抽稀效果。Sub Points工具是Esri中國(guó)自主開發(fā)的一個(gè)插件，該工具優(yōu)先考慮點(diǎn)在空間分布上的均勻合理性，并結(jié)合點(diǎn)數(shù)據(jù)中包含的“優(yōu)先級(jí)”屬性進(jìn)行篩選。Sub Points點(diǎn)抽稀對(duì)于大數(shù)據(jù)量POI，為了兼顧圖面效果、數(shù)據(jù)精確性以及執(zhí)行效率，我們可以采用Subset與Sub Points相結(jié)合

12、的方法。首先通過Subset方法進(jìn)行空間上的抽稀以減少數(shù)據(jù)量，再利用Sub Points方法進(jìn)行抽稀以達(dá)到較好的制圖效果動(dòng)態(tài)投影l(fā) 定義坐標(biāo)系統(tǒng)（Define Projection）l 投影變換（Project）l 創(chuàng)建自定義地理變換（Create Custom Geographic Transformation）投影變換定義坐標(biāo)系統(tǒng)投影變換創(chuàng)建自定義地理變換數(shù)據(jù)質(zhì)檢l 數(shù)據(jù)是GIS的基礎(chǔ)和源頭，甚至某種程度上決定了GIS的成敗，這使得對(duì)GIS數(shù)據(jù)進(jìn)行質(zhì)量控制顯得尤為重要和關(guān)鍵。l 在電子地圖的制作和展示方面，數(shù)據(jù)質(zhì)量直接影響著地圖的渲染效率和制圖效果，因此在數(shù)據(jù)處理的整個(gè)過程中都要進(jìn)行質(zhì)量控

13、制。質(zhì)檢的重要性幾何檢查與修復(fù)ArcGIS在數(shù)據(jù)管理工具箱中提供了對(duì)要素類中每個(gè)要素的幾何問題進(jìn)行自動(dòng)檢查與修復(fù)的相關(guān)工具，能發(fā)現(xiàn)的幾何問題包括：短線段、空幾何、不正確的環(huán)走向、不正確的線段方向、自相交、重復(fù)節(jié)點(diǎn)、非閉合環(huán)、空的部分、不匹配的屬性、不連續(xù)的部分、空的 Z 值。有效的輸入格式包括 shapefile 以及存儲(chǔ)在個(gè)人地理數(shù)據(jù)庫或文件地理數(shù)據(jù)庫中的要素類。邏輯關(guān)系檢查重復(fù)數(shù)據(jù)處理Delete Identical方法 Point Distance找重疊點(diǎn)拓?fù)錂z查 在ArcGIS中除了可通過Geodatabase屬性域、子類型的設(shè)置有效保證屬性字段質(zhì)量外，還可通過對(duì)屬性表的相關(guān)操作處理，

14、完成對(duì)屬性字段和內(nèi)容的相關(guān)檢查處理。屬性檢查構(gòu)建路網(wǎng)數(shù)據(jù)1、國(guó)家標(biāo)準(zhǔn)2、高德數(shù)據(jù)路網(wǎng)數(shù)據(jù)要求路網(wǎng)數(shù)據(jù)分級(jí)路網(wǎng)分析服務(wù)影像底圖生產(chǎn)影像服務(wù)的兩種方式：各有優(yōu)劣：Image service cacheSave time on overview generation, fast in generating cache tilesOne service serve both dynamic and cached serviceMap service cacheCan combine cache with feature layer for metadataBuilding overviews for

15、mosaic dataset takes additional timeArcGIS+ENVI影像底圖生產(chǎn)ArcGIS的切片生產(chǎn)基于ENVI的解決方案：方案一：ArcGIS+ENVI1 鑲嵌方案一：實(shí)際生產(chǎn)案例系統(tǒng)Windows 7 64位位內(nèi)存內(nèi)存16GB航片景數(shù)：航片景數(shù)：1675景景空間分辨率：空間分辨率：0.25米米數(shù)據(jù)總量：數(shù)據(jù)總量：200GB鑲嵌所用時(shí)間：鑲嵌所用時(shí)間：4小時(shí)小時(shí)定義投影方案一：實(shí)際生產(chǎn)案例2重采樣：脫分辨率處理的本質(zhì)就是對(duì)影像進(jìn)行重采樣，獲取不同空間分辨率的底圖，從而可以滿足不同級(jí)別的瓦片需求。而脫分辨率處理同樣有可能會(huì)導(dǎo)致壞點(diǎn)的出現(xiàn)，ENVI提供了三種重采樣方法

16、：最近鄰域法、雙線性內(nèi)插法、三次卷積。在處理中，建議選擇最近鄰域法，能最大程度避免壞點(diǎn)的重新出現(xiàn)。并且可以定制批處理工具，從而提高生產(chǎn)效率，減少人工投入量。方案一：實(shí)際生產(chǎn)案例3重投影：由于不同地區(qū)、不同單位都有自身的投影標(biāo)準(zhǔn)，在底圖生產(chǎn)中，需要對(duì)航片數(shù)據(jù)進(jìn)行重投影操作。如下圖所示為ENVI 5.0提供的重投影工具，但是在處理結(jié)果中有可能出現(xiàn)Nodata（ArcGIS中）的情況。為了避免這種情況的發(fā)生，我們可以利用ENVI提供的API進(jìn)行重投影工具的定制與開發(fā)，并且可以實(shí)現(xiàn)批處理操作。方案一：實(shí)際生產(chǎn)案例4坐標(biāo)偏移：在地方坐標(biāo)系中，可能與標(biāo)準(zhǔn)坐標(biāo)系存在偏差。比如需要對(duì)整個(gè)影像向某個(gè)方向平移一段

17、距離。這項(xiàng)處理使用ENVI可以快速完成，用戶只需要手動(dòng)修改ENVI柵格數(shù)據(jù)的hdr頭文件中的坐標(biāo)信息即可。方案一：實(shí)際生產(chǎn)案例5發(fā)布服務(wù)并切圖：將通過ENVI前面五步處理好的影像添加到mxd中，選擇對(duì)應(yīng)schema，啟動(dòng)切圖方案一：實(shí)際生產(chǎn)案例6大數(shù)據(jù)鑲嵌預(yù)處理數(shù)據(jù)脫密投影變換去除黑邊去除空洞創(chuàng)建概視發(fā)布服務(wù)調(diào)整參數(shù)生成切片方案二：ENVI+ArcGIS Mosaic Dataset創(chuàng)建MD，指定坐標(biāo)系，會(huì)進(jìn)行投影變換。加入鑲嵌數(shù)據(jù)集的影像將會(huì)最終被實(shí)時(shí)投影為目標(biāo)影像方案二：實(shí)際生產(chǎn)案例1數(shù)據(jù)脫密：使用地理配準(zhǔn)工具條【更新地理配準(zhǔn)】方案二：實(shí)際生產(chǎn)案例2去除黑邊：1、設(shè)置無效值，MosaicD

18、ataset右鍵ModifyDefine NoData；2、計(jì)算Footprint或者導(dǎo)入Boundary，MosaicDataset右鍵ModifyBuildFootprints 最小數(shù)據(jù)值和最大數(shù)據(jù)值，定義了影像數(shù)據(jù)集的有效像素值。 近似擬點(diǎn)數(shù)，追蹤輪廓線的點(diǎn)數(shù)，點(diǎn)數(shù)越多和邊界疊合的越好。 收縮距離，輪廓線向內(nèi)收縮的距離，幫助你更好的去除邊緣無效區(qū)域。 方案二：實(shí)際生產(chǎn)案例3去除空洞：使用Streach函數(shù)。方案二：實(shí)際生產(chǎn)案例4創(chuàng)建Overview：相當(dāng)于單景影像的金字塔.使用10.1及以上版本的影像服務(wù)切圖，則可以省略O(shè)verview構(gòu)建的步驟方案二：實(shí)際生產(chǎn)案例5發(fā)布服務(wù)并切圖：將通過Mosaic前面五步處理好的影像添加到mxd中，選擇對(duì)應(yīng)schem