空間數據的質量控制

第七章空間數據的質量控制GeographicDatabaseQueryandAnalysisSpatialDataInputandManagementOutput:DisplayHelpPrevent“Garbagein，Garbageout！”GIS一、空間數據質量1.空間數據質量的定義空間數據質量是指數據適用于不同應用的能力空間位置、專題特性以及時間是表達現實世界空間變化的三個基本要素。數據質量則是空間數據在表達這三個基本要素時,所能夠達到的準確性、一致性、完整性以及它們三者之間統(tǒng)一性的程度。完整性:能否完全地表達要描述的給定目標空間數據質量的好壞是一個相對概念2.數據質量的描述框架導致數據質量問題的十大原因：多重數據源數據生產中主觀的判斷與技術過松或過嚴的輸入規(guī)則大量的數據分布式異構系統(tǒng)復雜的數據表達，如文本和圖像不同功能領域的編碼數據客戶改變數據需求安全與可訪問性的權限有限的計算資源數據質量主要側重問題：數據的可信度，這是在數據生產過程中形成的質量，為本征質量數據的可用度，從用戶或數據共享的角度出發(fā)描述數據質量，將用戶要求的滿意程度作為衡量數據質量的重要指標，此時的數據質量表現為滿足使用要求的相對狀態(tài)（1）數據可信度精確性完整性一致性有效性唯一性精確性數據的準確度:被定義為結果、計算值或估計值與真實值或者大家公認的真值的接近程度。即一個記錄值(測量或觀察值)與它的真實值之間的接近程度。它可用誤差來衡量。數據的精密度：數據表示的精密程度,用數據的有效位數來表示,它表現了測量值本身的離散程度。數據的精確度：精密度的實質在于它對數據準確度的影響,同時在很多情況下,它可以通過準確度而得到體現,故常把二者結合在一起稱為精確度,簡稱精度,即對現象描述的詳細程度。精度低的數據并不一定準確度也低.完整性指地理數據在范圍、內容和結構等方面滿足所有要求的完整程度，包括數據范圍、空間實體類型、空間關系分類、屬性特征分類等方面的完整性。一致性：指地理數據關系上的可靠性，包括數據結構、數據內容，以及拓撲性質上的內在一致性有效性：數據是否具有實際意義唯一性：數據記錄與特征信息是否存在一一對應關系（2）數據可用度時間性：數據的現勢性，穩(wěn)定性可得性：來源、版權、使用期限滿意度：是否滿意、是否清晰易懂、能否動態(tài)擴充3.影響空間數據質量的原因數據處理過程誤差來源數據搜集野外測量誤差：儀器誤差、記錄誤差遙感數據誤差：輻射和幾何糾正誤差、信息提取誤差地圖數據誤差：原始數據誤差、坐標轉換、制圖綜合及印刷數據輸入數字化誤差：儀器誤差、操作誤差不同系統(tǒng)格式轉換誤差：柵格-矢量轉換、三角網-等值線轉換數據存儲數值精度不夠空間精度不夠：每個格網點太大、地圖最小制圖單元太大

數據處理分類間隔不合理多層數據疊合引起的誤差傳播：插值誤差、多源數據綜合分析誤差比例尺太小引起的誤差數據輸出輸出設備不精確引起的誤差輸出的媒介不穩(wěn)定造成的誤差數據使用對數據所包含的信息的誤解對數據信息使用不當（1）空間現象自身的不穩(wěn)定性（2）空間數據生產中的誤差系統(tǒng)誤差：在相同的測量條件下的測量值序列中數值、符號保持不變或按某確定規(guī)律變化的測量誤差隨機誤差：在實際相同條件下，多次測量同一量值時，其絕對值和符號無法預計的測量誤差粗差：在相同的測量條件下的測量值序列中，超過三倍中誤差的測量誤差常見空間數據誤差分析邏輯誤差：數據的不完整性是通過上述四類誤差反映出來的。事實上檢查邏輯誤差,有助于發(fā)現不完整的數據和其他三類誤差。對數據進行質量控制或質量保證或質量評價,一般先從數據的邏輯性檢查人手。(2)幾何誤差。由于地圖是以二維平面坐標表示位置,在二維平面上的幾何誤差主要反映在點和線上。a.點誤差。

關于某點的點誤差即為測量位置(x,y)與其真實位置(x0,y0)的差異。坐標誤差定義為:

Δx=x-x0

Δy=y-y0為了衡量整個數據采集區(qū)域或制圖區(qū)域內的點誤差,一般采用抽樣測算(Δx,Δy)。抽樣點應隨機分布于數據采集區(qū)內,并具有代表性。這樣抽樣點越多,所測的誤差分布就越接近于點誤差的真實分布。b.線誤差。線在系統(tǒng)數據庫中既可表示線性現象,又可以通過連成的多邊形表示面狀現象。第一類：線在真實世界中是可以找到的,如道路、河流、行政界線等,這類線性特征的誤差主要產生于測量和對數據的后處理;第二類：現實世界中找不到的,如按數學投影定義的經緯線、等高線、氣候區(qū)劃線和土壤類型界限等,這類線性特征的線誤差,被稱為解譯誤差。

解譯誤差與屬性誤差直接相關,若沒有屬性誤差,則可以認為那些類型界線是準確的,因而解譯誤差為零。數據質量的描述通常分為不同層次，但目前尚未形成用于表示這種層次性的統(tǒng)一術語確?？臻g數據質量難度較大：不同的數據來源、數據源的專業(yè)性和獨立性在統(tǒng)一的地理框架下建立跨系統(tǒng)、跨部門的統(tǒng)一用戶視圖，清理、合并數據對數據質量解決方案的實施至關重要遙感數據獲取誤差是獲取數據的過程中受自然條件及衛(wèi)星的成圖成像系統(tǒng)影響所造成的誤差處理誤差是利用地面控制點對原始數據進行幾何校正、圖像增強和分類等引起的誤差轉換誤差一般是在矢量與柵格數據轉換過程中形成的人工判讀誤差：解析和判讀時產生（3）空間數據處理中的誤差投影變換地圖數字化和掃描后的矢量化處理數據格式轉換數據抽象建立拓撲關系與主控數據層的匹配數據疊加操作和更新數據集成處理數據的可視化表達數據處理過程中誤差的傳遞和擴散（4）數據組織時產生的質量問題數據組織時的質量問題可能出在單個或多個數據集合中與數據記錄本身相關的質量問題，稱為實例相關問題；與數據組織關系有關的質量問題，稱為模式相關問題數據組織中產生的質量問題主要是由于缺乏合適的數據模型或滿足特定應用的完整性約束而引起的典型的實例相關問題空缺值拼寫問題內嵌數據屬性依賴沖突數據重復二、質量控制體系1.質量管理體系2.質量標準體系空間數據質量標準是生產、使用和評價空間數據的依據。目前,世界上已建立了一些數據質量標準,如美國FGDC的質量標準等。空間數據質量標準的建立必須考慮數據產生的全過程?？臻g數據分類標準

(1)原則：1）遵循已有的國家標準，以利于全國范圍內的數據共享。2）遵循國務院有關部委以及軍隊正在使用的數據標準。3）遵循各領域中普遍使用和認同的數據標準。4）當各種數據標準相互矛盾時，應遵循由上而下的原則進行處理。5）制定新的數據標準時，應盡可能參考同類標準。

(2)目前我國已有的與GIS有關的關于空間數據分類的國家標準：GB2260-95《中華人民共和國行政區(qū)劃代碼》GB13923-92《國土基礎信息數據分類與代碼》GB11708-89《公路橋梁命名和編碼規(guī)則》GB14804-93《1：500、1：1000、1：2000地形要素分類與代碼》等等?？臻g數據交換標準

(1)外部數據交換標準特點：自動化程度不高，速度較慢等，但它可解決不同GIS之間的數據轉換問題。它仍然是實現數據共享的主流方式。GIS-A數據格式GIS-B數據格式外部數據交換格式標準數據轉換數據轉換(2)空間數據互操作協議特點：比外部數據交換標準方便，但由于各種軟件存儲和處理空間數據的方式不同，空間數據的互操作函數又不可能很龐大，因此往往不能解決所有問題。GIS-AGIS-B操縱空間數據的API直接調用操縱直接調用操縱

服務器存放空間數據，采用客戶機/服務器體系結構，各種GIS通過一個公共的平臺在服務器存取所有數據，以避免數據的不一致性。

特點：思路較好，但現有的GIS軟件各有自己的底層，要統(tǒng)一平臺目前難以實現GIS-AGIS-B服務器存放空間數據C/S平臺C/S平臺

(3)空間數據共享平臺在對空間數據模型有共同理解的基礎上，各系統(tǒng)開發(fā)專門的雙向轉換程序，將本系統(tǒng)的內部數據結構轉換成統(tǒng)一數據庫的接口。

特點：這種方式的前提，首先要求對現實世界進行統(tǒng)一的面向對象的數據理解，這不易實現的目前：外部數據交換標準仍是實現數據共享的主流方式。GIS-AGIS-B空間數據庫接口轉換程序轉換程序(4)統(tǒng)一數據庫接口空間數據質量標準的要素及內容(1)數據情況說明：對地理數據的來源、內容及處理過程等做出準確、全面和詳盡的說明。(2)位置精度：為空間實體的坐標數據及實體真實位置的接近程度,常表現為空間三維坐標數據精度。它包括數學基礎精度、平面精度、高程精度、接邊精度、形狀再現精度(形狀保真度)、像元定位精度(圖像分辨率)等。(3)屬性精度：指空間實體的屬性值與其真值相符的程度。通常取決于地理數據的類型,且常常與位置精度有關,包括要素分類與代碼的正確性、要素屬性值的準確性及其名稱的正確性等。(4)時間精度：要素時間屬性和時間關系的準確度

(5)邏輯一致性：指地理數據關系上的可靠性，包括數據結構、數據內容(如毛面積、凈面積和扣除面積的關系),以及拓撲性質上的內在一致性。(6)數據完整性。指地理數據在范圍、內容及結構等方面滿足所有要求的完整程度,包括數據范圍、空間實體類型、空間關系分類、屬性特征分類（如土地利用分類編碼能否涵蓋所有現象）等方面的完整性。(7)表達形式的合理性。主要指數據抽象、數據表達與真實地理世界的吻合性,包括空間特征、專題特征和時間特征表達的合理性等。3.質量控制措施質量控制傳統(tǒng)的手工方法元數據方法地理相關法將數字化數據與數據源進行比較，圖形部分的檢查包括目視方法、繪制到透明圖上與原圖疊加比較，屬性部分的檢查采用與原屬性逐個對比或其他比較方法。數據集的元數據中包含了大量的有關數據質量的信息，通過它可以檢查數據質量，了解數據質量的狀況和變化。用空間數據的地理特征要素自身的相關性來分析數據的質量。（1）總體技術方案的控制與評價用戶需求分析及聯合設計數據源制圖綜合數據生產時間引用標準數學基礎要素分類編碼數據格式技術路線與技術性實驗（2）數據源質量控制（3）數據生產質量控制（4）數據加工處理質量控制（5）數據質量控制策略數據清洗生產組織管理建立質量保障體系建立“二級檢查、一級驗收”制度區(qū)分數據清理的優(yōu)先級監(jiān)理機構設定三、質量評價體系MrUserMultimediaMapsExistingdataDatagatheringandretrievalGroundsurveySatelliteimagery1.質量評價模式最小質量標準模式，是規(guī)定閾值的評價模式元數據標準模式，是真實標記模式市場標準模式，是真實標記和信息反饋結合的模式空間數據質量評價矩陣表

數據描述數據要素空間特征時間特征專題特征世系(繼承性)

位置精度

屬性精度

邏輯一致性

完整性

表現形式準確性

2.質量評價方法（1）直接評價法1）用計算機程序自動檢測某些類型的錯誤可以用計算機軟件自動發(fā)現，數據中不符合要求的數據項的百分率或平均質量等級也可由計算機軟件算出。此外，還可檢測文件格式是否符合規(guī)范、編碼是否正確、數據是否超出范圍等。2）隨機抽樣檢測在確定抽樣方案時，應考慮數據的空間相關性。（2）間接評價法-----（地理相關法和元數據法）指通過外部知識或信息進行推理來確定空間數據的質量的方法。用于推理的外部知識或信息如用途、數據歷史記錄、數據源的質量、數據生產的方法、誤差傳遞模型等。（3）綜合評價方法通過對數據質量的各組成部分的評價結果進行的綜合分析來確定數據的總體質量的方法。數字化的誤差評價和質量控制1）自動回歸法由于跟蹤數字化不僅是一個隨機序列，而且是一個時間序列，因此可用數理統(tǒng)計中的時間序列分析法來確定數字化的誤差。2）ε－Band法該方法適用于任何類型的GIS數據，關鍵是如何給出合理的ε值。評價數字化誤差的方法3）對比法把數字化后的數據，用繪圖機繪出，與原圖疊合，選擇明顯地物點進行量測，以確定誤差。除了幾何精度外，屬性精度、完整性、邏輯一致性等也可用對比法進行對照檢查。ε－Band數字化過程中的質量控制1）數字化預處理工作包括對原始地圖、表格等的整理、清繪。2）數字化設備的選用根據手扶數字化儀、掃描儀等設備的分辨率和精度等有關參數的進行挑選，這些參數不應低于設計的數據精度要求。3）數字化對點精度（準確性）

數字化時數據采集點與原始點的重合程度，一般要求對點誤差小于0.1mm。4）數字化限差包括：采點密度（0.2mm）、接邊誤差（0.02mm）、接合距離(0.02mm)、懸掛距離(0.007mm)等。5）數據的精度檢查輸出圖與原始圖之間的點位誤差，一般要求對直線地物和獨立地物，誤差小于0.2mm，對曲線地物和水系，誤差小于0.3mm，對邊界模糊的要素應小于0.5mm。四、空間數據共享中的質量控制1.空間數據共享的法制建設問題2.基于元數據的空間數據共享質量控制Metadata可譯成元數據,是描述數據的數據在地理空間數據中,元數據說明數據的內容、質量、狀況和其他有關特征的背景信息。它主要反映數據集自身的特征規(guī)律,以便于用戶對數據集的準確、高效與充分的開發(fā)與利用不同領域的數據庫,其元數據的內容會有很大差異。

用來組織和管理空間信息，并挖掘空間信息資源。幫助數據使用者查詢所需空間信息。組織和維護一個機構對的投資。用來建立空間信息的數據目錄和數據交換中心。提供數據轉換方面的信息。元數據作用空間元數據的分類1）高層元數據（數據集系列Metadata），描述整個數據集的元數據，包括數據集區(qū)域采樣原則，數據庫的有效期，數據的時間跨度、分辨率以及方法等。是用戶用于概括性查詢數據集的主要內容。

2）中層元數據（數據集Metadata），既可以作為數據集系列Metadata的組成部分，也可以作為后面數據集屬性以及要素等內容的父Metadata數據集系列。全面反映數據集的內容。3）底層元數據（要素、屬性的類型和實例Metadata），包括最近更新日期，位置綱量，存在問題標識（如數據的丟失原因），數據處理過程等。是元數據體系中詳細描述現實世界的重要部分?？臻g元數據的內容

對空間元數據所要描述的一般內容進行層次化和范式化，指定出可供參考與遵循的空間元數據標準的內容框架。第一層是目錄層，主要用于對數據集信息進行宏觀描述，適合在數字地球的國家級空間信息交換中心或區(qū)域以及全球范圍內管理和查詢空間信息時使用。第二層是空間元數據標準的主體，由八個基本內容部分和四個引用部分組成。元數據的獲取數據收集后，根據需要產生的，包括數據處理過程描述、數據的利用情況、數據質量評估、數據集大小、數據存放路徑等。數據收集前，得到的是根據要建設的數據庫的內容而設計的元數據，包括數據類型、數據覆蓋范圍、使用儀器說明、數據變量表示、數據收集方法、數據時間、數據潛在利用等。1）三階段：數據收集中，隨數據的形成同步產生的元數據，例如在測量海洋要素數據時，測點的水平和垂直位置、深度、溫度等是同時得到的。2）獲取方法鍵盤輸入關聯法測量法計算法推理法現有的空間元數據標準元數據標準名稱建立標準的組織GSDGM地理空間數據元數據內容標準FGDC，美國聯邦地理數據委員會GDDD數據集描述方法MEGRIN，歐洲地圖事務所CGSB空間數據集描述CSC，加拿大標準委員會CEN地學信息––數據描述––元數據CEN/TC287DIF目錄交換格式美國宇航局(NASA)和全球變化數據管理國際工作組(IWGDMGC)ISO地理信息ISO/TC211ArcGIS-ArcCatalog--metadata空間數據質量—元數據實例描述1

主表數據集編號：

11002000001數據集類型：數據庫數據集專業(yè)類型：地理數據集名稱：國家基礎地理信息系統(tǒng)全國1:25萬地形數據庫數據集版本：

1.0數據集語言：中文有效性：授權使用數據集摘要：全國1:25萬數據庫,是國家基礎地理信息系統(tǒng)三個全國性空間數據庫之一。它由地形數據庫、數字高程模型(DEM)數據庫、地名數據庫三部分構成。地形數據庫:以矢量方式存儲管理1:25萬地形圖上的境界、水系、交通、居民地、地貌等要素。數據庫管理系統(tǒng)采用ARC/ANF07.1版。覆蓋范圍：全國1:25萬數據庫在空間上包含816幅1:25萬地形圖數據,覆蓋整個國土范圍。國外部分沿國界外延25公里采集數據。全國816幅分布情況詳見1:25萬圖幅接合表。數據量：1:25萬地形數據庫，4.5GB。數據庫質量：全國1:25萬數據庫通過國家級驗收,其數據完整性、邏輯一致性、位置精度、屬性精度、接邊精度、現勢性均符合國家測繪局制定的有關技術規(guī)定和標準的要求,質量優(yōu)良可靠。適用范圍：全國1:25萬數據庫是國家空間數據基礎設施的重要組成部分,為國民經濟信息化提供數字化空間平臺,為國家和省級各部門進行區(qū)域規(guī)劃、災害監(jiān)測、防洪搶險、環(huán)境保護、宏觀決策等提供信息服務。數據源說明