空間數(shù)據(jù)庫存儲研究

1、空間數(shù)據(jù)庫存儲研究空間數(shù)據(jù)庫存儲研究【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 第第4 4章章 空間數(shù)據(jù)組織與管理空間數(shù)據(jù)組織與管理l本章內(nèi)容 4.1文件組織與數(shù)據(jù)庫 4.2空間數(shù)據(jù)管理方式 4.3空間數(shù)據(jù)引擎 4.4空間數(shù)據(jù)與屬性數(shù)據(jù)的連接 4.5空間數(shù)據(jù)組織 4.6柵格數(shù)據(jù)存儲和管理【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫l 1、數(shù)據(jù)文件域、記錄（物理、邏輯）、文件l2、數(shù)據(jù)庫系統(tǒng)l3、空間數(shù)據(jù)庫系統(tǒng)【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫空間數(shù)據(jù)的存儲

2、形式：二進(jìn)制流或復(fù)雜結(jié)構(gòu)，如: Well-Known Text (WKT) format POLYGON(0 0,10 0,10 10,0 10,0 0),(5 5,7 5,7 7,5 7, 5 5) Well-Known Binary (WKB) format Byte order : 01 WKB type : 01000000 X : 000000000000F03F Y : 000000000000F03F 【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫 傳統(tǒng)數(shù)據(jù)庫： 數(shù)據(jù)庫事務(wù)和應(yīng)用程序的需求是正交的（orthogo

3、nal）。 數(shù)據(jù)操作函數(shù)簡單：包括, MIN, MAX, AVG等。 衡量標(biāo)準(zhǔn)：數(shù)據(jù)從二級存儲到主存之間的傳輸代價（即I/O代價）。 應(yīng)用程序： CPU密集型操作。 空間數(shù)據(jù)庫： 涉及的函數(shù)計算復(fù)雜。 數(shù)據(jù)太大，存儲需求更高。CPU代價代價I/O代價代價DBMS低高C程序高低SDBMS高高【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫磁盤的幾何結(jié)構(gòu)和含義：構(gòu)成：主軸、磁盤片、磁道磁盤塊（頁面）：磁盤與主存之間的最小傳輸單元。數(shù)據(jù)從磁盤向主存中傳輸過程：（1）磁頭到達(dá)特定磁道上。（尋道時間ts）（2）磁盤塊旋轉(zhuǎn)到磁頭下方。（延遲

4、時間tl）（3）磁頭讀或?qū)憠K中數(shù)據(jù)。（傳輸時間tt，固定的）總時間 ta = ts + tl + tt且滿足 ts tl tt【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫緩沖區(qū)管理器：DBMS中的一個軟件模塊，負(fù)責(zé)管理主存與二級存儲之間的數(shù)據(jù)傳輸。置換策略：確保事務(wù)不會因為一部分?jǐn)?shù)據(jù)不在主存中而停頓。關(guān)系數(shù)據(jù)庫的緩沖區(qū)管理：主要基于關(guān)系查詢行為。頻繁訪問集（hot set）模型：最近最少使用（LRU）算法。查詢本地集（QLSM）模型：DBMIN算法。引用模式為：順序引用、隨機(jī)引用、分層引用。使用DBMIN比使用頻繁集訪問的算

5、法的吞吐量高出7到13個百分點(diǎn)?！究臻g數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫l 域、記錄和文件： 文件是記錄的集合，一個文件可能跨越多個頁面。 一個頁面是槽（slot）的集合，每個槽包含一條記錄。 每條記錄是相同或不同類型的域的集合。 一條記錄的域可以是定長或變長的。 文件中的記錄可以是有序或無序的。 文件可以組織成鏈表或頁面目錄。例子：二進(jìn)制大對象（BLOB）域類型。【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大

6、學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫共6條記錄，每條80字節(jié)CanadaMexicoCubaBrazilUSAArgentina共4條記錄，每條72字節(jié)Rio ParanaSt. LawrenceRio GrandeMississippi共2條記錄，每條73字節(jié)Mexico CityBuenos Aires共7條記錄，每條73字節(jié)Havana.Ottawa.表目錄所在的塊Country61River41City-2實例：將記錄從Country, C

7、ity, River表映射到磁盤頁RivercountryCity【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫文件結(jié)構(gòu)：文件中記錄的組織形式。（1）無序文件（unordered file）：又叫堆（heap），其中記錄沒有特定的順序，是最簡單的組織形式。優(yōu)點(diǎn)：在進(jìn)行插入操作時可以很容易地在文件末尾插入一條新記錄。 代價：平均需要檢索一半的磁盤頁面，最壞情況需訪問所有存儲該文件數(shù)據(jù)的磁盤頁面。示例：上圖River表?！究臻g數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)

8、庫文件結(jié)構(gòu)：文件中記錄的組織形式。（2）散列文件（hashed file）： 使用散列函數(shù)把記錄分到一系列散列單元中。優(yōu)點(diǎn)：能夠把數(shù)量大致相同的記錄放入每個散列單元中，對于點(diǎn)的查詢、插入和刪除操作都非常有效，可以在一個常數(shù)時間內(nèi)完成查詢，與文件中記錄的個數(shù)無關(guān)。 缺點(diǎn)：不適合范圍查詢。例如查找名字以字母”B”開頭的城市。代價：常數(shù)時間內(nèi)完成查詢（例如兩次磁盤訪問）【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫2條記錄HavanaOttawa2條記錄RosarioToronto3條記錄BrasilliaMonterreyMexi

9、co City2條記錄Buenos Aries.Washington DC4個散列單元，9條記錄關(guān)鍵碼=114示例：City表的散列文件組織方式文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫（3）有序文件（ordered file）： 根據(jù)給定的主碼域?qū)τ涗涍M(jìn)行組織。 優(yōu)點(diǎn)：可以使用折半查找算法根據(jù)給定的主碼屬性值查找?？梢赃M(jìn)行范圍查詢：先用折半法查到第一個符合條件的記錄，然后掃描后續(xù)記錄。可以根據(jù)對空間數(shù)據(jù)集的文件組織方式而概括成空間聚類。 缺點(diǎn)：不能直接應(yīng)用在空間領(lǐng)域。例如，無法對城市的位置排序。 代價：隨文件中記錄數(shù)的增加呈對數(shù)增長（log2(n)）。 示例：文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫2條記錄T

10、orontoWashington DC共7條記錄，每條73字節(jié)Brasillia.Buenos AiresHavanaMexico CityMonterreyOttawaRosario.存儲City表的有序文件（已排序）文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫聚集： 目的：降低響應(yīng)常見的大查詢的尋道時間和等待時間。對空間數(shù)據(jù)庫來說，在二級存儲中，空間上相鄰的和查詢上有相關(guān)性的對象在物理上應(yīng)當(dāng)存儲在一起。 在SDBMS支持三種聚類： （1）內(nèi)部聚類：加快對單個對象的訪問，一個對象的全部表示都存放在同一個磁盤頁面中，或者多個物理上連續(xù)的頁面中。（2）本地聚類：加快對多個對象的訪問，一組空間對象被分組到同一

11、頁面?？梢砸罁?jù)數(shù)據(jù)空間中對象的位置來分組。（3）全局聚類：與本地聚類相反，一組空間鄰接的對象并不存儲在一個而是多個物理上鄰接的頁面中，這些頁面由一條單獨(dú)的讀命令訪問。文件組織與數(shù)據(jù)庫文件組織與數(shù)據(jù)庫空間聚類技術(shù)：需從高維空間映射到一維空間，該映射是距離不變的。幾種突出的映射方法：Z序列（Z-order），格雷碼（Gray Code），Hilbert曲線。更為復(fù)雜的：最小割邊圖劃分、幾何學(xué)方法（R樹等）Z曲線：nHilbert曲線：【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l 1、文件管理 shp文件等l 2、文件與關(guān)系數(shù)據(jù)

12、庫混合管理l 3、關(guān)系數(shù)據(jù)庫管理 ArcGIS、MapGIS、SuperMap等l 4、面向?qū)ο髷?shù)據(jù)庫管理 發(fā)展趨勢l 5、對象關(guān)系數(shù)據(jù)庫管理 Oracle Spatial （包含對象數(shù)據(jù)類型SDO-GEOMETRY、索引、操作等）【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l 1、文件管理GIS應(yīng)用空間數(shù)據(jù)文件屬性數(shù)據(jù)文件文件管理系統(tǒng)標(biāo)識碼關(guān)聯(lián)【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l 2、文件與關(guān)系數(shù)據(jù)庫混合管理GIS應(yīng)用空間數(shù)據(jù)文件屬性數(shù)據(jù)據(jù)文件

13、文件管理系統(tǒng)標(biāo)識碼關(guān)聯(lián)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l 3、關(guān)系數(shù)據(jù)庫管理【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l4、面向?qū)ο髷?shù)據(jù)庫管理【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l5、對象關(guān)系數(shù)據(jù)庫管理【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)管理方式空間數(shù)據(jù)管理方式l 實現(xiàn)實例ORACLE SPA

14、TIAL空間數(shù)據(jù)存儲解決方案【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）l 1、什么是SDEl2、SDE需要解決的問題空間對象提取、分析空間屬性統(tǒng)一管理并發(fā)訪問長事務(wù)管理【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）l SDE工作原理SDE服務(wù)器處理程序DBMS服務(wù)器端SDE客戶端客戶端【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）lSDE的作用（1）與空間數(shù)據(jù)

15、庫聯(lián)合，為任何支持的用戶提供空間數(shù)據(jù)服務(wù)。（2）提供開放的數(shù)據(jù)訪問，通過TCP/IP橫跨任何同構(gòu)或異構(gòu)網(wǎng)絡(luò)，支持分布式的GIS系統(tǒng)。（3）SDE對外提供了空間幾何對象模型，用戶可以在此模型基礎(chǔ)之上建立空間幾何對象，并對這些幾何對象進(jìn)行操作。（4）快速的數(shù)據(jù)提取和分析。SDE提供快速的空間數(shù)據(jù)提取和分析功能，可進(jìn)行基于拓?fù)涞牟樵?、緩沖區(qū)分析、疊加分析、合并和切分等?！究臻g數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）（5）SDE提供了連接DBMS數(shù)據(jù)庫的接口，其他的一切涉及到與DBMS數(shù)據(jù)庫進(jìn)行交互的操作都是在此基礎(chǔ)之上完成

16、。（6）與空間數(shù)據(jù)庫聯(lián)合可以管理海量空間信息，SDE在用戶與物理數(shù)據(jù)的遠(yuǎn)程存儲之間構(gòu)建了一個抽象層，允許用戶在邏輯層面上與數(shù)據(jù)庫交互，而實際的物理存儲則交由數(shù)據(jù)庫來管理。數(shù)據(jù)的海量是由空間數(shù)據(jù)庫管理系統(tǒng)來保障的?！究臻g數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）（7）無縫的數(shù)據(jù)管理，實現(xiàn)空間數(shù)據(jù)與屬性數(shù)據(jù)統(tǒng)一存儲。傳統(tǒng)的地理信息的存儲方式是將空間數(shù)據(jù)與屬性數(shù)據(jù)分別存儲，空間數(shù)據(jù)因其復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，多以文件的形式保存，而屬性數(shù)據(jù)多利用關(guān)系數(shù)據(jù)庫存儲。而SDE涉及空間屬性數(shù)據(jù)在DBMS中如何存儲及管理，通過SDE，則可以把這

17、兩種數(shù)據(jù)同時存儲到數(shù)據(jù)庫中，實現(xiàn)空間屬性數(shù)據(jù)一體化管理，保證了更高的存儲效率和數(shù)據(jù)完整性。（8）并發(fā)訪問。SDE與空間數(shù)據(jù)庫相結(jié)合，提供空間數(shù)據(jù)的并發(fā)響應(yīng)機(jī)制。用戶對數(shù)據(jù)的訪問是動態(tài)的，透明的?！究臻g數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)引擎（空間數(shù)據(jù)引擎（SDESDE）l空間數(shù)據(jù)引擎實例空間數(shù)據(jù)引擎實例lMapInfo公司的公司的Spatial WarelArcGIS空間數(shù)據(jù)引擎空間數(shù)據(jù)引擎l國內(nèi)國內(nèi)SuperMap公司的公司的XSDE【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)與屬性數(shù)據(jù)的連接空間數(shù)

18、據(jù)與屬性數(shù)據(jù)的連接l 4種連接方式【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)組織空間數(shù)據(jù)組織l 1、縱向分層l 2、橫向分塊經(jīng)緯分幅 矩形分幅l 3、分層分塊索引l 4、三維空間數(shù)據(jù)組織三維空間索引金字塔式數(shù)據(jù)組織【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)組織空間數(shù)據(jù)組織l1、縱向分層【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)組織空間數(shù)據(jù)組織l 2、橫向分塊經(jīng)緯分幅矩形分幅【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)組織空間數(shù)據(jù)組織l 3、分層分塊索引圖層2及描述信息圖層n及描述信息圖層1及描述信息圖幅及描述信息圖塊1及描述信息圖塊n及描述信息圖塊2及描述信息.要素1及描述信息要素n及描述信息要素2及描述信息.【空間數(shù)據(jù)庫原理空間數(shù)據(jù)庫原理】 中國地質(zhì)大學(xué)信息工程學(xué)院中國地質(zhì)大學(xué)信息工程學(xué)院空間數(shù)據(jù)組織空間數(shù)據(jù)組織l4、三維空間數(shù)據(jù)組織三維空間索引金