海量影數據在線發(fā)布關鍵技術研究ppt課件

1、2019級碩士論文畢業(yè)論文爭辯級碩士論文畢業(yè)論文爭辯海量影像數據的在線海量影像數據的在線發(fā)布關鍵技術研討發(fā)布關鍵技術研討北京師范大學資源學院北京師范大學資源學院 資源技術與工程研討所資源技術與工程研討所2006年年5月月研 究 生：李洵指點教師：陳云浩 副教授 專業(yè)方向：地圖學與地理信息系統(tǒng)論文主要內容論文主要內容一、引言二、柵格與矢量數據集成的自順應在線發(fā)布方案三、遙感影像在線發(fā)布的緩沖存儲器算法及其改 進方案四、原型系統(tǒng)的設計與實驗五、總結與展望一、引言一、引言 1.研討的背景和意義 2.國內外的開展現狀及相關技術 3.研討的內容研討的背景和意義研討的背景和意義u 多數據源，多比例尺，多時

2、相影像數據呈幾何級數增長u 隨著數字城市建立的蓬勃開展，人們對空間信息的需求日益增長u 計算機和互聯網技術的開展，為實現空間信息在網絡環(huán)境下的共享與效力提供了技術上的能夠國內外開展現狀國內外開展現狀 1.國外系統(tǒng)開發(fā)情況 1Microsoft TerraServer 2加拿大CCRS的在線遙感影像數據庫 3ITARS 4Image Catalog 2.國內系統(tǒng)開發(fā)情況 1GeoImageDB 2MapGIS 3福建省遙感影像Web發(fā)布系統(tǒng)相關技術相關技術功能技術海量影像數據的組織管理影像金字塔技術影像分塊技術影像塊的空間編碼技術空間索引技術影像壓縮技術數據緩存技術海量影像數據的在線發(fā)布WebG

3、IS技術研討的內容研討的內容u 柵格與矢量數據集成的在線發(fā)布方案u 緩沖存儲器算法的改良1.常見的兩類空間數據的在線發(fā)布方案2.柵矢數據集成的自順應在線發(fā)布方案的引見3.相關關鍵技術二、柵格與矢量數據集成的自順應在線發(fā)布方案二、柵格與矢量數據集成的自順應在線發(fā)布方案2.1 常見的兩類空間數據的在線發(fā)布方案常見的兩類空間數據的在線發(fā)布方案u 矢量地圖方式矢量地圖方式u 矢量地圖方式首先將數據下載到本地客戶矢量地圖方式首先將數據下載到本地客戶端，以后對該數據的一切操作都在本地進展，端，以后對該數據的一切操作都在本地進展，無需與效力器交互以及重新下載數據，直到遇無需與效力器交互以及重新下載數據，直到

4、遇到新的數據懇求到新的數據懇求u 柵格圖像方式柵格圖像方式u 柵格圖像方式每次都需求懇求效力器，并柵格圖像方式每次都需求懇求效力器，并由效力器將數據轉換成圖像傳輸到客戶端由效力器將數據轉換成圖像傳輸到客戶端兩類常見方案的根本流程2.1 常見的兩類空間數據的在線發(fā)布方案常見的兩類空間數據的在線發(fā)布方案懇求效力器客戶機通用閱讀器呼應轉換器圖像懇求效力器客戶機通用閱讀器嵌入ActiveX或Applet矢量數據空間數據庫空間數據庫CGI/Server APIActiveX、Java Applet CGI/Server API矢量數據兩類方案的比較2.1 常見的兩類空間數據的在線發(fā)布方案常見的兩類空間數

5、據的在線發(fā)布方案優(yōu)點缺點矢量地圖模式減少了與服務器的交互需要安裝插件，或下載Java Applet、ActiveX控件降低了服務器端的負擔降低了網絡傳輸的負擔柵格圖像模式無需安裝任何軟件矢柵轉換通常增加數據量增加了服務器端的負擔增加了網絡傳輸的負擔每次操作都需要與服務器交互1)對兩類數據進展操作的案例2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見世界地圖矢量數據與相應的柵格數據的變化趨勢2)對案例進展的分析運用基于矢量地圖方式構建的WebGIS系統(tǒng)容易遭到一次下載大量數據的沖擊運用基于柵格圖像方式構建的WebGIS系統(tǒng)那么需求面對頻繁懇求下載圖像的挑戰(zhàn)2.

6、2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見3)改良方案的提出在懇求大量復雜數據時采用柵格圖像方式在懇求少量數據時那么采用矢量地圖方式2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見4)整體框架2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見WebGIS運用效力器閱讀器Web效力器數據效力器懇求呼應懇求數據懇求呼應呼應數據圖像packer矢量packer評價優(yōu)化器SVG生成器數據緩存文件效力器空間數據庫緩存管理器5)功能模塊WebGIS 運用效力器 WebGIS運用效力器是平臺框架的中心

7、，包括了數據打包組件和緩存組件客戶端功能 客戶端承當一部分的地圖操作功能其計算才干可以在很大程度上減輕效力器端的開銷2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見WebGIS運用效力器評價優(yōu)化器：用于對空間數據進展評價，選擇是運用矢量方式還是柵格方式對數據進展包裝矢量包裝器：將空間數據包裝成系統(tǒng)的矢量方式圖像包裝器：將空間數據包裝成圖像，即根據矢量數據及其顯示款式配置繪制出一個快照圖像SVG生成器：根據包裝器的結果生成相應的SVG格式圖形供閱讀器顯示和操作2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見WebGIS運用效

8、力器的根本處置流程2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見請求緩沖池數據緩沖池緩存管理器圖像包裝器矢量包裝器評價優(yōu)化器SVG生成器空間數據客戶端功能2.2 柵矢數據集成的自順應在線發(fā)布方案的引見柵矢數據集成的自順應在線發(fā)布方案的引見閱讀器SVG地圖本地地圖操作ZoomIn, ZoomOutPan, Identify地圖操作音訊轉發(fā)器懇求數據本地操作更新顯示更新顯示u 評價優(yōu)化器：評價優(yōu)化器實踐上是方式選擇器，用于確定評價優(yōu)化器：評價優(yōu)化器實踐上是方式選擇器，用于確定是運用矢量方式還是運用柵格方式，從而實現系統(tǒng)的性能是運用矢量方式還是運用柵格方式，從而

9、實現系統(tǒng)的性能優(yōu)化優(yōu)化u SVG生成器：生成器：SVG生成器將打包后的數據轉換成在客戶端生成器將打包后的數據轉換成在客戶端顯示和操作的顯示和操作的SVG圖形圖形u 緩存機制：緩存機制：WebGIS運用效力器將用戶頻繁懇求的圖層數運用效力器將用戶頻繁懇求的圖層數據暫時存儲起來，從而構成緩沖池；后續(xù)懇求的數據假設據暫時存儲起來，從而構成緩沖池；后續(xù)懇求的數據假設包含在緩存內，那么無需與數據效力器交互，直接運用緩包含在緩存內，那么無需與數據效力器交互，直接運用緩存的數據存的數據2.3 相關關鍵技術相關關鍵技術2.3.1 評價優(yōu)化器評價優(yōu)化器u 設計評價優(yōu)化器時，可以參考網絡閱讀的設計評價優(yōu)化器時，可

10、以參考網絡閱讀的“20秒秒60KB原那么原那么u 思索到矢量數據在操作時僅需一次下載，因此可以將操思索到矢量數據在操作時僅需一次下載，因此可以將操作用戶的容忍極限添加至作用戶的容忍極限添加至100KBu 由于每個點需求由于每個點需求16字節(jié)存儲空間，因此最簡單的評價優(yōu)字節(jié)存儲空間，因此最簡單的評價優(yōu)化器就是評價給定的數據的點數能否小于化器就是評價給定的數據的點數能否小于64002.3.1 評價優(yōu)化器評價優(yōu)化器開場空間數據集合n1, n2, n3, nkni6400矢量包裝器終了NM=MAX(n1, n2, n3, )圖像包裝器將NM從數據集合中剔除空間數據集合k-1個圖層否是1. SVG簡介簡

11、介2.3.2 SVG生成器生成器SVG是一種基于XML的用來描畫二維矢量圖形和柵矢混合圖形的標識言語，其全稱是可擴展矢量圖形 (Scalable Vector Graphics)不局限于一個固定的分辨率和大小提供了對矢量柵格混合圖形的描畫SVG規(guī)范可以與其它規(guī)范相兼容2. SVG在在WebGIS中的運用中的運用2.3.2 SVG生成器生成器基于SVG的數據構造 由于XML支持數據標志的嵌套定義，所以可以在對一個對象進展描畫時，將其屬性定義和其圖形的SVG描畫同時進展 水果湖中學 2. SVG在在WebGIS中的運用中的運用2.3.2 SVG生成器生成器本地地圖操作 SVG圖形在閱讀器中是作為閱

12、讀器的一個嵌入對象出現，所以可以很方便地經過腳本言語實現本地地圖操作圖層管理 運用SVG DOM (SVG文檔對象模型)可以很方便地實現圖層管理圖符管理 SVG提供了Symbol和Use元素，用于定義圖符元素及其援用 在在WebGIS運用效力器中，一切的地圖操作當需求懇求運用效力器中，一切的地圖操作當需求懇求新的數據時，首先到緩存中查找數據能否曾經緩存到新的數據時，首先到緩存中查找數據能否曾經緩存到WebGIS運用效力器上運用效力器上WebGIS運用效力器將用戶頻運用效力器將用戶頻繁懇求的圖層數據緩存起來，構成數據緩沖池后續(xù)繁懇求的圖層數據緩存起來，構成數據緩沖池后續(xù)懇求的數據假設包含在緩存內

13、，那么無需與數據效力懇求的數據假設包含在緩存內，那么無需與數據效力器交互，直接運用緩存的數據器交互，直接運用緩存的數據2.3.3 緩存機制緩存機制l Greedy Dual-Size算法的簡介l Greedy Dual-Size算法的缺乏l Greedy Dual-Size算法的改良方案三、遙感影像在線發(fā)布的緩沖存儲器算法及其改三、遙感影像在線發(fā)布的緩沖存儲器算法及其改良方案良方案u Greedy Dual算法算法u 該算法是最近最少運用戰(zhàn)略該算法是最近最少運用戰(zhàn)略(LRU)的一種優(yōu)化。該算法的一種優(yōu)化。該算法對每一個存儲在緩沖存儲器中的文件對每一個存儲在緩沖存儲器中的文件P設置了一個關聯的設

14、置了一個關聯的運用率權值運用率權值 H(P)，每次把，每次把H(P)值最低的對象交換掉，值最低的對象交換掉， H(P)的計算公式如下：的計算公式如下：u H(P)=L+C(P)u 初值初值L=0;u 輪番處置每一個文件的懇求輪番處置每一個文件的懇求;u 當前懇求為文件當前懇求為文件P;u 假設假設P曾經在緩沖存儲器中，那么：曾經在緩沖存儲器中，那么：u H(p)=L+c(p);u 假設假設P不在緩沖存儲器中，那么：不在緩沖存儲器中，那么：u 當當(While)沒有足夠的存儲空間給沒有足夠的存儲空間給P時時u 使使L=minH(q) q為曾經在緩沖存儲器中的文為曾經在緩沖存儲器中的文件件u 刪除

15、刪除q;u 將將P存入緩沖存儲器中，并使存入緩沖存儲器中，并使H(p)=L+c(p); 3.1 Greedy Dual-Size算法的簡介算法的簡介u Greedy Dual-Size算法算法u 該算法是由該算法是由Greedy Dual算法開展而來的。在算法開展而來的。在Greedy Dual-Size算法中重新定義對象的權值算法中重新定義對象的權值H為所需的帶寬等開為所需的帶寬等開銷銷/對象的大小，如下式：對象的大小，如下式：u H(P)=L+C(P)/S(P)u 初值初值L=0;u 輪番處置每一個文件的懇求輪番處置每一個文件的懇求;u 當前懇求為文件當前懇求為文件P;u 假設假設P曾經在

16、緩沖存儲器中，那么：曾經在緩沖存儲器中，那么：u H(p)=L+c(p)/s(p);u 假設假設P不在緩沖存儲器中，那么：不在緩沖存儲器中，那么：u 當當(While)沒有足夠的存儲空間給沒有足夠的存儲空間給P時時u 使使L=minH(q) q為曾經在緩沖存儲器中的文為曾經在緩沖存儲器中的文件件u 刪除刪除q;u 將將P存入緩沖存儲器中，并使存入緩沖存儲器中，并使H(p)=L+c(p)/s(p); 3.1 Greedy Dual-Size算法的簡介算法的簡介3.1 Greedy Dual-Size算法的缺乏算法的缺乏低權值ABCACDAB點擊AC進入驅逐B(yǎng)新進入的C權值大于多次被點擊的AD進入

17、驅逐Au 分析結論分析結論u 雖然雖然Greedy Dual-Size算法是一個相當優(yōu)秀的算法是一個相當優(yōu)秀的算法，但它無法區(qū)分經常存取和很少存取的對象。算法，但它無法區(qū)分經常存取和很少存取的對象。一個經常被存取的對象在緩沖存儲器列表中的位一個經常被存取的對象在緩沖存儲器列表中的位置和權值同一個新進入的對象完全一樣置和權值同一個新進入的對象完全一樣u 3.1 Greedy Dual-Size算法的缺乏算法的缺乏3.1 Greedy Dual-Size算法的改良方案算法的改良方案為抑制Greedy Dual-Size算法的上述缺陷，當某對象被再次點擊時，需求添加其權值。要實現這一想象，就應記錄緩

18、沖存儲器中對象被存取的次數，并重新定義對象P的權值如下： PSPCPnLPH1對新參與到緩沖存儲器中的對象，其權值與原始Greedy Dual-Size算法完全一樣。對已在緩沖存儲器中的文檔，每當被點擊一次，其權值H將按原始的權值成倍增長。 3.1 Greedy Dual-Size算法的改良方案算法的改良方案uGreedy Dual-Size算法的改良方案的流程圖懇求隊列當前：P對象L=0P對象在緩存中？緩存中能否 能包容P？否是n(P)+H(P)=L+n(P)+1*c(P)/s(P)n(P)Nmax激活隊列中下一個對象是是否L=minH(q)刪除對象q否刪除舊對象P四、原型系統(tǒng)的設計與實驗四

19、、原型系統(tǒng)的設計與實驗l 原型系統(tǒng)的體系構造原型系統(tǒng)的體系構造l 原型系統(tǒng)的搭建環(huán)境原型系統(tǒng)的搭建環(huán)境l 原型系統(tǒng)的根本功能及實驗結果原型系統(tǒng)的根本功能及實驗結果4.1 原型系統(tǒng)的體系構造原型系統(tǒng)的體系構造運用層中間件層數據效力層屬性庫DEM庫矢量庫影像庫數據文件WebGIS效力器Web效力器評價優(yōu)化器SVG生成器緩存管理器Web運用對外接口閱讀器用戶頁面工具4.2 原型系統(tǒng)的搭建環(huán)境原型系統(tǒng)的搭建環(huán)境操作系統(tǒng)： 效力器端 Windows 2000 Server 客戶端 Windows 2000 Professional數據庫平臺：Oracle 9i運用軟件： ArcSDE，ArcIMS，Adobe SVG Viewer 硬件平臺： 效力器端 Pentium 1.7G雙CPU，1024M內存 客戶端 Pentium 1.2G，512M內存 4.3 原型系統(tǒng)的根本功能及實驗結果原型系統(tǒng)的根本功能及實驗結果本文開發(fā)的本文開發(fā)的Demo版原型系統(tǒng)在功能方面主要實現了以下一些功能：版原型系統(tǒng)在功能方面主要實現了以下一些功能：空間數據入庫。矢量數據和影像數據的入庫功能。空間數據入庫。矢量數據和影像數據的入庫功能