分布式空間數(shù)據(jù)存儲(chǔ)對象研究

分布式空間數(shù)據(jù)存儲(chǔ)對象研究

地球空間信息技術(shù)的發(fā)展，尤其是高分辨率傳感器技術(shù)的發(fā)展，使信息系統(tǒng)（gis）面臨著日益激烈的數(shù)據(jù)爆炸和有效使用問題?？臻g數(shù)據(jù)庫的存儲(chǔ)需求已經(jīng)從目前的GB級(jí)和TB級(jí)達(dá)到了PB級(jí)。海量空間數(shù)據(jù)已無法沿用傳統(tǒng)主機(jī)GIS模式下的集中存儲(chǔ)方式,空間數(shù)據(jù)顯著的海量性和地域分布特征使其更適合于網(wǎng)絡(luò)環(huán)境下的分布式存儲(chǔ)。直連存儲(chǔ)(directattachedstorage,DAS)、附網(wǎng)存儲(chǔ)(networkattachedstorage,NAS)和存儲(chǔ)區(qū)域網(wǎng)(storageareanetwork,SAN)是目前主要的網(wǎng)絡(luò)存儲(chǔ)技術(shù)。DAS結(jié)構(gòu)相對比較簡單,但其以服務(wù)器為中心的存儲(chǔ)方式難以擴(kuò)展,無法滿足海量空間數(shù)據(jù)的存儲(chǔ)要求。NAS和SAN均以數(shù)據(jù)為中心,具有較好的伸縮性。但是,NAS在服務(wù)器端存在明顯的瓶頸,不適合分布式GIS多用戶頻繁請求狀態(tài)下的密集型大規(guī)模數(shù)據(jù)傳輸。SAN采用高速光纖(fiberchannel,FC)取代總線,提供了高帶寬,但其價(jià)格昂貴,異構(gòu)兼容性差,因而限制了普遍使用?，F(xiàn)有存儲(chǔ)技術(shù)的局限和海量空間數(shù)據(jù)的高性能分布式存儲(chǔ)應(yīng)用對新的空間數(shù)據(jù)存儲(chǔ)架構(gòu)提出了緊迫的要求。其中,基于對象的存儲(chǔ)(object-basedstorage,OBS,以下簡稱對象存儲(chǔ))技術(shù)被認(rèn)為是構(gòu)建大規(guī)模存儲(chǔ)系統(tǒng)的一種良好選擇。本文在基于對象的存儲(chǔ)架構(gòu)上提出了分布式空間數(shù)據(jù)存儲(chǔ)對象的概念,介紹了基于分布式空間數(shù)據(jù)存儲(chǔ)對象構(gòu)建大規(guī)模分布存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)機(jī)制,并分析了其特點(diǎn)。1對象存儲(chǔ)corp構(gòu)建數(shù)字城市、數(shù)字地球所需要的空間數(shù)據(jù)總量通常達(dá)到PB級(jí)以上,并隨著信息詳細(xì)程度的增加而增大。海量空間數(shù)據(jù)存儲(chǔ)不僅要滿足容量上的要求,同時(shí)還應(yīng)滿足GIS分布式數(shù)據(jù)服務(wù)的要求?，F(xiàn)有存儲(chǔ)方法通常只在數(shù)據(jù)結(jié)構(gòu)上考慮了數(shù)據(jù)類型的差異,而沒有區(qū)分其存儲(chǔ)特性和不同的應(yīng)用需求。同時(shí),空間數(shù)據(jù)分布式存儲(chǔ)也只考慮了數(shù)據(jù)的地域性,人為地將空間數(shù)據(jù)按地域分布進(jìn)行分級(jí)、分區(qū)存儲(chǔ),而沒有考慮網(wǎng)絡(luò)和計(jì)算機(jī)資源的特性以及GIS分布式服務(wù)的要求,因此無法動(dòng)態(tài)地主動(dòng)適應(yīng)不同的應(yīng)用需求。然而,對于許多不間斷觀測數(shù)據(jù),如衛(wèi)星遙感數(shù)據(jù)和監(jiān)視視頻數(shù)據(jù),存儲(chǔ)系統(tǒng)必須具備在線主動(dòng)分布的能力,即如何充分利用存儲(chǔ)資源的能力,而不是完全依靠人為的預(yù)先計(jì)劃。因此,如何把空間數(shù)據(jù)存儲(chǔ)的“被動(dòng)服務(wù)、人為分布”轉(zhuǎn)變?yōu)榫哂凶越M織、自適應(yīng)能力的“主動(dòng)服務(wù)、自主分布”的空間數(shù)據(jù)存儲(chǔ)體系成為解決日益嚴(yán)峻的數(shù)據(jù)量爆炸性增長和有效利用問題的關(guān)鍵。目前,對象存儲(chǔ)成為高性能存儲(chǔ)系統(tǒng)的研究熱點(diǎn)。對象存儲(chǔ)的關(guān)鍵是以對象(而非數(shù)據(jù)塊或文件)作為數(shù)據(jù)存儲(chǔ)的基本單位,存儲(chǔ)在基于對象的存儲(chǔ)設(shè)備(object-basedstoragedevice,OSD)上。OSD負(fù)責(zé)管理對象全部內(nèi)部空間,能夠利用對象的屬性信息有效地組織數(shù)據(jù)和預(yù)見需求。通過對象接口將傳統(tǒng)主機(jī)系統(tǒng)中關(guān)于訪問磁盤驅(qū)動(dòng)器的部分程序下移到存儲(chǔ)設(shè)備中,其數(shù)據(jù)和控制分流,數(shù)據(jù)不經(jīng)過服務(wù)器轉(zhuǎn)發(fā),直接在客戶機(jī)和存儲(chǔ)設(shè)備之間傳送。對象存儲(chǔ)中,數(shù)據(jù)獨(dú)立存儲(chǔ)在OSD上,不依附于服務(wù)器,解決了DAS以服務(wù)器為中心難以擴(kuò)展的缺點(diǎn);其數(shù)據(jù)和命令分流,直接進(jìn)行第三方傳送,消除了NAS的服務(wù)器瓶頸;它通過對象層次的抽象將與設(shè)備相關(guān)的特性從設(shè)備中分離出來,有效解決SAN面臨的異構(gòu)環(huán)境問題。因而,對象存儲(chǔ)較之DAS、NAS和SAN更適合海量空間數(shù)據(jù)的存儲(chǔ)管理。地理空間本身具有時(shí)空分布上的連續(xù)性,傳統(tǒng)的存儲(chǔ)方式在空間數(shù)據(jù)存儲(chǔ)時(shí)人為分割了地理對象在空間上的連續(xù)性,以固定大小數(shù)據(jù)塊組織和存儲(chǔ)復(fù)雜的空間實(shí)體,存儲(chǔ)上的單一性降低了空間數(shù)據(jù)使用和管理的靈活性,不利于實(shí)現(xiàn)空間數(shù)據(jù)面向?qū)ο蟮慕M織和處理?；趯ο蟠鎯?chǔ)的思想,擺脫傳統(tǒng)的圖層、圖幅、固定數(shù)據(jù)塊的存儲(chǔ)觀念,將海量空間數(shù)據(jù)組織存儲(chǔ)為具有分布式結(jié)構(gòu)的空間數(shù)據(jù)存儲(chǔ)對象的集合,更有利于面向?qū)ο蟮目臻g數(shù)據(jù)管理、深層次空間數(shù)據(jù)挖掘和應(yīng)用的需要。因此,將海量空間數(shù)據(jù)根據(jù)自身特點(diǎn)、應(yīng)用和存儲(chǔ)需求分解為一系列分布式空間數(shù)據(jù)存儲(chǔ)對象進(jìn)行基于對象的空間數(shù)據(jù)存儲(chǔ)和管理是非常必要的。所謂分布式空間數(shù)據(jù)存儲(chǔ)對象可以定義為一組分布在一個(gè)或多個(gè)OSD上的由空間數(shù)據(jù)、存儲(chǔ)屬性和操作組成的空間數(shù)據(jù)存儲(chǔ)對象。存儲(chǔ)屬性用來定義不同空間數(shù)據(jù)的存儲(chǔ)特點(diǎn),如數(shù)據(jù)布局、安全信息和使用狀況統(tǒng)計(jì)信息等,從而能根據(jù)存儲(chǔ)屬性指明對空間數(shù)據(jù)的操作處理。分布式空間數(shù)據(jù)存儲(chǔ)對象以獨(dú)立“對象”的形式提供服務(wù),可以包含任何類型的數(shù)據(jù),如文件、數(shù)據(jù)庫記錄、圖像以及多媒體視頻、音頻等?？臻g數(shù)據(jù)存儲(chǔ)對象種類不同,其存儲(chǔ)屬性和操作也不同。如多媒體數(shù)據(jù)存儲(chǔ)對象的QoS屬性描述該對象的網(wǎng)絡(luò)延遲要求,DEM或DOM對象的屬性描述對象的數(shù)據(jù)布局,文件對象的屬性描述文件的訪問權(quán)限等?？臻g數(shù)據(jù)存儲(chǔ)對象的內(nèi)容由空間數(shù)據(jù)自身特點(diǎn)和應(yīng)用要求決定。例如,根據(jù)不同的應(yīng)用要求,可以將空間數(shù)據(jù)封裝為DEM存儲(chǔ)對象,DOM存儲(chǔ)對象,DLG存儲(chǔ)對象,圖片、文件對象,多媒體流數(shù)據(jù)存儲(chǔ)對象等;也可以根據(jù)數(shù)據(jù)訪問頻率分為在線存儲(chǔ)對象、近線存儲(chǔ)對象、離線存儲(chǔ)對象;或者根據(jù)其數(shù)據(jù)使用特點(diǎn)分為大型流數(shù)據(jù)存儲(chǔ)對象(如視頻與音頻流媒體數(shù)據(jù))、中型存儲(chǔ)對象(如遙感圖像數(shù)據(jù)、圖片數(shù)據(jù)等)、小型存儲(chǔ)對象(如一般矢量GIS數(shù)據(jù)、文本屬性和DEM數(shù)據(jù)等)。與基于固定塊大小訪問的數(shù)據(jù)塊存儲(chǔ)不同,用戶定義的每個(gè)空間數(shù)據(jù)存儲(chǔ)對象都可以動(dòng)態(tài)地?cái)U(kuò)大和縮小,OSD負(fù)責(zé)管理所有存儲(chǔ)空間。不同的對象劃分服務(wù)于不同的用戶需求,利用不同類型的分布式空間數(shù)據(jù)存儲(chǔ)對象可以構(gòu)成有層次的分布式存儲(chǔ)系統(tǒng)。2空間數(shù)據(jù)存儲(chǔ)在以分布式空間數(shù)據(jù)存儲(chǔ)對象為基礎(chǔ)構(gòu)建的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)中(見圖1),海量空間數(shù)據(jù)根據(jù)自身特點(diǎn)、應(yīng)用需求和存儲(chǔ)特性分解成一系列用戶定義的空間數(shù)據(jù)存儲(chǔ)對象,分布存儲(chǔ)在OSD上。OSD中安裝了處理器、內(nèi)存和網(wǎng)絡(luò)接口,是構(gòu)成分布式存儲(chǔ)結(jié)構(gòu)的核心,它具備本地處理功能,用于數(shù)據(jù)和屬性緩存的本地內(nèi)存和本地的網(wǎng)絡(luò)連接。一個(gè)空間數(shù)據(jù)存儲(chǔ)對象可以分布存儲(chǔ)在多個(gè)OSD上,多個(gè)空間數(shù)據(jù)存儲(chǔ)對象也可以存儲(chǔ)在一個(gè)OSD上。OSD包含由設(shè)備所管理的元數(shù)據(jù)信息,可以自主管理存儲(chǔ)在其上的空間數(shù)據(jù)存儲(chǔ)對象及其元數(shù)據(jù),如數(shù)據(jù)塊、對象長度等。OSD擔(dān)負(fù)了傳統(tǒng)存儲(chǔ)系統(tǒng)中由服務(wù)器維護(hù)的大部分元數(shù)據(jù)管理工作,有效地消除服務(wù)器瓶頸。GIS服務(wù)器負(fù)責(zé)分布式空間數(shù)據(jù)存儲(chǔ)對象的邏輯組織與管理,為客戶端提供OSD中所存儲(chǔ)的空間數(shù)據(jù)的邏輯視圖,并根據(jù)客戶端需求組織管理分布式空間數(shù)據(jù)存儲(chǔ)對象的物理存儲(chǔ)。GIS服務(wù)器的另一個(gè)作用是管理用戶授權(quán),OSD根據(jù)授權(quán)信息提供安全驗(yàn)證,通過驗(yàn)證后,空間數(shù)據(jù)不經(jīng)過服務(wù)器轉(zhuǎn)發(fā),直接在客戶端和存儲(chǔ)設(shè)備間進(jìn)行第三方通訊?；诜植际娇臻g數(shù)據(jù)存儲(chǔ)對象的海量空間數(shù)據(jù)存儲(chǔ)具有以下優(yōu)點(diǎn)。1減少熱阻塞在基于分布式空間數(shù)據(jù)存儲(chǔ)對象的空間數(shù)據(jù)存儲(chǔ)中,數(shù)據(jù)直接在客戶端和存儲(chǔ)設(shè)備間傳遞,服務(wù)器被旁路,服務(wù)器端的I/O瓶頸得以消除,有效避免額外延遲和阻塞。當(dāng)存儲(chǔ)系統(tǒng)需要擴(kuò)展時(shí),對象存儲(chǔ)技術(shù)提供的均衡模型能夠保證網(wǎng)絡(luò)帶寬和處理能力的同步增長,因而具有更快的響應(yīng)速度和更高的帶寬,能夠適應(yīng)網(wǎng)格GIS環(huán)境下的多用戶并發(fā)請求和大規(guī)模數(shù)據(jù)傳輸?shù)母咝阅芤蟆?系統(tǒng)存儲(chǔ)的異構(gòu)性海量空間數(shù)據(jù)的分布式存儲(chǔ)不可避免地要面對多重異構(gòu)的存儲(chǔ)環(huán)境,實(shí)現(xiàn)空間數(shù)據(jù)存儲(chǔ)資源共享首先必須解決不同存儲(chǔ)系統(tǒng)和操作平臺(tái)的異構(gòu)矛盾。分布式空間數(shù)據(jù)存儲(chǔ)對象將與設(shè)備相關(guān)的特性(如塊分配)從設(shè)備層中分離出來,將存儲(chǔ)系統(tǒng)的邏輯結(jié)構(gòu)與物理存儲(chǔ)的映射關(guān)系隱藏到對象層,很容易實(shí)現(xiàn)跨異構(gòu)平臺(tái)的數(shù)據(jù)存儲(chǔ)。從用戶的角度而言,使用空間數(shù)據(jù)存儲(chǔ)對象并沒有什么不同,用戶無需關(guān)心數(shù)據(jù)如何存儲(chǔ),只需通過簡單的對象接口方便地實(shí)現(xiàn)對數(shù)據(jù)的透明訪問。3分布式空間數(shù)據(jù)存儲(chǔ)對象分布式GIS多用戶協(xié)同工作模式中經(jīng)常涉及對同一空間數(shù)據(jù)實(shí)體的操作,部分空間數(shù)據(jù)操作具有長事務(wù)處理特點(diǎn),為此必須保證空間數(shù)據(jù)的一致性和安全性。分布式空間數(shù)據(jù)存儲(chǔ)對象作為數(shù)據(jù)管理的基本單元,通過認(rèn)證和加密等手段可以對一組對象、單個(gè)對象、對象內(nèi)的部分?jǐn)?shù)據(jù)賦予不同的安全屬性及訪問規(guī)則。相對于傳統(tǒng)的基于文件或塊的數(shù)據(jù)管理,分布式空間數(shù)據(jù)存儲(chǔ)對象具有更高的數(shù)據(jù)獨(dú)立性和安全性。因此,更利于建立網(wǎng)絡(luò)GIS環(huán)境下多用戶訪問的靈活的安全機(jī)制。4存儲(chǔ)對象網(wǎng)絡(luò)化對于眾多小型的GIS數(shù)據(jù)生產(chǎn)和使用部門,大規(guī)模存儲(chǔ)設(shè)備價(jià)格昂貴而實(shí)用性不大。分布式空間數(shù)據(jù)存儲(chǔ)對象能夠獨(dú)立地存儲(chǔ)數(shù)據(jù)和提供存儲(chǔ)服務(wù),具有很強(qiáng)的擴(kuò)展能力,將存儲(chǔ)在OSD上的分布式空間數(shù)據(jù)存儲(chǔ)對象直接連接到網(wǎng)絡(luò)上,可以構(gòu)造基于網(wǎng)絡(luò)的超級(jí)存儲(chǔ)系統(tǒng),因此,無論對于大中型還是小型的數(shù)據(jù)存儲(chǔ)用戶,它都將以全新的方式為眾多的網(wǎng)絡(luò)GIS用戶提供一種快捷而廉價(jià)的數(shù)據(jù)共享和存儲(chǔ)方法。5分布式空間數(shù)據(jù)存儲(chǔ)對象的應(yīng)用基于分布式空間數(shù)據(jù)存儲(chǔ)對象的空間數(shù)據(jù)存儲(chǔ)從根本上改變了傳統(tǒng)“被動(dòng)服務(wù)、人為分布”的存儲(chǔ)模式。它充分考慮了數(shù)據(jù)的存儲(chǔ)特性和應(yīng)用需求,選擇相應(yīng)的最合適的存儲(chǔ)對象。利用分布式空間數(shù)據(jù)存儲(chǔ)對象的豐富屬性實(shí)現(xiàn)OSD間的數(shù)據(jù)動(dòng)態(tài)分配和負(fù)載均衡;根據(jù)空間數(shù)據(jù)布局和使用信息有效組織數(shù)據(jù)和預(yù)見需求,實(shí)現(xiàn)OSD間的數(shù)據(jù)自主遷移和基于策略的存儲(chǔ)管理。基于分布式空間數(shù)據(jù)存儲(chǔ)對象的海量空間數(shù)據(jù)存儲(chǔ)利用對象層次的抽象有效融合了現(xiàn)有存儲(chǔ)技術(shù)的特點(diǎn),揚(yáng)長避短,既有NAS的優(yōu)點(diǎn),能夠?qū)崿F(xiàn)跨平臺(tái)的數(shù)據(jù)共享,又克服了NAS的服務(wù)器瓶頸;既保留了SAN的優(yōu)點(diǎn),可以直接訪問數(shù)據(jù),具有高數(shù)據(jù)傳輸率和高擴(kuò)展性,又提供了遠(yuǎn)比SAN更為快捷廉價(jià)的存儲(chǔ)方式;同時(shí)還具備了DAS和SAN的高性能特點(diǎn)。以分布式空間數(shù)據(jù)存儲(chǔ)對象作為基本存儲(chǔ)單元的對象存儲(chǔ)架構(gòu)(OBS)在擴(kuò)展性、安全性、存儲(chǔ)性能、異構(gòu)環(huán)境共享能力等方面都具有更出色的表現(xiàn)(見表1)。因此,基于分布式空間數(shù)據(jù)存儲(chǔ)對象構(gòu)建高性能、可伸縮、跨平臺(tái)的海量空間數(shù)據(jù)大規(guī)模分