云存儲(chǔ)技術(shù)介紹和應(yīng)用發(fā)展分析范文

./1云存儲(chǔ)概況1．1云存儲(chǔ)的定義云存儲(chǔ)是在云計(jì)算<cloudcomputing>概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念,是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪(fǎng)問(wèn)功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí),云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備,那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng),所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。云存儲(chǔ)的兩個(gè)層面云存儲(chǔ)的兩個(gè)層面是作為云計(jì)算支撐的存儲(chǔ)計(jì)算,主要涉及分布式存儲(chǔ)<如分布式文件系統(tǒng)、IPSAN、數(shù)據(jù)同步、復(fù)制>、數(shù)據(jù)存儲(chǔ)<如重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)壓縮、數(shù)據(jù)編碼>和數(shù)據(jù)保護(hù)<如RAID、CDP、快照、備份與容災(zāi)>等技術(shù)領(lǐng)域,如圖8-30所示,和云安全技術(shù)一樣,云存儲(chǔ)技術(shù)也需要利用現(xiàn)有的所有存儲(chǔ)技術(shù)針對(duì)云計(jì)算三層架構(gòu)的各個(gè)環(huán)節(jié)采用適當(dāng)?shù)拇鎯?chǔ)技術(shù),才能取得最佳效果,例如,對(duì)應(yīng)不同需求,有時(shí)應(yīng)該使用數(shù)據(jù)庫(kù)技術(shù)但有時(shí)卻應(yīng)該使用LDAP技術(shù),有些性能要求高的系統(tǒng)不能使用SAN或NAS,需直接使用基于RPC或Socket技術(shù)的并發(fā)文件系統(tǒng),有些應(yīng)用使用SAN成本太高等,這里不再做深入介紹。如圖8-31所示是一個(gè)采用NetAppFAS、思科UCS和VMWarevShpere4技術(shù)打造的存儲(chǔ)系統(tǒng),對(duì)上述兩種云存儲(chǔ)技術(shù)和應(yīng)用都有促進(jìn)作用。由于業(yè)內(nèi)沒(méi)有統(tǒng)一的標(biāo)準(zhǔn),各廠商的技術(shù)發(fā)展路線(xiàn)也不盡相同,因此相對(duì)于云計(jì)算,云存儲(chǔ)概念存在更多的多義和模糊現(xiàn)象。結(jié)合云存儲(chǔ)技術(shù)發(fā)展背景及主流廠商的技術(shù)方向,可以得出如下定義：云存儲(chǔ)不是指某一個(gè)具體的設(shè)備,而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ),并不是使用某一個(gè)存儲(chǔ)設(shè)備,而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)。云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合,通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。1.2云存儲(chǔ)的優(yōu)勢(shì)：面對(duì)數(shù)據(jù)量的急劇增長(zhǎng),大數(shù)據(jù)時(shí)代的到來(lái),傳統(tǒng)存儲(chǔ)技術(shù)面臨建設(shè)成本高、運(yùn)維復(fù)雜、擴(kuò)展性有限等問(wèn)題,主要體現(xiàn)在以下幾個(gè)方面：<1>開(kāi)放性不足：盤(pán)陣存儲(chǔ)標(biāo)準(zhǔn)化程度低,組件的更換常常導(dǎo)致系統(tǒng)故障或者硬件的升級(jí),這些組件通常是由制造商專(zhuān)門(mén)開(kāi)發(fā)用于此系統(tǒng),不能輕易的利用市場(chǎng)上通用部件。<2>成本較高：盤(pán)陣造價(jià)昂貴,導(dǎo)致系統(tǒng)建設(shè)成本居高不下；<3>擴(kuò)展性較差：傳統(tǒng)盤(pán)陣單點(diǎn)擴(kuò)展存在容量上限和接口帶寬等限制,面對(duì)PB級(jí)的海量存儲(chǔ)需求,傳統(tǒng)的SAN或NAS在容量和性能的擴(kuò)展上無(wú)法滿(mǎn)足。在此背景下,成本低廉、提供高可擴(kuò)展性的云存儲(chǔ)技術(shù)日益得到關(guān)注,本文將詳細(xì)介紹存儲(chǔ)的新技術(shù)——云存儲(chǔ)的特征定義、相關(guān)技術(shù)發(fā)展現(xiàn)狀及國(guó)際標(biāo)準(zhǔn)情況,并針對(duì)各類(lèi)云存儲(chǔ)技術(shù),分析其對(duì)于電信運(yùn)營(yíng)商的適合應(yīng)用場(chǎng)景及應(yīng)用建議。1．3云存儲(chǔ)系統(tǒng)的特征云存儲(chǔ)系統(tǒng)應(yīng)具有以下通用特征：<1>高可擴(kuò)展性：云存儲(chǔ)系統(tǒng)可支持海量數(shù)據(jù)處理,資源可以實(shí)現(xiàn)按需擴(kuò)展；<2>低成本：云存儲(chǔ)系統(tǒng)應(yīng)具備高性?xún)r(jià)比的特點(diǎn),低成本體現(xiàn)在兩方面,更低的建設(shè)成本和更低的運(yùn)維成本；<3>無(wú)接入限制：相比傳統(tǒng)存儲(chǔ),云存儲(chǔ)強(qiáng)調(diào)對(duì)用戶(hù)存儲(chǔ)的靈活支持,服務(wù)域內(nèi)存儲(chǔ)資源可以隨處接入,隨時(shí)訪(fǎng)問(wèn)。<4>易管理：少量管理員可以處理上千節(jié)點(diǎn)和PB級(jí)存儲(chǔ),更高效的支撐大量上層應(yīng)用對(duì)存儲(chǔ)資源的快速部署需求。就較低的整體存儲(chǔ)成本而言,使用云存儲(chǔ)技術(shù)的好處對(duì)非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō)是令人無(wú)法拒絕的。云存儲(chǔ)技術(shù)是以服務(wù)為基礎(chǔ),無(wú)需購(gòu)買(mǎi)、管理和維護(hù)存儲(chǔ)硬件設(shè)備,依靠這項(xiàng)服務(wù),即使不能消除,也能大大減少數(shù)據(jù)中心和存儲(chǔ)管理人員方面的成本。云存儲(chǔ)克服了昂貴的技術(shù)更新,這通常是在最初購(gòu)買(mǎi)后的三至五年里開(kāi)始的,要么需要具有最先進(jìn)的技術(shù),要么只需說(shuō)服購(gòu)買(mǎi)昂貴的舊陣列支持合同。云存儲(chǔ)技術(shù)通過(guò)消除傳統(tǒng)數(shù)據(jù)存儲(chǔ)預(yù)期的增長(zhǎng)容量和負(fù)載而配置的大量存儲(chǔ)空間,以達(dá)到數(shù)據(jù)空間接近100%的利用率。除了節(jié)省整體成本外,云存儲(chǔ)的可擴(kuò)展性、透明的支持基礎(chǔ)能力和高峰負(fù)荷都是其最吸引人的特征。1．4云存儲(chǔ)的分類(lèi)在存儲(chǔ)資源獲取接口上,云存儲(chǔ)和傳統(tǒng)存儲(chǔ)在功能上并無(wú)差異,二者的區(qū)別體現(xiàn)在云存儲(chǔ)可以按需提供易管理、高可擴(kuò)展、高性?xún)r(jià)比的存儲(chǔ)資源。根據(jù)存儲(chǔ)的數(shù)據(jù)類(lèi)型不同和應(yīng)用需求不同,云存儲(chǔ)系統(tǒng)可分為以下3種類(lèi)型：公共云存儲(chǔ)公共云存儲(chǔ)服務(wù)是云存儲(chǔ)可選項(xiàng)之一,其服務(wù)供應(yīng)商的數(shù)量增長(zhǎng)迅速,包括美國(guó)電話(huà)電報(bào)公司、亞馬遜、鐵山、微軟、Nirvani、Rackspace托管服務(wù)提供商等眾多公司。他們的存儲(chǔ)基礎(chǔ)設(shè)施通常包括直接附加驅(qū)動(dòng)的低成本存儲(chǔ)節(jié)點(diǎn)和負(fù)責(zé)管理跨節(jié)點(diǎn)內(nèi)容分布的基于對(duì)象的存儲(chǔ)體。公共云數(shù)據(jù)通常是通過(guò)互聯(lián)網(wǎng)協(xié)議被訪(fǎng)問(wèn),大多以表述性狀態(tài)轉(zhuǎn)移<REST>,很少是通過(guò)簡(jiǎn)單對(duì)象訪(fǎng)問(wèn)協(xié)議<SOAP>。彈性和冗余性是通過(guò)一個(gè)對(duì)象在至少兩個(gè)節(jié)點(diǎn)上存儲(chǔ)來(lái)實(shí)現(xiàn)的。目前是按照每個(gè)月每10億字節(jié)收取1美元的基礎(chǔ)上,根據(jù)不同的服務(wù)提供商,可能有額外的數(shù)據(jù)傳輸量費(fèi)用和入網(wǎng)費(fèi)。公共云存儲(chǔ)是專(zhuān)為大規(guī)模多租戶(hù)而設(shè)計(jì),能為每個(gè)客戶(hù)提供數(shù)據(jù)隔離、訪(fǎng)問(wèn)與安全性的服務(wù)。公共云存儲(chǔ)的內(nèi)容類(lèi)型其范圍包括,從靜態(tài)非核心應(yīng)用數(shù)據(jù)、需要可用的歸檔內(nèi)容到數(shù)據(jù)備份以及災(zāi)難性恢復(fù)數(shù)據(jù)。公共云存儲(chǔ)不太適合一直存在變化的活動(dòng)性?xún)?nèi)容。企業(yè)目前主要關(guān)注的是使用公共云存儲(chǔ)時(shí)其安全性以及在某種程度上的性能。內(nèi)部云存儲(chǔ)內(nèi)部或私有云存儲(chǔ)在數(shù)據(jù)中心的專(zhuān)用基礎(chǔ)設(shè)施上運(yùn)行,因此,能完全滿(mǎn)足安全性和性能這兩個(gè)主要關(guān)注點(diǎn),并在其他方面提供了與公共云存儲(chǔ)一樣的好處。雖然較大規(guī)模的企業(yè)可能會(huì)使用多租戶(hù)裝置來(lái)隔離部門(mén)之間或辦公多地的訪(fǎng)問(wèn),但內(nèi)部存儲(chǔ)云通常是針對(duì)單一租戶(hù)。不像公共云存儲(chǔ),內(nèi)部云存儲(chǔ)的可擴(kuò)展性條件更普通一些,因此它的產(chǎn)品更有可能在后臺(tái)設(shè)有傳統(tǒng)的存儲(chǔ)硬件設(shè)備。舉一個(gè)例子,惠普<HP>公司的CloudStart是把惠普刀片系統(tǒng)矩陣<BladeSystemMatrix>,一種惠普StorageWorks企業(yè)虛擬陣列<EVA>家庭陣列和云服務(wù)自動(dòng)化<CSA>軟件結(jié)合成內(nèi)部云存儲(chǔ)基礎(chǔ)設(shè)施?；萜誄loudStart本身不是一個(gè)私有云存儲(chǔ)產(chǎn)品,因?yàn)樗狈Ψ?wù)為基礎(chǔ)的關(guān)鍵要素。相反,它是有利的基礎(chǔ)設(shè)施,被用于惠普、惠普合作伙伴乃至那些用它作為一個(gè)全面管理、即用即付云存儲(chǔ)產(chǎn)品的企業(yè)。日立數(shù)據(jù)系統(tǒng)私有文件分層云存儲(chǔ)服務(wù)就是私有云存儲(chǔ)產(chǎn)品的一個(gè)例子。利用日立內(nèi)容平臺(tái)<HCP>,它駐留在客戶(hù)的數(shù)據(jù)中心,但由日立公司擁有和管理。除了最初的安裝費(fèi),客戶(hù)隨用隨付。同樣,依靠這種技術(shù),Nirvanix公司的hNode在數(shù)據(jù)中心內(nèi)提供了一個(gè)全面管理、即用即付的內(nèi)部云產(chǎn)品,這種技術(shù)為Nirvanix的存儲(chǔ)分發(fā)網(wǎng)絡(luò)<SDN>提供了動(dòng)力?；旌显拼鎯?chǔ)擁有混合云存儲(chǔ)環(huán)境的用戶(hù)可以管理內(nèi)外部資源。因?yàn)榛旌显品桨竿ǔＬ峁┮粋€(gè)現(xiàn)場(chǎng)設(shè)備,他們還可提供本地高速緩存和內(nèi)存,重復(fù)數(shù)據(jù)刪除以及為IT設(shè)備數(shù)據(jù)加密。然而,混合云解決方案必須滿(mǎn)足某些關(guān)鍵的要求來(lái)使混合云存儲(chǔ)進(jìn)行工作。他們必須表現(xiàn)得和同類(lèi)存儲(chǔ)一樣幾乎透明,并有適當(dāng)維持活動(dòng)的功能和現(xiàn)場(chǎng)使用頻繁的數(shù)據(jù),而且同時(shí)能將非活動(dòng)數(shù)據(jù)移動(dòng)到云。這些云的類(lèi)型依靠企業(yè)的實(shí)際情況來(lái)決定具體的數(shù)據(jù)何時(shí)被移動(dòng)到云或何時(shí)從云中退出。1．5公共云、私有云與混合云的對(duì)比：下面的圖表對(duì)云存儲(chǔ)的一個(gè)簡(jiǎn)要對(duì)比。1.6云存儲(chǔ)架構(gòu)分為兩類(lèi)：一種是通過(guò)服務(wù)來(lái)架構(gòu);另一種是通過(guò)軟件或硬件設(shè)備來(lái)架構(gòu)。傳統(tǒng)的系統(tǒng)利用緊耦合對(duì)稱(chēng)架構(gòu),這種架構(gòu)的設(shè)計(jì)旨在解決HPC<高性能計(jì)算、超級(jí)運(yùn)算>問(wèn)題,現(xiàn)在其正在向外擴(kuò)展成為云存儲(chǔ)從而滿(mǎn)足快速呈現(xiàn)的市場(chǎng)需求。下一代架構(gòu)已經(jīng)采用了松弛耦合非對(duì)稱(chēng)架構(gòu),集中元數(shù)據(jù)和控制操作,這種架構(gòu)并不非常適合高性能HPC,但是這種設(shè)計(jì)旨在解決云部署的大容量存儲(chǔ)需求。各種架構(gòu)的摘要信息如下：緊耦合對(duì)稱(chēng)<TCS>架構(gòu)構(gòu)建TCS系統(tǒng)是為了解決單一文件性能所面臨的挑戰(zhàn),這種挑戰(zhàn)限制了傳統(tǒng)NAS系統(tǒng)的發(fā)展。HPC系統(tǒng)所具有的優(yōu)勢(shì)迅速壓倒了存儲(chǔ),因?yàn)樗鼈冃枰膯我晃募蘒/O操作要比單一設(shè)備的I/O操作多得多。業(yè)內(nèi)對(duì)此的回應(yīng)是創(chuàng)建利用TCS架構(gòu)的產(chǎn)品,很多節(jié)點(diǎn)同時(shí)伴隨著分布式鎖管理<鎖定文件不同部分的寫(xiě)操作>和緩存一致性功能。這種解決方案對(duì)于單文件吞吐量問(wèn)題很有效,幾個(gè)不同行業(yè)的很多HPC客戶(hù)已經(jīng)采用了這種解決方案。這種解決方案很先進(jìn),需要一定程度的技術(shù)經(jīng)驗(yàn)才能安裝和使用。松弛耦合非對(duì)稱(chēng)<LCA>架構(gòu)LCA系統(tǒng)采用不同的方法來(lái)向外擴(kuò)展。它不是通過(guò)執(zhí)行某個(gè)策略來(lái)使每個(gè)節(jié)點(diǎn)知道每個(gè)行動(dòng)所執(zhí)行的操作,而是利用一個(gè)數(shù)據(jù)路徑之外的中央元數(shù)據(jù)控制服務(wù)器。集中控制提供了很多好處,允許進(jìn)行新層次的擴(kuò)展：●存儲(chǔ)節(jié)點(diǎn)可以將重點(diǎn)放在提供讀寫(xiě)服務(wù)的要求上,而不需要來(lái)自網(wǎng)絡(luò)節(jié)點(diǎn)的確認(rèn)信息?！窆?jié)點(diǎn)可以利用不同的商品硬件CPU和存儲(chǔ)配置,而且仍然在云存儲(chǔ)中發(fā)揮作用?！裼脩?hù)可以通過(guò)利用硬件性能或虛擬化實(shí)例來(lái)調(diào)整云存儲(chǔ)?！裣?jié)點(diǎn)之間共享的大量狀態(tài)開(kāi)銷(xiāo)也可以消除用戶(hù)計(jì)算機(jī)互聯(lián)的需要,如光纖通道或infiniband,從而進(jìn)一步降低成本。●異構(gòu)硬件的混合和匹配使用戶(hù)能夠在需要的時(shí)候在當(dāng)前經(jīng)濟(jì)規(guī)模的基礎(chǔ)上擴(kuò)大存儲(chǔ),同時(shí)還能提供永久的數(shù)據(jù)可用性。●擁有集中元數(shù)據(jù)意味著,存儲(chǔ)節(jié)點(diǎn)可以旋轉(zhuǎn)地進(jìn)行深層次應(yīng)用程序歸檔,而且在控制節(jié)點(diǎn)上,元數(shù)據(jù)經(jīng)常都是可用的。2云存儲(chǔ)技術(shù)現(xiàn)狀和應(yīng)用場(chǎng)景分析2．1提供塊存儲(chǔ)的云存儲(chǔ)系統(tǒng)傳統(tǒng)FCSAN系統(tǒng)就是典型的塊存儲(chǔ)系統(tǒng)。由于采用直接讀寫(xiě)磁盤(pán)空間來(lái)訪(fǎng)問(wèn)數(shù)據(jù),相對(duì)于其它數(shù)據(jù)讀取方式,塊存儲(chǔ)的讀取效率最高,一些大型數(shù)據(jù)庫(kù)應(yīng)用只能運(yùn)行在塊存儲(chǔ)設(shè)備上。一些廠家在SAN存儲(chǔ)系統(tǒng)的基礎(chǔ)上進(jìn)行"云化",在保證讀取效率和設(shè)備可靠性的情況下,增加設(shè)備的擴(kuò)展能力。這種云化方案主要包括兩類(lèi)技術(shù),一種為存儲(chǔ)虛擬化,另一種為新存儲(chǔ)架構(gòu)。2．2存儲(chǔ)虛擬化根據(jù)虛擬化實(shí)現(xiàn)層面的不同,存儲(chǔ)虛擬化又分為基于主機(jī)的虛擬化、基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化和基于存儲(chǔ)設(shè)備的虛擬化3類(lèi)。各類(lèi)存儲(chǔ)虛擬化技術(shù)的實(shí)現(xiàn)方式、技術(shù)優(yōu)缺點(diǎn)及使用場(chǎng)景分析如表l所示?；趥鹘y(tǒng)FCSAN存儲(chǔ)、通過(guò)第三方虛擬化設(shè)備實(shí)現(xiàn)存儲(chǔ)的彈性擴(kuò)展的存儲(chǔ)虛擬化技術(shù)也可以算作云存儲(chǔ)系統(tǒng)。但由于虛擬化硬件或軟件的性能瓶頸問(wèn)題、傳統(tǒng)磁盤(pán)陣列本身有限的擴(kuò)展能力以及異構(gòu)設(shè)備故障定位困難等問(wèn)題,存儲(chǔ)虛擬化技術(shù)應(yīng)用具有一定局限性,對(duì)于遺留FCSAN存儲(chǔ)系統(tǒng),建議選擇適合的存儲(chǔ)虛擬化技術(shù)進(jìn)行資源整合和分級(jí)存儲(chǔ),以實(shí)現(xiàn)存儲(chǔ)資源的有效利用。表1各類(lèi)存儲(chǔ)虛擬化技術(shù)對(duì)比及適用場(chǎng)景分析表

2．3新存儲(chǔ)架構(gòu)目前一些傳統(tǒng)存儲(chǔ)設(shè)備廠商也推出了全新架構(gòu)的云存儲(chǔ)系統(tǒng),如通過(guò)改變前端交換矩陣結(jié)構(gòu)、通過(guò)分布式算法管理的網(wǎng)格存儲(chǔ)等在設(shè)計(jì)上實(shí)現(xiàn)塊存儲(chǔ)系統(tǒng)的scaleOut。此類(lèi)代表的產(chǎn)品有EMCV—MAX和IBMXIV。V—MAX其后端架構(gòu)體系和現(xiàn)有盤(pán)陣相同,可在新建系統(tǒng)中考慮使用,并可與原有傳統(tǒng)盤(pán)陣進(jìn)行虛擬化整合。但其擁有成本仍然較高,XIV屬于全新架構(gòu)的陣列設(shè)備,無(wú)法與傳統(tǒng)FCSAN設(shè)備以虛擬化方式進(jìn)行整合,引入必然帶來(lái)新的存儲(chǔ)豎井,在已有系統(tǒng)擴(kuò)容中不建議考慮,但由于其采用標(biāo)準(zhǔn)硬件單元,成本降低。也可在新建生產(chǎn)系統(tǒng)時(shí)謹(jǐn)慎采用。由于設(shè)備的廠商私有性,各廠商新架構(gòu)的云存儲(chǔ)系統(tǒng)之間難以兼容。2．4提供文件存儲(chǔ)的云存儲(chǔ)系統(tǒng)文件存儲(chǔ)系統(tǒng)可提供通用的文件訪(fǎng)問(wèn)接口,如POSIX、NFS、CIFS、FTP等,實(shí)現(xiàn)文件與目錄操作、文件訪(fǎng)問(wèn)、文件訪(fǎng)問(wèn)控制等功能。文件系統(tǒng)云存儲(chǔ)系統(tǒng)適合處理海量非結(jié)構(gòu)化數(shù)據(jù),目前提供文件存儲(chǔ)的云存儲(chǔ)系統(tǒng)包括兩類(lèi)：<1>軟硬件一體解決方案：基于X86硬件,但利用專(zhuān)有的、定制設(shè)計(jì)的硬件組件,與廠家分布式文件系統(tǒng)集成在一起,以實(shí)現(xiàn)目標(biāo)設(shè)計(jì)的性能和可靠性目標(biāo)。<2>軟硬件分離解決方案：基于開(kāi)源分布式文件系統(tǒng)對(duì)外提供彈性存儲(chǔ)資源,軟硬件分離方式?？刹捎脴?biāo)準(zhǔn)PC服務(wù)器硬件。2．5軟硬件一體機(jī)軟硬件一體機(jī)又可進(jìn)一步分為并行文件系統(tǒng)和NAS虛擬化系統(tǒng),前者代表產(chǎn)品為EMCIsilonONEFS和IBMSONASGPFS,后者代表產(chǎn)品為HPX9000<IBRIXFusionFS>。NAS虛擬化本質(zhì)為NAS機(jī)頭+集中存儲(chǔ)的解決方案,存在管理節(jié)點(diǎn)的瓶頸,同時(shí)以文件為粒度的分布式?jīng)Q定了其有限的文件讀寫(xiě)性能,不是完全意義上的分布式文件系統(tǒng),前兩者為分布式并行文件系統(tǒng),且無(wú)管理節(jié)點(diǎn)瓶頸,但均采用集中共享存儲(chǔ),文件系統(tǒng)成熟度較好,但軟硬一體的結(jié)構(gòu)帶來(lái)成本問(wèn)題和未來(lái)擴(kuò)容的局限性問(wèn)題。2．6軟硬件分離的分布式文件系統(tǒng)分布式文件系統(tǒng)雖然已經(jīng)提出很多年,但由于以開(kāi)源產(chǎn)品或自用技術(shù)為主,既無(wú)統(tǒng)一標(biāo)準(zhǔn)又缺少成熟商用產(chǎn)品,因此真正的商用應(yīng)用較少。代表性的為Google的GFS和開(kāi)源的HDFS,另外Facebook、淘寶、騰訊等均開(kāi)發(fā)了自己的分布式文件系統(tǒng),用于管理其Blog、相冊(cè)等數(shù)據(jù)信息。近年來(lái)一些國(guó)內(nèi)廠商也推出了商用的軟硬件分離的分布式文件系統(tǒng)。HDFS可以認(rèn)為是GFS的一個(gè)簡(jiǎn)化版實(shí)現(xiàn),采用單一主控機(jī)<Master>+多臺(tái)工作機(jī)的模式,由一臺(tái)主控機(jī)存儲(chǔ)系統(tǒng)全部元數(shù)據(jù),并實(shí)現(xiàn)數(shù)據(jù)的分布、復(fù)制、備份決策,工作機(jī)存儲(chǔ)數(shù)據(jù)并根據(jù)主控機(jī)的指令進(jìn)行數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)遷移和數(shù)據(jù)計(jì)算等。HDFS通過(guò)數(shù)據(jù)分塊和復(fù)制<多副本,一般是3>來(lái)提供更高的可靠性和更高的性能。同時(shí),針對(duì)數(shù)據(jù)讀多于寫(xiě)的特點(diǎn),讀服務(wù)被分配到多個(gè)副本所在機(jī)器,提供了系統(tǒng)的整體性能。HDFS提供了一個(gè)樹(shù)結(jié)構(gòu)的文件系統(tǒng),實(shí)現(xiàn)了類(lèi)似與Linux下的文件復(fù)制、改名、移動(dòng)、創(chuàng)建、刪除操作以及簡(jiǎn)單的權(quán)限管理等。但HDFS為避免多客戶(hù)端對(duì)同一文件的追加,簡(jiǎn)化了設(shè)計(jì),不支持對(duì)文件的Append追加操作,這也使得HDFS不能提供標(biāo)準(zhǔn)的POSIX接口,不能成為一個(gè)完整意義上"文件系統(tǒng)"。軟硬件分離分布式文件系統(tǒng)解決方案與廠商私有分布式文件系統(tǒng)一樣,可通過(guò)分布式架構(gòu)有效提高文件并發(fā)讀寫(xiě)性能,且能夠構(gòu)建在標(biāo)準(zhǔn)的x86服務(wù)器集群之上．比軟硬件一體設(shè)備具有更好的擴(kuò)展性并可有效降低建設(shè)成本,但開(kāi)源軟件本身的成熟度有待驗(yàn)證。圖1HDFS技術(shù)架構(gòu)示意圖2.7提供對(duì)象存儲(chǔ)的云存儲(chǔ)系統(tǒng)對(duì)象存儲(chǔ)是為海量數(shù)據(jù)提供Key—Value這種通過(guò)鍵值查找數(shù)據(jù)文件的存儲(chǔ)模式,它引人對(duì)象元數(shù)據(jù)來(lái)描述對(duì)象特征,對(duì)象元數(shù)據(jù)具有豐富的語(yǔ)義,引人容器概念作為存儲(chǔ)對(duì)象的集合。對(duì)象存儲(chǔ)系統(tǒng)服務(wù)層對(duì)應(yīng)用系統(tǒng)提供基于http/https協(xié)議的對(duì)象存儲(chǔ)WebService服務(wù)或直接提供API接口,底層基于分布式存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)數(shù)據(jù)的存取,具體存儲(chǔ)方式對(duì)外部應(yīng)用透明。這樣的存儲(chǔ)系統(tǒng)架構(gòu)具有高可擴(kuò)展性,支持?jǐn)?shù)據(jù)的并發(fā)讀寫(xiě),一般不支持?jǐn)?shù)據(jù)的隨機(jī)寫(xiě)操作。2.7.1AmazoNS3AmazonS3<AmazonSimpleStorageService>是亞馬遜公司利用他們的亞馬遜網(wǎng)絡(luò)服務(wù)系統(tǒng)所提供的網(wǎng)絡(luò)線(xiàn)上儲(chǔ)存服務(wù)。經(jīng)由Web服務(wù)界面,提供給用戶(hù)包括REST,SQAP與BitTorrent接口,使用戶(hù)能夠輕易把檔案儲(chǔ)存到網(wǎng)絡(luò)服務(wù)器上。S3基本概念:<1>桶<bucket:類(lèi)比于文件系統(tǒng)的目錄,存儲(chǔ)對(duì)象的容器,不能嵌套,名稱(chēng)全局唯一;<2>對(duì)象<object>:類(lèi)比文件系統(tǒng)的文件,包含對(duì)象數(shù)據(jù)和對(duì)象元數(shù)據(jù)。對(duì)象元數(shù)據(jù)用來(lái)描述對(duì)象特征,具有豐富的語(yǔ)義,并帶有版本概念。上傳的對(duì)象在其存儲(chǔ)周期內(nèi)不能改變。<3>鍵值<Keys>:類(lèi)比文件名,key的樣式是URL。同名文件的寫(xiě)人,并不覆蓋已有文件而是增加了一個(gè)最新的文件版本<圖2左>。同樣下面的刪除也不真正刪除,而是mark了刪除標(biāo)記<圖2右>。當(dāng)最新版本mark為deleted之后,對(duì)該對(duì)象的get操作返回錯(cuò)誤,除非明確指定一個(gè)歷史版本。也可以指定版本永久刪除其中一個(gè)拷貝。2.7.2中國(guó)移動(dòng)BC-ONEST中國(guó)移動(dòng)大云也提供了對(duì)象存儲(chǔ)模塊BC-ONest,基本概念與S3類(lèi)似,相關(guān)接口如下:NativeAPI接口:提供C++,JavaAPI接口,實(shí)現(xiàn)本地高并發(fā)數(shù)據(jù)操作。Internet接口:基于http/https的REST/SOAP訪(fǎng)問(wèn)接口,用戶(hù)可以通過(guò)互聯(lián)網(wǎng)隨時(shí)隨地的上傳、訪(fǎng)問(wèn)系統(tǒng)中的對(duì)象數(shù)據(jù);系統(tǒng)為用戶(hù)的接人和數(shù)據(jù)的傳輸提供安全可靠的通道。CloudNA5接口:本系統(tǒng)支持以NASServer的形式對(duì)外提供基于文件系統(tǒng)訪(fǎng)問(wèn)接口的存儲(chǔ)服務(wù)?？蛻?hù)端應(yīng)用可以通過(guò)"掛載<mount>",將遠(yuǎn)程的對(duì)象存儲(chǔ)空間映射為本地的文件系統(tǒng)。小結(jié):對(duì)象存儲(chǔ)技術(shù)相對(duì)成熟,國(guó)內(nèi)外也有很多成功案例,對(duì)于運(yùn)營(yíng)商來(lái)說(shuō),對(duì)象存儲(chǔ)對(duì)底層硬件要求不高,存儲(chǔ)系統(tǒng)可靠性和容錯(cuò)通過(guò)軟件實(shí)現(xiàn),同時(shí)其訪(fǎng)問(wèn)接口簡(jiǎn)單,適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù),如在線(xiàn)的公共云存儲(chǔ)服務(wù)、數(shù)據(jù)備份服務(wù)等;移動(dòng)互聯(lián)網(wǎng)類(lèi)應(yīng)用,如郵箱、網(wǎng)盤(pán)、相冊(cè)、音頻視頻存儲(chǔ)等。圖2存儲(chǔ)操作示意圖2.8提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)表結(jié)構(gòu)存儲(chǔ)是一種結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),如傳統(tǒng)數(shù)據(jù)庫(kù)相比,它提供的表空間訪(fǎng)問(wèn)功能受限,但更強(qiáng)調(diào)系統(tǒng)的可擴(kuò)展性。提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)的特征就是同時(shí)提供高并發(fā)的數(shù)據(jù)訪(fǎng)問(wèn)性能和可伸縮的存儲(chǔ)和計(jì)算架構(gòu)。結(jié)構(gòu)云存儲(chǔ)與傳統(tǒng)數(shù)據(jù)庫(kù)比較表提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)有兩類(lèi)接口訪(fǎng)問(wèn)方式。一類(lèi)是標(biāo)準(zhǔn)的xDBC,SQL數(shù)據(jù)庫(kù)接口,一類(lèi)是MapReduce的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用處理接口。前者目前以開(kāi)源技術(shù)為主,尚未有成熟的商業(yè)軟件,后者己有商業(yè)軟件和成功的商業(yè)應(yīng)用案例。2.8.1分布式數(shù)據(jù)倉(cāng)庫(kù)分布式數(shù)據(jù)倉(cāng)庫(kù)一般采用MPP<MassiveParallelProcessing>架構(gòu)實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)和處理、以及高并發(fā)數(shù)據(jù)讀寫(xiě)能力,它實(shí)現(xiàn)了SQL到MapReduce的翻譯,優(yōu)化.執(zhí)行和結(jié)果收集,具有良好的擴(kuò)展能力。分布式數(shù)據(jù)倉(cāng)庫(kù)能基于各種開(kāi)放式硬件平臺(tái),同時(shí)支持SQL和MapReduce接口。分布式數(shù)據(jù)倉(cāng)庫(kù)的代表系統(tǒng):商業(yè)軟件GreenPlum,中國(guó)移動(dòng)HuqeTable、開(kāi)源Hive等。2.8.2分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)同樣基于低成本的PC服務(wù)器,提供了高度可伸縮的存儲(chǔ)和計(jì)算架構(gòu)。數(shù)據(jù)存儲(chǔ)、可靠性依賴(lài)于表存儲(chǔ)底層采用的文件存儲(chǔ);高性能的數(shù)據(jù)讀寫(xiě)能力也需要利用底層并行文件系統(tǒng)的并行數(shù)據(jù)讀寫(xiě)能力。分布式數(shù)據(jù)庫(kù)的代表系統(tǒng):GoogleBigTable。BigTable承載了Google搜索引擎、郵件、地圖、Analytics等應(yīng)用的結(jié)構(gòu)化數(shù)據(jù),容量達(dá)到十PB規(guī)模,它提供了簡(jiǎn)單的數(shù)據(jù)模型,支持快速數(shù)據(jù)定位、掃描,但是不支持RDBMS的關(guān)系運(yùn)算如報(bào)表、多表查詢(xún)、復(fù)雜關(guān)系運(yùn)算。BigTable可提供高性能數(shù)據(jù)讀寫(xiě),利用內(nèi)存寫(xiě)十日志保證數(shù)據(jù)寫(xiě)性能,利用數(shù)據(jù)分區(qū)+三層索引提高讀性能,尤其是數(shù)據(jù)掃描的性能。小結(jié):分布式數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域里。商用Greenplum和開(kāi)源的Hive有了大量的成功案例,己經(jīng)成為BI領(lǐng)域發(fā)展趨勢(shì).適用于海量數(shù)據(jù)ETL處理、數(shù)據(jù)挖掘應(yīng)用、以及網(wǎng)管信令分析應(yīng)用、海量日志處理等。分布式數(shù)據(jù)庫(kù)目前以開(kāi)源為主,尚未有成熟的商業(yè)軟件,其與并行計(jì)算模式配合可實(shí)現(xiàn)高性能可伸縮的批處理,可用于話(huà)單結(jié)算等場(chǎng)景,并提供了簡(jiǎn)單的數(shù)據(jù)模型以支持快速數(shù)據(jù)定位、掃描,但目前不適用于業(yè)務(wù)邏輯復(fù)雜的OLTP應(yīng)用,如CRM和ERP等。圖4

BigTable的邏輯模型與物理設(shè)計(jì)示意圖模型以支持快速數(shù)據(jù)定位、掃描,但目前不適用于業(yè)務(wù)邏輯復(fù)雜的OLTP應(yīng)用,如CRM和ERP等。2.9相關(guān)國(guó)際標(biāo)準(zhǔn)簡(jiǎn)介SNIA<Storage

Networking

IndustryAssociation>于2010年4月12日推出首個(gè)云存儲(chǔ)標(biāo)準(zhǔn)—CDMI<CloudDataManagementInterface>標(biāo)準(zhǔn),主要面向存儲(chǔ)即服務(wù)<DaaS>,屬于對(duì)象存儲(chǔ)的范疇,廠家產(chǎn)品可以以CDMI標(biāo)準(zhǔn)為基礎(chǔ)提供按需虛擬存儲(chǔ)或相關(guān)數(shù)據(jù)服務(wù)。由于篇幅有限,本文不再詳細(xì)敘述CDMI標(biāo)準(zhǔn)。以上詳細(xì)闡述了不同數(shù)據(jù)類(lèi)型的云存儲(chǔ)技術(shù),并一一分析了其應(yīng)用場(chǎng)景。對(duì)于企業(yè)私有云應(yīng)用,面對(duì)各類(lèi)生產(chǎn)系統(tǒng)的存儲(chǔ)需求,要求云存儲(chǔ)系統(tǒng)按需提供不同空間容量、不同性能的存儲(chǔ)資源,應(yīng)積極采用存儲(chǔ)虛擬化技術(shù)整合現(xiàn)有FCSAN資源,挖掘設(shè)備潛力,建立分級(jí)存儲(chǔ)機(jī)制,使數(shù)據(jù)合理分布,在海量非結(jié)構(gòu)化數(shù)據(jù)處理、日志詳單處理、經(jīng)營(yíng)分析領(lǐng)域等積極實(shí)驗(yàn)