云存儲(chǔ)基礎(chǔ)架構(gòu)剖析

云存儲(chǔ)基礎(chǔ)架構(gòu)剖析模型，功能和內(nèi)部機(jī)制M,TimJones,資深軟件工程師簡(jiǎn)介：云存儲(chǔ)（或數(shù)據(jù)存儲(chǔ)即服務(wù)）是對(duì)接口后的存儲(chǔ)的抽象，可在該接口內(nèi)按需管理存儲(chǔ)。此外，接口抽象化存儲(chǔ)的位置，這樣一來，不管存儲(chǔ)是在本地還是遠(yuǎn)程（或混合）都無關(guān)緊要。云存儲(chǔ)基礎(chǔ)架構(gòu)引入新的架構(gòu)，能夠支持為大量潛在用戶提供不同水平的服務(wù)，以及地理上分散的存儲(chǔ)容量。了解云存儲(chǔ)架構(gòu)的關(guān)鍵架構(gòu)屬性—從數(shù)據(jù)保護(hù)和完整性到存儲(chǔ)優(yōu)化。本文的標(biāo)簽:cloud,cloud-storage,computing,云存儲(chǔ)基礎(chǔ)架構(gòu),云計(jì)算,存儲(chǔ),應(yīng)用開發(fā),頂件平臺(tái),^理,"資產(chǎn)管理常用縮略詞API：應(yīng)用程序編程接口FTP：文件傳輸協(xié)議HTTP:超文本傳輸協(xié)議HTTPS:通過安全套接字層的HTTPJFS:日志文件系統(tǒng)NFS：網(wǎng)絡(luò)文件系統(tǒng)NIC：網(wǎng)絡(luò)接口卡RAID:獨(dú)立磁盤冗余陣列REST:具象狀態(tài)傳輸SAN：存儲(chǔ)區(qū)域網(wǎng)絡(luò)SCSI：小型計(jì)算機(jī)系統(tǒng)接口SLA：服務(wù)級(jí)別協(xié)議TCP：傳輸控制協(xié)議UDP：用戶數(shù)據(jù)報(bào)協(xié)議WAN：廣域網(wǎng)以目前數(shù)據(jù)增長(zhǎng)的速度來看，云存儲(chǔ)越來越流行不足為奇。增長(zhǎng)速度最快的數(shù)據(jù)是歸檔數(shù)據(jù)，鑒于很多因素它是云存儲(chǔ)的理想之選，這些因素包括成本、訪問頻率、保護(hù)和可用性。但是并非所有云存儲(chǔ)都是相同的。一家提供商可能主要關(guān)注于成本，而另一家提供商關(guān)注于可用性或性能。沒有一個(gè)架構(gòu)具有單一側(cè)重點(diǎn)，但是一個(gè)架構(gòu)實(shí)現(xiàn)給定特征的程度定義了其市場(chǎng)和適當(dāng)?shù)氖褂媚Ｐ汀２粡男в媒嵌日務(wù)摷軜?gòu)是很難的。我的意思是，通過各種特征度量一個(gè)架構(gòu)，包括成本、性能、遠(yuǎn)程訪問，等等。因此，我首先定義一組可度量云存儲(chǔ)模型的標(biāo)準(zhǔn)，然后探究云存儲(chǔ)架構(gòu)內(nèi)的一些有趣的實(shí)現(xiàn)。首先，我們討論一個(gè)通用的云存儲(chǔ)架構(gòu)，設(shè)置上下文以供后面探究獨(dú)特的架構(gòu)特性。通用架構(gòu)云存儲(chǔ)架構(gòu)主要關(guān)乎以一個(gè)高度可擴(kuò)展和多租戶的方式按需交付存儲(chǔ)。通用（參見圖丄）的云存儲(chǔ)架構(gòu)包含一個(gè)導(dǎo)出API以訪問存儲(chǔ)的前端。在傳統(tǒng)的存儲(chǔ)系統(tǒng)中，這個(gè)API是SCSI協(xié)議；但是在云環(huán)境中，這些協(xié)議在演化。在那里您可以找到Web服務(wù)前端、基于文件的前端，甚至更多傳統(tǒng)前端（比如InternetSCSI或iSCSI）。在前端后面是一個(gè)中間件層，我將它稱作存儲(chǔ)邏輯。該層通過傳統(tǒng)的數(shù)據(jù)放置算法（考慮地理布局）實(shí)現(xiàn)各種功能，比如復(fù)制和數(shù)據(jù)簡(jiǎn)縮。最后，后端實(shí)現(xiàn)對(duì)數(shù)據(jù)的物理存儲(chǔ)。這可能是一個(gè)實(shí)現(xiàn)特定功能的內(nèi)部協(xié)議或物理磁盤的一個(gè)傳統(tǒng)后端。圖1.通用的云存儲(chǔ)架構(gòu)從圖1中，您可以看到當(dāng)前云存儲(chǔ)架構(gòu)的一些特征。注意，沒有特征在特定層中是獨(dú)有的，而是充當(dāng)本文探討的特定主題的指導(dǎo)。這些特征的定義見表1表1.云存儲(chǔ)特征特征 說明可管理性以最少的資源管理系統(tǒng)的能力訪問方法公開云存儲(chǔ)所用的協(xié)議性能根據(jù)寬帶和延遲衡量的性能多租戶支持多個(gè)用戶（或承租者）可擴(kuò)展性通過擴(kuò)展?jié)M足更高要求或以得體的方式加載的能力數(shù)據(jù)可用性對(duì)一個(gè)系統(tǒng)的正常運(yùn)行時(shí)間的衡量控制 控制系統(tǒng)的能力—特別是為成本、性能或其他特征進(jìn)行配置存儲(chǔ)效率度量如何高效使用原始存儲(chǔ)成本 度量存儲(chǔ)成本（通常以美元每GB為單位）可管理性云存儲(chǔ)的一個(gè)重點(diǎn)是成本。如果客戶可以購買并在本地管理存儲(chǔ)，而不是在云中租賃它，那么云存儲(chǔ)市場(chǎng)就會(huì)消失。但是成本可劃分為兩個(gè)高級(jí)類別：物理存儲(chǔ)生態(tài)系統(tǒng)本身的成本和管理它的成本。管理成本是隱式的，但卻是總體成本的一個(gè)長(zhǎng)期組成部分。為此，云存儲(chǔ)必須能在很大程度上進(jìn)行自我管理。引入新存儲(chǔ)（其中系統(tǒng)通過自動(dòng)自我配置來容納它）的能力和在出現(xiàn)錯(cuò)誤時(shí)查找和自我修復(fù)的能力很重要。在未來，諸如自主計(jì)算這樣的概念將在云存儲(chǔ)架構(gòu)中起到關(guān)鍵的作用。訪問方法云存儲(chǔ)與傳統(tǒng)存儲(chǔ)之間最顯著的差異之一是其訪問方法（參見圖丄）。大部分提供商實(shí)現(xiàn)多個(gè)訪問方法，但是Web服務(wù)APIs是常見的。許多APIs是基于REST原則實(shí)現(xiàn)的，即在HTTP之上開發(fā)（使用HTTP進(jìn)行傳輸）的一種基于對(duì)象的方案。RESTAPIs是無狀態(tài)的，因此可以簡(jiǎn)單而有效地予以提供。許多云存儲(chǔ)提供商實(shí)現(xiàn)RESTAPIs，包括AmazonSimpleStorageService（AmazonS3）、WindowsAzure?和MezeoCloudStoragePlatform。Web服務(wù)APIs的一個(gè)問題是，它們需要與應(yīng)用程序集成，以利用云存儲(chǔ)。因此，對(duì)云存儲(chǔ)也使用常見的訪問方法來提供即時(shí)集成。例如，NFS/CommonInternetFileSystem（CIFS）或FTP等基于文件的協(xié)議，iSCSI等基于塊的協(xié)議。Nirvanix、Zetta和Cleversafe等云存儲(chǔ)提供商提供這些訪問方法。盡管上面提到的協(xié)議是最常用的，但也有適合云存儲(chǔ)的其他協(xié)議。最有趣的其中一個(gè)是基于Web的分布式創(chuàng)作與版本控制（WebDAV）。WebDAV也基于HTTP，且將Web作為一種可讀寫的資源加以啟用。WebDAV的提供商包括Zetta和Cleversafe等。圖2.云存儲(chǔ)訪問方法您還可以尋找支持多協(xié)議訪問的解決方案。例如，IBM?SmartBusinessStorageCloud從同一存儲(chǔ)虛擬化架構(gòu)同時(shí)啟用基于文件（NFS和CIFS）的協(xié)議和基于SAN的協(xié)議。性能性能表現(xiàn)為很多方面，但是在用戶與遠(yuǎn)程云存儲(chǔ)提供商之間移動(dòng)數(shù)據(jù)的能力是云存儲(chǔ)最大的挑戰(zhàn)。問題就是TCP,它同時(shí)也是互聯(lián)網(wǎng)的主力。TCP基于數(shù)據(jù)包確認(rèn)從對(duì)等端點(diǎn)控制數(shù)據(jù)流。數(shù)據(jù)包丟失或延遲到達(dá)情況下將啟用阻塞控制，進(jìn)一步限制性能以避免更多全局網(wǎng)絡(luò)問題oTCP適用于通過全局Internet啟用小量數(shù)據(jù)，但不適用于會(huì)增加往返時(shí)間（RTT）的大型數(shù)據(jù)移動(dòng)。通過AsperaSoftware，Amazon解決了這個(gè)問題，方法就是從程式中刪除TCP。且開發(fā)了一個(gè)稱為FastandSecureProtocol（FASP?）的新協(xié)議，以在大型RTT和嚴(yán)重?cái)?shù)據(jù)包丟失情況下加速批量數(shù)據(jù)移動(dòng)。關(guān)鍵是UDP的使用，它是TCP的締約方傳輸協(xié)議。UDP允許主機(jī)管理阻塞，將這個(gè)方面推進(jìn)到FASP的應(yīng)用層協(xié)議中（參見圖3）。圖3.AsperaSoftware上的FastandSecureProtocol通過標(biāo)準(zhǔn)（非加速）NICs、FASP有效使用應(yīng)用程序可用帶寬，并移除傳統(tǒng)的批量數(shù)據(jù)傳輸模式的基本瓶頸。參考資料部分提供在傳統(tǒng)WAN、洲際傳輸和有損衛(wèi)星鏈接中FASP性能相關(guān)的一些有趣統(tǒng)計(jì)信息。多租戶云存儲(chǔ)架構(gòu)的一個(gè)關(guān)鍵特征稱為多租戶。這只是表示存儲(chǔ)由多個(gè)用戶（或多個(gè)“承租者”）使用。多租戶應(yīng)用于云存儲(chǔ)堆棧的多個(gè)層，從應(yīng)用層（其中存儲(chǔ)名稱空間在用戶之間是隔離的）到存儲(chǔ)層（其中可以為特定用戶或用戶類隔離物理存儲(chǔ)）。多租戶甚至適用于連接用戶與存儲(chǔ)的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，向特定用戶保證服務(wù)質(zhì)量和優(yōu)化帶寬?？蓴U(kuò)展性您可以從多個(gè)方面看待可擴(kuò)展性，但正是云存儲(chǔ)的隨需視圖使其最具吸引力。擴(kuò)展存儲(chǔ)需求（向上和向下）可改善用戶成本，提高云存儲(chǔ)提供商的復(fù)雜性。不僅要為存儲(chǔ)本身提供可擴(kuò)展性（功能擴(kuò)展），而且必須為存儲(chǔ)帶寬提供可擴(kuò)展性（負(fù)載擴(kuò)展）。云存儲(chǔ)的另一個(gè)關(guān)鍵特性是數(shù)據(jù)的地理分布（地理可擴(kuò)展性），支持經(jīng)由一組云存儲(chǔ)數(shù)據(jù)中心（通過遷移）使數(shù)據(jù)最接近于用戶。對(duì)于只讀數(shù)據(jù)，也可以進(jìn)行復(fù)制和分布（使用內(nèi)容傳遞網(wǎng)絡(luò)完成）。這如圖4所示。圖4.云存儲(chǔ)的可擴(kuò)展性DataInternetRepIcationGeograptiicall^closeforTirmsiRTT圖4.云存儲(chǔ)的可擴(kuò)展性DataInternetRepIcationGeograptiicall^closeforTirmsiRTTClou<jstorageproviderMgratianCl-audstorageproviderClouds^rag-e|providerUser在內(nèi)部，一個(gè)云存儲(chǔ)架構(gòu)必須能夠擴(kuò)展。服務(wù)器和存儲(chǔ)必須能夠在不影響用戶的情況下重新調(diào)整大小。正如在可管理性部分所討論的，自主計(jì)算是云存儲(chǔ)架構(gòu)所必需的。可用性如果一個(gè)云存儲(chǔ)供應(yīng)商有用戶的數(shù)據(jù)，它必須能夠應(yīng)求將該數(shù)據(jù)提供給用戶。鑒于網(wǎng)絡(luò)中斷、用戶錯(cuò)誤和其他情況，這很難以一種可靠而確定的方式予以提供。有一些有趣而新穎的方案可用于解決可用性，比如信息傳播。一家提供私有云存儲(chǔ)的公司Cleversafe（稍后介紹）使用InformationDispersalAlgorithm（IDA）來在發(fā)生物理故障和網(wǎng)絡(luò)中斷的情況下實(shí)現(xiàn)更高的可用性。IDA是由MichaelRabin最初為電信系統(tǒng)而創(chuàng)建的一種算法，它支持使用Reed-Solomon代碼對(duì)數(shù)據(jù)進(jìn)行切片處理，以便在數(shù)據(jù)丟失的情況下實(shí)現(xiàn)數(shù)據(jù)重建。此外，IDA允許您配置數(shù)據(jù)切片的數(shù)量，這樣一來，可以為一個(gè)可接納故障將數(shù)據(jù)對(duì)象分割成4個(gè)切片，對(duì)8個(gè)可接納故障分割成20個(gè)切片。與RAID類似，IDA支持通過原始數(shù)據(jù)的子集重建數(shù)據(jù)，含有一定數(shù)量的代碼錯(cuò)誤開銷（依賴于可接納故障的數(shù)量）。這如圖5所示。

圖5.Cleversafe用于最大化數(shù)據(jù)可用性的方法\Ge?graph(cdlsperston/Cloudsite#1Cloudsite#2Cloudsite#3Cloudsite#4GeographicallydistributecloudsitesInformationdispersalalgorithnn圖5.Cleversafe用于最大化數(shù)據(jù)可用性的方法\Ge?graph(cdlsperston/Cloudsite#1Cloudsite#2Cloudsite#3Cloudsite#4GeographicallydistributecloudsitesInformationdispersalalgorithnnD朮Dataslics1RSDalaslice2RSDataslice3RS□alaslice4FS有了為數(shù)據(jù)切片的能力以及cauchyReed-Solomon糾錯(cuò)碼，就可以將切片分發(fā)到地理上分散的站點(diǎn)進(jìn)行存儲(chǔ)。對(duì)于大量切片（p）和大量可接納故障（m），最終開銷是p/（p-m）。因此在圖5中，p=4且m=1的存儲(chǔ)系統(tǒng)的開銷是is33%。IDA的缺點(diǎn)在于，它是處理密集型的，無硬件加速。復(fù)制是另一個(gè)有用的技術(shù)，且由各個(gè)云存儲(chǔ)提供商實(shí)現(xiàn)。盡管復(fù)制技術(shù)引入了大量開銷（100%），但可以簡(jiǎn)單而高效地提供它?？刂埔幻蛻艨刂坪凸芾砥鋽?shù)據(jù)存儲(chǔ)方式及其相關(guān)成本的能力很重要。許多云存儲(chǔ)提供商實(shí)施控制，使用戶對(duì)其成本有更大的控制權(quán)。Amazon實(shí)現(xiàn)ReducedRedundancyStorage（RRS），為用戶提供最小化總存儲(chǔ)成本的一種方式。數(shù)據(jù)是在AmazonS3基礎(chǔ)架構(gòu)內(nèi)復(fù)制的，但使用RRS，數(shù)據(jù)復(fù)制次數(shù)較少，且存在丟失數(shù)據(jù)的可能性。這適用于可重新創(chuàng)建的或在其他地方有副本的數(shù)據(jù)。Nirvanix還提供基于策略的復(fù)制來對(duì)如何以及在何處存儲(chǔ)數(shù)據(jù)提供更細(xì)粒度的控制。效率存儲(chǔ)效率是云存儲(chǔ)基礎(chǔ)架構(gòu)的一個(gè)重要特征，特別是將重點(diǎn)放在總成本上。下一部分專門介紹成本，但是該特征更多地是關(guān)于對(duì)可用資源的高效使用，而非成本。要使一個(gè)存儲(chǔ)系統(tǒng)更高效，必須存儲(chǔ)更多數(shù)據(jù)。一個(gè)常見的解決方案就是數(shù)據(jù)簡(jiǎn)縮，即通過減少源數(shù)據(jù)來降低物理空間需求。實(shí)現(xiàn)這一點(diǎn)的兩種方法包括壓縮—通過使用不同的表示編碼數(shù)據(jù)來縮減數(shù)據(jù)—和重復(fù)數(shù)據(jù)刪除—移除可能存在的相同的數(shù)據(jù)副本。雖然兩種方法都有用，但壓縮方法涉及到處理（重新編碼數(shù)據(jù)進(jìn)出基礎(chǔ)架構(gòu)），而重復(fù)數(shù)據(jù)刪除方法涉及到計(jì)算數(shù)據(jù)簽名以搜索副本。成本云存儲(chǔ)最顯著的特征之一是通過使用降低成本的能力。這包括購置存儲(chǔ)的成本、驅(qū)動(dòng)存儲(chǔ)的成本、修復(fù)存儲(chǔ)的成本（當(dāng)驅(qū)動(dòng)器出現(xiàn)故障時(shí)）以及管理存儲(chǔ)的成本。在從這個(gè)角度（包括SLAs和增加存儲(chǔ)效率）看待云存儲(chǔ)時(shí)，云存儲(chǔ)在某些使用模型中會(huì)很有用。云存儲(chǔ)解決方案內(nèi)的一個(gè)有趣的使用高峰由一個(gè)名為Backblaze的公司提供（參見參考資料了解詳情）。Backblaze著手于為云存儲(chǔ)產(chǎn)品構(gòu)建廉價(jià)存儲(chǔ)。一個(gè)BackblazePOD（存儲(chǔ)架）在一個(gè)4U機(jī)箱中具有67TB的數(shù)據(jù)包，價(jià)格不到8,000美元。這個(gè)數(shù)據(jù)包含有一個(gè)4U機(jī)箱、一個(gè)主板、4GB的DRAM、4個(gè)SATA控制器、45個(gè)1.5TBSATA硬盤和兩個(gè)電源。在主板上，Backblaze運(yùn)行Linux?（以JFS作為文件系統(tǒng)）且以GbENICs作為前端，使用HTTPS和ApacheTomcat。Backblaze的軟件包括重復(fù)數(shù)據(jù)刪除、加密功能和用于數(shù)據(jù)保護(hù)的RAID6。Backblaze對(duì)其POD的描述（詳細(xì)介紹如何構(gòu)建您自己的POD）向您展示公司可以將存儲(chǔ)成本降低多大幅度，使云存儲(chǔ)成為一個(gè)可行且經(jīng)濟(jì)高效的選擇。回頁首云存儲(chǔ)模型到目前為止，我主要談?dòng)懥嗽拼鎯?chǔ)提供商，但是還有云存儲(chǔ)模型可支持用戶控制其數(shù)據(jù)。云存儲(chǔ)演化為三個(gè)類別，其中一個(gè)支持合并兩個(gè)類別，以提供一個(gè)經(jīng)濟(jì)高效而安全的選擇。本文大部分討論了公共云存儲(chǔ)提供商，它們將云存儲(chǔ)基礎(chǔ)架構(gòu)作為可出租商品予以提供（從長(zhǎng)期或短期存儲(chǔ)和基礎(chǔ)架構(gòu)內(nèi)使用的網(wǎng)絡(luò)帶寬角度來講）。私有云使用公共云存儲(chǔ)的概念，但是以可安全嵌入到用戶防火墻內(nèi)的形式。最后，混合云存儲(chǔ)支持合并這兩個(gè)模型，通過策略定義哪些數(shù)據(jù)必須私下維護(hù)，哪些可在公共云內(nèi)得到安全維護(hù)（參見圖6）。

圖6.云存儲(chǔ)模型InternetnetworkIrrterne:Ck?cCloudstorageQkMJC串帕nag目iNetwork圖6.云存儲(chǔ)模型InternetnetworkIrrterne:Ck?cCloudstorageQkMJC串帕nag目iNetworkIHybridCloucIstorageCloud苕血rag電FrivsieCloucstorage1 PjblcClcHid1Lstorage _|云存儲(chǔ)模型如圖6所示。典型的公共云存儲(chǔ)供應(yīng)商包括Amazon和Nirvanix（將存儲(chǔ)作為服務(wù)提供）。典型的私有云存儲(chǔ)提供商包括IBM、Parascale和Cleversafe（為內(nèi)部云構(gòu)建軟件和/或硬件）。最后，混合云提供商包括Nirvanix和Egnyte等。回頁首前景展望云存儲(chǔ)是云存儲(chǔ)模型中的一個(gè)有趣進(jìn)化，它重新定義我們?cè)谄髽I(yè)內(nèi)構(gòu)建、訪問和管理存儲(chǔ)的方式。盡管云存儲(chǔ)目前主要是一種消費(fèi)技術(shù)，它在迅速向企業(yè)質(zhì)量方向演化?；旌显拼鎯?chǔ)模型將使企業(yè)能夠在一個(gè)本地?cái)?shù)據(jù)中心內(nèi)維護(hù)其機(jī)密數(shù)據(jù)同時(shí)委托更少的機(jī)密數(shù)據(jù)到云中，以實(shí)現(xiàn)成本節(jié)約和地域保護(hù)。查看參考資料獲取有關(guān)云存儲(chǔ)提供商和獨(dú)特技術(shù)的信息的鏈接。參考資料學(xué)習(xí)可管理性是云存儲(chǔ)基礎(chǔ)架構(gòu)最重要的方面之一。出于經(jīng)濟(jì)效益，云存儲(chǔ)基礎(chǔ)架構(gòu)必須能夠自我管理并實(shí)現(xiàn)自主計(jì)算原則。在IBMResearch閱讀有關(guān)自主計(jì)算的更多信息。?REST是用于訪問云存儲(chǔ)基礎(chǔ)架構(gòu)的一種流行方法。?盡管不如REST常見WebDAV規(guī)范也用作一個(gè)高效的云存儲(chǔ)接口EgnyteCloudFileServer將WebDAV實(shí)現(xiàn)為其云存儲(chǔ)基礎(chǔ)架構(gòu)的一個(gè)接口。IBMSmartBusinessStorageCloud是有關(guān)企業(yè)云存儲(chǔ)的一個(gè)有趣視角。IBM的存儲(chǔ)云提供高性能的隨需存儲(chǔ)來供企業(yè)進(jìn)行配置。訪問方法是云存儲(chǔ)的重要方面之一，因?yàn)樗鼈儧Q定用戶如何集成其客戶端系統(tǒng)到云存儲(chǔ)基礎(chǔ)架構(gòu)中。實(shí)現(xiàn)基于文件的APIs的提供商包括