openstack私有云企業(yè)級實戰(zhàn)-上部基礎(chǔ)篇之swift

1、OpenStack 一、Swift 架構(gòu)、原簡OpenStackObjectStorage（Swift）OpenStack Swift 使用普通的服務(wù)器來構(gòu)建冗余的、可擴展的分布式對象量可達 PB 級。容功Swift提供的服務(wù)與AWS S3 的OpenStack 一、Swift 架構(gòu)、原簡OpenStackObjectStorage（Swift）OpenStack Swift 使用普通的服務(wù)器來構(gòu)建冗余的、可擴展的分布式對象量可達 PB 級。容功Swift提供的服務(wù)與AWS S3 的需要長期保存的數(shù)據(jù)，例如的SwiftRESTfulAPI1.4.6版本所提供的功能賬戶）的GET、對象）的GET

2、、PUT、HEAD、DELETE、并上傳 manifest 文件、（對象，不需要使用表單提交（HTML表單上傳文件到）WEB 站點（Swift 作為靜態(tài)站點的WEB 服務(wù)器架Swift的架構(gòu)之前，先介紹一下OpenStack的設(shè)計原理1. Scalabilityandelasticityareourmaingoals （可擴展性和伸縮性是Anyfeaturetlimitsourmaingoalsmustbeoptional （任何影響到可擴展 If see #2 （所有的環(huán)節(jié)必須是異步的，如果不能異步實現(xiàn)，參考第二條設(shè)All required components must be horizo

3、ntally scalable （所有的基礎(chǔ)組件必Always use shared nothing architecture (SN) or sharding，If you cant Share nothing/shard, see #2 （始終使用無共享的架構(gòu)，如果不能實現(xiàn)，參見第Distribute lly logic. Move logic to where see #2 （所有的環(huán)節(jié)必須是異步的，如果不能異步實現(xiàn)，參考第二條設(shè)All required components must be horizontally scalable （所有的基礎(chǔ)組件必Always use shared

4、 nothing architecture (SN) or sharding，If you cant Share nothing/shard, see #2 （始終使用無共享的架構(gòu)，如果不能實現(xiàn)，參見第Distribute lly logic. Move logic to where e Accepteventual consistencyanduseitwhereitis appropriate. （接受最終一Testeverything （充足的測試的構(gòu)架一般如下：可擴展性和伸縮性是的主要目依賴組件 同步工具，用于storagenodeWeb 服務(wù)網(wǎng)關(guān)接口，通過paste.deploy 工

5、具包管理swift 庫主要組件Ring 文件 在基ring 它卻 儲名字到位置的。 ring 文件分為三類，分別是： container.ring，object.ring。 對于 account 的請求就能通過 查詢account.ring得到/account_name: itionaccount_name 和 庫主要組件Ring 文件 在基ring 它卻 儲名字到位置的。 ring 文件分為三類，分別是： container.ring，object.ring。 對于 account 的請求就能通過 查詢account.ring得到/account_name: itionaccount_nam

6、e 和 container_name 查詢container.ring ition /account_name/container_name : object account_name，container_name，object_name object.ring 文件， 得到/account_name/container_name/object_name :itionRing /etc/swift 目錄下，被用于各節(jié)點之間的位置查詢，使得swift Ring 的詳 集群的 endpo，向用戶提供 RESTful API。 對于用戶的請求，proxy-server storage node ac

7、count-server。container-server object-swift proxy-server， proxy-server 不會對數(shù)據(jù)進行緩存。auth-server token 和驗證每個請求的token及 token的權(quán)限。swift proxy-server使用，是可選的，可以自己開發(fā)，也可以使用OpenStack Keystone。Keystone 是Keystone 可以無縫的與其它OpenStack 項目整account-serveraccount-server是storagenode中負責(zé)處理對account的GETUT、DELETE、RELICATION 請求的

8、服務(wù)進程，account-server 使用的數(shù)據(jù)庫文件保存account 的相關(guān)信息。container-server container-server storage node 的數(shù)據(jù)庫文件保存container object-server object-serverstorage node 中負責(zé)處理對object GETUT、PSOT、DELETE、RELICATION 請求的服務(wù)進程，object-直接操作 object，并利用 XFS 文件系統(tǒng)的xattr object 的元數(shù)據(jù)。 account-auditor、container-auditor、object-auditor 這

9、三個進程運行在 有其它副本的storage nodeaccount-replicator、container-replicator、object-replicator 這三個進程運行storagenode中，分別負責(zé)account db文件，containerdb文件， objectobjectswift集群中通常被存account-replicator、container-replicator、object-replicator 這三個進程運行storagenode中，分別負責(zé)account db文件，containerdb文件， objectobjectswift集群中通常被存 3，pro

10、xy-入失敗的節(jié)點在一段時間后將會得到寫入成功的節(jié)點 object-replicator進container-updater、account-updater 這兩個進程運行在storage node 中，在請求來量大時，container-serveraccount-server不能實時處理對數(shù)據(jù)庫更新的請求，這些請求將被本地化到隊列中，由updater 進程進行異步原理 事 /yuxc/的文章對ring 實現(xiàn)原理進行特性網(wǎng)絡(luò)是P2P HYPERLINK http:/blog/442177 /?p=95 總 9 需要看運營這個服務(wù)的公司的運維能力。如果要達到像AWS S3 這種規(guī)模的服務(wù)，還需

11、要對Swift 的部份組件進行優(yōu)化。二、OpenStack 策OpenStack RackspaceCloudFiles 2010 年最早的兩個項目之一。Swift 通過 RESTful API 提供對容器（Container）和對象的 CRUD 操作。OpenStackSwift 對象SwiftOpenStack RackspaceCloudFiles 2010 年最早的兩個項目之一。Swift 通過 RESTful API 提供對容器（Container）和對象的 CRUD 操作。OpenStackSwift 對象Swift 2.0 2014 策略簡介 PolicyContainer 策略

12、充分體現(xiàn)了 Swift“ Swift2.0 ObjectRing策略的配置與使用配置 策略以storage-policy:NN 1. 任何策略，Swift 2. 3. 默認策略，Swift 0 4. 的為 swift.conf #randomunique tcanneverchange(DONOTswift_hash_path_prefix=swift_hash_path_suffix=default=name=deprecated=完成 swift.conf 文件的編輯，下一步是為每個ObjectRing 類似，只是要在ObjectRing， object 后面加上-NN是0 和 1 nam

13、e=deprecated=完成 swift.conf 文件的編輯，下一步是為每個ObjectRing 類似，只是要在ObjectRing， object 后面加上-NN是0 和 1 Object swift-ring-builderobject-0.buildercreate103swift-ring-builderobject-1.buildercreate102使策container 以 SAIO curl-v-XPUT-HX-Auth-Token: -H X-Storage-Policy: orange curl-XPUT-v-Tfile1.txt-HX-Auth-Token: curl

14、-XGETvStoragePolicy 策略的應(yīng)用模式1. 1.Container 2. HDD SSD 保存。也可以應(yīng)用于其他存2.Container 2. HDD SSD 保存。也可以應(yīng)用于其他存2.Container 3. 3.Container 4. 應(yīng)用糾刪碼（Erasure對于性能要求不高的場合，應(yīng)用糾刪碼。糾刪碼，又稱為刪除碼，將對象分割為m 個分片（fragments4. 應(yīng)用糾刪碼（Erasure對于性能要求不高的場合，應(yīng)用糾刪碼。糾刪碼，又稱為刪除碼，將對象分割為m 個分片（fragments，并通過編碼生成k 個校驗分片，最后將這n=+k 個分片放到 Swift 系統(tǒng)的不同位置（swift 的不同 zone 中n EC(mn)將m 圖5在某中的應(yīng)用案例Swift數(shù)據(jù)分為三類：1）源片；2）文件；3）文1. 塊，并生成 3 塊校驗塊4)2. 效率約為3. 清晰度較低在某中的應(yīng)用案例Swift數(shù)據(jù)分為三類：1）源片；2）文件；3）文1. 塊，并生成 3 塊校驗塊4)2. 效率約為3. 清晰度較低50%99.9992%和 99.96%。策