《云計(jì)算(第三版)》第8章 OpenStack 開源虛擬化平臺(四)課件

8.3對象存儲服務(wù)Swift8.3.1Swift特性8.3.2應(yīng)用場景8.3.3Swift主要組件8.3.4Swift基本原理8.3.5實(shí)例分析Swift的算法和存儲理論并不復(fù)雜主要有以下幾個(gè)概念38.3對象存儲服務(wù)Swift數(shù)據(jù)一致性模型（ConsistencyModel）為了實(shí)現(xiàn)這一目標(biāo)，Swift采用Quorum仲裁協(xié)議N為數(shù)據(jù)的副本總數(shù)W為寫操作被確認(rèn)接受的副本數(shù)量R為讀操作的副本數(shù)量（2）強(qiáng)一致性：強(qiáng)一致性R+W>N，以保證對副本的讀寫操作會產(chǎn)生交集，從而保證可以讀取到最新版本弱一致性R+W<=N，如果讀寫操作的副本集合不產(chǎn)生交集，就可能會讀到臟數(shù)據(jù)48.3對象存儲服務(wù)Swift數(shù)據(jù)一致性模型（ConsistencyModel）寫操作讀操作v2v2v1YYNY？58.3對象存儲服務(wù)Swift一致性散列（ConsistentHashing）P0P1P2P3P4P5P6P7散列空間（0,232-1）位移量m=29（0,2m-1）（2m,2m+1-1）右移m位對象鍵散列函數(shù)虛擬節(jié)點(diǎn)將散列結(jié)果右移m位，可產(chǎn)生232-m個(gè)虛擬節(jié)點(diǎn)，例如m=29時(shí)可產(chǎn)生8個(gè)虛擬節(jié)點(diǎn)。68.3對象存儲服務(wù)Swift數(shù)據(jù)模型AccountAAccountBAccountCContainer1Container2Container1Container2Container1Container2葉子節(jié)點(diǎn)Account賬戶Container容器Object對象租戶，用來做頂層的隔離機(jī)制代表封裝一組對象，類似文件夾或目錄由元數(shù)據(jù)和內(nèi)容兩部分組成78.3對象存儲服務(wù)Swift環(huán)的數(shù)據(jù)結(jié)構(gòu)（2）分區(qū)到設(shè)備映射關(guān)系環(huán)是為了將虛擬節(jié)點(diǎn)（分區(qū)）映射到一組物理存儲設(shè)備上，并提供一定的冗余度而設(shè)計(jì)的，其數(shù)據(jù)結(jié)構(gòu)由以下信息組成。（1）存儲設(shè)備列表、設(shè)備信息包括唯一標(biāo)識號（id）、區(qū)域號（zone）、權(quán)重（weight）、IP地址（ip）、端口（port）、設(shè)備名稱（device）、元數(shù)據(jù)（metadata）（3）計(jì)算分區(qū)號的位移replica2part2dev_id數(shù)組part_shift整數(shù)88.3對象存儲服務(wù)Swift環(huán)的數(shù)據(jù)結(jié)構(gòu)P0d0d8d16P1d1d9d17P2d2d10d18P3d3d11d19…………P7d7d15d23設(shè)備編號列表分區(qū)到設(shè)備映射z1z2z3z4z5設(shè)備與區(qū)域映射（存在設(shè)備信息里）分區(qū)000向右移除分區(qū)索引MD5散列賬戶名/容器名/對象名區(qū)域98.3對象存儲服務(wù)SwiftReplica如果集群中的數(shù)據(jù)在本地節(jié)點(diǎn)上只有一份，一旦發(fā)生故障就可能會造成數(shù)據(jù)的永久性丟失。因此，需要有冗余的副本來保證數(shù)據(jù)安全。Swift中引入了Replica的概念，其默認(rèn)值為3，理論依據(jù)主要來源于NWR策略（也叫Quorum協(xié)議）。108.3對象存儲服務(wù)SwiftReplica一種在分布式存儲系統(tǒng)中用于控制一致性級別的策略。在Amazon的Dynamo云存儲系統(tǒng)中，使用了NWR來控制一致性。NWR代表同一份數(shù)據(jù)的Replica的份數(shù)更新一個(gè)數(shù)據(jù)對象時(shí)需要確保成功更新的份數(shù)代表讀取一個(gè)數(shù)據(jù)需要讀取的Replica的份數(shù)118.3對象存儲服務(wù)SwiftReplica公式W+R>N，保證某個(gè)數(shù)據(jù)不被兩個(gè)不同的事務(wù)同時(shí)讀和寫，公式W>N/2保證兩個(gè)事務(wù)不能并發(fā)寫某一個(gè)數(shù)據(jù)。N12345非常危險(xiǎn)比較危險(xiǎn)N>2，N越大，成本越高工業(yè)界通常把N設(shè)置為3Swift的N=3、W=2、R=2，完全符合NWR策略，Swift系統(tǒng)是可靠的，沒有單點(diǎn)故障。128.3對象存儲服務(wù)SwiftZone如果所有的節(jié)點(diǎn)都在一個(gè)機(jī)架或一個(gè)機(jī)房中，那么一旦發(fā)生斷電、網(wǎng)絡(luò)故障等事故，都將導(dǎo)致用戶無法訪問需要一種機(jī)制對機(jī)器的物理位置進(jìn)行隔離，以滿足分區(qū)容忍性Ring中引入了Zone的概念，把集群的節(jié)點(diǎn)分配到每個(gè)Zone中，其中，同一個(gè)Partition的Replica不能同時(shí)放在同一個(gè)節(jié)點(diǎn)上或同一個(gè)Zone內(nèi)。138.3對象存儲服務(wù)SwiftWeight權(quán)重Ring引入權(quán)重的目的是解決未來添加存儲能力更大的節(jié)點(diǎn)時(shí)，分配到更多的Partition。例如，2TB容量的節(jié)點(diǎn)的Partition數(shù)為1TB的兩倍，那么就可以設(shè)置2TB的權(quán)重為200，而1TB的權(quán)重為100。148.3對象存儲服務(wù)Swift系統(tǒng)架構(gòu)完全對稱面向資源組件可擴(kuò)展非阻塞式I/O模式系統(tǒng)架構(gòu)認(rèn)證服務(wù)節(jié)點(diǎn)代理節(jié)點(diǎn)緩存服務(wù)ObjectRingAccountRingControllerContainerRing對象服務(wù)容器服務(wù)賬戶服務(wù)ObjectFileContainerDBAccountDBEventualconsistencyObjectUpdaterObjectReplicatorObjectAuditorContainerUpdaterContainerReplicatorContainerAuditorAccountUpdaterAccountReplicatorAccountAuditorEventualconsistencyIntegritycheckingSwiftAPI8.3對象存儲服務(wù)Swift8.3.1Swift特性8.3.2應(yīng)用場景8.3.3Swift主要組件8.3.4Swift基本原理8.3.5實(shí)例分析178.3對象存儲服務(wù)Swift實(shí)例分析Proxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerZone1Zone2Zone3Zone4負(fù)載均衡器CET.abc.pngPUT.abc.png8.1OpenStack背景介紹8.2計(jì)算服務(wù)Nova8.3對象存儲服務(wù)Swift8.4鏡像服務(wù)Glance198.4鏡像服務(wù)GlanceGlance提供了一個(gè)虛擬磁盤鏡像的目錄和存儲倉庫，并且可以提供對虛擬機(jī)鏡像的存儲和檢索。這些磁盤鏡像常常廣泛應(yīng)用于OpenStackCompute組件之中。三種形式加以配置利用OpenStack對象存儲機(jī)制來存儲鏡像利用Amazon的簡單存儲解決方案（簡稱S3）直接存儲信息將S3存儲與對象存儲結(jié)合起來，作為S3訪問的連接器8.4鏡像服務(wù)Glance8.4.1Glance的作用8.4.2Glance的組成部分218.4鏡像服務(wù)GlanceGlance的作用Glance作為OpenStack的虛擬機(jī)的Image（鏡像）服務(wù)，提供了一系列的RESTAPI，用來管理、查詢虛擬機(jī)的鏡像，它支持多種后端存儲介質(zhì)可以看出，通過Glance，Opentack的3個(gè)模塊被鏈接成了一個(gè)整體，Glance為Nova提供鏡像的查找操作，而Swift又為Glance提供實(shí)際的存儲服務(wù)，Swift可以看成Glacne存儲接口的一個(gè)具體實(shí)現(xiàn)。NovaGlanceSwiftGlance在整個(gè)OpenStack項(xiàng)目中的角色定位8.4鏡像服務(wù)Glance8.4.1Glance的作用8.4.2Glance的組成部分238.4鏡像服務(wù)GlanceGlance的組成部分APIServerRegistryServer主要用來接受各種API調(diào)用請求，并提供相應(yīng)的操作。用來和MySQL數(shù)據(jù)庫進(jìn)行交互，存儲或者獲取鏡像的元數(shù)據(jù)。OpenStackImageService（Glance）248.4鏡像服務(wù)GlanceGlance的組成部分OpenStackObjectStorageFileSystemS3HTTP它是OpenStack中高可用的對象存儲項(xiàng)目。OpenStackImageService存儲虛擬機(jī)鏡像的默認(rèn)后端是后端文件系統(tǒng)。該后端允許OpenStackImageService存儲虛擬機(jī)鏡像在AmazonS3服務(wù)中。OpenStackImageService能通過HTTP在Internet上讀取可用的虛擬機(jī)