30 云計(jì)算配套ppt之三十第8章 openstack 開源虛擬化平臺(tái)四

1、of 37電子工業(yè)云計(jì)算(第三版)配套課件云 計(jì) 算（第三版）CLOUD COMPUTING Third Edition第 8 章OpenStack開源虛擬化平臺(tái)(四)主編：教授電子工業(yè)云計(jì)算(第三版)配套課件 本套PPT下載地址：/list.aspx?cid=20云計(jì)算的紅寶書書籍購(gòu)買地址：/item.html?itemID=1469775685&p=-1（包郵且有教授親筆簽名）微信掃描二維碼關(guān)注云計(jì)算頭條教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士。現(xiàn)任中國(guó)云計(jì)算專家咨詢委員會(huì)中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng)、工業(yè)與信息化

2、部云計(jì)算研究中心專家。主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級(jí)科技進(jìn)步、二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編了國(guó)內(nèi)第一本云計(jì)算教材云計(jì)算和第一本云計(jì)算編程書籍實(shí)戰(zhàn)Hadoop。創(chuàng)辦了知名的中國(guó)云計(jì)算（）和中國(guó)大數(shù)據(jù)（）網(wǎng)站。曾率隊(duì)奪得2002 PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高?？萍急荣愖罡擢?jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號(hào)。云計(jì)算第三版配套PPT課件o

3、f 378.38 . 3 . 18 . 3 . 28 . 3 . 38 . 3 . 48 . 3 . 5對(duì)象存儲(chǔ)服務(wù)SwiftSwif t特性應(yīng)用場(chǎng)景Swif t主要組件Swif t基本原理實(shí)例分析云計(jì)算第三版配套PPT課件of 37Swift 的算法和存儲(chǔ)理論并不復(fù)雜主要有以下幾個(gè)概念（2）強(qiáng)一致性：8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件數(shù)據(jù)一致性模型（Consistency Model）為了實(shí)現(xiàn)這一目標(biāo)，Swift采用Quorum仲裁協(xié)議強(qiáng)一致性弱一致性of637R+WN，以保證對(duì)副本的讀寫操作會(huì)產(chǎn)生交集，從而保證可以讀取到最新版本R為讀操作的副本數(shù)量W為寫操作被確認(rèn)接

4、受的副本數(shù)量N為數(shù)據(jù)的副本總數(shù)8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件數(shù)據(jù)一致性模型（Consistency Model）YYNY？v2v2v1of737讀操作寫操作8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件一致性散列（Consistent Hashing） 對(duì)象鍵 散列函數(shù)右移m位（0,2m-1）P0P1P7（2m,2m+1-1）虛擬節(jié)點(diǎn)散列空間（0,232-1）位移量m=29P2P6P3P5P4of837將散列結(jié)果右移m位，可產(chǎn)生232-m 個(gè)虛擬節(jié)點(diǎn)，例如m=29時(shí)可產(chǎn)生8 個(gè)虛擬節(jié)點(diǎn)。8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件數(shù)據(jù)模型

5、Account賬戶 Container容器 Object對(duì)象葉子節(jié)點(diǎn) AccountA AccountB AccountC Container1Container2Container1Container2Container1Container2of937由元數(shù)據(jù)和內(nèi)容兩部分組成代表封裝一組對(duì)象，類似文件夾或目錄租戶，用來(lái)做頂層的隔離機(jī)制8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件環(huán)的數(shù)據(jù)結(jié)構(gòu)包括唯一標(biāo)識(shí)號(hào)（id）、區(qū)域號(hào)（zone）、權(quán)重（weight）、IP地址（ip）、端口（port）、設(shè)備名稱（device）、元數(shù)據(jù)（metadata）replica2part2dev_id

6、數(shù)組part_shift整數(shù)of1037（3）計(jì)算分區(qū)號(hào)的位移（2）分區(qū)到設(shè)備映射關(guān)系（1）存儲(chǔ)設(shè)備列表、設(shè)備信息環(huán)是為了將虛擬節(jié)點(diǎn)（分區(qū)）映射到一組物理存儲(chǔ)設(shè)備上，并提供一定的冗余度而設(shè)計(jì)的，其數(shù)據(jù)結(jié)構(gòu)由以下信息組成。8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件環(huán)的數(shù)據(jù)結(jié)構(gòu)MD5散列設(shè)備與區(qū)域映射（存在設(shè)備信息里）分區(qū)向右移除區(qū)域設(shè)備編號(hào)列表分區(qū)到設(shè)備映射分區(qū)索引of1137z5z4z3z2z1000d0d8d16d1d9d17d2d10d18d3d11d19d7d15d23P0P1P2P3P7賬戶名/容器名/ 對(duì)象名8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件R

7、eplica如果集群中的數(shù)據(jù)在本地節(jié)點(diǎn)上只有一份，一旦發(fā)生故障就可能會(huì)造成數(shù)據(jù)的永久性丟失。因此，需要有冗余的副本來(lái)保證數(shù)據(jù)安全。Swift中引入了Replica的概念，其默認(rèn)值為3，理論依據(jù)主要來(lái)源于NWR策略（也叫Quorum協(xié)議）。of12378 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件Replicaof1337 R代表讀取一個(gè)數(shù)據(jù)需要讀取的Replica的份數(shù) W更新一個(gè)數(shù)據(jù)對(duì)象時(shí)需要確保成功更新的份數(shù) N代表同一份數(shù)據(jù)的Replica的份數(shù)一種在分布式存儲(chǔ)系統(tǒng)中用于控制一致性級(jí)別的策略。在Amazon的Dynamo云存儲(chǔ)系統(tǒng)中，使用了NWR來(lái)控制一致性。8 . 3對(duì)象存

8、儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件Replica公式W+RN，保證某個(gè)數(shù)據(jù)不被兩個(gè)不同的事務(wù)同時(shí)讀和寫，公式WN/2保證兩個(gè)事務(wù)不能并發(fā)寫某一個(gè)數(shù)據(jù)。N2，N越大，成本越高非常危險(xiǎn)比較危險(xiǎn)N1245工業(yè)界通常把N設(shè)置為3of1437Swift的N=3、W=2、R=2，完全符合NWR策略， Swift系統(tǒng)是可靠的，沒有單點(diǎn)故障。38 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件Zoneof1537Ring中引入了Zone的概念，把集群的節(jié)點(diǎn)分配到每個(gè)Zone中，其中，同一個(gè)Partition的Replica不能同時(shí)放在同一個(gè)節(jié)點(diǎn)上或同一個(gè)Zone內(nèi)。需要一種機(jī)制對(duì)機(jī)器的物理位置

9、進(jìn)行隔離，以滿足分區(qū)容忍性如果所有的節(jié)點(diǎn)都在一個(gè)機(jī)架或一個(gè)機(jī)，那么一旦發(fā)生斷電、網(wǎng)絡(luò)故障等事故，都將導(dǎo)致用戶無(wú)法訪問8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件Weight權(quán)重of1637Ring引入權(quán)重的目的是解決未來(lái)添加存儲(chǔ)能力更大的節(jié)點(diǎn)時(shí)，分配到更多的Partition。例如，2TB容量的節(jié)點(diǎn)的Partition數(shù)為1TB的兩倍，那么就可以設(shè)置2TB的權(quán)重為200，而1TB的權(quán)重為100。8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件系統(tǒng)架構(gòu)非阻塞式I/O模式完全對(duì)稱面向資源組件可擴(kuò)展of1737系統(tǒng)架構(gòu)Swift API節(jié)點(diǎn)Controller認(rèn)證服務(wù)節(jié)點(diǎn)Ob

10、ject Ring緩存服務(wù)Account RingContainer Ring對(duì)象服務(wù)Object File容器服務(wù)賬戶服務(wù)Container DBAccount DB Eventual consistencyAccount UpdaterEventual consistency Account Replicator Integrity checking AccountAuditorObject UpdaterContainer UpdaterObject ReplicatorContainer ReplicatorObject AuditorContainer Auditor云計(jì)算第三版配套

11、PPT課件of 378.38 . 3 . 18 . 3 . 28 . 3 . 38 . 3 . 48 . 3 . 5對(duì)象存儲(chǔ)服務(wù)SwiftSwif t特性應(yīng)用場(chǎng)景Swif t主要組件Swif t基本原理實(shí)例分析8 . 3對(duì)象存儲(chǔ)服務(wù)Swift云計(jì)算第三版配套PPT課件實(shí)例分析CET.abc.pngPUT.abc.png負(fù)載均衡器Zone 1Proxy serverZone 2Proxy serverZone 3Proxy serverZone 4Proxy serverObject ServerContainer Server Account ServerObject ServerContai

12、ner Server Account ServerObject ServerContainer Server Account ServerObject ServerContainer Server Account Serverof2037目錄8 . 1Open Stack背景介紹8 . 2計(jì)算服務(wù)Nova8 . 3對(duì)象存儲(chǔ)服務(wù)Swif t8 . 4鏡像服務(wù)G l a n c e8 . 4鏡像服務(wù)Glance云計(jì)算第三版配套PPT課件Glance提供了一個(gè)虛擬磁盤鏡像的目錄和存儲(chǔ)倉(cāng)庫(kù)，并且可以提供對(duì)虛擬機(jī)鏡像的存儲(chǔ)和檢索。這些磁盤鏡像常常廣泛應(yīng)用于OpenStack Compute組件之中。利用

13、OpenStack對(duì)象存儲(chǔ)機(jī)制來(lái)存儲(chǔ)鏡像利用Amazon的簡(jiǎn)單存儲(chǔ)解決方案（簡(jiǎn)稱S3）直接存儲(chǔ)信息將S3存儲(chǔ)與對(duì)象存儲(chǔ)結(jié)合起來(lái)，作為S3訪問的連接器of2237三種形式加以配置云計(jì)算第三版配套PPT課件of 378.48 . 4 . 18 . 4 . 2鏡像服務(wù)GlanceGlance的作用Glance的組成部分8 . 4鏡像服務(wù)Glance云計(jì)算第三版配套PPT課件Glance的作用Glance作為OpenStack的虛擬機(jī)的Image（鏡像）服務(wù)，提供了一系列的REST API，用來(lái)管理、查詢虛擬機(jī)的鏡像，它支持多種后端存儲(chǔ)介質(zhì)Glance在整個(gè)OpenStack項(xiàng)目中的角色定位可以看出，

14、通過Glance，Opentack的3個(gè)模塊被鏈接成了一個(gè)整體，Glance為Nova提供鏡像的查找操作，而Swift又為Glance提供實(shí)際的存儲(chǔ)服務(wù)，Swift可以看成Glacne存儲(chǔ)接口的一個(gè)具體實(shí)現(xiàn)。of2437SwiftGlanceNova云計(jì)算第三版配套PPT課件of 378.48 . 4 . 18 . 4 . 2鏡像服務(wù)GlanceGlance的作用Glance的組成部分8 . 4鏡像服務(wù)Glance云計(jì)算第三版配套PPT課件Glance的組成部分Registry ServerAPI Serverof2637用來(lái)和MySQL數(shù)據(jù)庫(kù)進(jìn)行交互，存儲(chǔ)或者獲取鏡像的元數(shù)據(jù)。主要用來(lái)接受各

15、種API調(diào)用請(qǐng)求，并提供相應(yīng)的操作。OpenStack Image Service（Glance）8 . 4鏡像服務(wù)Glance云計(jì)算第三版配套PPT課件Glance的組成部分of2737OpenStack Image Service能通過HTTP在Internet上讀取可用的虛擬機(jī)鏡像。HTTP該后端允許OpenStack Image Service存儲(chǔ)虛擬機(jī)鏡像在Amazon S3服務(wù)中。S3OpenStack Image Service存儲(chǔ)虛擬機(jī)鏡像的默認(rèn)后端是后端文件系統(tǒng)。FileSystem它是OpenStack中高可用的對(duì)象存儲(chǔ)項(xiàng)目。OpenStack Object Storage

16、8 . 4鏡像服務(wù)Glance云計(jì)算第三版配套PPT課件Glance的組成部分Nova- computeDatabaseof2837Swift or S3Glance-registryGlance-api云計(jì)算第三版配套PPT課件of 37 習(xí)題： 1. Open Stack是什么？2. 總結(jié)Open Stack的主要組件及其功能。3. 請(qǐng)根據(jù)學(xué)過的知識(shí)總結(jié)一下各服務(wù)模塊之間如何協(xié)同工作。4. 請(qǐng)通過學(xué)過的知識(shí)概括一下Open Stack與AWS的異同。 百度排名首位的大數(shù)據(jù)資料和交流中心 百度排名首位的云計(jì)算資料和交流中心 終生免費(fèi)的智能硬件大數(shù)據(jù)托管平臺(tái) 掃一掃，進(jìn)入萬(wàn)物云 終 生 免 費(fèi)

17、 的 環(huán) 境 大 數(shù) 據(jù) 共 享 平 臺(tái) 掃一掃，進(jìn)入環(huán)境云 高校Hadoop教學(xué)科研一攬子解決方案云計(jì)算、大數(shù)據(jù)時(shí)代，社會(huì)亟需相關(guān)人才！而高校缺平臺(tái)、缺人才、缺經(jīng)驗(yàn)！怎么辦？云創(chuàng)大數(shù)據(jù)給您一步到位的解決方案！建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺(tái)一套開源的Hadoop一體機(jī)和開發(fā)環(huán)境，詳細(xì)的指導(dǎo)書籍和實(shí)驗(yàn)設(shè)計(jì)。培養(yǎng)一支云計(jì)算師資隊(duì)伍來(lái)自云計(jì)算高手的系列培訓(xùn)，早在2010年就培訓(xùn)了全國(guó)第一批云計(jì)算師資力量。營(yíng)造一個(gè)大數(shù)據(jù)科研環(huán)境為科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓科研邁上新臺(tái)階。了解詳情 知名微信公眾號(hào)推薦 學(xué)習(xí)云計(jì)算必須關(guān)注的公眾號(hào)看未來(lái) 微信號(hào)：lpoutlook云計(jì)算頭條 微信號(hào)： chinacloudnj 資源豐富、分析