課程-分布式系統(tǒng)09-云計算

云計算概述基本概念體系架構(gòu)技術(shù)背景提供服務(wù)云計算@Wiki一種計算能力，提供了計算資源與底層結(jié)構(gòu)之間的抽象，使用戶可以通過網(wǎng)絡(luò)方便的，按需使用的來對一個共享的資源池進行迅速的配置，部署與使用，并且只需要很少的管理以及與服務(wù)商的交互。云計算@IBM云計算可以

平臺與應(yīng)用。一個云計算平臺可以動態(tài)按需來供應(yīng)和配置服務(wù)器，云中的服務(wù)器可以使用物理機或者虛擬機，云中也可以包括其他的計算資源如火墻，以及其他的域網(wǎng)絡(luò)（SANs）、網(wǎng)絡(luò)設(shè)施、防。狹義云計算與廣義云計算狹義云計算——提供資源的網(wǎng)絡(luò)稱為“云”“云”中的資源在使用者看來是可以無限擴展的隨時獲取，按需使用，隨時擴展，按使用像水電一樣使用IT基礎(chǔ)設(shè)施廣義云計算——任意服務(wù)構(gòu)成的資源池稱為“云”“云”是一些可以自我

和管理的虛擬計算資源大型服務(wù)器集群，包括計算服務(wù)器、

服務(wù)器、寬帶資源云計算將所有的計算資源集中起來應(yīng)用提供者無需關(guān)注細節(jié)，更專注于業(yè)務(wù)相關(guān)技術(shù)并行計算(Parallel

Computing)分布式計算(Distributed

Computing)網(wǎng)格計算(Grid

Computing)網(wǎng)格計算利用互聯(lián)網(wǎng)把地理上廣泛分布的各種資源（包括計算資源、資源、帶寬資源、資源、數(shù)據(jù)資源、信息資源、知識資源等）連成一個邏輯整體，就像一臺超級計算機一樣，為用戶提供信息和應(yīng)用服務(wù)（計算、、等）。網(wǎng)格計算是分布式計算的一種，是分布式計算封裝。云計算可以認(rèn)為是網(wǎng)格計算的商業(yè)演化模式。云計算概念模型用戶云端服務(wù)提供商云計算與云平臺云計算是一種計算模式不是一種技術(shù)、不是一種產(chǎn)品……“按需服務(wù)”Pay

as

you

go云計算的

理念水、電等基礎(chǔ)設(shè)施云平臺是實現(xiàn)云計算模式的產(chǎn)品云計算解決方案云服務(wù)分類即服務(wù)SaaS（Software

as

a

Service）Salesfoce

online

服務(wù)平臺即服務(wù)PaaS（Platform

as

a

Service）App

EngineSina

App

Engine

(SAE)基礎(chǔ)設(shè)施即服務(wù)（Infrastructure

as

a

Service）Amazon

EC2、S3阿里云基礎(chǔ)設(shè)施即服務(wù)（

）

——Infrastructureas

aService：為IT行業(yè)創(chuàng)造虛擬的計算和數(shù)據(jù)中心，使得其能夠把計算單元、器、I/O設(shè)備、帶寬等計算機基礎(chǔ)設(shè)施，集中起來成為一個虛擬的資源池來為整個網(wǎng)絡(luò)提供服務(wù)。按使用量AmazonWebServices，簡作AWS彈性計算云EC2

（ElasticCompute

Cloud）

——

計算簡單 服務(wù)S3（Simple

StorageService）——平臺即服務(wù)（PaaS）PaaS

——Platform

as

a

Service：把服務(wù)器平臺或開發(fā)環(huán)境作為一種服務(wù)提供的商業(yè)模式。從系統(tǒng)定制到PaaSApp

Engine、SAEHadoop、Spark等大數(shù)據(jù)處理平臺即服務(wù)（SaaS）SaaS

——

Software

as

a

Service：一種基于互聯(lián)網(wǎng)提供

服務(wù)的應(yīng)用模式。租賃：用戶按使用時間和使用規(guī)模綠色部署：用戶不需安裝，打開瀏覽器即可運行不需要額外的服務(wù)器硬件（應(yīng)用服務(wù)）按需定制云計算特點高可靠性：冗余副本、負載均衡通用性： 支撐千變?nèi)f化的實際應(yīng)用按需服務(wù)：按需安全： 擺脫數(shù)據(jù)丟失、方便： 支持多終端、數(shù)據(jù)共享“按需服務(wù)”需求動態(tài)性資源數(shù)量資源類型/硬件工作負載高效獲取便捷低價云計算模式公有云資源以“按需服務(wù)”的方式提供給公用服務(wù)；服務(wù)以一種效用計算的方式被出租使用。私有云為一個客戶單獨使用而構(gòu)建的，因而提供對數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制。混合云安全因素，并非所有的企業(yè)信息都能放置在公有云上。公有云云服務(wù)提供商有效管理內(nèi)在資源，提高利用率，節(jié)省能源終端用戶和服務(wù)資源按需使用，租用計算、企業(yè)用戶/服務(wù)提供商創(chuàng)業(yè)前期成本大大降低IT

硬件投入低按需租用采取自助服務(wù)和按使用量的使用模式，迅速獲得計算資源，無需為配置過大的資源容量而過度投資私有云面向大中型企事業(yè)單位高效資源管理快速申請、回收IT資源；分時共享提升資源利用率。提升數(shù)據(jù)安全云端集中式數(shù)據(jù)備份云端控制數(shù)據(jù)的流動降低

成本專業(yè)化、集中式系統(tǒng)管理，有效防止專業(yè)

的共享。等。虛擬化技術(shù)虛擬化與云計算虛擬化虛擬化數(shù)據(jù)中心虛擬化簡述虛擬化是由位于下層的模塊，將其封裝或抽象，提供一個物理或的接口，使得上層的可以直接運行在這個虛擬的環(huán)境，和運行在原來的環(huán)境一樣。優(yōu)勢細粒度資源分配動態(tài)遷移增加資源利用率24CPU

池Storage

池虛擬化技術(shù)更用率雜性管VirtualizationVirtualization虛擬化基礎(chǔ)設(shè)施更高的服務(wù)質(zhì)量支持動態(tài)遷移容錯性更好具有

性，安全性更好基于容器的管理，具有封裝性具Virtual有zation彈性，易于V

rtu擴alizat展on云計算平臺虛擬化與云計算虛擬化特點為云計算帶來的好處封裝與保證每個用戶有安全

的工作環(huán)境多實例保證較高的資源利用率為服務(wù)器合并提供基礎(chǔ)硬件無關(guān)性整合異構(gòu)硬件資源可實現(xiàn)虛擬機遷移，使資源調(diào)度、負載平衡容易實現(xiàn)功能檢測和

檢測動態(tài)調(diào)整資源細粒度的可擴展性27系統(tǒng)虛擬化虛擬機相當(dāng)于一個物理機的一種高效的。28虛擬機監(jiān)視器（VMM）VMM建立于虛擬機和硬件中間的一層VMM負責(zé)對硬件資源以及各個虛擬機之間進行協(xié)調(diào)、分配和管理29VMM的特性1所有在VMM上運行的程序必須像在原始硬件上運行的效果一樣，要高效2大多數(shù)的指令必須直接在真實的處理器上運行，而不需要解釋每條指令3VMM必須完全控制硬件，任何VM不能穿越

VMM直接控制硬件30x86架構(gòu)的級別（1）別的Ring

0到最低級別的4個

級別，從Ring

3。操作系統(tǒng)（內(nèi)核）運行在最高的Ring

0，在這個級別下，可以執(zhí)行諸如控制中斷、修改頁表、

IO設(shè)備等

操作。平常的應(yīng)用

，只能運行在Ring3級別下，如果要執(zhí)行

操作，需要執(zhí)行系統(tǒng)調(diào)用，將CPU的運行級別由Ring

3切換到Ring

0，然后由操作系統(tǒng)完成操作。32x86架構(gòu)的

級別（2）x86還存在著一些可以不在Ring

0下執(zhí)行的，但是又很敏感的指令。例：SGDT存全局描述符表等。這類命令需要被VMM捕獲并做相應(yīng)處理，例如模擬一個全局描述符表供客戶操作系統(tǒng)使用。x86平臺虛擬化的

：解決

指令的運行和非

敏感指令的運行問題。33全虛擬化（二進制翻譯）VMM運行在Ring

0下，客戶操作系統(tǒng)運行在Ring1下，應(yīng)用程序運行在Ring

3下。Ring3級別的指令可以直接交由CPU執(zhí)行，來保證運行效率。

指令：觸發(fā)異常-捕獲異常-模擬執(zhí)行-返回結(jié)果。敏感的非

指令：提前發(fā)現(xiàn)-二進制翻譯-模擬執(zhí)行-返回結(jié)果。34半虛擬化（類虛擬化）在VMM上建立一個HyperCalls接口，用來接收并處理那些引起麻煩的指令。直接修改操作系統(tǒng)內(nèi)核，把不可虛擬化的指令替換為與VMM進行交互的HyperCalls來執(zhí)行。35硬件輔助虛擬化在原有的Ring

0到Ring

3四層之間，新加入一個

Root模式。客戶操作系統(tǒng)運行在非根模式的Ring

0下，

VMM運行在根模式的

Ring0下（Ring-1）。當(dāng)客戶操作系統(tǒng)執(zhí)行特權(quán)指令時，將觸發(fā)

VMExit操作，進入根模式運行，VMM再做出相應(yīng)處理，返回客戶操作系統(tǒng)。36三種虛擬化技術(shù)對比全虛擬化類虛擬化硬件輔助虛擬化實現(xiàn)形式二進制翻譯、直接執(zhí)行Hypercalls調(diào)用進入根模式運行指令透明不透明透明較差客戶操作系統(tǒng)兼容性好（需對內(nèi)核進行修改，需搭好配特定VMM）性好一般好性能一般好一般操作簡單復(fù)雜簡單37VMware較早的商業(yè)化公司之一，2003年被EMC公司收購，產(chǎn)品目前有3個系列：WorkStation、GSX和ESX。優(yōu)點易用性好完全模擬一臺服務(wù)器，客戶操作系統(tǒng)不作修改就能使用服務(wù)器運行在Windows、Linux和mac上客戶機支持Windows/Linux/FreeBSD/Solaris等ESX不需要任何操作系統(tǒng)，性能相當(dāng)高缺點運行效率較低，使用GSX版本服務(wù)器性能衰減20%左右38Xen基于

Linux的開源項目，現(xiàn)支持類虛擬化和硬件虛擬化技術(shù)，2005年初成了

xensource

公司，專注于Xen產(chǎn)品的開發(fā)和推廣，目前有In

、AMD、HP、IBM、Redhat和SuSE

等廠商支持。優(yōu)點性能損失很小支持原生操作系統(tǒng)和打過內(nèi)核補丁的操作系統(tǒng)缺點服務(wù)器只能運行于Linux若使用類虛擬化技術(shù)，運行于其上的虛擬機需打內(nèi)核補丁，且不支持未開源的操作系統(tǒng)（如Windows）39KVMKernel-basedVirtual

Machine，開源的系統(tǒng)虛擬化模塊Linux

2.6.20之后集成在Linux的各個主要

版本中使用Linux自身的調(diào)度器進行管理，所以相對于Xen，其

源碼很少。已成為學(xué)術(shù)界的主流虛擬機

器之一。KVM的虛擬化需要硬件支持，是基于硬件的完全虛擬化。“按需服務(wù)”需求動態(tài)性資源數(shù)量資源類型/硬件工作負載高效獲取便捷低價資源共享觀察事實終端用戶對資源需求較少數(shù)據(jù)中心資源利用率較低一臺服務(wù)器為多個用戶共享用戶之間不能相互影響支持不同類型資源需求快速實現(xiàn)資源動態(tài)調(diào)配基于虛擬化的彈性資源部署云端物理機數(shù)量與配置是固定的，應(yīng)用的需求是動態(tài)的。資源超售正常資源使用量往往不到峰值的10%PM1VM1S2S1S3S2VM2VM3VM1'PM2S1S2S3S4業(yè)務(wù)流PM:物理機

VM:虛擬機

S:應(yīng)用S4S1VM4VM5PMn基于虛擬化的云平臺云端控制器接受用戶請求自動化指派虛擬機節(jié)點服務(wù)器根據(jù)指令啟動虛擬機服務(wù)器虛擬機鏡像等客戶端連接虛擬機，用戶I/O基于虛擬化的云平臺分時共享資源不能產(chǎn)生新的資源但能提高資源利用便捷資源管理快速申請/回收系統(tǒng)集成化

管理安全可靠數(shù)據(jù)與計算在云端完成完備的備份機制要求良好的硬件環(huán)境適用于資源類型較為單一資源需求實時變化不適用于高性能計算數(shù)據(jù)中心與虛擬化數(shù)據(jù)中心為云計算的實現(xiàn)提供了基本的計算和資源，是支持云計算的重要基礎(chǔ)。47數(shù)據(jù)中心與虛擬化數(shù)據(jù)中心為云計算的實現(xiàn)提供了基本的計算和資源，是支持云計算的重要基礎(chǔ)。企業(yè)級數(shù)據(jù)中心的發(fā)展趨勢是具備高度的靈活性和適應(yīng)性。能根據(jù)外部需求做出快速變化虛擬化技術(shù)是比較好的解決方法企業(yè)關(guān)注投入產(chǎn)出率（Return

of

Investment），和成本。嚴(yán)格的控制“綠色”“低碳”48云計算平臺?云平臺Amzon云平臺桉樹平臺電力系統(tǒng)云平臺云平臺用戶：提供使用云計算服務(wù)的按需使用各種類型的服務(wù)性保證服務(wù)商：以最小代價滿足用戶請求提供各種層次和類型的服務(wù)，并提供通過資源的合理配置和整合最小化代價50App

Engine的基礎(chǔ)架構(gòu)上運行自定義AppEngine讓用戶在網(wǎng)絡(luò)應(yīng)用程序App

Engine可免費使用500MB持久

空間支持每月500萬頁面瀏覽量的CPU和帶寬AppEngine提供使用Python和Java語言的運行環(huán)境，可用其建立Web站點等網(wǎng)絡(luò)應(yīng)用。51Chrome

OSChromeOS是一個為上網(wǎng)本設(shè)計的輕量級開源操作系統(tǒng)。合快速開/關(guān)機瀏覽器緊密結(jié)網(wǎng)絡(luò)緊密相連52文件系統(tǒng)（GFS）GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行

的應(yīng)用。它運行于廉價的普通硬件上，但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務(wù)。ClientReplicasMastersFSMasterFSMasterC0C1C2C5Chunkserver1C0C2C5Chunkserver

NC1C3C5Chunkserver

2…ClientClientClientClient53MapReduceMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念“Map（

）”和“Reduce（化簡）”，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當(dāng)前的

實現(xiàn)是指定一個Map（

）函數(shù)，用來把一組鍵值對

成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有

的鍵值對中的每一個共享相同的鍵組。54亞馬遜（Amazon）AmazonS3AmazonEC2$.01

for

1000

to10000

requests55其他云平臺微軟Windows

Azure系統(tǒng)SaaS產(chǎn)品：DynamicsOnline、Exchange

Online、Office

Communications

Online及SharePoint

Online。IBM“

”對企業(yè)現(xiàn)有的基礎(chǔ)架構(gòu)進行整合，通過虛擬化技術(shù)和自動化技術(shù)，構(gòu)建企業(yè)自己擁有的云計算中心。Adobe

AIR平