分布式與云計算系統(tǒng)

分布式與云計算系統(tǒng)第1頁/共67頁2Distributed

andCloudComputing

KaiHwang,

GeoffreyFox,

JackDongarra,

publishedby

MorganKaufmann,

Oct.2011

(648pages)第2頁/共67頁3

隨著信息技術(shù)的廣泛應(yīng)用和快速發(fā)展，云計算作為一種新興的商業(yè)計算模型日益受到人們的廣泛關(guān)注。本書是國際上第一本完整講述云計算與分布式系統(tǒng)基本理論及其應(yīng)用的教材。

書中首先簡要介紹現(xiàn)代分布式模型，然后介紹了并行、分布式與云計算系統(tǒng)的設(shè)計原理、系統(tǒng)體系結(jié)構(gòu)和創(chuàng)新應(yīng)用，并通過開源應(yīng)用和商業(yè)應(yīng)用例子，闡述了如何為科研、電子商務(wù)、社會網(wǎng)絡(luò)和超級計算等創(chuàng)建高性能、可擴展的、可靠的系統(tǒng)。本書的目的是介紹從傳統(tǒng)多處理器和多計算機集群到Web規(guī)模網(wǎng)格、云和未來互聯(lián)網(wǎng)中泛在使用的P2P網(wǎng)絡(luò)，包括大型社會網(wǎng)絡(luò)和快速發(fā)展的物聯(lián)網(wǎng)。第3頁/共67頁4作者簡介KaiHwang（黃鎧）

美國南加州大學電子工程系與計算機系教授，清華大學首席講席教授，IEEE終身會士。GeoffreyFox

美國印第安那大學信息、計算與物理學的杰出教授，信息與計算研究生院副院長。JackDongarra

田納西大學電子工程與計算機科學系的大學杰出教授，橡樹嶺國家實驗室杰出研究員，曼徹斯特大學TurningFellow。

第4頁/共67頁5

“你是學分布式系統(tǒng)或分布式計算課程的學生嗎？如果是，那么這本書是你的最佳選擇。作者首先評價了過去30年計算和IT趨勢中的變革，并討論了集群計算系統(tǒng)和大規(guī)模并行處理器。接著，針對云計算應(yīng)用，他們介紹了虛擬機、虛擬機在線遷移、虛擬集群構(gòu)建、資源配置和虛擬數(shù)據(jù)中心設(shè)計。然后，作者介紹了云體系結(jié)構(gòu)和數(shù)據(jù)中心設(shè)計的設(shè)計原理與使能技術(shù)，探究了兩種主要的分布式服務(wù)（REST和Web服務(wù)）以及Web服務(wù)在網(wǎng)格系統(tǒng)中的擴展。此外，作者還介紹了主要的云編程范式：MapReduce、BigTable、Twister、Dryad、DryadLINQ、Hadoop、Sawal和PigLatin。而且書中還介紹了計算/數(shù)據(jù)網(wǎng)格中的設(shè)計原理、平臺體系結(jié)構(gòu)、中間件、資源管理和服務(wù)標準。之后，作者描述了非結(jié)構(gòu)化、結(jié)構(gòu)化和混合式覆蓋網(wǎng)絡(luò)。最后，他們檢測了IBM、Salesforce、SGI、Manijarsoft、NASA和CERN構(gòu)建的一些公有云和私有云?！?/p>

——摘自Amazon讀者評論第5頁/共67頁6第一部分

系統(tǒng)建模、集群化和虛擬化第1章分布式系統(tǒng)模型和關(guān)鍵技術(shù)。介紹過去30年在并行、分布式、云計算領(lǐng)域發(fā)生的一些變革。

第2章可擴展并行計算集群。主要研究集群計算系統(tǒng)和大規(guī)模并行處理器。第3章虛擬機和集群與數(shù)據(jù)中心虛擬化。介紹了虛擬機、虛擬機在線遷移、虛擬集群構(gòu)建、資源配置、虛擬配置適應(yīng)，以及用于云計算應(yīng)用的虛擬化數(shù)據(jù)中心的設(shè)計。

第6頁/共67頁7Chapter1:EnablingTechnologies

andDistributedSystemModels

分布式系統(tǒng)模型和關(guān)鍵技術(shù)

第7頁/共67頁8

本章介紹過去30年在變化負載和大數(shù)據(jù)集的應(yīng)用驅(qū)動下，并行、分布式、云計算領(lǐng)域發(fā)生的一些變革。

研究了并行計算領(lǐng)域要求高性能和高吞吐量的一些計算系統(tǒng)，如計算機集群、SOA、計算網(wǎng)格、P2P網(wǎng)絡(luò)、互聯(lián)網(wǎng)云和物聯(lián)網(wǎng)。這些系統(tǒng)在硬件體系結(jié)構(gòu)、系統(tǒng)平臺、處理算法、通信協(xié)議、提供的服務(wù)模型等方面均有所不同。

也介紹了分布式系統(tǒng)中可擴展性、性能、可用性、安全、節(jié)能等方面的基本問題。第8頁/共67頁91.1互聯(lián)網(wǎng)之上的可擴展計算

一個并行的、分布式的計算系統(tǒng)使用大量的計算機解決互聯(lián)網(wǎng)上的大規(guī)模計算問題。

分布式計算的缺點是數(shù)據(jù)敏感和網(wǎng)絡(luò)中心化。

互聯(lián)網(wǎng)計算的時代

平臺的變革：1950年代起大型機、小型機、個人計算機、便攜式計算機

高性能計算：HPC系統(tǒng)強調(diào)系統(tǒng)的原生速度性能

高吞吐量計算：HTC主要應(yīng)用于被百萬以上用戶同時使用的互聯(lián)網(wǎng)搜索和Web服務(wù)

討論的問題包括集群、MPP、P2P網(wǎng)絡(luò)、網(wǎng)格、云、Web服務(wù)、社會網(wǎng)絡(luò)和物聯(lián)網(wǎng)。事實上，集群、網(wǎng)格、P2P網(wǎng)絡(luò)和云之間的區(qū)別將會越來越模糊第9頁/共67頁10HPC:

High-PerformanceComputingHTC:

High-ThroughputComputingP2P:

PeertoPeerMPP:

MassivelyParallelProcessors圖1-1HPC和HTC系統(tǒng)的演化趨勢（并行、分布式、云計算，具有集群、MPP、P2P網(wǎng)絡(luò)、網(wǎng)格、云、Web服務(wù)和物聯(lián)網(wǎng)）第10頁/共67頁11計算范式間的區(qū)別：

集中式計算:這種計算范式是將所有計算資源集中在一個物理系統(tǒng)之內(nèi)。所有資源（處理器、內(nèi)存、存儲器）是全部共享的，并且緊耦合在一個集成式的操作系統(tǒng)中。并行計算：在并行計算中，所有處理器或是緊耦合于中心共享內(nèi)存或是松耦合于分布式內(nèi)存。分布式計算：一個分布式系統(tǒng)由眾多自治的計算機組成，各自擁有其私有內(nèi)存，通過計算機網(wǎng)絡(luò)通信。分布式系統(tǒng)中的信息交換通過消息傳遞的方式完成。第11頁/共67頁12

云計算：一個互聯(lián)網(wǎng)云的資源可以是集中式的也可以是分布式的。云采用分布式計算或并行計算，或兩者兼有。云可以在集中的或分布式的大規(guī)模數(shù)據(jù)中心之上，由物理的或虛擬的計算資源構(gòu)建。

普適計算是指在任何地點和時間通過有線或者無線網(wǎng)絡(luò)使用普遍的設(shè)備進行計算。

物聯(lián)網(wǎng)是一個日常生活對象（包括計算機、傳感器、人等）網(wǎng)絡(luò)化的連接。物聯(lián)網(wǎng)通過互聯(lián)網(wǎng)云實現(xiàn)任何對象在任何地點和時間的普適計算。

互聯(lián)網(wǎng)計算這一術(shù)語幾乎涵蓋了所有和互聯(lián)網(wǎng)相關(guān)的計算范式。第12頁/共67頁13HPC和HTC系統(tǒng)需要遵從如下設(shè)計原則：效率:在HPC系統(tǒng)中開發(fā)大規(guī)模并行計算時，度量執(zhí)行模型內(nèi)資源的利用率。對于HTC系統(tǒng)，效率更依賴于系統(tǒng)的任務(wù)吞吐量、數(shù)據(jù)訪問、存儲、節(jié)能?？尚牛憾攘繌男酒较到y(tǒng)到應(yīng)用級別的可靠性和自管理能力。目的是提供有服務(wù)質(zhì)量（QoS）保證的高吞吐量服務(wù)，即使是失效的情況下。編程模型適應(yīng)性：度量在海量數(shù)據(jù)集和虛擬云資源上各種負載和服務(wù)模型下支持數(shù)十億任務(wù)請求的能力。應(yīng)用部署的靈活性：度量分布式系統(tǒng)能夠同時很好地運行在HPC（科學和工程）和HTC（商業(yè)）應(yīng)用上的能力。第13頁/共67頁14可擴展性計算趨勢和新的范式位級并行（BitLevelParallelism，BLP）指令級并行（InstructionLevelParallelism，ILP）。通過指令流水線、超標量計算、VLIW體系結(jié)構(gòu)、多線程實踐了ILP。ILP需要分支預(yù)測、動態(tài)規(guī)劃、投機預(yù)測、提高運行效率的編譯支持。數(shù)據(jù)級并行（DataLevelParallelism，DLP）的流行源于SIMD和使用向量與數(shù)組指令類型的向量機任務(wù)級并行（TaskLevelParallelism，TLP）作業(yè)級并行（JobLevelParallelism，JLP）第14頁/共67頁15第15頁/共67頁16圖1-2現(xiàn)代分布式計算系統(tǒng)中的計算機效用愿景(CourtesyofRajBuyya,UniversityofMelbourne,2011)Copyright?2012,ElsevierInc.Allrightsreserved.第16頁/共67頁172011Gartner“ITHypeCycle”forEmergingTechnologies20072008200920102011新技術(shù)成熟周期

第17頁/共67頁18物聯(lián)網(wǎng)和CPS

物聯(lián)網(wǎng)是指日常生活中對象、工具、設(shè)備或計算機間存在網(wǎng)絡(luò)互連。物聯(lián)網(wǎng)為互聯(lián)了所有我們生活中的對象的無線傳感器網(wǎng)絡(luò)。CPS是計算過程和物理世界之間交互的結(jié)果。CPS集成了“計算節(jié)點”（同構(gòu)，異構(gòu)）和“物理”（并發(fā)和信息密集的）對象。CPS在物理世界和信息世界之間將“3C”技術(shù)（計算、通信、控制）融合到了一個智能閉環(huán)反饋系統(tǒng)中。

物聯(lián)網(wǎng)強調(diào)物理對象之間的多樣化連接，而CPS強調(diào)物理世界中虛擬現(xiàn)實應(yīng)用的開發(fā)和研究。第18頁/共67頁191.2基于網(wǎng)絡(luò)的系統(tǒng)技術(shù)

多核CPU和多線程技術(shù)第19頁/共67頁20圖1-5現(xiàn)代多核CPU芯片的層次cache示意圖，其中L1cache是每個核私有的，片上L2cache是共享的，L3cache和DRAM是非片上的第20頁/共67頁21圖1-6現(xiàn)代CPU處理器的5種微體系結(jié)構(gòu)，通過多核和多線程技術(shù)支持ILP和TLP第21頁/共67頁22圖1-7數(shù)百或數(shù)千處理核心的海量并行處理中協(xié)同CPU的GPU使用大規(guī)模和超大規(guī)模GPU計算

第22頁/共67頁23圖1-816個流式多處理器（SM），每個有32個CUDA核的NVIDIAFermiGPU，只一個SM被展示出來

第23頁/共67頁24圖1-9GPU性能（中間的曲線，2011年每個核心5Gflops/W）,相比較低的CPU性能（下面的曲線，2011年每個核心08Gflops/W），以及2011年預(yù)計未來每個核心60Gflops/W的性能（上面曲線中的EF）第24頁/共67頁25內(nèi)存、外部存儲和廣域網(wǎng)

圖1-10過去33年中內(nèi)存和磁盤技術(shù)的改進。2011年，SeagateBarracudaXT磁盤容量為3TB第25頁/共67頁26圖1.11三種連接服務(wù)器、客戶機、存儲設(shè)備的互連網(wǎng)絡(luò)，LAN連接客戶機和服務(wù)器，SAN連接服務(wù)器和磁盤陣列，NAS連接客戶機和網(wǎng)絡(luò)環(huán)境中大規(guī)模存儲系統(tǒng)系統(tǒng)區(qū)域互連

第26頁/共67頁27圖1-12三種虛擬機體系結(jié)構(gòu)與傳統(tǒng)的物理機的比較虛擬機和虛擬化中間件

建立大規(guī)模集群、網(wǎng)格和云，我們需要以虛擬的方式訪問大量的計算、存儲和網(wǎng)絡(luò)化資源。我們需要集群化這些資源，并希望提供一個單獨的系統(tǒng)鏡像。

第27頁/共67頁28PrimitiveOperationsinVirtualMachines:圖1-13分布式計算環(huán)境中的虛擬機復(fù)用、掛起、供應(yīng)和遷移第28頁/共67頁29DatacenterandServerCostDistribution圖1-14近年來，數(shù)據(jù)中心的服務(wù)器數(shù)量增長和成本分析第29頁/共67頁30DataDelugeEnablingNewChallenges(CourtesyofJudyQiu,IndianaUniversity,2011)第30頁/共67頁31ConceptofVirtualClusters(Source:W.Emeneker,etetal,“DynamicVirtualClusteringwithXenandMoab,

ISPA2006,Springer-VerlagLNCS4331,2006,pp.440-451)Copyright?2012,ElsevierInc.Allrightsreserved.第31頁/共67頁321.3分布式和云計算系統(tǒng)模型

分布式和云計算系統(tǒng)都建立于大量自治的計算機節(jié)點之上。這些節(jié)點通過SAN、LAN或WAN以層次方式互連。

大系統(tǒng)被認為高可擴展，并能在物理上或邏輯上達到Web規(guī)?；ミB。

大系統(tǒng)被劃分為四組：集群、P2P網(wǎng)絡(luò)、計算網(wǎng)格、大數(shù)據(jù)中心之上的互聯(lián)網(wǎng)云。第32頁/共67頁33第33頁/共67頁34ATypicalClusterArchitecture協(xié)同計算機集群圖1-15服務(wù)器集群通過高帶寬SAN或LAN互連以共享I/O設(shè)備和磁盤陣列；集群以一個單獨計算機的身份接入互聯(lián)網(wǎng)

第34頁/共67頁35單系統(tǒng)鏡像

集群應(yīng)該合并多個系統(tǒng)鏡像到一個單系統(tǒng)鏡像（SSI）。集群設(shè)計者期待一個集群操作系統(tǒng)或者一些中間件在各個級別支持SSI。硬件、軟件和中間件支持

幾乎所有的Top500中的HPC集群都是MPP的?；镜臉?gòu)成部件包括計算機節(jié)點（PC、工作站、服務(wù)器或SMP）、特殊的通信軟件（如PVM或MPI）和每個計算機節(jié)點上的網(wǎng)絡(luò)接口卡。特殊的集群中間件支持是用來實現(xiàn)SSI或高可用性主要的集群設(shè)計問題

沒有一個適合集群的完全資源共享的操作系統(tǒng)。軟件環(huán)境和應(yīng)用依靠中間件來達到高性能。

第35頁/共67頁36網(wǎng)格計算的基礎(chǔ)設(shè)施

在過去30年，用戶經(jīng)歷了一個從互聯(lián)網(wǎng)到Web和網(wǎng)格計算服務(wù)的自然發(fā)展?；ヂ?lián)網(wǎng)服務(wù)（如Telnet命令）使本地計算機可以連接到一臺遠程計算機。一個Web服務(wù)（如HTTP）使遠程訪問Web頁面成為可能。網(wǎng)格計算被預(yù)想用于同時在多臺遠距離計算機上運行的應(yīng)用間進行近距離交互。

網(wǎng)格呈現(xiàn)為集成的計算資源。它們也可以被視為支持虛擬組織的虛擬平臺。第36頁/共67頁第37頁/共67頁38圖1-16計算網(wǎng)格或數(shù)據(jù)網(wǎng)格通過資源共享和多個組織間合作提供了計算效用、數(shù)據(jù)和信息服務(wù)第38頁/共67頁39第39頁/共67頁40ATypicalComputationalGrid第40頁/共67頁41對等網(wǎng)絡(luò)家族

客戶端服務(wù)器體系結(jié)構(gòu)?？蛻魴C（PC和工作站）被連接到一個中央服務(wù)器，用來進行計算、電子郵件、文件訪問和數(shù)據(jù)庫應(yīng)用。P2P體系結(jié)構(gòu)提供了一個分布式的網(wǎng)絡(luò)化系統(tǒng)模型。

在一個P2P系統(tǒng)中，每個節(jié)點既是客戶端又是服務(wù)器，提供部分系統(tǒng)資源。

節(jié)點機器都是簡單的接入互聯(lián)網(wǎng)的客戶機。所有客戶機自治、自由地加入和退出系統(tǒng)。不存在主從關(guān)系。

無需中心協(xié)作或中心數(shù)據(jù)庫。系統(tǒng)是分布式控制下自組織的。第41頁/共67頁42

覆蓋網(wǎng)絡(luò):數(shù)據(jù)項或文件分布在一起參加的節(jié)點中?；谕ㄐ呕蛭募蚕硇枨?，對等節(jié)點ID在邏輯層形成一個覆蓋網(wǎng)絡(luò)。

P2P計算在硬件、軟件和網(wǎng)絡(luò)需求上面臨三類異構(gòu)問題。有太多的硬件模型和體系結(jié)構(gòu)而無法選擇；軟件和操作系統(tǒng)間不相容；33不同的網(wǎng)絡(luò)連接和協(xié)議使其過于復(fù)雜而無法應(yīng)用于真實應(yīng)用。

數(shù)據(jù)位置對集體性能的影響也很重要。數(shù)據(jù)局部性、網(wǎng)絡(luò)鄰近性和互操作性是分布式P2P應(yīng)用的設(shè)計目標。第42頁/共67頁43圖1-17通過映射物理IP網(wǎng)絡(luò)到一個覆蓋網(wǎng)絡(luò)絡(luò)建立虛擬鏈接的P2P系統(tǒng)結(jié)構(gòu)第43頁/共67頁44第44頁/共67頁45互聯(lián)網(wǎng)上的云計算

數(shù)據(jù)爆炸促發(fā)了云計算的思想。IBM給出了如下定義：“云是虛擬計算機資源池。云可以處理各種不同的負載，包括批處理式后端作業(yè)和交互式用戶界面應(yīng)用?！痹仆ㄟ^迅速提供虛擬機或物理機允許負載被快速配置和劃分。云支持冗余、自恢復(fù)、高可擴展編程模型，以允許負載從許多不可避免的硬件/軟件錯誤中恢復(fù)。最終，云計算系統(tǒng)可以通過實時監(jiān)視資源來確保分配在需要時平衡。Copyright?2012,ElsevierInc.Allrightsreserved.第45頁/共67頁46BasicConceptofInternetClouds圖1.18數(shù)據(jù)中心的虛擬化資源形成互聯(lián)網(wǎng)云，向付費用戶提供硬件、軟件、存儲、網(wǎng)絡(luò)和服務(wù)以運行他們的應(yīng)用第46頁/共67頁47TheNextRevolutioninIT

CloudComputingClassicalComputingBuy&OwnHardware,SystemSoftware,Applicationsoftentomeetpeakneeds.Install,Configure,Test,Verify,EvaluateManage..Finally,useit$$$$$(HighCapEx)CloudComputingSubscribeUse$-payforwhatyouuse,basedonQoSEvery18months?Copyright?2012,ElsevierInc.Allrightsreserved.(CourtesyofRajBuyya,2012)第47頁/共67頁48

云計算提供了一個虛擬化的按需動態(tài)供應(yīng)硬件、軟件和數(shù)據(jù)集的彈性資源平臺?；A(chǔ)設(shè)施即服務(wù)（IaaS）：這個模型將用戶需要的基礎(chǔ)設(shè)施（即服務(wù)器、存儲、網(wǎng)絡(luò)和數(shù)據(jù)中心構(gòu)造）組合在一起。用戶可以在使用客戶機操作系統(tǒng)的多個虛擬機上配置和運行指定應(yīng)用。平臺即服務(wù)（PaaS）：這個模型使用戶能夠在一個虛擬的云平臺上配置用戶定制的應(yīng)用。PaaS包括中間件、數(shù)據(jù)庫、開發(fā)工具和一些運行時支持（如Web2.0和Java）。軟件即服務(wù)（SaaS）:這是指面向數(shù)千付費云用戶的初始瀏覽器的應(yīng)用軟件。SaaS模型應(yīng)用于業(yè)務(wù)流程、工業(yè)應(yīng)用、客戶關(guān)系管理、企業(yè)資源計劃、人力資源和合作應(yīng)用。第48頁/共67頁49圖1-19主要提供商的云前景中的三個云服務(wù)模型第49頁/共67頁50CloudComputingChallenges:

Dealingwithtoomanyissues(CourtesyofR.Buyya)VirtualizationQoSServiceLevelAgreementsResourceMeteringBillingPricingProvisioningonDemandUtility&RiskManagementScalabilityReliabilityEnergyEfficiencySecurityPrivacyTrustLegal&

RegulatorySoftwareEng.ComplexityProgrammingEnv.

&ApplicationDev.第50頁/共67頁51圖1-20Web服務(wù)和網(wǎng)格的層次化體系結(jié)構(gòu)

1.4分布式系統(tǒng)和云計算軟件環(huán)境

面向服務(wù)的體系結(jié)構(gòu)（SOA）

第51頁/共67頁52圖1-21SOA變革：云網(wǎng)格和網(wǎng)格，其中“SS”指傳感器服務(wù)，“fs”指過濾或轉(zhuǎn)化服務(wù)第52頁/共67頁53網(wǎng)格與云

網(wǎng)格和云之間的界限近年來變得越來越模糊。對于Web服務(wù)，工作流技術(shù)用于協(xié)調(diào)或編排具有指定規(guī)范的服務(wù)，其中這些規(guī)范用于定義關(guān)鍵業(yè)務(wù)流程模型，如兩階段事務(wù)。

網(wǎng)格系統(tǒng)使用靜態(tài)資源，而云強調(diào)彈性資源。

網(wǎng)格和云之間的不同僅限于基于虛擬化和自治計算的動態(tài)資源管理?？梢酝ㄟ^多個云建立網(wǎng)格。這種網(wǎng)格比一個單純的云能更好的工作，因為它能明確支持協(xié)議資源分配。從而可以建立系統(tǒng)的系統(tǒng)，如云之云、云網(wǎng)格、網(wǎng)格云，或互聯(lián)云作為一個基本SOA體系結(jié)構(gòu)。第53頁/共67頁54分布式操作系統(tǒng)趨勢

第54頁/共67頁55TransparentCloudComputingEnvironment圖1-22在時間和空間上分離了用戶數(shù)據(jù)、應(yīng)用、操作系統(tǒng)和硬件的透明計算環(huán)境

——

云計算的一個理想模型第55頁/共67頁56并行和分布式編程模型

第56頁/共67頁57GridStandardsandMiddleware:第57頁/共67頁581.5性能、安全和節(jié)能性能度量:分布式系統(tǒng)中性能與許多因素相關(guān)。系統(tǒng)吞吐量經(jīng)常用MIPS、Tflops（每秒T浮點運算次數(shù)）或TPS（TransactionsPerSecond，每秒事務(wù)數(shù)）測量。其他度量包括作業(yè)響應(yīng)時間和網(wǎng)絡(luò)延遲。系統(tǒng)開銷通常歸因于操作系統(tǒng)啟動時間、編譯時間、I/O數(shù)據(jù)速率和運行時支持系