軟件設(shè)計(jì)與體系結(jié)構(gòu) 秦航 14

第14章云計(jì)算(jìsuàn)的體系結(jié)構(gòu)

1清華大學(xué)出版社共四十頁內(nèi)容提要(nèirónɡtíyào)14.1 云計(jì)算的背景14.1.1 云計(jì)算的定義和技術(shù)特點(diǎn) 14.1.2 云計(jì)算的分類 14.1.3 云計(jì)算與網(wǎng)格計(jì)算 14.2 云計(jì)算服務(wù)模型 14.2.1 云設(shè)計(jì)目標(biāo) 14.2.2 基礎(chǔ)設(shè)施層IaaS 14.2.3 平臺層PaaS和應(yīng)用程序?qū)覵aaS 14.3 云計(jì)算主要平臺 14.3.1 谷歌應(yīng)用引擎（GAE） 14.3.2 亞馬遜的彈性計(jì)算云 14.3.3 IBM的藍(lán)云系統(tǒng) 14.3.4 微軟的Azure 14.3.5 我國云計(jì)算產(chǎn)業(yè)的發(fā)展(fāzhǎn)

14.4 新興云軟件環(huán)境 14.5 云計(jì)算的機(jī)遇與挑戰(zhàn) 14.6 小結(jié) 2清華大學(xué)出版社共四十頁14.1 云計(jì)算(jìsuàn)的背景Gartner（高德納）公司,全球最具權(quán)威的IT研究(yánjiū)與顧問咨詢公司3清華大學(xué)出版社共四十頁14.1.1 云計(jì)算的定義和技術(shù)(jìshù)特點(diǎn)像盲人摸象一樣，大家給出各自(gèzì)對云計(jì)算的理解。4清華大學(xué)出版社共四十頁數(shù)據(jù)中心的虛擬化資源(zīyuán)形成互聯(lián)網(wǎng)云將桌面計(jì)算(jìsuàn)移到面向服務(wù)的平臺上，來使用數(shù)據(jù)中心的服務(wù)器集群和大數(shù)據(jù)庫。5清華大學(xué)出版社共四十頁6清華大學(xué)出版社共四十頁云服務(wù)(fúwù)與水、電服務(wù)(fúwù)

云服務(wù)水電服務(wù)不同點(diǎn)形式豐富（多樣化和多粒度）統(tǒng)一功用個性化（價值因受眾而異）通用損耗信息不會損失一次性使用用戶角色雙重（消費(fèi)者、提供者）單一（消費(fèi)者）傳送雙向，不受時空限制單向、受地理位置限制控制全局無規(guī)劃，無統(tǒng)一調(diào)度全局有規(guī)劃，有統(tǒng)一調(diào)度經(jīng)濟(jì)性邊際成本遞減邊際成本遞增相同點(diǎn)資源在網(wǎng)上，而不在用戶端。依靠傳輸網(wǎng)絡(luò)送達(dá)。按需付費(fèi)，計(jì)量服務(wù)云服務(wù)與水、電等服務(wù)相比，有著更豐富、復(fù)雜的內(nèi)涵。邊際成本，指為增加(zēngjiā)一單位的產(chǎn)量隨即而產(chǎn)生的成本增加(zēngjiā)量。7清華大學(xué)出版社共四十頁14.1.1 云計(jì)算(jìsuàn)的定義和技術(shù)特點(diǎn)從技術(shù)背景上看，云計(jì)算是并行計(jì)算（ParallelComputing）、分布式計(jì)算（DistributedComputing）和網(wǎng)格計(jì)算（GridComputing）的發(fā)展，或者說，是這些計(jì)算科學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算也是虛擬化（Virtualization）、效用計(jì)算（UtilityComputing）、將基礎(chǔ)設(shè)施作為服務(wù)(fúwù)IaaS（InfrastructureasaService）、將平臺作為服務(wù)(fúwù)PaaS（PlatformasaService）、將軟件作為服務(wù)(fúwù)SaaS（SoftwareasaService）等概念混合演進(jìn)并躍升的結(jié)果。8清華大學(xué)出版社共四十頁云計(jì)算(jìsuàn)的特點(diǎn)從研究現(xiàn)狀上看，云計(jì)算具有以下特點(diǎn)。超大規(guī)模。云具有相當(dāng)規(guī)模，谷歌云計(jì)算已經(jīng)擁有100多萬臺服務(wù)器，亞馬遜、IBM、微軟、雅虎等公司的云，均擁有幾十萬臺服務(wù)器。云能賦予用戶前所未有的計(jì)算能力。虛擬化。云計(jì)算支持用戶在任意位置，使用各種終端獲取服務(wù)。所請求的資源來自云，而不是固定的有形的實(shí)體。應(yīng)用，在云中某處運(yùn)行，但實(shí)際上，用戶無需了解應(yīng)用運(yùn)行的具體位置，只需要一臺筆記本或PDA，就可以通過網(wǎng)絡(luò)服務(wù)，來獲取各種能力超強(qiáng)的服務(wù)。高可靠性。云使用了數(shù)據(jù)多副本容錯、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施，來保障服務(wù)的高可靠性，使用云計(jì)算比使用本地計(jì)算機(jī)更加可靠。通用性。云計(jì)算不針對特定的應(yīng)用，在云的支撐下，可以構(gòu)造(gòuzào)出千變?nèi)f化的應(yīng)用，同一片云，可以同時支撐不同的應(yīng)用運(yùn)行。高可擴(kuò)展性。云的規(guī)模，可以動態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要。按需服務(wù)。云是一個龐大的資源池，用戶按需購買，像自來水、電、煤氣那樣計(jì)費(fèi)。極其廉價。云的特殊容錯措施，使得能采用極其廉價的節(jié)點(diǎn)來構(gòu)成云；云的自動化管理，使數(shù)據(jù)中心管理成本大幅降低；云的公用性和通用性，使資源的利用率大幅提升；云設(shè)施，可以建在電力資源豐富的地區(qū)，從而大幅降低能源成本。云具有前所未有的性能價格比。9清華大學(xué)出版社共四十頁現(xiàn)代(xiàndài)軟件系統(tǒng)中的計(jì)算機(jī)效用愿景推動分布式系統(tǒng)及其應(yīng)用(yìngyòng)的主要計(jì)算范式10清華大學(xué)出版社共四十頁14.1.2 云計(jì)算(jìsuàn)的分類1. 根據(jù)部署模式(móshì)分類公共云私有云混合云云將用戶解放了出來，使他們專注于應(yīng)用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。11清華大學(xué)出版社共四十頁公共(gōnggòng)云、私有云、混合云的功能結(jié)構(gòu)云將用戶解放了出來(chūlái)，使他們專注于應(yīng)用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。12清華大學(xué)出版社共四十頁2. 根據(jù)(gēnjù)服務(wù)類型分類基礎(chǔ)架構(gòu)即服務(wù)(fúwù)（InfrastructureasaService，IaaS）平臺即服務(wù)（PlatformasaService，PaaS）軟件即服務(wù)（SoftwareasaService，SaaS）13清華大學(xué)出版社共四十頁云計(jì)算的層次(céngcì)分類這些云層逐層建立，沒有(méiyǒu)云平臺就沒有(méiyǒu)SaaS應(yīng)用。如果計(jì)算和存儲的基礎(chǔ)設(shè)施不存在，就不能構(gòu)建云平臺。14清華大學(xué)出版社共四十頁14.1.3 云計(jì)算(jìsuàn)與網(wǎng)格計(jì)算(jìsuàn)網(wǎng)格計(jì)算云計(jì)算異構(gòu)資源同構(gòu)資源不同機(jī)構(gòu)單一機(jī)構(gòu)虛擬組織虛擬機(jī)科學(xué)計(jì)算為主數(shù)據(jù)處理為主高性能計(jì)算機(jī)服務(wù)器/PC緊耦合問題松耦合問題免費(fèi)按量計(jì)費(fèi)標(biāo)準(zhǔn)化尚無標(biāo)準(zhǔn)科學(xué)界商業(yè)社會從歷史上看，網(wǎng)格計(jì)算(jìsuàn)的出現(xiàn)過程與云計(jì)算(jìsuàn)很相似，并且也都是有關(guān)計(jì)算(jìsuàn)和網(wǎng)絡(luò)的概念。15清華大學(xué)出版社共四十頁14.2 云計(jì)算服務(wù)(fúwù)模型14.2.1 云設(shè)計(jì)目標(biāo)將計(jì)算從桌面移向數(shù)據(jù)中心：計(jì)算處理、存儲、軟件發(fā)布從桌面和本地服務(wù)器移向互聯(lián)網(wǎng)數(shù)據(jù)中心。服務(wù)配置和云效益(xiàoyì)：提供商供應(yīng)云服務(wù)，必須與消費(fèi)者和終端用戶簽署服務(wù)等級協(xié)議（SLA）。服務(wù)在計(jì)算、存儲、功耗方面必須有效，定價基于按需付費(fèi)的策略。性能可擴(kuò)展性：云平臺、軟件和基礎(chǔ)設(shè)施服務(wù)，必須能夠根據(jù)用戶數(shù)的增長而相應(yīng)擴(kuò)容。數(shù)據(jù)隱私保護(hù)：能否信任數(shù)據(jù)中心處理個人數(shù)據(jù)和記錄，云要成為可信服務(wù)必須妥善解決該問題。高質(zhì)量的云服務(wù)：云計(jì)算的服務(wù)質(zhì)量必須標(biāo)準(zhǔn)化，才能使得云可以在多個提供商之間進(jìn)行互操作。新標(biāo)準(zhǔn)和接口：主要解決與數(shù)據(jù)中心、云提供商相關(guān)的數(shù)據(jù)鎖定問題。16清華大學(xué)出版社共四十頁14.2.2 基礎(chǔ)設(shè)施(jīchǔshèshī)層IaaSIaaS層是云計(jì)算的基礎(chǔ)。通過大規(guī)模數(shù)據(jù)中心，IaaS層為上層云計(jì)算服務(wù)提供海量硬件資源。同時，在虛擬化技術(shù)的支持下，IaaS層可以實(shí)現(xiàn)硬件資源的按需配置，并提供個性化的基礎(chǔ)設(shè)施服務(wù)。根據(jù)上面兩點(diǎn)，IaaS層主要研究2個問題：如何建設(shè)(jiànshè)低成本、高效能的數(shù)據(jù)中心？如何拓展虛擬化技術(shù)，實(shí)現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)？17清華大學(xué)出版社共四十頁數(shù)據(jù)中心設(shè)計(jì)(shèjì)和互聯(lián)網(wǎng)絡(luò)谷歌在Dalles數(shù)據(jù)中心鳥瞰圖18清華大學(xué)出版社共四十頁胖樹互聯(lián)拓?fù)?tuòpū)結(jié)構(gòu)該結(jié)構(gòu)可以由5k2/4個k口交換機(jī)連接k3/4個計(jì)算節(jié)點(diǎn)。胖樹互聯(lián)網(wǎng)絡(luò)，由邊緣層、匯聚(huìjù)層、核心層構(gòu)成。其中，邊緣層和匯聚(huìjù)層，可分解為若干Pod，每一個Pod含k臺交換機(jī)，分屬邊界層和匯聚層（每層k/2臺交換機(jī)）。19清華大學(xué)出版社共四十頁虛擬機(jī)的配置(pèizhì)

虛擬化開發(fā)，主要關(guān)注高可用性、備份服務(wù)、負(fù)載均衡、客戶群的深入增長，并具備以下特點(diǎn)。資源分享。通過虛擬機(jī)封裝用戶各自的運(yùn)行環(huán)境，來有效實(shí)現(xiàn)多用戶分享數(shù)據(jù)中心資源。資源定制。利用虛擬化技術(shù)，用戶配置私有服務(wù)器，指定所需的CPU數(shù)量、內(nèi)存容量、磁盤空間，來實(shí)現(xiàn)資源的按需分配。細(xì)粒度資源管理。把物理服務(wù)器拆分成若干虛擬機(jī)，可以提高服務(wù)器的資源利用率，減少浪費(fèi)，而且(érqiě)有助于服務(wù)器的負(fù)載均衡和節(jié)能。20清華大學(xué)出版社共四十頁計(jì)算、存儲和網(wǎng)絡(luò)(wǎngluò)云中的虛擬化資源提供商亞馬遜的Web服務(wù)（AWS）微軟Azure谷歌應(yīng)用引擎（GAE）使用服務(wù)器虛擬集群的計(jì)算云X86指令集、Xen虛擬機(jī)，資源彈性要求必須通過虛擬集群或者第三方組織提供可擴(kuò)展性由聲明性描述所分配的公共語言運(yùn)行時虛擬機(jī)預(yù)定義的Python應(yīng)用程序框架處理器，自動伸縮，與Web應(yīng)用不一致的服務(wù)器故障切換虛擬存儲的存儲云快存儲模型（EBS）和放大的鍵/對象存儲（SimpleDB），從EBS到全自動（SimpleDB，S3）的自動伸縮SQL數(shù)據(jù)服務(wù)（SQL服務(wù)器的限制視圖），Azure存儲服務(wù)MegaStore/BigTable網(wǎng)絡(luò)云服務(wù)聲明性的IP拓?fù)?，隱藏的放置細(xì)節(jié)，安全組限制通信，可用性區(qū)域隔離網(wǎng)絡(luò)故障，應(yīng)用的彈性IP用戶聲明性描述的自主性或者應(yīng)用程序組件的角色固定拓?fù)湟肴龑覹eb應(yīng)用結(jié)構(gòu)，伸縮是自動且程序員不可見當(dāng)前，虛擬機(jī)安裝在云計(jì)算平臺上，主要(zhǔyào)用于托管第三方程序。同時，虛擬機(jī)提供了靈活的運(yùn)行時服務(wù)，用戶獲得解放，就不需要再擔(dān)心系統(tǒng)環(huán)境。21清華大學(xué)出版社共四十頁典型(diǎnxíng)的IaaS層平臺亞馬遜彈性計(jì)算云（ElasticComputingCloud，EC2），為公眾提供基于Xen虛擬機(jī)的基礎(chǔ)設(shè)施服務(wù)。EC2的虛擬機(jī)，分為標(biāo)準(zhǔn)型、高內(nèi)存型、高性能型等多種類型，每一種類型的價格各不相同。Eucalyptus，是加州大學(xué)圣巴巴拉分校開發(fā)(kāifā)的開源IaaS平臺。和EC2等商業(yè)IaaS平臺不同，Eucalyptus的設(shè)計(jì)目標(biāo)，是為了研究、發(fā)展云計(jì)算的基礎(chǔ)平臺。22清華大學(xué)出版社共四十頁14.2.3 平臺(píngtái)層PaaS和應(yīng)用程序?qū)覵aaSPaaS層作為3層核心服務(wù)的中間層既為上層應(yīng)用提供簡單(jiǎndān)、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，并屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大PaaS層需要具備存儲、處理海量數(shù)據(jù)的能力。23清華大學(xué)出版社共四十頁大數(shù)據(jù)(shùjù)的4V特性24清華大學(xué)出版社共四十頁并行(bìngxíng)和分布式編程模型和工具集模型描述特征MapReduce在大數(shù)據(jù)集或Web搜索操作上用于大集群的可擴(kuò)展的Web編程模型Map函數(shù)生成一個中間的鍵值對集合；Reduce函數(shù)用相同的鍵合并所有的中間值Hadoop一個用于在商業(yè)應(yīng)用中海量數(shù)據(jù)集上編寫和運(yùn)行大型用戶應(yīng)用程序的軟件庫提供給用戶商業(yè)集群的易于訪問的可擴(kuò)展的、經(jīng)濟(jì)的、有效的、可靠的工具Dryad主要用來構(gòu)建支持有向無環(huán)圖類型數(shù)據(jù)流的并行程序根據(jù)程序的要求進(jìn)行任務(wù)調(diào)度，自動在各個節(jié)點(diǎn)上完成任務(wù)MapReduce、Hadoop和微軟的Dryad是最近提出的三種(sānzhǒnɡ)并行和分布式編程模型25清華大學(xué)出版社共四十頁P(yáng)aaS的公有(gōngyǒu)云云名稱語言及開發(fā)工具提供商支持的編程模型目標(biāo)應(yīng)用和存儲選項(xiàng)谷歌應(yīng)用引擎Python、Java和基于Eclipse的IDEMapReduce、按需Web編程Web應(yīng)用和BigTable存儲S的FApex、基于Eclipse的IDE和基于Web的向?qū)Чぷ髁?、Excel類的公式和按需Web編程商業(yè)應(yīng)用，如CRM微軟Azure.Net、微軟VisualStudio的Azure工具不受限的模型企業(yè)和Web應(yīng)用亞馬遜的彈性MapReduce.Net、獨(dú)立SDKMapReduce數(shù)據(jù)處理和電子商務(wù)這些平臺(píngtái)，都用海量數(shù)據(jù)處理技術(shù)搭建，各具代表性26清華大學(xué)出版社共四十頁14.3 云計(jì)算(jìsuàn)主要平臺14.3.1 谷歌應(yīng)用引擎（GAE）1998年，斯坦福大學(xué)的博士生LarryPage和SergreyBrin，在車庫里創(chuàng)建了谷歌公司，其網(wǎng)頁分級（PageRank）技術(shù)，大大增加了搜索結(jié)果的相關(guān)性。2001年，谷歌已經(jīng)索引了近30億個網(wǎng)頁。2004年，谷歌發(fā)布Gmail，提供聞所未聞的1GB免費(fèi)郵箱，大家都還以為(yǐwéi)是個愚人節(jié)玩笑。緊接著，谷歌又發(fā)布了GoogleMap、被稱為“上帝之眼”的GoogleEarth，等等。目前，，已成為全世界訪問量最高的站點(diǎn)。27清華大學(xué)出版社共四十頁GFS體系結(jié)構(gòu)GFS將整個系統(tǒng)的節(jié)點(diǎn)分為(fēnwéi)三類角色：Client（客戶端）、Master（主服務(wù)器）和ChunkServer（數(shù)據(jù)塊服務(wù)器）。28清華大學(xué)出版社共四十頁MapReduce框架(kuànɡjià)

MapReduce通過“Map（映射）”、“Reduce（化簡）”這兩個簡單的概念來構(gòu)成運(yùn)算基本單元，用戶(yònghù)只需提供自己的Map函數(shù)和Reduce函數(shù)，就能并行處理海量數(shù)據(jù)。

29清華大學(xué)出版社共四十頁分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable30清華大學(xué)出版社共四十頁14.3.2 亞馬遜的彈性(tánxìng)計(jì)算云2002年開放了電子商務(wù)平臺亞馬遜的Web服務(wù)（AmazonWebService，AWS），迄今為止，包括四種主要服務(wù)：簡單存儲(cúnchǔ)服務(wù)（SimpleStorageService，S3）、彈性計(jì)算云（ElasticComputeCloud，EC2）、簡單隊(duì)列服務(wù)（SimpleQueuingService，SQS）、簡單的數(shù)據(jù)庫管理（SimpleDB）。31清華大學(xué)出版社共四十頁14.3.3 IBM的藍(lán)云系統(tǒng)(xìtǒng)“藍(lán)云”基于(jīyú)IBMAlmaden研究中心的云基礎(chǔ)架構(gòu)，采用了Xen和PowerVM虛擬化軟件、Linux操作系統(tǒng)映像、Hadoop軟件。32清華大學(xué)出版社共四十頁14.3.4 微軟的Azure該平臺(píngtái)支持傳統(tǒng)的微軟編程語言和開發(fā)平臺如C#、.NET平臺，還支持PHP、Python、Java等多種非微軟編程語言和架構(gòu)。33清華大學(xué)出版社共四十頁14.4 新興云軟件(ruǎnjiàn)環(huán)境Eucalyptus具備以下特性：提供和亞馬遜彈性計(jì)算云兼容(jiānrónɡ)的接口（包括WWW服務(wù)、查詢接口兩方面）。使用簡單對象訪問協(xié)議（SimpleObjectAccessProtocol，SOAP）和網(wǎng)絡(luò)服務(wù)安全（WS-security）內(nèi)部通信。提供用于系統(tǒng)管理和計(jì)費(fèi)的“云管理員”基本工具?？梢栽谝粋€云內(nèi)，為多個集群配置私有內(nèi)部網(wǎng)絡(luò)地址。34清華大學(xué)出版社共四十頁EUCALYPTUS組件(zǔjiàn)

一個由加州大學(xué)圣巴巴拉分校研發(fā)的在集群或工作站上，實(shí)現(xiàn)(shíxiàn)云計(jì)算的開源基礎(chǔ)設(shè)施服務(wù)框架

35清華大學(xué)出版社共四十頁Nimbus芝加哥大學(xué)研究的云基礎(chǔ)設(shè)施(jīchǔshèshī)開源工具集。36清華大學(xué)出版社共四十頁RESERVOIR無障礙資源(zīyuán)和服務(wù)虛擬化，是IBM與17個歐洲組織正合作開展的云計(jì)算項(xiàng)目。旨在提供運(yùn)用虛擬化技術(shù)的面向服務(wù)的在線平臺，其中按透明方式提供、管理資源和服務(wù)，并以按需方式實(shí)現(xiàn)低開銷和高服務(wù)質(zhì)量。37清華大學(xué)出版社共四十頁14.5 云計(jì)算的機(jī)遇(jīyù)與挑戰(zhàn)亞當(dāng)·斯密