軟件設計與體系結構 秦航 14

第14章云計算(jìsuàn)的體系結構

1清華大學出版社共四十頁內容提要(nèirónɡtíyào)14.1 云計算的背景14.1.1 云計算的定義和技術特點 14.1.2 云計算的分類 14.1.3 云計算與網格計算 14.2 云計算服務模型 14.2.1 云設計目標 14.2.2 基礎設施層IaaS 14.2.3 平臺層PaaS和應用程序層SaaS 14.3 云計算主要平臺 14.3.1 谷歌應用引擎（GAE） 14.3.2 亞馬遜的彈性計算云 14.3.3 IBM的藍云系統(tǒng) 14.3.4 微軟的Azure 14.3.5 我國云計算產業(yè)的發(fā)展(fāzhǎn)

14.4 新興云軟件環(huán)境 14.5 云計算的機遇與挑戰(zhàn) 14.6 小結 2清華大學出版社共四十頁14.1 云計算(jìsuàn)的背景Gartner（高德納）公司,全球最具權威的IT研究(yánjiū)與顧問咨詢公司3清華大學出版社共四十頁14.1.1 云計算的定義和技術(jìshù)特點像盲人摸象一樣，大家給出各自(gèzì)對云計算的理解。4清華大學出版社共四十頁數據中心的虛擬化資源(zīyuán)形成互聯(lián)網云將桌面計算(jìsuàn)移到面向服務的平臺上，來使用數據中心的服務器集群和大數據庫。5清華大學出版社共四十頁6清華大學出版社共四十頁云服務(fúwù)與水、電服務(fúwù)

云服務水電服務不同點形式豐富（多樣化和多粒度）統(tǒng)一功用個性化（價值因受眾而異）通用損耗信息不會損失一次性使用用戶角色雙重（消費者、提供者）單一（消費者）傳送雙向，不受時空限制單向、受地理位置限制控制全局無規(guī)劃，無統(tǒng)一調度全局有規(guī)劃，有統(tǒng)一調度經濟性邊際成本遞減邊際成本遞增相同點資源在網上，而不在用戶端。依靠傳輸網絡送達。按需付費，計量服務云服務與水、電等服務相比，有著更豐富、復雜的內涵。邊際成本，指為增加(zēngjiā)一單位的產量隨即而產生的成本增加(zēngjiā)量。7清華大學出版社共四十頁14.1.1 云計算(jìsuàn)的定義和技術特點從技術背景上看，云計算是并行計算（ParallelComputing）、分布式計算（DistributedComputing）和網格計算（GridComputing）的發(fā)展，或者說，是這些計算科學概念的商業(yè)實現。云計算也是虛擬化（Virtualization）、效用計算（UtilityComputing）、將基礎設施作為服務(fúwù)IaaS（InfrastructureasaService）、將平臺作為服務(fúwù)PaaS（PlatformasaService）、將軟件作為服務(fúwù)SaaS（SoftwareasaService）等概念混合演進并躍升的結果。8清華大學出版社共四十頁云計算(jìsuàn)的特點從研究現狀上看，云計算具有以下特點。超大規(guī)模。云具有相當規(guī)模，谷歌云計算已經擁有100多萬臺服務器，亞馬遜、IBM、微軟、雅虎等公司的云，均擁有幾十萬臺服務器。云能賦予用戶前所未有的計算能力。虛擬化。云計算支持用戶在任意位置，使用各種終端獲取服務。所請求的資源來自云，而不是固定的有形的實體。應用，在云中某處運行，但實際上，用戶無需了解應用運行的具體位置，只需要一臺筆記本或PDA，就可以通過網絡服務，來獲取各種能力超強的服務。高可靠性。云使用了數據多副本容錯、計算節(jié)點同構可互換等措施，來保障服務的高可靠性，使用云計算比使用本地計算機更加可靠。通用性。云計算不針對特定的應用，在云的支撐下，可以構造(gòuzào)出千變萬化的應用，同一片云，可以同時支撐不同的應用運行。高可擴展性。云的規(guī)模，可以動態(tài)伸縮，滿足應用和用戶規(guī)模增長的需要。按需服務。云是一個龐大的資源池，用戶按需購買，像自來水、電、煤氣那樣計費。極其廉價。云的特殊容錯措施，使得能采用極其廉價的節(jié)點來構成云；云的自動化管理，使數據中心管理成本大幅降低；云的公用性和通用性，使資源的利用率大幅提升；云設施，可以建在電力資源豐富的地區(qū)，從而大幅降低能源成本。云具有前所未有的性能價格比。9清華大學出版社共四十頁現代(xiàndài)軟件系統(tǒng)中的計算機效用愿景推動分布式系統(tǒng)及其應用(yìngyòng)的主要計算范式10清華大學出版社共四十頁14.1.2 云計算(jìsuàn)的分類1. 根據部署模式(móshì)分類公共云私有云混合云云將用戶解放了出來，使他們專注于應用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。11清華大學出版社共四十頁公共(gōnggòng)云、私有云、混合云的功能結構云將用戶解放了出來(chūlái)，使他們專注于應用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。12清華大學出版社共四十頁2. 根據(gēnjù)服務類型分類基礎架構即服務(fúwù)（InfrastructureasaService，IaaS）平臺即服務（PlatformasaService，PaaS）軟件即服務（SoftwareasaService，SaaS）13清華大學出版社共四十頁云計算的層次(céngcì)分類這些云層逐層建立，沒有(méiyǒu)云平臺就沒有(méiyǒu)SaaS應用。如果計算和存儲的基礎設施不存在，就不能構建云平臺。14清華大學出版社共四十頁14.1.3 云計算(jìsuàn)與網格計算(jìsuàn)網格計算云計算異構資源同構資源不同機構單一機構虛擬組織虛擬機科學計算為主數據處理為主高性能計算機服務器/PC緊耦合問題松耦合問題免費按量計費標準化尚無標準科學界商業(yè)社會從歷史上看，網格計算(jìsuàn)的出現過程與云計算(jìsuàn)很相似，并且也都是有關計算(jìsuàn)和網絡的概念。15清華大學出版社共四十頁14.2 云計算服務(fúwù)模型14.2.1 云設計目標將計算從桌面移向數據中心：計算處理、存儲、軟件發(fā)布從桌面和本地服務器移向互聯(lián)網數據中心。服務配置和云效益(xiàoyì)：提供商供應云服務，必須與消費者和終端用戶簽署服務等級協(xié)議（SLA）。服務在計算、存儲、功耗方面必須有效，定價基于按需付費的策略。性能可擴展性：云平臺、軟件和基礎設施服務，必須能夠根據用戶數的增長而相應擴容。數據隱私保護：能否信任數據中心處理個人數據和記錄，云要成為可信服務必須妥善解決該問題。高質量的云服務：云計算的服務質量必須標準化，才能使得云可以在多個提供商之間進行互操作。新標準和接口：主要解決與數據中心、云提供商相關的數據鎖定問題。16清華大學出版社共四十頁14.2.2 基礎設施(jīchǔshèshī)層IaaSIaaS層是云計算的基礎。通過大規(guī)模數據中心，IaaS層為上層云計算服務提供海量硬件資源。同時，在虛擬化技術的支持下，IaaS層可以實現硬件資源的按需配置，并提供個性化的基礎設施服務。根據上面兩點，IaaS層主要研究2個問題：如何建設(jiànshè)低成本、高效能的數據中心？如何拓展虛擬化技術，實現彈性、可靠的基礎設施服務？17清華大學出版社共四十頁數據中心設計(shèjì)和互聯(lián)網絡谷歌在Dalles數據中心鳥瞰圖18清華大學出版社共四十頁胖樹互聯(lián)拓撲(tuòpū)結構該結構可以由5k2/4個k口交換機連接k3/4個計算節(jié)點。胖樹互聯(lián)網絡，由邊緣層、匯聚(huìjù)層、核心層構成。其中，邊緣層和匯聚(huìjù)層，可分解為若干Pod，每一個Pod含k臺交換機，分屬邊界層和匯聚層（每層k/2臺交換機）。19清華大學出版社共四十頁虛擬機的配置(pèizhì)

虛擬化開發(fā)，主要關注高可用性、備份服務、負載均衡、客戶群的深入增長，并具備以下特點。資源分享。通過虛擬機封裝用戶各自的運行環(huán)境，來有效實現多用戶分享數據中心資源。資源定制。利用虛擬化技術，用戶配置私有服務器，指定所需的CPU數量、內存容量、磁盤空間，來實現資源的按需分配。細粒度資源管理。把物理服務器拆分成若干虛擬機，可以提高服務器的資源利用率，減少浪費，而且(érqiě)有助于服務器的負載均衡和節(jié)能。20清華大學出版社共四十頁計算、存儲和網絡(wǎngluò)云中的虛擬化資源提供商亞馬遜的Web服務（AWS）微軟Azure谷歌應用引擎（GAE）使用服務器虛擬集群的計算云X86指令集、Xen虛擬機，資源彈性要求必須通過虛擬集群或者第三方組織提供可擴展性由聲明性描述所分配的公共語言運行時虛擬機預定義的Python應用程序框架處理器，自動伸縮，與Web應用不一致的服務器故障切換虛擬存儲的存儲云快存儲模型（EBS）和放大的鍵/對象存儲（SimpleDB），從EBS到全自動（SimpleDB，S3）的自動伸縮SQL數據服務（SQL服務器的限制視圖），Azure存儲服務MegaStore/BigTable網絡云服務聲明性的IP拓撲，隱藏的放置細節(jié)，安全組限制通信，可用性區(qū)域隔離網絡故障，應用的彈性IP用戶聲明性描述的自主性或者應用程序組件的角色固定拓撲引入三層Web應用結構，伸縮是自動且程序員不可見當前，虛擬機安裝在云計算平臺上，主要(zhǔyào)用于托管第三方程序。同時，虛擬機提供了靈活的運行時服務，用戶獲得解放，就不需要再擔心系統(tǒng)環(huán)境。21清華大學出版社共四十頁典型(diǎnxíng)的IaaS層平臺亞馬遜彈性計算云（ElasticComputingCloud，EC2），為公眾提供基于Xen虛擬機的基礎設施服務。EC2的虛擬機，分為標準型、高內存型、高性能型等多種類型，每一種類型的價格各不相同。Eucalyptus，是加州大學圣巴巴拉分校開發(fā)(kāifā)的開源IaaS平臺。和EC2等商業(yè)IaaS平臺不同，Eucalyptus的設計目標，是為了研究、發(fā)展云計算的基礎平臺。22清華大學出版社共四十頁14.2.3 平臺(píngtái)層PaaS和應用程序層SaaSPaaS層作為3層核心服務的中間層既為上層應用提供簡單(jiǎndān)、可靠的分布式編程框架，又需要基于底層的資源信息調度作業(yè)、管理數據，并屏蔽底層系統(tǒng)的復雜性。隨著數據密集型應用的普及和數據規(guī)模的日益龐大PaaS層需要具備存儲、處理海量數據的能力。23清華大學出版社共四十頁大數據(shùjù)的4V特性24清華大學出版社共四十頁并行(bìngxíng)和分布式編程模型和工具集模型描述特征MapReduce在大數據集或Web搜索操作上用于大集群的可擴展的Web編程模型Map函數生成一個中間的鍵值對集合；Reduce函數用相同的鍵合并所有的中間值Hadoop一個用于在商業(yè)應用中海量數據集上編寫和運行大型用戶應用程序的軟件庫提供給用戶商業(yè)集群的易于訪問的可擴展的、經濟的、有效的、可靠的工具Dryad主要用來構建支持有向無環(huán)圖類型數據流的并行程序根據程序的要求進行任務調度，自動在各個節(jié)點上完成任務MapReduce、Hadoop和微軟的Dryad是最近提出的三種(sānzhǒnɡ)并行和分布式編程模型25清華大學出版社共四十頁PaaS的公有(gōngyǒu)云云名稱語言及開發(fā)工具提供商支持的編程模型目標應用和存儲選項谷歌應用引擎Python、Java和基于Eclipse的IDEMapReduce、按需Web編程Web應用和BigTable存儲S的FApex、基于Eclipse的IDE和基于Web的向導工作流、Excel類的公式和按需Web編程商業(yè)應用，如CRM微軟Azure.Net、微軟VisualStudio的Azure工具不受限的模型企業(yè)和Web應用亞馬遜的彈性MapReduce.Net、獨立SDKMapReduce數據處理和電子商務這些平臺(píngtái)，都用海量數據處理技術搭建，各具代表性26清華大學出版社共四十頁14.3 云計算(jìsuàn)主要平臺14.3.1 谷歌應用引擎（GAE）1998年，斯坦福大學的博士生LarryPage和SergreyBrin，在車庫里創(chuàng)建了谷歌公司，其網頁分級（PageRank）技術，大大增加了搜索結果的相關性。2001年，谷歌已經索引了近30億個網頁。2004年，谷歌發(fā)布Gmail，提供聞所未聞的1GB免費郵箱，大家都還以為(yǐwéi)是個愚人節(jié)玩笑。緊接著，谷歌又發(fā)布了GoogleMap、被稱為“上帝之眼”的GoogleEarth，等等。目前，，已成為全世界訪問量最高的站點。27清華大學出版社共四十頁GFS體系結構GFS將整個系統(tǒng)的節(jié)點分為(fēnwéi)三類角色：Client（客戶端）、Master（主服務器）和ChunkServer（數據塊服務器）。28清華大學出版社共四十頁MapReduce框架(kuànɡjià)

MapReduce通過“Map（映射）”、“Reduce（化簡）”這兩個簡單的概念來構成運算基本單元，用戶(yònghù)只需提供自己的Map函數和Reduce函數，就能并行處理海量數據。

29清華大學出版社共四十頁分布式結構化數據表Bigtable30清華大學出版社共四十頁14.3.2 亞馬遜的彈性(tánxìng)計算云2002年開放了電子商務平臺亞馬遜的Web服務（AmazonWebService，AWS），迄今為止，包括四種主要服務：簡單存儲(cúnchǔ)服務（SimpleStorageService，S3）、彈性計算云（ElasticComputeCloud，EC2）、簡單隊列服務（SimpleQueuingService，SQS）、簡單的數據庫管理（SimpleDB）。31清華大學出版社共四十頁14.3.3 IBM的藍云系統(tǒng)(xìtǒng)“藍云”基于(jīyú)IBMAlmaden研究中心的云基礎架構，采用了Xen和PowerVM虛擬化軟件、Linux操作系統(tǒng)映像、Hadoop軟件。32清華大學出版社共四十頁14.3.4 微軟的Azure該平臺(píngtái)支持傳統(tǒng)的微軟編程語言和開發(fā)平臺如C#、.NET平臺，還支持PHP、Python、Java等多種非微軟編程語言和架構。33清華大學出版社共四十頁14.4 新興云軟件(ruǎnjiàn)環(huán)境Eucalyptus具備以下特性：提供和亞馬遜彈性計算云兼容(jiānrónɡ)的接口（包括WWW服務、查詢接口兩方面）。使用簡單對象訪問協(xié)議（SimpleObjectAccessProtocol，SOAP）和網絡服務安全（WS-security）內部通信。提供用于系統(tǒng)管理和計費的“云管理員”基本工具?？梢栽谝粋€云內，為多個集群配置私有內部網絡地址。34清華大學出版社共四十頁EUCALYPTUS組件(zǔjiàn)

一個由加州大學圣巴巴拉分校研發(fā)的在集群或工作站上，實現(shíxiàn)云計算的開源基礎設施服務框架

35清華大學出版社共四十頁Nimbus芝加哥大學研究的云基礎設施(jīchǔshèshī)開源工具集。36清華大學出版社共四十頁RESERVOIR無障礙資源(zīyuán)和服務虛擬化，是IBM與17個歐洲組織正合作開展的云計算項目。旨在提供運用虛擬化技術的面向服務的在線平臺，其中按透明方式提供、管理資源和服務，并以按需方式實現低開銷和高服務質量。37清華大學出版社共四十頁14.5 云計算的機遇(jīyù)與挑戰(zhàn)亞當·斯密