高級(jí)軟件工程-云計(jì)算

高級(jí)軟件工程

云計(jì)算主要內(nèi)容第1節(jié)云計(jì)算的概念第3節(jié)云計(jì)算的特點(diǎn)與好處第4節(jié)云計(jì)算應(yīng)用案例第2節(jié)云計(jì)算的體系結(jié)構(gòu)第一節(jié)

云計(jì)算的概念什么是云計(jì)算云計(jì)算（cloudcomputing）是分布式計(jì)算技術(shù)的一種，其最基本的概念是透過(guò)網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計(jì)算分析之后將處理結(jié)果回傳給用戶(hù)。透過(guò)這項(xiàng)技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，達(dá)成處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大效能的網(wǎng)絡(luò)服務(wù)。什么是云計(jì)算最簡(jiǎn)單的云計(jì)算技術(shù)在網(wǎng)絡(luò)服務(wù)中已經(jīng)隨處可見(jiàn)，例如搜尋引擎、網(wǎng)絡(luò)信箱等，使用者只要輸入簡(jiǎn)單指令即能得到大量信息。未來(lái)如手機(jī)、GPS等行動(dòng)裝置都可以透過(guò)云計(jì)算技術(shù)，發(fā)展出更多的應(yīng)用服務(wù)。進(jìn)一步的云計(jì)算不僅只做資料搜尋、分析的功能，未來(lái)如分析DNA結(jié)構(gòu)、基因圖譜定序、解析癌癥細(xì)胞等，都可以透過(guò)這項(xiàng)技術(shù)輕易達(dá)成。稍早之前的大規(guī)模分布式計(jì)算技術(shù)即為“云計(jì)算”的概念起源…云計(jì)算時(shí)代，可以?huà)仐塙盤(pán)等移動(dòng)設(shè)備，只需要進(jìn)入GoogleDocs頁(yè)面，新建文檔，編輯內(nèi)容，然后，直接將文檔的URL分享給你的朋友或者上司，他可以直接打開(kāi)瀏覽器訪問(wèn)URL。我們?cè)僖膊挥脫?dān)心因PC硬盤(pán)的損壞而發(fā)生資料丟失事件。什么是云計(jì)算狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源；提供資源的網(wǎng)絡(luò)被稱(chēng)為“云”。“云”中的資源在使用者看來(lái)是可以無(wú)限擴(kuò)展的，并且可以隨時(shí)獲取，按需使用，隨時(shí)擴(kuò)展，按使用付費(fèi)。這種特性經(jīng)常被稱(chēng)為像水電一樣使用IT基礎(chǔ)設(shè)施。電網(wǎng)電站電站電站水壩礦山油井什么是云計(jì)算廣義云計(jì)算是指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其他的服務(wù)，它具有超大規(guī)模、虛擬化、可靠安全等獨(dú)特功效。這種提供服務(wù)的“云”是一些可以自我維護(hù)和管理的虛擬計(jì)算資源，通常為一些大型服務(wù)器集群，包括計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、寬帶資源等等。云計(jì)算將所有的計(jì)算資源集中起來(lái)，并由軟件實(shí)現(xiàn)自動(dòng)管理，無(wú)需人為參與。這使得應(yīng)用提供者無(wú)需為繁瑣的細(xì)節(jié)而煩惱，能夠更加專(zhuān)注于自己的業(yè)務(wù)，有利于創(chuàng)新和降低成本。什么是云計(jì)算云計(jì)算（CloudComputing）是分布式計(jì)算（DistributedComputing）、并行計(jì)算（ParallelComputing）、實(shí)用計(jì)算（UtilityComputing）、網(wǎng)絡(luò)存儲(chǔ)（NetworkStorageTechnologies）、虛擬化（Virtualization）、負(fù)載均衡（LoadBalance）等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它旨在通過(guò)網(wǎng)絡(luò)把多個(gè)成本相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng)，并借助先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶(hù)手中。CloudComputing的一個(gè)核心理念就是通過(guò)不斷提高“云”的處理能力，進(jìn)而減少用戶(hù)終端的處理負(fù)擔(dān)，最終使用戶(hù)終端簡(jiǎn)化成一個(gè)單純的輸入輸出設(shè)備，并能按需享受“云”的強(qiáng)大計(jì)算處理能力！什么是云計(jì)算云計(jì)算的核心思想，是將大量用網(wǎng)絡(luò)連接的計(jì)算資源統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)計(jì)算資源池向用戶(hù)按需服務(wù)。什么是云計(jì)算這就好比是從古老的單臺(tái)發(fā)電機(jī)模式轉(zhuǎn)向了電廠集中供電的模式。它意味著計(jì)算能力也可以作為一種商品進(jìn)行流通，就像煤氣、水電一樣，取用方便，費(fèi)用低廉。最大的不同在于，它是通過(guò)互聯(lián)網(wǎng)進(jìn)行傳輸?shù)摹；ヂ?lián)網(wǎng)搜索：云計(jì)算的例子1.用戶(hù)輸入查詢(xún)關(guān)鍵字CloudComputing2.分布式預(yù)處理數(shù)據(jù)以便為搜索提供服務(wù):GoogleInfrastructure(thousandsofcommodityserversaroundtheworld)MapReduceformassdataprocessingGoogleFileSystem3.返回搜索結(jié)果picturesource:（1）數(shù)據(jù)在云端不怕丟失不必備份（2）軟件在云端不必下載自動(dòng)升級(jí)（3）無(wú)所不在的云計(jì)算任何設(shè)備登錄后就是你的（4）無(wú)限強(qiáng)大的云計(jì)算無(wú)限空間無(wú)限速度業(yè)界趨勢(shì)：云計(jì)算時(shí)代的到來(lái)第二節(jié)

云計(jì)算的體系結(jié)構(gòu)

傳統(tǒng)IT“煙囪”模式部署架構(gòu)云計(jì)算融合模式部署架構(gòu)云基礎(chǔ)架構(gòu)融合部署云計(jì)算的主要服務(wù)模式

——IaaS、PaaS、SaaS、DaaS云計(jì)算的主要服務(wù)模式

——IaaS、PaaS、SaaS、DaaSIaaS(Infrastructure-as-a-Service)：基礎(chǔ)設(shè)施即服務(wù)。消費(fèi)者通過(guò)Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施（包括網(wǎng)絡(luò)、服務(wù)器和存儲(chǔ)等）獲得服務(wù)。世紀(jì)互聯(lián)集團(tuán)旗下的云快線公司號(hào)稱(chēng)要開(kāi)拓新的IT基礎(chǔ)設(shè)施業(yè)務(wù)，但究其本質(zhì)，它只能實(shí)現(xiàn)主機(jī)托管業(yè)務(wù)的延伸，很難與亞馬遜等企業(yè)相媲美。PaaS(Platform-as-a-Service)：平臺(tái)即服務(wù)。PaaS實(shí)際上是指將軟件研發(fā)的平臺(tái)作為一種服務(wù)，以SaaS的模式提交給用戶(hù)。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開(kāi)發(fā)速度。國(guó)內(nèi)的八百客擁有PaaS平臺(tái)技術(shù)。SaaS(Software-as-a-Service)：軟件即服務(wù)。它是一種通過(guò)Internet提供軟件的模式，用戶(hù)無(wú)需購(gòu)買(mǎi)軟件，而是向提供商租用基于Web的軟件，來(lái)管理企業(yè)經(jīng)營(yíng)活動(dòng)。相對(duì)于傳統(tǒng)的軟件，SaaS解決方案有明顯的優(yōu)勢(shì)，包括較低的前期成本，便于維護(hù)，快速展開(kāi)使用等。比如紅麥軟件的輿情監(jiān)測(cè)系統(tǒng)。DaaS(Data-as-a-Service)：數(shù)據(jù)即服務(wù)。數(shù)據(jù)做為一種服務(wù)是通過(guò)傳遞有用的信息以幫助他人的活動(dòng)來(lái)實(shí)現(xiàn)的。如有關(guān)汽車(chē)的組成及損壞情況的數(shù)據(jù)幫助維修師傅維修。我們經(jīng)常上網(wǎng)查詢(xún)資料，這些資料中的有用信息給我們的活動(dòng)產(chǎn)生影響也是一種服務(wù)。大數(shù)據(jù)時(shí)代的到來(lái)促進(jìn)了DaaS的出現(xiàn)。云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)IBM云計(jì)算的體系架構(gòu)DeveloperMonitoringApplicationServerProvisioningManagerUserOpenSourceLinuxwithXenTivoliMonitoringAgent……IBMBlueCloudHadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，由Apache基金會(huì)開(kāi)發(fā)。Xen是一個(gè)開(kāi)放源代碼虛擬機(jī)監(jiān)視器，由劍橋大學(xué)開(kāi)發(fā)。云計(jì)算體系結(jié)構(gòu)云計(jì)算是全新的基于互聯(lián)網(wǎng)的超級(jí)計(jì)算理念和模式，實(shí)現(xiàn)云計(jì)算需要多種技術(shù)結(jié)合，并且需要用軟件實(shí)現(xiàn)將硬件資源進(jìn)行虛擬化管理和調(diào)度，形成一個(gè)巨大的虛擬化資源池，把存儲(chǔ)于個(gè)人電腦、移動(dòng)設(shè)備和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。按照最大眾化、最通俗理解云計(jì)算就是把計(jì)算資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)即是云計(jì)算時(shí)代的云。計(jì)算資源則包括了計(jì)算機(jī)硬件資源（如計(jì)算機(jī)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器集群、硬件服務(wù)等）和軟件資源（如應(yīng)用軟件、集成開(kāi)發(fā)環(huán)境、軟件服務(wù)）。

云計(jì)算平臺(tái)是一個(gè)強(qiáng)大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計(jì)算和服務(wù)，可利用虛擬化技術(shù)擴(kuò)展每一個(gè)服務(wù)器的能力，將各自的資源通過(guò)云計(jì)算平臺(tái)結(jié)合起來(lái)，提供超級(jí)計(jì)算和存儲(chǔ)能力。通用的云計(jì)算體系結(jié)構(gòu)如下圖所示：云計(jì)算體系結(jié)構(gòu)云用戶(hù)端：提供云用戶(hù)請(qǐng)求服務(wù)的交互界面，也是用戶(hù)使用云的入口，用戶(hù)通過(guò)Web瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶(hù)。打開(kāi)應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。服務(wù)目錄：云用戶(hù)在取得相應(yīng)權(quán)限（付費(fèi)或其他限制）后可以選擇或定制的服務(wù)列表，也可以對(duì)已有服務(wù)進(jìn)行退訂的操作，在云用戶(hù)端界面生成相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)的服務(wù)。云計(jì)算體系結(jié)構(gòu)管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶(hù)，能對(duì)用戶(hù)授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算資源和服務(wù)，接收用戶(hù)發(fā)送的請(qǐng)求，根據(jù)用戶(hù)請(qǐng)求并轉(zhuǎn)發(fā)到相應(yīng)的相應(yīng)程序，調(diào)度資源智能地部署資源和應(yīng)用，動(dòng)態(tài)地部署、配置和回收資源。資源監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成節(jié)點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶(hù)。服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并發(fā)量的用戶(hù)請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶(hù)Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲(chǔ)時(shí)采用相應(yīng)數(shù)據(jù)切割算法采用并行方式上傳和下載大容量數(shù)據(jù)。用戶(hù)可通過(guò)云用戶(hù)端從列表中選擇所需的服務(wù)，其請(qǐng)求通過(guò)管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過(guò)部署工具分發(fā)請(qǐng)求、配置Web應(yīng)用。云計(jì)算體系結(jié)構(gòu)云計(jì)算服務(wù)層次在云計(jì)算中，根據(jù)其服務(wù)集合所提供的服務(wù)類(lèi)型，整個(gè)云計(jì)算服務(wù)集合被劃分成4個(gè)層次：應(yīng)用層、平臺(tái)層、基礎(chǔ)設(shè)施層和虛擬化層。這4個(gè)層次每一層都對(duì)應(yīng)著一個(gè)子服務(wù)集合，為云計(jì)算服務(wù)層次如下圖所示：云計(jì)算體系結(jié)構(gòu)云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類(lèi)型即服務(wù)集合來(lái)劃分，與大家熟悉的計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。在計(jì)算機(jī)網(wǎng)絡(luò)中每個(gè)層次都實(shí)現(xiàn)一定的功能，層與層之間有一定關(guān)聯(lián)。而云計(jì)算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以單獨(dú)完成一項(xiàng)用戶(hù)的請(qǐng)求而不需要其他層次為其提供必要的服務(wù)和支持。在云計(jì)算服務(wù)體系結(jié)構(gòu)中各層次與相關(guān)云產(chǎn)品對(duì)應(yīng):應(yīng)用層對(duì)應(yīng)SaaS(軟件即服務(wù))如：GoogleAPPS、SoftWare+Services；平臺(tái)層對(duì)應(yīng)PaaS(平臺(tái)即服務(wù))如：IBMITFactory、GoogleAPPEngine、F；基礎(chǔ)設(shè)施層對(duì)應(yīng)IaaS(基礎(chǔ)設(shè)施即服務(wù))如：Amazon

Ec2、IBMBlueCloud、SunGrid；虛擬化層對(duì)應(yīng)硬件即服務(wù)結(jié)合PaaS提供硬件服務(wù)，包括服務(wù)器集群及硬件檢測(cè)等服務(wù)。云計(jì)算體系結(jié)構(gòu)云計(jì)算技術(shù)層次:云計(jì)算技術(shù)層次和云計(jì)算服務(wù)層次不是一個(gè)概念，后者從服務(wù)的角度來(lái)劃分云的層次，主要突出了云服務(wù)能給我?guī)?lái)什么。而云計(jì)算的技術(shù)層次主要從系統(tǒng)屬性和設(shè)計(jì)思想角度來(lái)說(shuō)明云，是對(duì)軟硬件資源在云計(jì)算技術(shù)中所充當(dāng)角色的說(shuō)明。從云計(jì)算技術(shù)角度來(lái)分，云計(jì)算大約有4部分構(gòu)成：物理資源虛擬化資源中間件管理部分服務(wù)接口云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)服務(wù)接口：統(tǒng)一規(guī)定了在云計(jì)算時(shí)代使用計(jì)算機(jī)的各種規(guī)范、云計(jì)算服務(wù)的各種標(biāo)準(zhǔn)等，用戶(hù)端與云端交互操作的入口，可以完成用戶(hù)或服務(wù)注冊(cè)，對(duì)服務(wù)的定制和使用。服務(wù)管理中間件：在云計(jì)算技術(shù)中，中間件位于服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計(jì)算體系結(jié)構(gòu)中的管理系統(tǒng)。對(duì)標(biāo)識(shí)、認(rèn)證、授權(quán)、目錄、安全性等服務(wù)進(jìn)行標(biāo)準(zhǔn)化和操作，為應(yīng)用提供統(tǒng)一的標(biāo)準(zhǔn)化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡(luò)的異構(gòu)性，統(tǒng)一管理網(wǎng)絡(luò)資源。其用戶(hù)管理包括用戶(hù)身份驗(yàn)證、用戶(hù)許可、用戶(hù)定制管理；資源管理包括負(fù)載均衡、資源監(jiān)控、故障檢測(cè)等；安全管理包括身份驗(yàn)證、訪問(wèn)授權(quán)、安全審計(jì)、綜合防護(hù)等；映像管理包括映像創(chuàng)建、部署、管理等。云計(jì)算體系結(jié)構(gòu)虛擬化資源：指一些可以實(shí)現(xiàn)一定操作具有一定功能，但其本身是虛擬而不是真實(shí)的資源，如計(jì)算池，存儲(chǔ)池和網(wǎng)絡(luò)池、數(shù)據(jù)庫(kù)資源等，通過(guò)軟件技術(shù)來(lái)實(shí)現(xiàn)相關(guān)的虛擬化功能包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺(tái)。物理資源：主要指能支持計(jì)算機(jī)正常運(yùn)行的一些硬件設(shè)備及技術(shù)，可以是價(jià)格低廉的PC，也可以是價(jià)格昂貴的服務(wù)器及磁盤(pán)陣列等設(shè)備，可以通過(guò)現(xiàn)有網(wǎng)絡(luò)技術(shù)和并行技術(shù)、分布式技術(shù)將分散的計(jì)算機(jī)組成一個(gè)能提供超強(qiáng)功能的集群用于計(jì)算和存儲(chǔ)等云計(jì)算操作。在云計(jì)算時(shí)代，本地計(jì)算機(jī)可能不再像傳統(tǒng)計(jì)算機(jī)那樣需要空間足夠的硬盤(pán)、大功率的處理器和大容量的內(nèi)存，只需要一些必要的硬件設(shè)備如網(wǎng)絡(luò)設(shè)備和基本的輸入輸出設(shè)備等。云計(jì)算體系結(jié)構(gòu)典型云計(jì)算平臺(tái):云計(jì)算的研究吸引了不同技術(shù)領(lǐng)域巨頭，因此對(duì)云計(jì)算理論及實(shí)現(xiàn)架構(gòu)也有所不同。亞馬遜利用虛擬化技術(shù)提供云計(jì)算服務(wù)，推出S3（SimpleStorageService）提供可靠、快速、可擴(kuò)展的網(wǎng)絡(luò)存儲(chǔ)服務(wù)，而彈性可擴(kuò)展的云計(jì)算服務(wù)器EC2（ElasticComputeCloud）采用Xen虛擬化技術(shù)，提供一個(gè)虛擬的執(zhí)行環(huán)境（虛擬機(jī)器），讓用戶(hù)通過(guò)互聯(lián)網(wǎng)來(lái)執(zhí)行自己的應(yīng)用程序。IBM將包括Xen和PowerVM虛擬的Linux操作系統(tǒng)鏡像與Hadoop并行工作負(fù)載調(diào)度。下面以Google公司的云計(jì)算核心技術(shù)和架構(gòu)作基本講解。云計(jì)算的先行者Google的云計(jì)算平臺(tái)能實(shí)現(xiàn)大規(guī)模分布式計(jì)算和應(yīng)用服務(wù)程序，平臺(tái)包括：

MapReduce分布式處理技術(shù)、Hadoop框架分布式的文件系統(tǒng)GFS結(jié)構(gòu)化的BigTable存儲(chǔ)系統(tǒng)以及Google其他的云計(jì)算支撐要素。云計(jì)算體系結(jié)構(gòu)MapReduce分布式處理技術(shù):MapReduce是Google開(kāi)發(fā)的Java、Python、C++編程工具，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，也是云計(jì)算的核心技術(shù)，一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，適合用來(lái)處理大量數(shù)據(jù)的分布式運(yùn)算，用于解決問(wèn)題的程序開(kāi)發(fā)模型，也是開(kāi)發(fā)人員拆解問(wèn)題的方法。MapReduce模式的思想是將要執(zhí)行的問(wèn)題拆解成Map（映射）和Reduce（化簡(jiǎn)）的方式，先通過(guò)Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理達(dá)到分布運(yùn)算的效果，再通過(guò)Reduce程序?qū)⒔Y(jié)果匯整，輸出開(kāi)發(fā)者需要的結(jié)果。MapReduce的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，把鍵值對(duì)（key/value）映射成新的鍵值對(duì)（key/value），形成一系列中間形式的key/value對(duì)，然后把它們傳給Reduce（化簡(jiǎn)）函數(shù)，把具有相同中間形式key的value合并在一起.云計(jì)算體系結(jié)構(gòu)MapReduce分布式處理技術(shù):(續(xù))map和reduce函數(shù)具有一定的關(guān)聯(lián)性1.map

(k1,v1)

->

list(k2,v2)

2.reduce

(k2,list(v2))

->list(v2)

其中v1、v2可以是簡(jiǎn)單數(shù)據(jù)，也可以是一組數(shù)據(jù)，對(duì)應(yīng)不同的映射函數(shù)規(guī)則。在Map過(guò)程中將數(shù)據(jù)并行，即把數(shù)據(jù)用映射函數(shù)規(guī)則分開(kāi)，而Reduce則把分開(kāi)的數(shù)據(jù)用化簡(jiǎn)函數(shù)規(guī)則合在一起，也就是說(shuō)Map是一個(gè)分的過(guò)程，Reduce則對(duì)應(yīng)著合。MapReduce應(yīng)用廣泛，包括簡(jiǎn)單計(jì)算任務(wù)、海量輸入數(shù)據(jù)、集群計(jì)算環(huán)境等，如分布grep、分布排序、單詞計(jì)數(shù)、Web連接圖反轉(zhuǎn)、每臺(tái)機(jī)器的詞矢量、Web訪問(wèn)日志分析、反向索引構(gòu)建、文檔聚類(lèi)、機(jī)器學(xué)習(xí)、基于統(tǒng)計(jì)的機(jī)器翻譯等。云計(jì)算體系結(jié)構(gòu)Hadoop架構(gòu)：在Google發(fā)表MapReduce后，2004年開(kāi)源社群用Java搭建出一套Hadoop框架，用于實(shí)現(xiàn)MapReduce算法，能夠把應(yīng)用程序分割成許多很小的工作單元，每個(gè)單元可以在任何集群節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行。此外，Hadoop還提供一個(gè)分布式文件系統(tǒng)GFS（Googlefilesystem），是一個(gè)可擴(kuò)展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng)，支持大型、分布式大數(shù)據(jù)量的讀寫(xiě)操作，其容錯(cuò)性較強(qiáng)。而分布式數(shù)據(jù)庫(kù)（BigTable）是一個(gè)有序、稀疏、多維度的映射表，有良好的伸縮性和高可用性，用來(lái)將數(shù)據(jù)存儲(chǔ)或部署到各個(gè)計(jì)算節(jié)點(diǎn)上。Hadoop框架具有高容錯(cuò)性及對(duì)數(shù)據(jù)讀寫(xiě)的高吞吐率，能自動(dòng)處理失敗節(jié)點(diǎn)，如圖3-5所示為GoogleHadoop架構(gòu)。在架構(gòu)中MapReduceAPI提供Map和Reduce處理、GFS分布式文件系統(tǒng)和BigTable分布式數(shù)據(jù)庫(kù)提供數(shù)據(jù)存取。基于Hadoop可以非常輕松和方便完成處理海量數(shù)據(jù)的分布式并行程序，并運(yùn)行于大規(guī)模集群上。云計(jì)算體系結(jié)構(gòu)Google云計(jì)算執(zhí)行過(guò)程：云計(jì)算服務(wù)方式多種多樣，通過(guò)對(duì)Google云計(jì)算架構(gòu)及技術(shù)的理解，在此我們給出用戶(hù)將要執(zhí)行的程序或處理的問(wèn)題提交云計(jì)算的平臺(tái)Hadoop，其執(zhí)行過(guò)程如下圖所示：云計(jì)算體系結(jié)構(gòu)如圖所示的Google云計(jì)算執(zhí)行過(guò)程包括以下步驟。（1）將要執(zhí)行的MapReduceAPI程序復(fù)制到Hadoop框架中的Master和每一臺(tái)Worker機(jī)器中。（2）Master選擇由哪些Worker機(jī)器來(lái)執(zhí)行Map程序與Reduce程序。（3）分配所有的數(shù)據(jù)區(qū)塊到執(zhí)行Map程序的Worker機(jī)器中進(jìn)行Map（切割成小塊數(shù)據(jù)）。（4）將Map后的結(jié)果存入Worker機(jī)器。（5）執(zhí)行Reduce程序的Worker機(jī)器，遠(yuǎn)程讀取每一份Map結(jié)果，進(jìn)行混合、匯整與排序，同時(shí)執(zhí)行Reduce程序。（6）將結(jié)果輸出給用戶(hù)（開(kāi)發(fā)者）。在云計(jì)算中為了保證計(jì)算和存儲(chǔ)等操作的完整性，充分利用MapReduce的分布和可靠特性，在數(shù)據(jù)上傳和下載過(guò)程中根據(jù)各Worker節(jié)點(diǎn)在指定時(shí)間內(nèi)反饋的信息判斷節(jié)點(diǎn)的狀態(tài)是正常還是死亡，若節(jié)點(diǎn)死亡則將其負(fù)責(zé)的任務(wù)分配給別的節(jié)點(diǎn)，確保文件數(shù)據(jù)的完整性。第三節(jié)

云計(jì)算的特點(diǎn)與好處云計(jì)算的特點(diǎn)超大規(guī)模虛擬化高可靠性通用性

高可擴(kuò)展性

按需服務(wù)

廉價(jià)性潛在的危險(xiǎn)性

云計(jì)算的特點(diǎn)超大規(guī)模：具有相當(dāng)?shù)囊?guī)模，Google云計(jì)算已經(jīng)擁有100多萬(wàn)臺(tái)服務(wù)器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬(wàn)臺(tái)服務(wù)器。企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器?！霸啤蹦苜x予用戶(hù)前所未有的計(jì)算能力。虛擬化：云計(jì)算支持用戶(hù)在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請(qǐng)求的資源來(lái)自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶(hù)無(wú)需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。只需要一臺(tái)筆記本或者一個(gè)手機(jī)，就可以通過(guò)網(wǎng)絡(luò)服務(wù)來(lái)實(shí)現(xiàn)我們需要的一切，甚至包括超級(jí)計(jì)算這樣的任務(wù)。常用的主機(jī)虛擬化軟件CitrixXenServer微軟WindowsServer2008Hyper-VVMwareESXServerRedHatKVM開(kāi)源的OpenStack方物vServer華為Galax云計(jì)算的特點(diǎn)高可靠性：“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來(lái)保障服務(wù)的高可靠性，使用云計(jì)算比使用本地計(jì)算機(jī)可靠。通用性：云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。高可擴(kuò)展性：“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，滿(mǎn)足應(yīng)用和用戶(hù)規(guī)模增長(zhǎng)的需要。按需服務(wù)：“云”是一個(gè)龐大的資源池，你按需購(gòu)買(mǎi)；云可以象自來(lái)水、電、煤氣那樣計(jì)費(fèi)。

云計(jì)算的特點(diǎn)廉價(jià)性：由于“云”的特殊容錯(cuò)措施可以采用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云，“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶(hù)可以充分享受“云”的低成本優(yōu)勢(shì)，經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬(wàn)美元、數(shù)月時(shí)間才能完成的任務(wù)。云計(jì)算可以徹底改變?nèi)藗兾磥?lái)的生活，但同時(shí)也要重視環(huán)境問(wèn)題，這樣才能真正為人類(lèi)進(jìn)步做貢獻(xiàn),而不是簡(jiǎn)單的技術(shù)提升。云計(jì)算的特點(diǎn)潛在的危險(xiǎn)性：云計(jì)算服務(wù)除了提供計(jì)算服務(wù)外，還必然提供了存儲(chǔ)服務(wù)。但是云計(jì)算服務(wù)當(dāng)前壟斷在私人機(jī)構(gòu)（企業(yè)）手中，而他們僅僅能夠提供商業(yè)信用。對(duì)于政府機(jī)構(gòu)、商業(yè)機(jī)構(gòu)（特別象銀行這樣持有敏感數(shù)據(jù)的商業(yè)機(jī)構(gòu)）對(duì)于選擇云計(jì)算服務(wù)應(yīng)保持足夠的警惕。一旦商業(yè)用戶(hù)大規(guī)模使用私人機(jī)構(gòu)提供的云計(jì)算服務(wù)，無(wú)論其技術(shù)優(yōu)勢(shì)有多強(qiáng)，都不可避免地讓這些私人機(jī)構(gòu)以“數(shù)據(jù)（信息）”的重要性?huà)吨普麄€(gè)社會(huì)。對(duì)于信息社會(huì)而言，“信息”是至關(guān)重要的。另一方面，云計(jì)算中的數(shù)據(jù)對(duì)于數(shù)據(jù)所有者以外的其他用戶(hù)云計(jì)算用戶(hù)是保密的，但是對(duì)于提供云計(jì)算的商業(yè)機(jī)構(gòu)而言確實(shí)毫無(wú)秘密可言。這就象常人不能監(jiān)聽(tīng)別人的電話(huà)，但是在電訊公司內(nèi)部，他們可以隨時(shí)監(jiān)聽(tīng)任何電話(huà)。所有這些潛在的危險(xiǎn)，是商業(yè)機(jī)構(gòu)和政府機(jī)構(gòu)選擇云計(jì)算服務(wù)、特別是國(guó)外機(jī)構(gòu)提供的云計(jì)算服務(wù)時(shí)，不得不考慮的一個(gè)重要的前提。

云計(jì)算的好處數(shù)據(jù)安全可靠客戶(hù)端需求低輕松共享數(shù)據(jù)使網(wǎng)絡(luò)無(wú)所不能數(shù)據(jù)安全可靠云計(jì)算提供了最可靠、最安全的數(shù)據(jù)存儲(chǔ)中心，用戶(hù)不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩。

很多人覺(jué)得數(shù)據(jù)只有保存在自己看得見(jiàn)、摸得著的電腦里才最安全，其實(shí)不然。你的電腦可能會(huì)因?yàn)樽约翰恍⌒亩粨p壞，或者被病毒攻擊，導(dǎo)致硬盤(pán)上的數(shù)據(jù)無(wú)法恢復(fù)，而有機(jī)會(huì)接觸你的電腦的不法之徒則可能利用各種機(jī)會(huì)竊取你的數(shù)據(jù)。此前轟動(dòng)一時(shí)的“艷照門(mén)”事件據(jù)報(bào)道不也是因?yàn)殡娔X送修而造成個(gè)人數(shù)據(jù)外泄的嗎？反之，當(dāng)你的文檔保存在類(lèi)似GoogleDocs的網(wǎng)絡(luò)服務(wù)上，當(dāng)你把自己的照片上傳到類(lèi)似GooglePicasaWeb的網(wǎng)絡(luò)相冊(cè)里，你就再也不用擔(dān)心數(shù)據(jù)的丟失或損壞。因?yàn)樵凇霸啤钡牧硪欢?，有全世界最?zhuān)業(yè)的團(tuán)隊(duì)來(lái)幫你管理信息，有全世界最先進(jìn)的數(shù)據(jù)中心來(lái)幫你保存數(shù)據(jù)。同時(shí)，嚴(yán)格的權(quán)限管理策略可以幫助你放心地與你指定的人共享數(shù)據(jù)。這樣，你不用花錢(qián)就可以享受到最好、最安全的服務(wù)，甚至比在銀行里存錢(qián)還方便。客戶(hù)端需求低云計(jì)算對(duì)用戶(hù)端的設(shè)備要求最低，使用起來(lái)也最方便。

大家都有過(guò)維護(hù)個(gè)人電腦上種類(lèi)繁多的應(yīng)用軟件的經(jīng)歷。為了使用某個(gè)最新的操作系統(tǒng)，或使用某個(gè)軟件的最新版本，我們必須不斷升級(jí)自己的電腦硬件。為了打開(kāi)朋友發(fā)來(lái)的某種格式的文檔，我們不得不瘋狂尋找并下載某個(gè)應(yīng)用軟件。為了防止在下載時(shí)引入病毒，我們不得不反復(fù)安裝殺毒和防火墻軟件。所有這些麻煩事加在一起，對(duì)于一個(gè)剛剛接觸計(jì)算機(jī)，剛剛接觸網(wǎng)絡(luò)的新手來(lái)說(shuō)不啻一場(chǎng)噩夢(mèng)！如果你再也無(wú)法忍受這樣的電腦使用體驗(yàn)，云計(jì)算也許是你的最好選擇。你只要有一臺(tái)可以上網(wǎng)的電腦，有一個(gè)你喜歡的瀏覽器，你要做的就是在瀏覽器中鍵入U(xiǎn)RL，然后盡情享受云計(jì)算帶給你的無(wú)限樂(lè)趣。你可以在瀏覽器中直接編輯存儲(chǔ)在“云”的另一端的文檔，你可以隨時(shí)與朋友分享信息，再也不用擔(dān)心你的軟件是否是最新版本，再也不用為軟件或文檔染上病毒而發(fā)愁。因?yàn)樵凇霸啤钡牧硪欢?，有?zhuān)業(yè)的IT人員幫你維護(hù)硬件，幫你安裝和升級(jí)軟件，幫你防范病毒和各類(lèi)網(wǎng)絡(luò)攻擊，幫你做你以前在個(gè)人電腦上所做的一切。輕松共享數(shù)據(jù)云計(jì)算可以輕松實(shí)現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享。

大家不妨回想一下，你自己的聯(lián)系人信息是如何保存的。一個(gè)最常見(jiàn)的情形是，你的手機(jī)里存儲(chǔ)了幾百個(gè)聯(lián)系人的電話(huà)號(hào)碼，你的個(gè)人電腦或筆記本電腦里則存儲(chǔ)了幾百個(gè)電子郵件地址。為了方便在出差時(shí)發(fā)郵件，你不得不在個(gè)人電腦和筆記本電腦之間定期同步聯(lián)系人信息。買(mǎi)了新的手機(jī)后，你不得不在舊手機(jī)和新手機(jī)之間同步電話(huà)號(hào)碼。對(duì)了，還有你的PDA以及你辦公室里的電腦。考慮到不同設(shè)備的數(shù)據(jù)同步方法種類(lèi)繁多，操作復(fù)雜，要在這許多不同的設(shè)備之間保存和維護(hù)最新的一份聯(lián)系人信息，你必須為此付出難以計(jì)數(shù)的時(shí)間和精力。這時(shí)，你需要用云計(jì)算來(lái)讓一切都變得更簡(jiǎn)單。在云計(jì)算的網(wǎng)絡(luò)應(yīng)用模式中，數(shù)據(jù)只有一份，保存在“云”的另一端，你的所有電子設(shè)備只需要連接互聯(lián)網(wǎng)，就可以同時(shí)訪問(wèn)和使用同一份數(shù)據(jù)。仍然以聯(lián)系人信息的管理為例，當(dāng)你使用網(wǎng)絡(luò)服務(wù)來(lái)管理所有聯(lián)系人的信息后，你可以在任何地方用任何一臺(tái)電腦找到某個(gè)朋友的電子郵件地址，可以在任何一部手機(jī)上直接撥通朋友的電話(huà)號(hào)碼，也可以把某個(gè)聯(lián)系人的電子名片快速分享給好幾個(gè)朋友。當(dāng)然，這一切都是在嚴(yán)格的安全管理機(jī)制下進(jìn)行的，只有對(duì)數(shù)據(jù)擁有訪問(wèn)權(quán)限的人，才可以使用或與他人分享這份數(shù)據(jù)。使網(wǎng)絡(luò)無(wú)所不能云計(jì)算為我們使用網(wǎng)絡(luò)提供了幾乎無(wú)限多的可能

為存儲(chǔ)和管理數(shù)據(jù)提供了幾乎無(wú)限多的空間，也為我們完成各類(lèi)應(yīng)用提供了幾乎無(wú)限強(qiáng)大的計(jì)算能力。想像一下，當(dāng)你駕車(chē)出游的時(shí)候，只要用手機(jī)連入網(wǎng)絡(luò)，就可以直接看到自己所在地區(qū)的衛(wèi)星地圖和實(shí)時(shí)的交通狀況，可以快速查詢(xún)自己預(yù)設(shè)的行車(chē)路線，可以請(qǐng)網(wǎng)絡(luò)上的好友推薦附近最好的景區(qū)和餐館，可以快速預(yù)訂目的地的賓館，還可以把自己剛剛拍攝的照片或視頻剪輯分享給遠(yuǎn)方的親友……離開(kāi)了云計(jì)算，單單使用個(gè)人電腦或手機(jī)上的客戶(hù)端應(yīng)用，我們是無(wú)法享受這些便捷的。個(gè)人電腦或其他電子設(shè)備不可能提供無(wú)限量的存儲(chǔ)空間和計(jì)算能力，但在“云”的另一端，由數(shù)千臺(tái)、數(shù)萬(wàn)臺(tái)甚至更多服務(wù)器組成的龐大的集群卻可以輕易地做到這一點(diǎn)。個(gè)人和單個(gè)設(shè)備的能力是有限的，但云計(jì)算的潛力卻幾乎是無(wú)限的。當(dāng)你把最常用的數(shù)據(jù)和最重要的功能都放在“云”上時(shí)，我們相信，你對(duì)電腦、應(yīng)用軟件乃至網(wǎng)絡(luò)的認(rèn)識(shí)會(huì)有翻天覆地的變化，你的生活也會(huì)因此而改變?；ヂ?lián)網(wǎng)的精神實(shí)質(zhì)是自由、平等和分享。作為一種最能體現(xiàn)互聯(lián)網(wǎng)精神的計(jì)算模型，云計(jì)算必將在不遠(yuǎn)的將來(lái)展示出強(qiáng)大的生命力，并將從多個(gè)方面改變我們的工作和生活。無(wú)論是普通網(wǎng)絡(luò)用戶(hù)，還是企業(yè)員工，無(wú)論是IT管理者，還是軟件開(kāi)發(fā)人員，他們都能親身體驗(yàn)到這種改變。第四節(jié)

云計(jì)算應(yīng)用案例當(dāng)今社會(huì)，PC依然是我們?nèi)粘９ぷ魃钪械暮诵墓ぞ摺覀冇肞C處理文檔、存儲(chǔ)資料，通過(guò)電子郵件或U盤(pán)與他人分享信息。如果PC硬盤(pán)壞了，我們會(huì)因?yàn)橘Y料丟失而束手無(wú)策。而在“云計(jì)算”時(shí)代，“云”會(huì)替我們做存儲(chǔ)和計(jì)算的工作?！霸啤本褪怯?jì)算機(jī)群，每一群包括了幾十萬(wàn)臺(tái)、甚至上百萬(wàn)臺(tái)計(jì)算機(jī)。“云”的好處還在于，其中的計(jì)算機(jī)可以隨時(shí)更新，保證“云”長(zhǎng)生不老。Google就有好幾個(gè)這樣的“云”，其他IT巨頭，如微軟、雅虎、亞馬遜（Amazon）也有或正在建設(shè)這樣的“云”。屆時(shí)，我們只需要一臺(tái)能上網(wǎng)的電腦，不需關(guān)心存儲(chǔ)或計(jì)算發(fā)生在哪朵“云”上，但一旦有需要，我們可以在任何地點(diǎn)用任何設(shè)備，如電腦、手機(jī)等，快速地計(jì)算和找到這些資料。我們?cè)僖膊挥脫?dān)心資料丟失。己的服務(wù)供應(yīng)商。云計(jì)算應(yīng)用案例亞馬遜網(wǎng)站（A）亞馬遜網(wǎng)站是以在線書(shū)店和電子零售業(yè)起家的，如今已在業(yè)界享有盛譽(yù)，不過(guò)它最新的業(yè)務(wù)卻與云計(jì)算有關(guān)。兩年多以前，亞馬遜作為首批進(jìn)軍云計(jì)算新興市場(chǎng)的廠商之一，為嘗試進(jìn)入該領(lǐng)域的企業(yè)開(kāi)創(chuàng)了良好的開(kāi)端。亞馬遜的云名為亞馬遜網(wǎng)絡(luò)服務(wù)（AmazonWebServices，下稱(chēng)AWS），目前主要由4塊核心服務(wù)組成：簡(jiǎn)單存儲(chǔ)服務(wù)（SimpleStorageService，S3）；彈性計(jì)算云（ElasticComputeCloud，EC2）；簡(jiǎn)單排列服務(wù)（SimpleQueuingService）以及尚處于測(cè)試階段的SimpleDB。換句話(huà)說(shuō)，亞馬遜現(xiàn)在提供的是可以通過(guò)網(wǎng)絡(luò)訪問(wèn)的存儲(chǔ)、計(jì)算機(jī)處理、信息排隊(duì)和數(shù)據(jù)庫(kù)管理系統(tǒng)接入式服務(wù)。云計(jì)算應(yīng)用案例谷歌公司（G）圍繞因特網(wǎng)搜索創(chuàng)建了一種超動(dòng)力商業(yè)模式。如今，他們又以應(yīng)用托管、企業(yè)搜索以及其他更多形式向企業(yè)開(kāi)放了他們的“云”。2010年4月，谷歌推出了谷歌應(yīng)用軟件引擎（GoogleAppEngine，下稱(chēng)GAE），這種服務(wù)讓開(kāi)發(fā)人員可以