云計(jì)算技術(shù)調(diào)查報(bào)告

1、云計(jì)算技術(shù)調(diào)查報(bào)告云計(jì)算技術(shù)調(diào)查報(bào)告 指導(dǎo)教師： . 作者姓名： . 作者學(xué)號(hào)： . 完成時(shí)間： .摘要：云計(jì)算（英語：Cloud Computing），是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。整個(gè)運(yùn)行方式很像電網(wǎng)。云計(jì)算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展而且經(jīng)常是虛擬化的資源。云其實(shí)是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。典型的云計(jì)算提供商往往提供通用的網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用，可以通過瀏覽器等軟件或者其他Web服務(wù)來訪問，而軟件和數(shù)據(jù)都存儲(chǔ)在服務(wù)器上。云計(jì)算關(guān)鍵的要素，還包括個(gè)性化的用戶體驗(yàn)。云計(jì)算可

2、以認(rèn)為包括以下幾個(gè)層次的服務(wù)：基礎(chǔ)設(shè)施即服務(wù)（IaaS），平臺(tái)即服務(wù)（PaaS）和軟件即服務(wù)（SaaS）。云計(jì)算服務(wù)通常提供通用的通過瀏覽器訪問的在線商業(yè)應(yīng)用，軟件和數(shù)據(jù)可存儲(chǔ)在數(shù)據(jù)中心。關(guān)鍵字：BigTable數(shù)據(jù)管理技術(shù)，虛擬計(jì)算，編程模式，基礎(chǔ)設(shè)施即服務(wù)（IaaS），平臺(tái)即服務(wù)（PaaS）和軟件即服務(wù)（SaaS），遠(yuǎn)程網(wǎng)絡(luò)訪問目錄1. 當(dāng)前應(yīng)用情況31.1應(yīng)用領(lǐng)域31.2 產(chǎn)業(yè)現(xiàn)狀31.3 商業(yè)模式應(yīng)用42. 技術(shù)組成62.1數(shù)據(jù)存儲(chǔ)技術(shù)62.2數(shù)據(jù)管理技術(shù)62.3編程模型技術(shù)73. 核心技術(shù)原理104. 優(yōu)缺點(diǎn)總結(jié)134.1云計(jì)算優(yōu)點(diǎn)：134.2 云計(jì)算缺點(diǎn)：145. 未來發(fā)展趨勢(shì)15

3、5.1私有云將首先發(fā)展起來155.2 混合云架構(gòu)將成為企業(yè)IT趨勢(shì)155. 3云計(jì)算概念逐漸平民化155. 4云計(jì)算安全權(quán)責(zé)更明確156. 參考文獻(xiàn)及資料161. 當(dāng)前應(yīng)用情況1.1應(yīng)用領(lǐng)域云計(jì)算有著廣泛的應(yīng)用前景。協(xié)作工具：個(gè)人、家庭、組織、社會(huì)通過“云”進(jìn)行協(xié)同工作、實(shí)現(xiàn)同步處理或接續(xù)；例如：科研：地震監(jiān)測(cè) 海洋信息監(jiān)控 天文信息計(jì)算處理醫(yī)學(xué)：DNA信息分析 海量病歷存儲(chǔ)分析 醫(yī)療影像處理網(wǎng)絡(luò)安全： 病毒庫(kù)存儲(chǔ) 垃圾郵件屏蔽圖形和圖像處理： 動(dòng)畫素材存儲(chǔ)分析 高仿真動(dòng)畫制作 海量圖片檢索互聯(lián)網(wǎng)：Email服務(wù) 在線實(shí)時(shí)翻譯 網(wǎng)絡(luò)檢索服務(wù)服務(wù)平臺(tái)：為需要大規(guī)模計(jì)算或存儲(chǔ)時(shí)的各種應(yīng)用或開發(fā)提供

4、虛擬化的資源服務(wù)，不同的使用者可以實(shí)現(xiàn)資源的共享； 創(chuàng)新基地：為用戶提供 API，鼓勵(lì)用戶進(jìn)行創(chuàng)新嘗試，不斷涌現(xiàn)新的應(yīng)用或服務(wù)。1.2 產(chǎn)業(yè)現(xiàn)狀自亞馬遜EC2產(chǎn)品和Google-IBM并行計(jì)算項(xiàng)目提出云計(jì)算以來， 從技術(shù)供應(yīng)商到軟件服務(wù)提供商紛紛推出披著 “云計(jì)算”外衣的各式產(chǎn)品與服務(wù)，其中不乏炒作概念、混水摸魚之輩?？偟膩砜矗朴?jì)算還處于一個(gè)起步的階段，業(yè)務(wù)種類還比較單一。目前，提供云計(jì)算產(chǎn)品和服務(wù)的公司主要來自北美特別是美國(guó)。 Amazon：最早提供遠(yuǎn)程云計(jì)算平臺(tái)服務(wù)的公司，云計(jì)算平臺(tái)稱為彈性計(jì)算云（Elastic Compute Cloud，EC2） 。用戶租用的是虛擬的計(jì)算能力，簡(jiǎn)化了

5、計(jì)費(fèi)方式。在彈性計(jì)算云中，提供了三種不同能力的虛擬機(jī)實(shí)例，具有不同的收費(fèi)價(jià)格。例如，其中默認(rèn)的也是最小的運(yùn)行實(shí)例是 1.7GB 的內(nèi)存， 1 個(gè) EC2 的計(jì)算單元 （1虛擬的計(jì)算核以相關(guān)的計(jì)算單元） ， 160GB 的虛擬機(jī)內(nèi)部存儲(chǔ)容量，是一個(gè) 32 位的計(jì)算平臺(tái)，收費(fèi)標(biāo)準(zhǔn)為每個(gè)小時(shí) 10 美分。在當(dāng)前的云計(jì)算平臺(tái)中，還有兩種性能更加強(qiáng)勁的虛擬機(jī)實(shí)例可供使用，當(dāng)然價(jià)格也更加昂貴一點(diǎn)。 IBM：在 2007 年 11 月 15 日推出了藍(lán)云計(jì)算平臺(tái)，為客戶帶來即買即用的云計(jì)算平臺(tái)。它包括一系列的云計(jì)算產(chǎn)品，通過將 Tivoli、DB2、WebSphere 與硬件產(chǎn)品（目前是 x86 刀片服務(wù)器

6、）集成，能夠?yàn)槠髽I(yè)架設(shè)一個(gè)分布式、可全球訪問的資源結(jié)構(gòu)。首款支持Power 和 x86 處理器刀片服務(wù)器系統(tǒng)的“藍(lán)云”產(chǎn)品于2008年正式推出， 并且計(jì)劃隨后推出基于System z“大型主機(jī)”的云環(huán)境，以及基于高密度機(jī)架集群的云環(huán)境。2007 年 2 月起，IBM 與無錫市政府合建無錫太湖新城科教產(chǎn)業(yè)園建立云計(jì)算中心，已投商用。 Google：是云計(jì)算的發(fā)起人和重要推動(dòng)力量之一，針對(duì)自身特定的網(wǎng)絡(luò)應(yīng)用程序定制云計(jì)算平臺(tái)。針對(duì)內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google 提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。Google 使用的云計(jì)算基礎(chǔ)架

7、構(gòu)模式包括四個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)。包括 Google 建立在集群之上的文件系統(tǒng)Google File System，針對(duì) Google 應(yīng)用程序的特點(diǎn)提出的 Map/Reduce 編程模式，分布式的鎖機(jī)制Chubby以及Google開發(fā)的模型簡(jiǎn)化的大規(guī)模分布式數(shù)據(jù)庫(kù) BigTable。Google 并不是通過向用戶提供云計(jì)算服務(wù)來收費(fèi)，而是基于云計(jì)算平臺(tái)實(shí)現(xiàn) Google 各種應(yīng)用的運(yùn)行，并通過后向收費(fèi)獲取收益。 其他：思科、英特爾、微軟、惠普、云計(jì)算提供商的隊(duì)伍越來越長(zhǎng)。 中國(guó)企業(yè)積極投身于云計(jì)算的產(chǎn)業(yè)之中，電信運(yùn)營(yíng)商、軟件廠商、設(shè)備制造企業(yè)、互聯(lián)網(wǎng)企業(yè)等從不同角度切入云計(jì)算，希

8、望分得一杯羹。趨勢(shì)科技和瑞星等安全廠商紛紛提出了“安全云”計(jì)劃。如今，每天有2萬多種新的病毒和木馬產(chǎn)生，傳統(tǒng)的通過更新用戶病毒庫(kù)的防毒模式，受到了嚴(yán)峻的挑戰(zhàn)，用戶端的病毒庫(kù)將過于龐大。趨勢(shì)科技和瑞星的“安全云”將病毒資料庫(kù)放在“云”端，與客戶端通過網(wǎng)絡(luò)相連，當(dāng)“云”在網(wǎng)絡(luò)上發(fā)現(xiàn)不安全鏈接時(shí)，可以直接形成判斷，阻止其進(jìn)入用戶機(jī)器，從根本上保護(hù)機(jī)器的安全。據(jù)趨勢(shì)科技大中華區(qū)執(zhí)行總裁張偉欽介紹，趨勢(shì)科技已投入了大量資金，在全球數(shù)個(gè)地方建設(shè)了新型數(shù)據(jù)中心。同時(shí)，趨勢(shì)科技還花費(fèi)了1000多萬美元，租借了34000多臺(tái)服務(wù)器，構(gòu)建了一個(gè)服務(wù)遍及全球的“安全云”。目前趨勢(shì)科技已將公司中低端的部分產(chǎn)品線放到“

9、云安全”計(jì)劃中，而高端的大部分產(chǎn)品線，仍在準(zhǔn)備過程中。谷歌提供的Gmail、Google Earth、Google Analytics等服務(wù)都基于其云計(jì)算服務(wù)器運(yùn)行。谷歌基于云計(jì)算提供的翻譯服務(wù)具有現(xiàn)今最好的性能。對(duì)互聯(lián)網(wǎng)和美國(guó)人生活的一項(xiàng)研究顯示，大約70%的在線用戶使用以上“云計(jì)算”服務(wù)。1.3 商業(yè)模式應(yīng)用云計(jì)算與電子商務(wù)結(jié)合產(chǎn)生的電子外包就是前景看好的應(yīng)用之一。 電子商務(wù)是互聯(lián)網(wǎng)的重要應(yīng)用， 代表著互聯(lián)網(wǎng)從大眾化娛樂向商業(yè)化服務(wù)的發(fā)展方向。作為一種面向互聯(lián)網(wǎng)的商業(yè)模式創(chuàng)新， 云計(jì)算與電子商務(wù)的結(jié)合必將在企業(yè)的組織形式， 盈利方式，市場(chǎng)營(yíng)銷，知識(shí)管理等領(lǐng)域帶來重大的變化，從而使從事電子商

10、務(wù)活動(dòng)的企業(yè)尤其是中小企業(yè)能夠更有效的利用各種信息和資源，降低成本，從而提高企業(yè)的核心競(jìng)爭(zhēng)力，提高商品和服務(wù)交易的成交率?；谠朴?jì)算的電子外包使企業(yè)無需新增硬件投入、 軟件和程序開發(fā)成本，只要按需支付一定租金，就可以訪問服務(wù)提供商如阿里巴巴等建立的電子商務(wù)云，運(yùn)行企業(yè)所需的管理程序，建立和存儲(chǔ)商業(yè)數(shù)據(jù)庫(kù)資料；只要有網(wǎng)絡(luò)連接，就可以做到在任何時(shí)間、任何地點(diǎn)進(jìn)行操作，不受時(shí)間和地域的限制，保證業(yè)務(wù)的不間斷運(yùn)轉(zhuǎn)，避免錯(cuò)過任何一個(gè)商業(yè)機(jī)會(huì)。電子外包實(shí)際上是“隨需而變”電子商務(wù)的一種形式，這種模式就是利用云計(jì)算平臺(tái)，將分布在各個(gè)地方的各種資源虛擬地構(gòu)建起來，實(shí)現(xiàn)資源共享，使得企業(yè)在使用網(wǎng)絡(luò)構(gòu)架和應(yīng)用程序

11、時(shí)就能像使用自來水、 電力和燃?xì)獾纫话愎卜?wù)一樣方便。 它不僅能同時(shí)為成千上萬客戶同時(shí)提供商務(wù)服務(wù)，而且能保證其應(yīng)用環(huán)境的高度安全。此外，通過統(tǒng)一開放的接口， 云平臺(tái)還將允許企業(yè)進(jìn)行電子商務(wù)的創(chuàng)新嘗試和搭建屬于自己的商務(wù)系統(tǒng)。從這個(gè)意義上說，電子商務(wù)與云計(jì)算的結(jié)合，融合了 SaaS、PaaS 和 IaaS 的形式，是一種新型的電子商務(wù)活動(dòng)。隨著業(yè)務(wù)的不斷發(fā)展，云計(jì)算的應(yīng)用創(chuàng)新還將不斷涌現(xiàn)出來。從租用軟件到租用開發(fā)平臺(tái)再到租用基礎(chǔ)設(shè)施， 或者其他各種類型的應(yīng)用模式，云計(jì)算的創(chuàng)新在于一切以客戶需要為中心，通過無所不在的網(wǎng)絡(luò)為客戶提供 7×24 的全天候服務(wù)。金融危機(jī)引發(fā)的經(jīng)濟(jì)衰退則為云

12、計(jì)算的發(fā)展提供了有力的外部條件。2. 技術(shù)組成云計(jì)算是一種新型的超級(jí)計(jì)算方式，以數(shù)據(jù)為中心，是一種數(shù)據(jù)密集型的超級(jí)計(jì)算。在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、編程模式等方面具有自身獨(dú)特的技術(shù)。2.1數(shù)據(jù)存儲(chǔ)技術(shù)為保證高可用、高可靠和經(jīng)濟(jì)性，云計(jì)算采用分布式存儲(chǔ)的方式來存儲(chǔ)數(shù)據(jù)，采用冗余存儲(chǔ)的方式來保證存儲(chǔ)數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外，云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求，并行地為大量用戶提供服務(wù)。因此，云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的非開源的GFS（Google File System）和 Hadoop 開發(fā)團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HD

13、FS（Hadoop Distributed FileSystem）。大部分IT廠商，包括yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。2.2數(shù)據(jù)管理技術(shù)云計(jì)算系統(tǒng)對(duì)大數(shù)據(jù)集進(jìn)行處理、分析向用戶提供高效的服務(wù)。因此，數(shù)據(jù)管理技術(shù)必須能夠高效的管理大數(shù)據(jù)集。其次，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率，云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此，云系統(tǒng)的數(shù)據(jù)管

14、理往往采用數(shù)據(jù)庫(kù)領(lǐng)域中列存儲(chǔ)的數(shù)據(jù)管理模式。將表按列劃分后存儲(chǔ)。為了滿足云計(jì)算的大規(guī)模數(shù)據(jù)集管理，高效的數(shù)據(jù)定位需求。谷歌采用BigTable的數(shù)據(jù)管理技術(shù)。在各大IT廠商的支持下，Hadoop開發(fā)團(tuán)隊(duì)正在開發(fā)其開源版本。以BigTable為例。BigTable數(shù)據(jù)管理方式設(shè)計(jì)者Google給出了如下定義：“BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng)，這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模，例如在數(shù)千臺(tái)商用服務(wù)器上的達(dá)到PB(Petabytes)規(guī)模的數(shù)據(jù)?！盉igTable對(duì)數(shù)據(jù)讀操作進(jìn)行優(yōu)化，采用列存儲(chǔ)的方式，提高數(shù)據(jù)讀取效率。BigTable管理的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為：<r

15、ow: string, column: string, time: int64> ->string。BigTable的基本元素是：行，列，記錄板和時(shí)間戳。其中，記錄板是一段行的集合體。BigTable中的數(shù)據(jù)項(xiàng)按照行關(guān)鍵字的字典序排列，每行動(dòng)態(tài)地劃分到記錄板中。每個(gè)節(jié)點(diǎn)管理大約100個(gè)記錄板。時(shí)間戳是一個(gè)64位的整數(shù)，表示數(shù)據(jù)的不同版本。BigTable在執(zhí)行時(shí)需要三個(gè)主要的組件： 鏈接到每個(gè)客戶端的庫(kù)，一個(gè)主服務(wù)器，多個(gè)記錄板服務(wù)器。主服務(wù)器用于分配記錄板到記錄板服務(wù)器以及負(fù)載平衡，垃圾回收等。記錄板服務(wù)器用于直接管理一組記錄板，處理讀寫請(qǐng)求等。為保證數(shù)據(jù)結(jié)構(gòu)的高可擴(kuò)展性，Big

16、Table采用三級(jí)的層次化的方式來存儲(chǔ)位置信息，如圖4所示。其中第一級(jí)的Chubby file中包含Root Tablet的位置，Root Tablet包含所有METADATA tablets的位置信息，每個(gè)METADATA tablets包含許多User Table的位置信息。2.3編程模型技術(shù)為了使用戶能更輕松的享受云計(jì)算帶來的服務(wù)，讓用戶能利用該編程模型編寫簡(jiǎn)單的程序來實(shí)現(xiàn)特定的目的，云計(jì)算上的編程模型必須十分簡(jiǎn)單。必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計(jì)算采用類似MAP-Reduce的編程模式?，F(xiàn)在所有IT廠商提出的“云”計(jì)劃中采用的編程模型，都是基于MAP-Re

17、duce的思想開發(fā)的編程工具。MAP-Reduce不僅僅是一種編程模型，同時(shí)也是一種高效的任務(wù)調(diào)度模型。Map-Reduce這種編程模型并不僅適用于云計(jì)算，在多核和多處理器、cellprocessor、以及異構(gòu)機(jī)群上同樣有良好的性能。該編程模式僅適用于編寫任務(wù)內(nèi)部松耦合、能夠高度并行化的程序。如何改進(jìn)該編程模式，使程序員得能夠輕松的編寫緊耦合的程序，運(yùn)行時(shí)能高效的調(diào)度和執(zhí)行任務(wù)，是Map-Reduce編程模型未來的發(fā)展方向。為了滿足云計(jì)算的分布式存儲(chǔ)方式、同時(shí)保證數(shù)據(jù)可靠性和高吞吐率以及高傳輸率的需求。目前各IT廠商多采用GFS或HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。以GFS為例。GFS是一個(gè)管理大型分布式

18、數(shù)據(jù)密集型計(jì)算的可擴(kuò)展的分布式文件系統(tǒng)。它使用廉價(jià)的商用硬件搭建系統(tǒng)并向大量用戶提供容錯(cuò)的高性能的服務(wù)。GFS和普通的分布式文件系統(tǒng)有以下區(qū)別，如表2所示：GFS系統(tǒng)由一個(gè)Master和大量塊服務(wù)器構(gòu)成。Master存放文件系統(tǒng)的所有的元數(shù)據(jù)，包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。GFS中的文件切分為64MB的塊進(jìn)行存儲(chǔ)。在GFS文件系統(tǒng)中，采用冗余存儲(chǔ)的方式來保證數(shù)據(jù)的可靠性。每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上的備份。為了保證數(shù)據(jù)的一致性，對(duì)于數(shù)據(jù)的所有修改需要在所有的備份上進(jìn)行，并用版本號(hào)的方式來確保所有備份處于一致的狀態(tài)?？蛻舳瞬煌ㄟ^Master讀取數(shù)據(jù)，避免了大量讀操作使

19、Master成為系統(tǒng)瓶頸。客戶端從Master獲取目標(biāo)數(shù)據(jù)塊的位置信息后，直接和塊服務(wù)器交互進(jìn)行讀操作。GFS的寫操作將寫操作控制信號(hào)和數(shù)據(jù)流分開，如圖311所示：圖3 寫控制信號(hào)和寫數(shù)據(jù)流即，客戶端在獲取Master的寫授權(quán)后，將數(shù)據(jù)傳輸給所有的數(shù)據(jù)副本，在所有的數(shù)據(jù)副本都收到修改的數(shù)據(jù)后，客戶端才發(fā)出寫請(qǐng)求控制信號(hào)。在所有的數(shù)據(jù)副本更新完數(shù)據(jù)后，由主副本向客戶端發(fā)出寫操作完成控制信號(hào)。當(dāng)前各IT廠商提出的“云”計(jì)劃的編程工具均基于Map-Reduce的編程模型。Map-Reduce是一種處理和產(chǎn)生大規(guī)模數(shù)據(jù)集的編程模型，程序員在Map函數(shù)中指定對(duì)各分塊數(shù)據(jù)的處理過程，在Reduce函數(shù)中指

20、定如何對(duì)分塊數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸約。用戶只需要指map和reduce函數(shù)來編寫分布式的并行程序。當(dāng)在機(jī)群上運(yùn)行Map-Reduce程序時(shí)，程序員不需要關(guān)心如何將輸入的數(shù)據(jù)分塊、分配和調(diào)度，同時(shí)系統(tǒng)還將處理機(jī)群內(nèi)節(jié)點(diǎn)失敗以及節(jié)點(diǎn)見通信的管理等。圖5給出了一個(gè)Map-Reduce程序的具體執(zhí)行過程。從圖5可以看出，執(zhí)行一個(gè)Map-Reduce程序需要五個(gè)步驟：輸入文件、將文件分配給多個(gè)worker并行地執(zhí)行、寫中間文件（本地寫）、多個(gè)Reduce workers同時(shí)運(yùn)行、輸出最終結(jié)果。本地寫中間文件在減少了對(duì)網(wǎng)絡(luò)帶寬的壓力同時(shí)減少了寫中間文件的時(shí)間耗費(fèi)。執(zhí)行Reduce時(shí)，根據(jù)從Master獲

21、得的中間文件位置信息，將Reduce命令發(fā)送給中間文件所在點(diǎn)執(zhí)行，進(jìn)一步減少了傳送中間文件對(duì)帶寬的需求。圖5Map-Reduce模型具有很強(qiáng)的容錯(cuò)性，當(dāng)worker節(jié)點(diǎn)出現(xiàn)錯(cuò)誤時(shí)，只需要將該worker節(jié)點(diǎn)屏蔽在系統(tǒng)外等待修復(fù)，并將該worker上執(zhí)行的程序遷移到其他worker上重新執(zhí)行同時(shí)將該遷移信息通過Master發(fā)送給需要該節(jié)點(diǎn)處理結(jié)果的節(jié)點(diǎn)。Map-Reduce使用檢查點(diǎn)的方式來處理Master出錯(cuò)失敗的問題，當(dāng)Master出現(xiàn)錯(cuò)誤時(shí)，可以根據(jù)最近的一個(gè)檢查點(diǎn)重新選擇一個(gè)節(jié)點(diǎn)作Master并由此檢查點(diǎn)位置繼續(xù)運(yùn)行。3. 核心技術(shù)原理在典型的云計(jì)算模式中，用戶通過終端接入網(wǎng)絡(luò)，向“云”

22、提出需求； “云”接受請(qǐng)求后組織資源，通過網(wǎng)絡(luò)為“端”提供服務(wù)。用戶終端的功能可以大大簡(jiǎn)化，諸多復(fù)雜的計(jì)算與處理過程都將轉(zhuǎn)移到終端背后的“云”上去完成。用戶所需的應(yīng)用程序并不需要運(yùn)行在用戶的個(gè)人電腦、手機(jī)等終端設(shè)備上，而是運(yùn)行在互聯(lián)網(wǎng)的大規(guī)模服務(wù)器集群中； 用戶所處理的數(shù)據(jù)也無需存儲(chǔ)在本地，而是保存在互聯(lián)網(wǎng)上的數(shù)據(jù)中心里。提供云計(jì)算服務(wù)的企業(yè)負(fù)責(zé)這些數(shù)據(jù)中心和服務(wù)器正常運(yùn)轉(zhuǎn)的管理和維護(hù)， 并保證為用戶提供足夠強(qiáng)的計(jì)算能力和足夠大的存儲(chǔ)空間。 在任何時(shí)間和任何地點(diǎn)，用戶只要能夠連接至互聯(lián)網(wǎng)，就可以訪問云，實(shí)現(xiàn)隨需隨用。由于云計(jì)算分為IaaS、PaaS和SaaS三種類型，不同的廠家又提供了不同的解

23、決方案，目前還沒有一個(gè)統(tǒng)一的技術(shù)體系結(jié)構(gòu)。本文綜合不同廠家的方案，構(gòu)造了一個(gè)供商榷的云計(jì)算體系結(jié)構(gòu)。這個(gè)體系結(jié)構(gòu)如圖所示，它概括了不同解決方案的主要特征，每一種方案或許只實(shí)現(xiàn)了其中部分功能，或許也還有部分相對(duì)次要功能尚未概括進(jìn)來。云計(jì)算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層，如圖3所示。物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等；資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計(jì)算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)服務(wù)器、解決散熱和故障節(jié)點(diǎn)替換的問題并降低能耗；

24、管理中間件負(fù)責(zé)對(duì)云計(jì)算的資源進(jìn)行管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)；SOA構(gòu)建層將云計(jì)算能力封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)注冊(cè)、查找、訪問和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。云計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)

25、執(zhí)行、任務(wù)生命期管理等等；用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等；安全管理保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等。基于上述體系結(jié)構(gòu)，本文以IaaS云計(jì)算為例，簡(jiǎn)述云計(jì)算的實(shí)現(xiàn)機(jī)制，如圖所示。用戶交互接口向應(yīng)用以Web Services方式提供訪問接口，獲取用戶需求。服務(wù)目錄是用戶可以訪問的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)視統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)

26、。執(zhí)行過程并不復(fù)雜：用戶交互接口允許用戶從目錄中選取并調(diào)用一個(gè)服務(wù)。該請(qǐng)求傳遞給系統(tǒng)管理模塊后，它將為用戶分配恰當(dāng)?shù)馁Y源，然后調(diào)用配置工具來為用戶準(zhǔn)備運(yùn)行環(huán)境。4. 優(yōu)缺點(diǎn)總結(jié)4.1云計(jì)算優(yōu)點(diǎn)：（1）虛擬化技術(shù)?，F(xiàn)有的云計(jì)算平臺(tái)的最大的特點(diǎn)是利用軟件來實(shí)現(xiàn)硬件資源的虛擬化管理、調(diào)度及應(yīng)用。通過虛擬平臺(tái)用戶使用網(wǎng)絡(luò)資源、計(jì)算資源、數(shù)據(jù)庫(kù)資源、硬件資源、存儲(chǔ)資源等，與在自己的本地計(jì)算機(jī)上使用的感覺是一樣的，相當(dāng)于是在操作自己的計(jì)算機(jī)，而在云計(jì)算中利用虛擬化技術(shù)可大大降低維護(hù)成本和提高資源的利用率。（2）靈活定制。在云計(jì)算時(shí)代，用戶可以根據(jù)自己的需要或喜好定制相應(yīng)的服務(wù)、應(yīng)用及資源，云計(jì)算平臺(tái)可以按

27、照用戶的需求來部署相應(yīng)的資源、計(jì)算能力、服務(wù)及應(yīng)用。用戶不必關(guān)心資源在哪里、如何部署，只需要把自己的需求告訴云，剩下的工作就交給云了，云將返回用戶定制的結(jié)果，當(dāng)然用戶也可以對(duì)定制的服務(wù)進(jìn)行管理，如退訂或刪除一些服務(wù)等。（3）動(dòng)態(tài)可擴(kuò)展性。在云計(jì)算體系中，可以將服務(wù)器實(shí)時(shí)加入到現(xiàn)有服務(wù)器群中，提高"云"處理能力，如果某計(jì)算節(jié)點(diǎn)出現(xiàn)故障，則通過相應(yīng)策略拋棄掉該節(jié)點(diǎn)，并將其任務(wù)交給別的節(jié)點(diǎn)，而在節(jié)點(diǎn)故障排除后可實(shí)時(shí)加入現(xiàn)有集群中。（4）高可靠性和安全性。用戶數(shù)據(jù)存儲(chǔ)在服務(wù)器端，而應(yīng)用程序在服務(wù)器端運(yùn)行，計(jì)算由服務(wù)器端來處理。所有的服務(wù)分布在不同的服務(wù)器上，如果什么地方（節(jié)點(diǎn)）出問

28、題就終止它，另外再啟動(dòng)一個(gè)程序或節(jié)點(diǎn)，即自動(dòng)處理失敗節(jié)點(diǎn)，保證了應(yīng)用和計(jì)算的正常進(jìn)行，而用戶端不必備份，可以任意點(diǎn)恢復(fù)。在云計(jì)算服務(wù)器端提供了最可靠、最安全的數(shù)據(jù)存儲(chǔ)中心，有全世界最專業(yè)的團(tuán)隊(duì)管理信息，有全世界最先進(jìn)的數(shù)據(jù)中心保存數(shù)據(jù)，嚴(yán)格的權(quán)限管理策略可以幫助用戶放心地與指定的人共享數(shù)據(jù)。另一方面數(shù)據(jù)被復(fù)制到多個(gè)服務(wù)器節(jié)點(diǎn)上有多個(gè)副本（備份），存儲(chǔ)在云里的數(shù)據(jù)即使意外刪除或硬件崩潰都不會(huì)受到影響。（5）高性價(jià)比。云計(jì)算對(duì)用戶端的硬件設(shè)備要求最低，使用起來也最方便，軟件不用購(gòu)買和升級(jí)只需定制就可以了，而服務(wù)器端也可以用價(jià)格低廉的PC組成云，而計(jì)算能力卻可超過大型主機(jī)，而用戶在軟硬件維護(hù)和升級(jí)上

29、的投入大大減少，（6）數(shù)據(jù)、軟件在云端（服務(wù)器端）。云計(jì)算模式下，用戶的所有數(shù)據(jù)直接存儲(chǔ)在云端，在需要的時(shí)候直接從云端下載使用；用戶使用的軟件由服務(wù)商統(tǒng)一部署在云端運(yùn)行，軟件維護(hù)由服務(wù)商來完成，當(dāng)個(gè)人計(jì)算出現(xiàn)故障或崩潰，也不會(huì)影響該用戶對(duì)其軟件的試用，用戶只需要換個(gè)PC就可以繼續(xù)自己的工作，包括文檔實(shí)時(shí)編輯和協(xié)作開發(fā)等。（7）超強(qiáng)大的計(jì)算和存儲(chǔ)能力。用戶可以在任何時(shí)間、任意地點(diǎn)，采用任何設(shè)備登錄到云計(jì)算系統(tǒng)后就可以進(jìn)行計(jì)算服務(wù)；云計(jì)算云端由成千上萬臺(tái)甚至更多服務(wù)器組成的集群具有無限空間、無限速度。4.2 云計(jì)算缺點(diǎn)： 1.安全，因?yàn)樵朴?jì)算計(jì)算能力和數(shù)據(jù)都在云里，如何保證客戶數(shù)據(jù)的安全就是比較重

30、要的了。安全有兩個(gè)方面，一個(gè)是數(shù)據(jù)不會(huì)丟失，這個(gè)一般服務(wù)商都會(huì)有備份能力解決，但是也是偶爾會(huì)發(fā)生丟失的；另外一個(gè)就是你的數(shù)據(jù)不會(huì)泄漏，這個(gè)雖然服務(wù)商也會(huì)采取一些措施，不讓外部人員，例如黑客等攻擊獲取數(shù)據(jù)，但是服務(wù)商內(nèi)部人員的問題也是很大的，例如前一階段暴露的某國(guó)有大型移動(dòng)運(yùn)營(yíng)商內(nèi)部員工非法銷售客戶通話列表一事。當(dāng)然服務(wù)商都會(huì)說數(shù)據(jù)放在他們那里是安全的，但是都是他們自說自的，沒有一個(gè)第三方的權(quán)威機(jī)構(gòu)統(tǒng)一認(rèn)證和評(píng)判。2.網(wǎng)絡(luò)延遲或者中斷。云計(jì)算一般都是遠(yuǎn)程通過網(wǎng)絡(luò)訪問的，雖然現(xiàn)在網(wǎng)速提高很快，但是和局域網(wǎng)相比，速度還是有所延遲的，而如果一旦網(wǎng)絡(luò)終端，服務(wù)也就無法訪問，例如前幾年海底電纜斷了，那么你根本無法訪問到國(guó)外的云計(jì)算服務(wù)了。其它的缺點(diǎn)也有，但是一般都可以采用技術(shù)克服，上面的兩個(gè)是最主要的。5. 未來發(fā)展趨勢(shì)從社會(huì)經(jīng)濟(jì)發(fā)展來看云計(jì)算的必然性，從互聯(lián)網(wǎng)本身的計(jì)算環(huán)境以及大型產(chǎn)業(yè)的發(fā)展來看，總的說明，云計(jì)算是有它的必然性，是我