云計算技術(shù)綜述

1、云計算技術(shù)綜述摘要：云計算是“以互聯(lián)網(wǎng)為載體，利用虛擬化等手段整合大規(guī)模分布式可配置的計算資源。使其以服務(wù)的方式提供給用戶，滿足用戶按需使用的計算模式”，然后從計算模式、科學(xué)研究、社會發(fā)展等多個維度闡明了云計算作為現(xiàn)代計算技術(shù)發(fā)展的必然產(chǎn)物所具備的發(fā)展意義，總結(jié)了國內(nèi)外產(chǎn)業(yè)界、學(xué)術(shù)界、政府機(jī)構(gòu)等在云計算方面的最新研究進(jìn)展，深入分析了云計算研究過程中的重點和難點，最后指出了云計算未來的發(fā)展趨勢。關(guān)鍵詞：云計算；虛擬化；海量數(shù)據(jù)處理引言所謂云計算，簡單地說就是以虛擬化技術(shù)為基礎(chǔ)，以網(wǎng)絡(luò)為載體，以用戶為主體為其提供基礎(chǔ)架構(gòu)"平臺"軟件等服務(wù)為形式，整合大規(guī)模可擴(kuò)展的計算"

2、;存儲"數(shù)據(jù)”應(yīng)用等分布式計算資源進(jìn)行協(xié)同工作的超級計算服務(wù)模式虛擬化為云計算實現(xiàn)提供了很好技術(shù)支撐，而云計算可以看作是虛擬化技術(shù)應(yīng)用的成果。在過去的幾年里，已經(jīng)出現(xiàn)了眾多云計算研究開發(fā)小組，如谷歌、微軟、亞馬遜、華為、百度、阿里巴巴、中國電信等知名IT企業(yè)紛紛推出云計算解決方案，同時，國內(nèi)外學(xué)術(shù)界也紛紛就云計算及其關(guān)鍵技術(shù)相關(guān)理論進(jìn)行了深層次的研究。本文力圖在對各種云計算定義綜合分析的基礎(chǔ)上，提出1個相對系統(tǒng)和綜合的參考性定義，挖掘云計算的技術(shù)本質(zhì)和發(fā)展意義，總結(jié)國內(nèi)外最新研究進(jìn)展，剖析研究過程中的重點和難點，指出未來的發(fā)展趨勢。1、云計算的內(nèi)涵和本質(zhì)目前關(guān)于云計算的定義已有上百種

3、而維基百科對云計算的定義也在不斷更新，前后版本的差別非常大。據(jù)2011年給出的最新定義：云計算是一種能夠?qū)討B(tài)易擴(kuò)展的虛擬化資源軟件和數(shù)據(jù)通過互聯(lián)網(wǎng)提供給用戶的計算方式，如同電網(wǎng)用電一樣，用戶不需要知道云內(nèi)部的細(xì)節(jié)，也不必具有管理那些支持云計算的基礎(chǔ)設(shè)施。伯克利云計算白皮書的定義：云計算包括互聯(lián)網(wǎng)上各種服務(wù)形式的應(yīng)用以及數(shù)據(jù)中心中提供這些服務(wù)的軟硬件設(shè)施。應(yīng)用服務(wù)即Saas而數(shù)據(jù)中心的軟硬件設(shè)施即所謂的云。通過量入為出的方式提供給公眾的云稱為公共云，而不對公眾開放的組織內(nèi)部數(shù)據(jù)中心的云稱為私有云。美國標(biāo)準(zhǔn)化技術(shù)機(jī)構(gòu)NIST定義云計算是一種資源利用模式，它能以方便、友好、按需訪問的方式通過網(wǎng)絡(luò)訪

4、問可配置的計算機(jī)資源池(例如網(wǎng)絡(luò)、服務(wù)器”存儲、應(yīng)用程序和服務(wù)),在這種模式中，可以快速供應(yīng)并以最小的管理代價提供服務(wù)。Sun公司認(rèn)為，云的類型有很多，而且有很多不同的應(yīng)用程序可以使用云來構(gòu)建，由于云計算有助于提高應(yīng)用程序部署速度，有助于加快創(chuàng)新步伐，因而云計算可能還會初心在我們現(xiàn)在無法想象到的形式。筆者認(rèn)為：云計算是一種大規(guī)模資源共享模型，它是以虛擬技術(shù)為核心技術(shù)，以規(guī)模經(jīng)濟(jì)為驅(qū)動，以Internet為載體，以用戶為主體，按照用戶需求動態(tài)地提供虛擬化的、可伸縮性的商業(yè)計算模型。云計算是一種服務(wù)模式而不單純是一種技術(shù)。在云計算模式下，不同種類的IT服務(wù)按照用戶的需求規(guī)模和要求動態(tài)的構(gòu)建、運營和

5、維護(hù)，用戶一般以即用即付的方式支付其利用資源的費用。網(wǎng)絡(luò)中的應(yīng)用服務(wù)通常被稱作SaaS二數(shù)據(jù)中心軟硬件設(shè)施即資源池也就是所謂的云?！霸啤笔且恍┛梢宰晕揖S護(hù)和管理的虛擬計算資源，通常是一些大型服務(wù)器集群，包括計算服務(wù)器、存儲服務(wù)和寬帶資源等?？傊?，云計算是一種方便的使用方式和服務(wù)模式，通過互聯(lián)網(wǎng)按需訪問資源池模型(例如網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用程序和服務(wù))，可以快速和最少的管理工作為用戶提供服務(wù).云計算是并行計算(parallelcomputing)分布式計算(distributedcomputing)和網(wǎng)格計算(gridcomputing)等技術(shù)的發(fā)展.云計算又是虛擬化(virtualizati

6、on)、效用計算(utilitycomputing)的商業(yè)計算模型，它由基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)和軟件即服務(wù)3種服務(wù)模式，公共云、私有云、社區(qū)云、混合云4種部署模式。云計算的5個基本特點為：按需自助式服務(wù)、廣泛的網(wǎng)絡(luò)訪問、資源池、快速彈性使用、可度量的服務(wù)。2、云計算的關(guān)鍵技術(shù)云計算作為一種新的超級計算方式和服務(wù)模式，以數(shù)據(jù)為中心，是一種數(shù)據(jù)密集型的超級計算.它運用了多種計算機(jī)技術(shù)，其中以編程模型、數(shù)據(jù)管理、數(shù)據(jù)存儲、虛擬化和云計算平臺管理等技術(shù)最為關(guān)鍵.下面分別介紹云計算的一些關(guān)鍵技術(shù)。2.1 編程模型MapReduce作為Google開發(fā)的JavaPython、C+珊程模型，是一種簡化的

7、分布式編程和高效的任務(wù)調(diào)度模型，應(yīng)用程序編寫人員只需將精力放在應(yīng)用程序本身，使云計算環(huán)境下的編程十分簡單.而關(guān)于集群的處理問題，包括可靠性和可擴(kuò)展性，則交由平臺來處理MMapReduce模式的思想是通過"Map(映射)"和"Reduce(化簡)”這樣2個簡單的概念來構(gòu)成運算基本單元，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配(調(diào)度)給大量計算機(jī)處理，達(dá)到分布式運算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出，即可并行處理海量數(shù)據(jù)。簡單地說，云計算是一種更加靈活、高效、低成本、節(jié)能的信息運作的全新方式，通過其編程模型可以發(fā)現(xiàn)云計算技術(shù)是通過網(wǎng)絡(luò)將龐大的計算處理程

8、序自動分拆成無數(shù)個較小的子程序，再由多部服務(wù)器所組成的龐大系統(tǒng)搜索、計算分析之后將處理結(jié)果回傳給用戶.通過這項技術(shù)遠(yuǎn)程的服務(wù)供應(yīng)商可以在數(shù)秒之內(nèi)，達(dá)成處理數(shù)以千萬計甚至億計的信息，達(dá)到和“超級電腦”同樣強(qiáng)大性能的網(wǎng)絡(luò)服務(wù)。2.2 海量數(shù)據(jù)分布存儲技術(shù)云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù)，用冗余存儲的方式保證數(shù)據(jù)的可靠性.云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的GFS和Hadoop團(tuán)隊開發(fā)的GFS的開源實現(xiàn)HDFSGFSGoogle文件系統(tǒng)（GoogleFileSystem）,是個可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用GFS的設(shè)計思想不同于傳統(tǒng)的文件系

9、統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和Google應(yīng)用特性而設(shè)計的.它雖然運行于廉價的普通硬件上，但可以提供容錯功能.它可以給大量的用戶提供總體性能較高的服務(wù).一個GFS集群由1個主服務(wù)器（master）和大量的塊服務(wù)器（chunks-erver）構(gòu)成，并被許多客戶（client）訪問111.主服務(wù)器存儲文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當(dāng)前位置.它還控制系統(tǒng)活動范圍，如塊租約（lease）管理，孤立塊的垃圾收集，塊服務(wù)器間的塊遷移.主服務(wù)器定期通過心跳（HeartBeat）消息與每一個塊服務(wù)器通信，并收集它們的狀態(tài)信息。2.3 海量數(shù)據(jù)管理技術(shù)海量數(shù)據(jù)管理是指對大

10、規(guī)模數(shù)據(jù)的計算、分析和處理，如各種搜索引擎.以互聯(lián)網(wǎng)為計算平臺的云計算能夠?qū)Ψ植嫉?、海量的?shù)據(jù)進(jìn)行有效可靠地處理和分析.因此，數(shù)據(jù)管理技術(shù)必需能夠高效地管理大量的數(shù)據(jù)，通常數(shù)據(jù)規(guī)模達(dá)TB甚至PB級.云計算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT（BigTable漱據(jù)管理技術(shù)，以及Hadoop團(tuán)隊開發(fā)的開源數(shù)據(jù)管理模塊HBase和Hive,作為基于Ha-doop的開源數(shù)據(jù)工具（http:#）,主要用于存儲和處理海量結(jié)構(gòu)化數(shù)據(jù).BT是建立在GFS,Scheduler,LockService和MapReduce的一個大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一

11、個巨大的表格，用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。Google的很多項目使用BT來存儲數(shù)據(jù)，包括網(wǎng)頁查詢，GoogleEarth和Google金融.這些應(yīng)用程序又BT的要求各不相同：數(shù)據(jù)大?。◤腢RL到網(wǎng)頁到衛(wèi)星圖像）不同，反應(yīng)速度不同（從后端的大批處理到實時數(shù)據(jù)服務(wù)）。對于不同的要求，BT都成功地提供了靈活高效的服務(wù)。2.4 4虛擬化技術(shù)虛擬化(virtualization)技術(shù)是云計算系統(tǒng)的核心組成部分之是將各種計算及存儲資源充分整合和高效利用的關(guān)鍵技術(shù).云計算的特征主要體現(xiàn)在虛擬化、分布式和動態(tài)可擴(kuò)展，而虛擬化作為云計算最主要的特點，為云計算環(huán)境搭建起著決定性作用.虛擬化技術(shù)是伴隨著計算機(jī)技術(shù)

12、的產(chǎn)生而出現(xiàn)的作為云計算的核心技術(shù)，扮演著十分重要的角色，提供了全新的數(shù)據(jù)中心部署和管理方式，為數(shù)據(jù)中心管理員帶來了高效和可靠的管理體驗，還可以提高數(shù)據(jù)中心的資源利用率，低功能綠色環(huán)保。通過虛擬化技術(shù)，云計算中每一個應(yīng)用部署的環(huán)境和物理平臺是沒有關(guān)系的，通過虛擬平臺進(jìn)行管理、擴(kuò)展、遷移、備份，種種操作都通過虛擬化層次完成.虛擬化技術(shù)實質(zhì)是實現(xiàn)軟件應(yīng)用與底層硬件相隔離，把物理資源轉(zhuǎn)變?yōu)檫壿嬁晒芾碣Y源E344.目前云計算中虛擬化技術(shù)主要包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式.虛擬化技術(shù)根據(jù)對象可分成存儲虛擬化、計算虛擬化、網(wǎng)絡(luò)虛擬化等，計算虛擬化又

13、分為系統(tǒng)級虛擬化、應(yīng)用級虛擬化和桌面虛擬化。2.5 云計算平臺管理技術(shù)云計算資源規(guī)模龐大，一個系統(tǒng)服務(wù)器數(shù)量眾多(可能高達(dá)10萬臺)、結(jié)構(gòu)不同并且分布在不同物理地點的數(shù)據(jù)中心，同時還運行著成千上萬種應(yīng)用。如何有效地管理云環(huán)境中的這些服務(wù)器，保證整個系統(tǒng)提供不間斷服務(wù)必然是一個巨大的挑戰(zhàn).云計算平臺管理系統(tǒng)可以看作是云計算的“指揮中心”通過云計算系統(tǒng)的平臺管理技術(shù)能夠使大量的服務(wù)器協(xié)同工作，方便地進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營和管理。3云計算應(yīng)用現(xiàn)狀云計算平臺是一個強(qiáng)大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計算和服務(wù)，可利用虛擬化技術(shù)擴(kuò)展

14、每一個服務(wù)器的能力，將各自的資源通過云計算平臺結(jié)合起來，提供超級計算和存儲能力.下面就當(dāng)前云計算相關(guān)主要研究團(tuán)隊和組織的研究進(jìn)展情況進(jìn)行對比分析，為云計算相關(guān)研究提供參考.3.1 國際上相關(guān)研究組織目前，國外已經(jīng)有多個云計算的科學(xué)研究項目，非常有名是ScientificCloud16和OpenNebula項目.產(chǎn)業(yè)界也在投入巨資部署各自的云計算系統(tǒng)，參與者主要有GoogleAma-zon、IBM、Microsoft等.國內(nèi)關(guān)于云計算的研究也已起步，并在計算機(jī)系統(tǒng)虛擬化基礎(chǔ)理論與方法研究方面取得了階段性成果.國際上云計算主要研究組織及研發(fā)方向如表1所示.團(tuán)隊組織商業(yè)項目技術(shù)特征核心技術(shù)適用范圍G

15、oogleAppEnginGoogl勰索GoogleGoogleMapsoogleEarffioogleAd-能力senseGmai#儲存及運算水平擴(kuò)平行分散技術(shù)，MapReduce,BigTable,GFSGoogle種日?；ヂ?lián)網(wǎng)應(yīng)用及開發(fā)者開發(fā)和發(fā)布各種應(yīng)用程序魚總”IBM云環(huán)境管理解決方案（企IBM業(yè)私有云），IBMLotusLiv（e?議服務(wù)務(wù)、電子郵件服務(wù)），整合其所有軟件和網(wǎng)格技術(shù)，分布式存高性能計算（汽車和航天工業(yè)模辦公協(xié)作月艮硬件服務(wù)儲，動態(tài)負(fù)載擬計算、生命科學(xué)領(lǐng)域染色體組建模等）IBMRC2BM等研究機(jī)構(gòu)共同創(chuàng)建的私有云）Amazon亞馬遜網(wǎng)絡(luò)服務(wù)（彈性計算云EC2簡單存、，

16、乙儲服務(wù)S3簡單數(shù)據(jù)庫服務(wù)sim-pleDB單彈性虛擬平臺隊歹IJ服務(wù)SQS單性MapRe-duce內(nèi)容推送服務(wù)、電子商務(wù)服務(wù)DevPayFPS）虛擬技術(shù)Xen各類企業(yè)在其平臺上搭建應(yīng)用環(huán)境提供云計算服務(wù)t如在線照片存儲共享網(wǎng)站SmugMug在線視頻制作網(wǎng)站Animoto）MicrosoftAzures臺提供Microsoft.NE¥MicrosoftSQL、Live服務(wù)整合其所有軟件及數(shù)據(jù)服務(wù)大型應(yīng)用軟件開發(fā)技術(shù)應(yīng)用程序開發(fā)者在云端開發(fā)程序，且運行在微軟云端的應(yīng)用程序還是運行在本地的應(yīng)用程序都可以使用云計算服務(wù)平臺EMC云存儲基礎(chǔ)架構(gòu)EMCAtoms久的B信息管信息存儲系理解決方案

17、），'、Moz剪對Mad戶的在線存儲統(tǒng)和虛Vmwar圖虛擬化技向各種規(guī)模的企業(yè)和機(jī)構(gòu)提供自術(shù)，一流的存儲技術(shù)動化網(wǎng)絡(luò)存儲解決方案客戶關(guān)系管理（CRM）括SalesCloudSlfServicCloudCustoiCloudCloudPlat-'rormforCRMCloudInfrastructure務(wù)forCRM應(yīng)用平臺整合技術(shù)為企業(yè)提供客戶關(guān)系管理（CRM艮務(wù)cEC2±的Oracles據(jù)庫OracleOracleVM,SunxVM軟硬件彈用臺Oracle勺數(shù)據(jù)存技術(shù)，Suiff源技術(shù)提供統(tǒng)一整合的界面來部署在云中任何操作系統(tǒng)上運行的應(yīng)用軟件，操作系統(tǒng)包括OpenS

18、olarisinuxWindows3.2 國內(nèi)相關(guān)研究組織中國移動大云平臺包括數(shù)據(jù)挖掘、海量數(shù)據(jù)存儲和彈性計算等，主要用于中國移動的業(yè)務(wù)支撐、信息管理和互聯(lián)網(wǎng)應(yīng)用；阿里云提供的計算、存儲和網(wǎng)絡(luò)服務(wù)主要用于提供各種電子商務(wù)服務(wù)；世紀(jì)互聯(lián)的彈性云計算已經(jīng)對外提供服務(wù)，支持多個操作系統(tǒng)、數(shù)據(jù)庫和編程環(huán)境；友友云開發(fā)的數(shù)流平臺（Bitsflow）,分布式虛擬存儲系統(tǒng)（DataCell）,網(wǎng)絡(luò)計算平臺GAP和系統(tǒng)監(jiān)控管理平臺（NetVM）主要針對大型企業(yè)；華為的云帆計劃主要包括云數(shù)據(jù)中心和針對電信的IDC云。在平臺的文件系統(tǒng)方面，中國移動，阿里巴巴和世紀(jì)互聯(lián)都是基于Hadoop文件系統(tǒng)HDFS!據(jù)自身需

19、求進(jìn)行一些改進(jìn)，而友友提出的DataCellFS4云計算存在的挑戰(zhàn)與機(jī)遇目前，盡管云計算如火如荼的開展著，通過分析知道云計算具有許多優(yōu)點，讓人們看到了IT服務(wù)將成為公共服務(wù)的曙光，但是我們也要清醒地認(rèn)識到云計算也不是萬能的靈丹妙藥，它仍存在著一些亟待解決的實際問題，如服務(wù)可用性、數(shù)據(jù)主權(quán)與數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網(wǎng)絡(luò)傳輸問題和可伸縮性存儲等.甚至還有些專家和學(xué)者對云計算持懷疑態(tài)度，認(rèn)為是在炒作概念.為此，需要進(jìn)一步加強(qiáng)宣傳和應(yīng)用好云計算產(chǎn)品，為科研生產(chǎn)服務(wù).本文給出了云計算發(fā)展過程中主要存在的一些挑戰(zhàn)問題與機(jī)遇。5總結(jié)與展望計算作為一項服務(wù)功能是人們長久以來的夢想.隨著微軟吸引

20、人眼球的句廣告語“Weareallincloud!”標(biāo)志著云計算時代的到來，人們長久以來的夢想終將變?yōu)楝F(xiàn)實.從云供應(yīng)商的觀點出發(fā)，整合服務(wù)器平臺技術(shù)能更好地推進(jìn)云計算基礎(chǔ)設(shè)施架構(gòu)的搭建以及大規(guī)模數(shù)據(jù)中心管理能力的提升，建立合作伙伴的生態(tài)鏈.利用商品化的計算、存儲和網(wǎng)絡(luò)低成本建立大型數(shù)據(jù)中心使得以低于許多中等規(guī)模的數(shù)據(jù)中心的價格“即用即付”的銷售資源成為可能，并且可以利用資源在大量用戶間的復(fù)用來獲取利潤.從云用戶的觀點出發(fā)，云計算可以令一個初創(chuàng)的軟件公司像初創(chuàng)的芯片廠商擁有為之服務(wù)的代工廠樣擁有自己的數(shù)據(jù)中心.總之，國內(nèi)外對云計算及其虛擬化關(guān)鍵技術(shù)方面的研究非?；钴S，并開發(fā)了一些相關(guān)工具與產(chǎn)品，

21、云計算作為新一代產(chǎn)業(yè)浪潮的重要驅(qū)動力，將對經(jīng)濟(jì)社會發(fā)展產(chǎn)生深遠(yuǎn)的影響。參考文獻(xiàn)1MellP,GranceT.TheNISTdefinitionofcloudcomputingR.NationalInstituteofStadardandTechnology,USDepartmentofCommerce,20102SunCorporation.ThewhitepaperoncloudcomputingarchitectureR.20093劉鵬.云計算技術(shù)基礎(chǔ)M.2版.北京：電子工業(yè)出版社，011LIUPeng.IntroductiontocloudcomputingM.2ndEd.Beijng!

22、PublishingHouseofElectronicsIndustry,20114DeanJ,GhemawatS.MapReduce:SimplifieddataprocessingonlargeclustersJ.CommunicationsoftheACM,2008,51(1):1074135王慶波，金滓，何樂，等.虛擬化與云計算M.北京：電子工業(yè)出版社，010WANGQingbo,JINXing,HELe,etal.VirtualizationandcloudcomputingM.Beijng:PublishingHouseofElectronicsIndustry,20106VMwa

23、revirtualizationtechnologyEB/OL2011-0902.http:/www.vmware.cm/virtualization/what-s-vir-tualization.html10GoyalA,DadizadehS.AsurveyoncloudcomputingR.TechnicalReportforCS508,200911王鵬.云計算的關(guān)鍵技術(shù)與應(yīng)用實例M.北京：人民郵電出版社，010WANGPeng.KeytechnologyandapplicationexamplesofcloudcomputingM.Beijing:Posts&TelecomPress,201012陳康，鄭緯民.云計算：系統(tǒng)實例與研究現(xiàn)狀J.軟件學(xué)報，009,0(5):13374348CHENKang,ZHENG