詳解云計(jì)算技術(shù)

1、摘要：云計(jì)算（Cloud computing）是當(dāng)今IT界的熱門技術(shù)，借助云計(jì)算，網(wǎng)絡(luò)服務(wù)提供者可以在瞬息之間，處理 數(shù)以千萬計(jì)甚至億計(jì)的信息，實(shí)現(xiàn)和超級計(jì)算機(jī)同樣強(qiáng)大的效能。同時(shí)，用戶可以按需彈性地使用這些資源和服務(wù)，從而實(shí)現(xiàn)將計(jì)算作為一種公用設(shè)施來提供的夢想。本文首先介紹了云計(jì)算的基本概念、組成部分、技術(shù)要點(diǎn)和國內(nèi)外發(fā)展情況，然后分別從服務(wù)器虛擬化、存儲虛擬化、應(yīng)用虛擬化、平臺虛擬化和桌面虛擬化五個(gè)方面重點(diǎn)介紹虛擬化技術(shù)同云計(jì)算之間密不可分的關(guān)系。1、云計(jì)算概念簡介對于云計(jì)算，人們有著不同的理解和定義。本文認(rèn)為，云計(jì)算是一種大規(guī)模資源整合的思想。云 計(jì)算是IT界未來發(fā)展的必然趨勢，所謂“天

2、下大勢，分久必合，合久必分”，IT界亦然。1946年2月15日，世界上第一臺電腦 ENIAC誕生，占地十幾間屋子，計(jì)算機(jī)行業(yè)也隨著這個(gè)龐 然大物應(yīng)運(yùn)而生。之后 IT界開始了第一次“分”的過程，即個(gè)人電腦的誕生。隨著網(wǎng)絡(luò)的出現(xiàn)，IT界出現(xiàn)了第一次“合”的過程，如 Client/Server 架構(gòu)、萬維網(wǎng) WWW Email等都是由高性能服務(wù)器 通過網(wǎng)絡(luò)為多個(gè)客戶提供服務(wù)。但是，隨著用戶數(shù)量不斷增加，服務(wù)器端的負(fù)荷越來越重，這種模式 的瓶頸由于那個(gè)年代有限的資源（如帶寬、計(jì)算、存儲等）而變的越發(fā)嚴(yán)重，所以第二次“分”的時(shí)代來臨，如分布式計(jì)算、點(diǎn)對點(diǎn)P2P技術(shù)、網(wǎng)格計(jì)算（Grid Computing

3、） 等。每個(gè)用戶（Peer）既是被服務(wù)者同時(shí)也是服務(wù)者，大家共同分擔(dān)龐大的計(jì)算、傳輸及存儲任務(wù)。由此而誕生的企業(yè)有PPStream、YouTube、維基百科等。為方便理解以上云的思想，可從圖1的類比來進(jìn)行闡述和表達(dá)?！胺?wù)器群”類似于“發(fā)電機(jī)”提供“電力”資源；虛擬技術(shù)類似于“變壓裝置”使電壓成倍增加或降低，從而實(shí)現(xiàn)彈性計(jì)算；資源 調(diào)度器類似于“整流裝置”，可以整合各個(gè)“發(fā)電站”的電力進(jìn)行集中供電；服務(wù)管理器傳送云服務(wù)，類似于“電力傳輸設(shè)備”，可以統(tǒng)一提供和管理IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）和SaaS（軟件即服務(wù)）等一系列云服務(wù)；安全監(jiān)控系統(tǒng)類似于“保險(xiǎn)裝置”，可以保證傳輸

4、過來的“電”安全可靠，不會由于異常情況（如短路）損害家電和人身安全；云電腦、云手機(jī)等終端設(shè)備類似于家電，可以通過他們獲取“電”（云資源）。2、云計(jì)算在國內(nèi)外發(fā)展情況簡述盡管云計(jì)算的思想已經(jīng)孕育很久，但在美國取得蓬勃發(fā)展也只是最近五六年的事情。中國近一兩年也在云計(jì)算方面有了長足發(fā)展。云計(jì)算在美國的發(fā)展情況2003年，美國國家科學(xué)基金（NSF）投資830萬美元支持由美國七所頂尖院校提出的“網(wǎng)格虛擬化 和云計(jì)算VGrADS項(xiàng)目，由此正式啟動(dòng)了云計(jì)算的研發(fā)工作?；诖隧?xiàng)目的后續(xù)開源產(chǎn)品有現(xiàn)在著 名的云計(jì)算開源軟件 Eucalyptus（此軟件在美國已經(jīng)被廣泛應(yīng)用），美國航空航天局（NASA）的云計(jì)算

5、系統(tǒng)Nebula。亞馬遜公司的云計(jì)算也采用了相同技術(shù)（其客戶端軟件 EC2可以直接連入 Eucalyptus的服務(wù)器）。本文作者繼續(xù)深入研發(fā)，相繼推出了云點(diǎn)（Cloudian）系列產(chǎn)品（），涵蓋了建設(shè)云平臺所必須的各個(gè)模塊，包括虛擬化、管理、調(diào)度、服務(wù) （IaaS 、 PaaS、SaaS）、安全、可信、云電腦和手機(jī) 終端等。從2004年開始，Amazon陸續(xù)推出了簡單隊(duì)列服務(wù)、MechanicalTurk 等云計(jì)算服務(wù)雛形。云計(jì)算服務(wù)成熟的標(biāo)志是亞馬遜在2006年推出的簡單存儲服務(wù)(S3)和彈性計(jì)算云(EC2)。Google以應(yīng)用托管、企業(yè)搜索以及其他更多形式向企業(yè)開放了他們的“云”。Goog

6、le以發(fā)表學(xué)術(shù)論文的形式公開其云計(jì)算三大法寶：GFS MapReduce和BigTable ,并在美國、中國等高校開設(shè)云計(jì)算編程課程。目前， Google已經(jīng)允許第三方在 Google云計(jì)算中通過 Google App Engine運(yùn)行大型并行應(yīng)用程序。2009年4月，谷歌推出了 Google應(yīng)用軟件引擎(Google AppEngine ,下稱GAE),這種服務(wù)讓開發(fā)人員可以編 譯基于Python的應(yīng)用程序。 Microsoft 推出了 Windows Azure操作系統(tǒng)，這個(gè)系統(tǒng)作為微軟云計(jì)算 計(jì)劃的server端操作系統(tǒng)(Cloud OS)為廣大開發(fā)者提供服務(wù)。同時(shí)，微軟也推出了免費(fèi)在線

7、手機(jī)同 步備份業(yè)務(wù) MyPhone。微軟為使其在互聯(lián)網(wǎng)上與Google競爭，MS宣布推出數(shù)據(jù)存儲及網(wǎng)絡(luò)管理軟件Live Mesh ,邁出從 PC領(lǐng)域到云計(jì)算的一大步。Microsoft 將LiveMesh視為基于網(wǎng)上數(shù)據(jù)中心的軟件平臺，可以提供多種服務(wù)，包括計(jì)算機(jī)遠(yuǎn)程控制、電子設(shè)備及數(shù)據(jù)存儲等。舊M于2008年提出了“藍(lán)云”計(jì)劃，推出共有云和私有云的概念。舊M提出私有云解決方案是為減少諸如數(shù)據(jù)、信息安全等共有云現(xiàn)存問題，從而搶占企業(yè)云計(jì)算市場。將重心放在將現(xiàn)有產(chǎn)品和技術(shù)整合上，并充分利用開 源產(chǎn)品，是 舊M云計(jì)算方案的特點(diǎn)。例如利用Xen虛擬化產(chǎn)品、Linux操作系統(tǒng)+X86架構(gòu)組成的IBM服

8、務(wù)器云數(shù)據(jù)中心。在共有云方面，舊M于2009年發(fā)布了 LotusLive Engage ?；谠贫说膮f(xié)作平臺是 舊M 2010年發(fā)展的一個(gè)重點(diǎn)。Apple是云計(jì)算領(lǐng)域的另一位角色，從近年來推出的iTunes服務(wù)，至ij MobileMe服務(wù)，到收購在線音樂服務(wù)商Lala ,再到最近在美國北卡萊羅納州投資10億美元建立新數(shù)據(jù)中心的計(jì)劃，無不顯示其進(jìn)軍云計(jì)算領(lǐng)域的巨大決心。云計(jì)算國內(nèi)運(yùn)營商發(fā)展情況與美國相比，國內(nèi)的云計(jì)算發(fā)展雖處于起步階段，但各大通信運(yùn)營商都表現(xiàn)得異?；钴S。中國移 動(dòng)推出了 “大云” (Big Cloud)云計(jì)算基礎(chǔ)服務(wù)平臺，中國電信推出了 “e 云”云計(jì)算平臺，中國聯(lián) 通則是推出

9、了 “互聯(lián)云”平臺。2009年8月，中國移動(dòng)研究院發(fā)布了版本“大云”系統(tǒng)，并在此基礎(chǔ)上設(shè)計(jì)了很多管理軟件和 應(yīng)用。中國移動(dòng)的“大云”是基于一些重要的開源軟件開發(fā)的。以此為基礎(chǔ)，中國移動(dòng)研發(fā)和試驗(yàn)了 高效的云系統(tǒng)管理軟件和比較重要的幾個(gè)應(yīng)用，比如并行數(shù)據(jù)挖掘、云存儲、大容量數(shù)據(jù)庫及對搜索 引擎的研究。中國移動(dòng)通信研究院通過深入研發(fā)和試驗(yàn)HyperDFS、MapReduceHugeTable、CloudMaster等云計(jì)算平臺關(guān)鍵技術(shù)，自主搭建了1000個(gè)CPUB成的256節(jié)點(diǎn)規(guī)模的云計(jì)算試驗(yàn)平臺，并開展系統(tǒng)評估與優(yōu)化，構(gòu)建了基于云計(jì)算技術(shù)的移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)海量數(shù)據(jù)存儲和處理試驗(yàn)平臺，開展了云計(jì)算應(yīng)

10、用研發(fā)和試驗(yàn)。2009年9月22日，中國電信上海分公司攜手EMCff出“e云”。這片“云”能按照用戶的設(shè)定，自動(dòng)利用電腦空閑時(shí)間，將信息備份到上海電信的“e 云”數(shù)據(jù)中心，當(dāng)用戶遇到電腦破壞、數(shù)據(jù)破 壞、誤刪除、在家辦公、遠(yuǎn)程辦公等情況時(shí)，只要通過網(wǎng)絡(luò)連接至電信服務(wù)器，就可以在任何地方恢 復(fù)任意一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)?！癳 云”可以把天翼 Live等IM工具連接起來，目前，針對主流手機(jī)終端 以及其他增值服務(wù)的開發(fā)都在進(jìn)行中，到時(shí)用戶可以實(shí)現(xiàn)單一賬號式登入。這意味著，未來不論是聯(lián) 通用戶還是移動(dòng)用戶，無論是通過EVDO是TD或WCDMA式傳輸，只要設(shè)置一個(gè)單一賬號，都能接入和使用電信的云服務(wù)。中國聯(lián)通

11、研究院也開展了 “互聯(lián)云”的試驗(yàn)。3、云計(jì)算和虛擬化虛擬化（Virtualization）技術(shù)是云計(jì)算系統(tǒng)的核心組成部分之一，是將各種計(jì)算及存儲資源充分整合和高效利用的關(guān)鍵技術(shù)。虛擬化的定義：虛擬化是為某些對象創(chuàng)造的虛擬（相對于真實(shí)）版本，比如操作系統(tǒng)、計(jì)算機(jī)系統(tǒng)、 存儲設(shè)備和網(wǎng)絡(luò)資源等。它是表示計(jì)算機(jī)資源的抽象方法，通過虛擬化可以用與訪問抽象前資源一致的方法訪問抽象后的資源，可以為一組類似資源提供一個(gè)通用的抽象接口集，從而隱藏屬性和操作之間的差異，并允許通過一種通用的方式來查看和維護(hù)資源。服務(wù)器虛擬化服務(wù)器虛擬化技術(shù)可以使一個(gè)物理服務(wù)器虛擬成若干個(gè)服務(wù)器使用，如圖2所示。服務(wù)器虛擬化是基礎(chǔ)設(shè)

12、施即服務(wù)（Infrastructure as a Service,IaaS）的基礎(chǔ)。服務(wù)器虛擬化需要具備以下功能和技術(shù)：1）多實(shí)例：在一個(gè)物理服務(wù)器上可以運(yùn)行多個(gè)虛擬服務(wù)器。2）隔離性：在多實(shí)例的服務(wù)器虛擬化中，一個(gè)虛擬機(jī)與其他虛擬機(jī)完全隔離，以保證良好的可 靠性及安全性。3） CPU虛擬化：把物理 CPU抽象成虛擬 CPU無論任何時(shí)間一個(gè)物理CPU只能運(yùn)行一個(gè)虛擬 CPU的指令。而多個(gè)虛擬機(jī)同時(shí)提供服務(wù)將會大大提高物理CPU的利用率。4）內(nèi)存虛擬化：統(tǒng)一管理物理內(nèi)存，將其包裝成多個(gè)虛擬的物理內(nèi)存分別供給若干個(gè)虛擬機(jī)使 用，使得每個(gè)虛擬機(jī)擁有各自獨(dú)立的內(nèi)存空間，互不干擾。5）設(shè)備與I/O虛擬化

13、：統(tǒng)一管理物理機(jī)的真實(shí)設(shè)備，將其包裝成多個(gè)虛擬設(shè)備給若干個(gè)虛擬機(jī)使用，響應(yīng)每個(gè)虛擬機(jī)的設(shè)備訪問請求和I/O請求。6）無知覺故障恢復(fù)：運(yùn)用虛擬機(jī)之間的快速熱遷移技術(shù)（Live Migration） ,可以使一個(gè)故障虛擬機(jī)上的用戶在沒有明顯感覺的情況下迅速轉(zhuǎn)移到另一個(gè)新開的正常虛擬機(jī)上。7）負(fù)載均衡：利用調(diào)度和分配技術(shù)，平衡各個(gè)虛擬機(jī)和物理機(jī)之間的利用率。8）統(tǒng)一管理：由多個(gè)物理服務(wù)器支持的多個(gè)虛擬機(jī)的動(dòng)態(tài)實(shí)時(shí)生成、啟動(dòng)、停止、遷移、調(diào)度、 負(fù)荷、監(jiān)控等應(yīng)當(dāng)有一個(gè)方便易用的統(tǒng)一管理界面。9）快速部署：整個(gè)系統(tǒng)要有一套快速部署機(jī)制，對多個(gè)虛擬機(jī)及上面的不同操作系統(tǒng)和應(yīng)用進(jìn) 行高效部署、更新和升級。存

14、儲虛擬化存儲虛擬化的方式是將整個(gè)云系統(tǒng)的存儲資源進(jìn)行統(tǒng)一整合管理，為用戶提供一個(gè)統(tǒng)一的存儲空間，如圖3所示。存儲虛擬化具有以下功能和特點(diǎn)：1）集中存儲：存儲資源統(tǒng)一整合管理，集中存儲，形成數(shù)據(jù)中心模式。2）分布式擴(kuò)展：存儲介質(zhì)易于擴(kuò)展，由多個(gè)異構(gòu)存儲服務(wù)器實(shí)現(xiàn)分布式存儲，以統(tǒng)一模式訪問虛擬化后的用戶接口3）節(jié)能減排：服務(wù)器和硬盤的耗電量巨大，為提供全時(shí)段數(shù)據(jù)訪問，存儲服務(wù)器及硬盤不可以 停機(jī)。但為了節(jié)能減排，需要利用更合理的協(xié)議和存儲模式，盡可能減少開啟服務(wù)器和硬盤的次數(shù)。4）虛擬本地硬盤：存儲虛擬化應(yīng)當(dāng)便于用戶使用，最方便的形式是將云存儲系統(tǒng)虛擬成用戶本 地硬盤，使用方法與本地硬盤相同。5）

15、安全認(rèn)證：新建用戶加入云存儲系統(tǒng)前，必須經(jīng)過安全認(rèn)證并獲得證書。6）數(shù)據(jù)加密：為保證用戶數(shù)據(jù)的私密性，將數(shù)據(jù)存到云存儲系統(tǒng)時(shí)必須加密。加密后的數(shù)據(jù)除 被授權(quán)的特殊用戶，其他人一概無法解密。7）級層管理：支持級層管理模式，即上級可以監(jiān)控下級的存儲數(shù)據(jù)，而下級無法查看上級或平 級的數(shù)據(jù)。應(yīng)用虛擬化應(yīng)用虛擬化是把應(yīng)用對底層系統(tǒng)和硬件的依賴抽象出來，從而解除應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系。應(yīng)用程序運(yùn)行在本地應(yīng)用虛擬化環(huán)境中時(shí)，這個(gè)環(huán)境為應(yīng)用程序屏蔽了底層可能與其他應(yīng)用產(chǎn)生沖突的內(nèi)容。應(yīng)用虛擬化是SaaS的基礎(chǔ)。應(yīng)用虛擬化需要具備以下功能和特點(diǎn)：1）解耦合：利用屏蔽底層異構(gòu)性的技術(shù)解除虛擬應(yīng)用與操作系統(tǒng)

16、和硬件的耦合關(guān)系。2）共享性：應(yīng)用虛擬化可以使一個(gè)真實(shí)應(yīng)用運(yùn)行在任何共享的計(jì)算資源上。3）虛擬環(huán)境：應(yīng)用虛擬化為應(yīng)用程序提供了一個(gè)虛擬的運(yùn)行環(huán)境，不僅擁有應(yīng)用程序的可執(zhí)行 文件，還包括所需的運(yùn)行環(huán)境。4）兼容性：虛擬應(yīng)用應(yīng)屏蔽底層可能與其他應(yīng)用產(chǎn)生沖突的內(nèi)容，從而使其具有良好的兼容性。5）快速升級更新：真實(shí)應(yīng)用可以快速升級更新，通過流的方式將相對應(yīng)的虛擬應(yīng)用及環(huán)境快速 發(fā)布到客戶端。6）用戶自定義：用戶可以選擇自己喜歡的虛擬應(yīng)用的特點(diǎn)以及所支持的虛擬環(huán)境。平臺虛擬化平臺虛擬化是集成各種開發(fā)資源虛擬出的一個(gè)面向開發(fā)人員的統(tǒng)一接口，軟件開發(fā)人員可以方便地在這個(gè)虛擬平臺中開發(fā)各種應(yīng)用并嵌入到云計(jì)算系

17、統(tǒng)中，使其成為新的云服務(wù)供用戶使用，如圖4所示。平臺虛擬化具備以下功能和特點(diǎn)：1）通用接口:支持各種通用的開發(fā)工具和由其開發(fā)的軟件，包括 G C+、Java、C# Delphi 、 Basic 等。2）內(nèi)容審核：各種開發(fā)軟件 （服務(wù)）在接入平臺前都將被嚴(yán)格審核，包括上傳人的身份認(rèn)證，以 保證軟件及服務(wù)非盜版、無病毒及合法性。3）測試環(huán)境：一項(xiàng)服務(wù)在正式推出之前必須在一定的測試環(huán)境中經(jīng)過完整的測試才行。4）服務(wù)計(jì)費(fèi)：完整合理的計(jì)費(fèi)系統(tǒng)可以保證服務(wù)提供人獲得準(zhǔn)確的收入，而虛擬平臺也可以得到一定比例的管理費(fèi)5）排名打分：有一整套完整合理的打分機(jī)制對各種服務(wù)進(jìn)行排名打分。排名需要給用戶客觀的 指導(dǎo)性意

18、見，嚴(yán)禁有誤導(dǎo)用戶的行為。6）升級更新：允許服務(wù)提供者不斷完善自己的服務(wù)，平臺要提供完善的升級更新機(jī)制。7）管理監(jiān)控：整個(gè)平臺需要有一個(gè)完善的管理監(jiān)控體系以防出現(xiàn)非法行為。 桌面虛擬化桌面虛擬化將用戶的桌面環(huán)境與其使用的終端設(shè)備解耦。服務(wù)器上存放的是每個(gè)用戶的完整桌面環(huán)境。用戶可以使用具有足夠處理和顯示功能的不同終端設(shè)備通過網(wǎng)絡(luò)訪問該桌面環(huán)境，如圖5所示。桌面虛擬化具有如下功能和接入標(biāo)準(zhǔn)：1）集中管理維護(hù)：集中在服務(wù)器端管理和配置PC環(huán)境及其他客戶端需要的軟件可以對企業(yè)數(shù)據(jù)、應(yīng)用和系統(tǒng)進(jìn)行集中管理、維護(hù)和控制，以減少現(xiàn)場支持工作量。2）使用連續(xù)性：確保終端用戶下次在另一個(gè)虛擬機(jī)上登錄時(shí)，依然可以繼續(xù)以前的配置和存儲 文件內(nèi)容，讓使用具有連續(xù)性。3）故障恢復(fù)：桌面虛擬化是用戶的桌面環(huán)境被保存為一個(gè)個(gè)虛擬機(jī)，通過對虛擬機(jī)進(jìn)行快照和 備份，就可以快速恢復(fù)用戶的故障桌面，并實(shí)時(shí)遷移到另一個(gè)虛擬機(jī)上繼續(xù)進(jìn)行工作。4）用戶自定義：用戶可以選擇自己喜歡的桌面操作系統(tǒng)、顯示風(fēng)格、默認(rèn)環(huán)境，以及其他各種 自定義功能。本質(zhì)上講云計(jì)算帶來的是虛擬化服務(wù)。從虛擬化到云計(jì)算的過程，實(shí)現(xiàn)了跨系統(tǒng)的資源動(dòng)態(tài)調(diào)度，將大量的計(jì)算資源組成 IT資源池，用于動(dòng)態(tài)創(chuàng)建高度虛擬化的資源供