歐盟云計(jì)算項(xiàng)目RESERVOIR介紹

1、歐盟云計(jì)算項(xiàng)目（RESERVOIR）介紹作者:vcloud（中國(guó)云計(jì)算論壇）郵箱:tangyong本文主要介紹歐盟的一個(gè)云計(jì)算項(xiàng)目RESERVOIR FP7，既然是研究，那么必然要給出研究的背景，研究的原因以及項(xiàng)目的總體介紹，同時(shí)，也將給出該項(xiàng)目所涉及的關(guān)鍵技術(shù)，以便更好地進(jìn)行知識(shí)準(zhǔn)備和技術(shù)積累。以下的內(nèi)容將分為三個(gè)部分：l 研究背景l(fā) 為什么要選擇RESERVOIRl RESERVOIR模型及核心的組件l 涉及的基本概念l 涉及的關(guān)鍵技術(shù)l 項(xiàng)目的代碼簽出和涉及的開(kāi)發(fā)語(yǔ)言1 研究背景當(dāng)前，出現(xiàn)的云計(jì)算的范型，如Amazon彈性計(jì)算云（EC2），為駐留和部署基于WEB的服務(wù)而呈現(xiàn)了一個(gè)很有前景

2、的概念性的基礎(chǔ)，同時(shí)理論上將服務(wù)提供商從提供支持這些服務(wù)所需的計(jì)算資源的職責(zé)中釋放出來(lái)。云計(jì)算提供了很多優(yōu)點(diǎn)，它允許帶有市場(chǎng)領(lǐng)域的專業(yè)知識(shí)的個(gè)人或公司花費(fèi)很少的軟件開(kāi)發(fā)成本去構(gòu)建和運(yùn)行他們的“軟件作為服務(wù)（SaaS）”，并且不需要管理任何硬件操作。這就幫助降低了軟件復(fù)雜度和成本，加速到市場(chǎng)的時(shí)間并且方便了消費(fèi)者。有了云計(jì)算，公司能夠按照需要（on-demand）從一個(gè)虛擬的沒(méi)有限制的資源池中租用基礎(chǔ)設(shè)施的資源。這種“付費(fèi)后使用（pay as you go）”的定價(jià)模型按照每單位時(shí)間實(shí)際使用的資源來(lái)收取費(fèi)用。這樣，一個(gè)業(yè)務(wù)可能將優(yōu)化它的IT投資并提高可用性和可伸縮性。盡管云計(jì)算為服務(wù)計(jì)算的未來(lái)做

3、了很大的承諾，但是，在當(dāng)前的基礎(chǔ)設(shè)施中存在許多固有的缺陷:l 單一的云提供商的有限的伸縮能力當(dāng)前，盡管絕大多數(shù)云提供商聲稱有無(wú)限的伸縮能力，但實(shí)際上，作出以下的假設(shè)是合乎情理的:隨著云計(jì)算使用率的增加，即便最大的云提供商也會(huì)開(kāi)始面臨伸縮性的問(wèn)題。從長(zhǎng)遠(yuǎn)來(lái)看，隨著云提供商中的在線服務(wù)數(shù)量日益龐大，而且每個(gè)服務(wù)總是被巨大的全球客戶群訪問(wèn)，那么，伸縮性的問(wèn)題也許將急劇惡化。l 在云提供商之間缺乏互操作（interoperability）當(dāng)前的云技術(shù)并沒(méi)有設(shè)計(jì)帶有互操作。這就導(dǎo)致了不能通過(guò)云提供商之間的業(yè)務(wù)合作來(lái)解決伸縮性問(wèn)題。另外，它阻礙了小和中等規(guī)模的云基礎(chǔ)設(shè)施提供商進(jìn)入云供應(yīng)市場(chǎng)?？傮w上，抑制了

4、競(jìng)爭(zhēng)并將云消費(fèi)者鎖定到單一的提供商。l 缺乏內(nèi)置的業(yè)務(wù)服務(wù)管理（BSM）支持 業(yè)務(wù)服務(wù)管理（BSM）是一個(gè)管理策略，它允許多種業(yè)務(wù)將它們的IT管理和它們高級(jí)別的業(yè)務(wù)目標(biāo)相吻合。BSM的關(guān)鍵點(diǎn)是服務(wù)級(jí)別協(xié)議（Service Level Agreement）。當(dāng)前的云計(jì)算解決方案并沒(méi)有設(shè)計(jì)支持BSM的一些行為，這些行為很好地被建立在企業(yè)IT部門的日常管理中。結(jié)果，那些試圖改變它們的IT操作方式到基于云技術(shù)的企業(yè)將使前進(jìn)的步伐面臨著非增長(zhǎng)性和具有潛在的破壞性。我們堅(jiān)信通過(guò)改進(jìn)現(xiàn)有的架構(gòu)能夠修補(bǔ)上述的問(wèn)題以及其它主要的問(wèn)題（如安全性和可用性）。相反，這些問(wèn)題應(yīng)該根據(jù)基本的設(shè)計(jì)準(zhǔn)則通過(guò)對(duì)云計(jì)算架構(gòu)進(jìn)行合

5、理的設(shè)計(jì)來(lái)解決。因此，RESERVOIR提出了一個(gè)引用模型和架構(gòu)來(lái)系統(tǒng)地解決這些缺陷。以上的這些問(wèn)題和缺陷從下文中引用,由于翻譯的質(zhì)量和理解的差異，請(qǐng)大家自己去體會(huì)和消化:“The RESERVOIR Model and Architecture for Open Federated Cloud Computing”2 為什么要選擇RESERVOIR最重要的原因是RESERVOIR是開(kāi)源的云計(jì)算基礎(chǔ)設(shè)施（IaaS）項(xiàng)目，特別是RESERVOIR所使用的幾個(gè)子項(xiàng)目都是非常活躍的開(kāi)源云計(jì)算項(xiàng)目，得到了歐洲一些大型軟件提供商以及一些大學(xué)科研機(jī)構(gòu)的支持和協(xié)助。其次，以下也是選擇RESERVOIR作為研

6、究的一些重要原因。l RESERVOIR的設(shè)計(jì)準(zhǔn)則之一以模塊化為中心。l RESERVOIR架構(gòu)本身具有可擴(kuò)展性。l RESERVOIR支持業(yè)務(wù)服務(wù)管理（BSM），在當(dāng)前的一些云基礎(chǔ)設(shè)施中并不多見(jiàn)，也為轉(zhuǎn)化為工業(yè)應(yīng)用提供了研究原型。l RESERVOIR致力于研究云的聯(lián)合（federation），也就是云的互操作。l RESERVOIR使用的子項(xiàng)目的社區(qū)非常活躍。3 RESERVOIR模型及核心的組件1）RESERVOIR模型RESERVOIR模型中，在服務(wù)提供商的功能角色和基礎(chǔ)設(shè)施提供商的功能角色之間有一個(gè)清晰的分離。服務(wù)提供商是一些實(shí)體，它們理解特定業(yè)務(wù)的需求并且提供服務(wù)應(yīng)用程序來(lái)解決那些

7、需求。服務(wù)提供商不擁有這些服務(wù)應(yīng)用程序所需要的計(jì)算資源；相反，它們從基礎(chǔ)設(shè)施提供商那里租用資源?；A(chǔ)設(shè)施提供商操作一組RESERVOIR 站點(diǎn)，管理物理基礎(chǔ)設(shè)施供服務(wù)應(yīng)用程序執(zhí)行。這些RESERVOIR 站點(diǎn)的聯(lián)合形成了RESERVOIR 云。為了優(yōu)化資源的利用，一個(gè)站點(diǎn)的計(jì)算資源通過(guò)一個(gè)虛擬層被劃分成不同的虛擬執(zhí)行環(huán)境（VEEs）。 這些虛擬執(zhí)行環(huán)境是完全隔離的運(yùn)行時(shí)環(huán)境，它們抽取出資源的物理特性并且能夠共享物理資源。被虛擬的計(jì)算資源連同虛擬層和所有管理啟用組件被稱為VEE 宿主（Host）。一個(gè)服務(wù)應(yīng)用程序是一組通過(guò)協(xié)同工作來(lái)達(dá)到共同目標(biāo)的軟件組件的集合。這樣的服務(wù)應(yīng)用程序的每一個(gè)組件執(zhí)行

8、在一個(gè)專門的VEE中。這些VEE被放置在同一個(gè)RESERVOIR站點(diǎn)或不同的RESERVOIR站點(diǎn)中的相同或不同的VEE宿主中（參見(jiàn)下圖1）。圖1 服務(wù)應(yīng)用程序由一組VEE（圖中以小的正方形表示）來(lái)執(zhí)行，這組VEE分布在RESERVOIR 云的不同VEE宿主（Host）中。對(duì)于一個(gè)特定的服務(wù)應(yīng)用程序，VEE也許都被放置在同一個(gè)VEE宿主（Host）中（如服務(wù)應(yīng)用程序1）；但是也許被放置在同一個(gè)RESERVOIR站點(diǎn)的不同的VEE宿主（Host）中（如服務(wù)應(yīng)用程序2）；甚至也有可能被放置在不同的RESERVOIR站點(diǎn)中（如如服務(wù)應(yīng)用程序3）通過(guò)使用一個(gè)服務(wù)清單（manifest），服務(wù)應(yīng)用程序被

9、部署在RESERVOIR云中，這個(gè)服務(wù)清單正式地定義了在服務(wù)提供商和基礎(chǔ)設(shè)施提供商之間的合同與SLA。關(guān)于服務(wù)清單，將在后續(xù)的帖子中進(jìn)行介紹。在每一個(gè)RESERVOIR站點(diǎn)中，資源利用被監(jiān)控并且VEE的位置會(huì)被不斷地更新以最低的成本來(lái)達(dá)到最佳地利用。類似地，服務(wù)應(yīng)用程序的執(zhí)行也被監(jiān)控并且資源的使用情況會(huì)不斷地被調(diào)整來(lái)滿足清單中指定的需求和SLA。重要的是資源分配的優(yōu)化不需要人來(lái)干預(yù)，完全由安裝在每個(gè)RESERVOIR站點(diǎn)上的RESERVOIR軟件堆棧來(lái)完成。2）RESERVOIR中的核心組件RESERVOIR由三層組件構(gòu)成（參見(jiàn)下圖2）。(摘自http:/claudia.morfeo-proj

10、/wiki/index.php/Image:RESERVOIRArchitecture.png)圖2 RESERVOIR三層架構(gòu)l 服務(wù)管理器（SM） - Claudia服務(wù)管理器負(fù)責(zé)服務(wù)應(yīng)用程序的初始化（控制服務(wù)生命周期）并且動(dòng)態(tài)地向VEEM請(qǐng)求虛擬資源，盡量避免過(guò)度提供資源和提供不足的資源。服務(wù)管理器的接口（SMI）允許服務(wù)提供商通過(guò)使用服務(wù)清單（基于Open Virtualization Format）來(lái)控制服務(wù)供應(yīng)的生命周期，服務(wù)清單中申明了服務(wù)組件（包裹在虛擬機(jī)映像中），服務(wù)需求，服務(wù)的QoS（監(jiān)控，SLA目標(biāo)和彈性規(guī)則）以及業(yè)務(wù)要素（成本，安全，許可證，地域，提供商，

11、限制，）。Claudia是RESERVOIR服務(wù)管理器的核心組件，是一個(gè)開(kāi)源的項(xiàng)目。Claudia的社區(qū)主頁(yè)如下:/l 虛擬執(zhí)行環(huán)境管理器（VEEM）虛擬執(zhí)行環(huán)境管理器（VEEM）負(fù)責(zé)放置VEE（虛擬執(zhí)行環(huán)境，虛擬機(jī)概念的一個(gè)泛化）到VEE宿主（Host）（hypervisor或Java虛擬機(jī)容器管理器的泛化）中。虛擬執(zhí)行環(huán)境管理器提供了VEEM接口（VMI）給服務(wù)管理器，并且基于許多部署指令來(lái)發(fā)現(xiàn)包含服務(wù)組件最合適的VEE。VEEM處理站點(diǎn)的聯(lián)合來(lái)決定在哪里放置或移動(dòng)（RESERVOIR允許VEE在站點(diǎn)之間進(jìn)行移植）VEE到本地

12、（管理本地資源池）或者其他站點(diǎn)（與其他VEEM交互）的基礎(chǔ)設(shè)施中。OpenNebula是RESERVOIR VEEM的核心組件。OpenNebula的社區(qū)主頁(yè)如下:/Claudia將實(shí)現(xiàn)OCCI云計(jì)算接口來(lái)訪問(wèn)OpenNebula。l 虛擬執(zhí)行環(huán)境宿主（VEEH）虛擬執(zhí)行環(huán)境宿主代表了能夠駐留某種VEE（例如，一個(gè)物理機(jī)帶有一個(gè)hypervisor，或者Java虛擬服務(wù)容器）的虛擬化的資源。VEEH也負(fù)責(zé)增加必須的功能到虛擬化的平臺(tái)，如虛擬網(wǎng)絡(luò)管理，映像存儲(chǔ)。VEEH提供VEEH接口（VHI）給VEEM來(lái)管理VEE，這個(gè)接口基于了libvirt的

13、擴(kuò)展。RESERVOIR通過(guò)OpenNebula集成了KVM hypervisor。OpenNebula也支持Xen和VMWare驅(qū)動(dòng)。4 涉及的基本概念RESERVOIR中的涉及以下三個(gè)基本概念:l 虛擬化l 網(wǎng)格計(jì)算l 業(yè)務(wù)服務(wù)管理（BSM）RESERVOIR的目標(biāo)是結(jié)合這三個(gè)基本概念來(lái)構(gòu)建面向服務(wù)的基礎(chǔ)設(shè)施（S OI）。請(qǐng)參見(jiàn)下圖3:(摘自“Cloud computing and RESERVOIR project”)圖3 RESERVOIR的SOI等式對(duì)于上圖中的SOI等式，需要做一些說(shuō)明。（1） 網(wǎng)格感知的虛擬化（Grid-Aware Virtualization）虛擬化已經(jīng)使優(yōu)化資

14、源利用成為可能。但是，這種優(yōu)化局限于單一的數(shù)據(jù)中心的不靈話的配置。RESERVOIR將擴(kuò)展當(dāng)前的虛擬化基礎(chǔ)設(shè)施來(lái)成為網(wǎng)格感知。同時(shí)，RESERVOIR致力于構(gòu)建一個(gè)基礎(chǔ)設(shè)施，在這個(gè)基礎(chǔ)設(shè)施中，虛擬機(jī)能夠動(dòng)態(tài)得被重定位到任意的節(jié)點(diǎn)，不管這些節(jié)點(diǎn)的位置，網(wǎng)絡(luò)，存儲(chǔ)配置以及 管理領(lǐng)域。（2） 虛擬化感知的網(wǎng)格（Virtualization-Aware Grid）網(wǎng)格計(jì)算已經(jīng)以大規(guī)模作業(yè)調(diào)度系統(tǒng)為形式建立了聯(lián)合（federated）計(jì)算基礎(chǔ)設(shè)施的可行性和價(jià)值，這些作業(yè)調(diào)度系統(tǒng)在高性能的科學(xué)計(jì)算中非常的成功。但是，在許多情形下，調(diào)度有限作業(yè)的算法并不適合商業(yè)的應(yīng)用程序，而虛擬化技術(shù)的使用在克服網(wǎng)格概念的

15、商業(yè)化采用中的一些障礙中已經(jīng)顯示了其用處。RESERVOIR通過(guò)將研究視角從作業(yè)調(diào)度轉(zhuǎn)變到一般性的虛擬計(jì)算資源的創(chuàng)建和放置，來(lái)將虛擬化的感知增加到網(wǎng)格計(jì)算中。（3） 業(yè)務(wù)服務(wù)管理（BSM）業(yè)務(wù)服務(wù)管理 （BSM）能夠完全受益于RESERVOIR基礎(chǔ)設(shè)施的動(dòng)態(tài)本質(zhì)。RESERVOIR 將提供一個(gè)統(tǒng)一的策略驅(qū)動(dòng)（policy-driven）管理層，這個(gè)管理層通過(guò)調(diào)整資源分配級(jí)別（resource allocation level）和位置（location）將自動(dòng)地為服務(wù)分配資源并且監(jiān)控資源執(zhí)行和利用狀況來(lái)確保符合SLA。這種基礎(chǔ)設(shè)施的新的能力將使我們能夠探究新的分配策略，并通過(guò)大量的參數(shù)進(jìn)行優(yōu)化。

16、以上的說(shuō)明參照了“Cloud computing and RESERVOIR project”中的”2. Key concepts”。5涉及的關(guān)鍵技術(shù)RESERVOIR中的涉及的關(guān)鍵技術(shù)有以下一些:l 能夠在多個(gè)網(wǎng)絡(luò)和存儲(chǔ)邊界之間進(jìn)行虛擬機(jī)和虛擬的JAVA服務(wù)容器的移植 l 在支持私有，公有和混合的云架構(gòu)的站點(diǎn)之間進(jìn)行虛擬基礎(chǔ)設(shè)施的分布式管理l 符合SLA (Service Level Agreement)需求的資源分配的算法 l 創(chuàng)建一個(gè)正式的服務(wù)定義語(yǔ)言來(lái)支持RESERVOIR站點(diǎn)之間的服務(wù)部署以及服務(wù)的生命周期管理 l 在多個(gè)物理機(jī)器和RESERVOIR站點(diǎn)之間建立虛擬機(jī)的安全部署和重定

17、位的安全機(jī)制l 開(kāi)發(fā)一個(gè)業(yè)務(wù)信息模型包括面向業(yè)務(wù)的支付和定價(jià)機(jī)制來(lái)收取一個(gè)或多個(gè)RESERVOIR站點(diǎn)之間被使用的資源的費(fèi)用l 為了服務(wù)供給（provisioning）和動(dòng)態(tài)伸縮來(lái)進(jìn)行自動(dòng)的服務(wù)生命周期管理以上涉及的關(guān)鍵技術(shù)參考了http:/www.reservoir-fp7.eu/index.php?page=key-technologies中的介紹，隨著研究的深入，將可能追加更多的總結(jié)。6項(xiàng)目的代碼簽出和涉及的開(kāi)發(fā)語(yǔ)言l ClaudiaClaudia的代碼存放在Morfeo的SVN領(lǐng)地中，通過(guò)SVN客戶端使用如下的命令能夠進(jìn)行匿名訪問(wèn)來(lái)簽出最新的代碼。svn checkout https:

18、//claudiaBuild Claudia項(xiàng)目需要安裝Maven, 另外，Claudia項(xiàng)目使用了Java語(yǔ)言進(jìn)行開(kāi)發(fā)，因此，大家需要有一定的Java基礎(chǔ)。備注1）關(guān)于SVN客戶端，推薦大家使用“烏龜（TortoiseSVN）”，從以下的位置可以獲取TortoiseSVN:/2）關(guān)于Maven，請(qǐng)大家從以下的位置獲取，使用方法將在后續(xù)的帖子中加以介紹。/3）關(guān)于如何Build Claudia項(xiàng)目，將在后續(xù)的帖子中加以介紹。l OpenNe

19、bulaOpenNebula的社區(qū)中提到代碼存放在公共的Git領(lǐng)地中，通過(guò)Git客戶端使用如下的命令能夠訪問(wèn)來(lái)簽出最新的代碼。git clone git://one.git關(guān)于如何Build OpenNebula，將進(jìn)行后續(xù)的研究，然后發(fā)出帖子供大家參考，Git的安裝和使用方法也將在后續(xù)的帖子中加以介紹。不過(guò)，在OpenNebula的舊的社區(qū)中曾經(jīng)提到過(guò)也可以使用SVN來(lái)簽出最新的代碼，我沒(méi)有核對(duì)過(guò)是否這個(gè)領(lǐng)地中的代碼是否有不一致的地方，以后有時(shí)間將Diff一下。/one另外，OpenNebula項(xiàng)目使用了C/C+/Ruby這三個(gè)語(yǔ)言進(jìn)行開(kāi)發(fā)，對(duì)編程和理解的要求比較高，因此，大家需要有一定的C/C+/Ruby編程基