歐盟云計算項目RESERVOIR介紹

1、歐盟云計算項目（RESERVOIR）介紹作者:vcloud（中國云計算論壇）郵箱:tangyong本文主要介紹歐盟的一個云計算項目RESERVOIR FP7，既然是研究，那么必然要給出研究的背景，研究的原因以及項目的總體介紹，同時，也將給出該項目所涉及的關(guān)鍵技術(shù)，以便更好地進行知識準備和技術(shù)積累。以下的內(nèi)容將分為三個部分：l 研究背景l(fā) 為什么要選擇RESERVOIRl RESERVOIR模型及核心的組件l 涉及的基本概念l 涉及的關(guān)鍵技術(shù)l 項目的代碼簽出和涉及的開發(fā)語言1 研究背景當前，出現(xiàn)的云計算的范型，如Amazon彈性計算云（EC2），為駐留和部署基于WEB的服務(wù)而呈現(xiàn)了一個很有前景

2、的概念性的基礎(chǔ)，同時理論上將服務(wù)提供商從提供支持這些服務(wù)所需的計算資源的職責中釋放出來。云計算提供了很多優(yōu)點，它允許帶有市場領(lǐng)域的專業(yè)知識的個人或公司花費很少的軟件開發(fā)成本去構(gòu)建和運行他們的“軟件作為服務(wù)（SaaS）”，并且不需要管理任何硬件操作。這就幫助降低了軟件復雜度和成本，加速到市場的時間并且方便了消費者。有了云計算，公司能夠按照需要（on-demand）從一個虛擬的沒有限制的資源池中租用基礎(chǔ)設(shè)施的資源。這種“付費后使用（pay as you go）”的定價模型按照每單位時間實際使用的資源來收取費用。這樣，一個業(yè)務(wù)可能將優(yōu)化它的IT投資并提高可用性和可伸縮性。盡管云計算為服務(wù)計算的未來做

3、了很大的承諾，但是，在當前的基礎(chǔ)設(shè)施中存在許多固有的缺陷:l 單一的云提供商的有限的伸縮能力當前，盡管絕大多數(shù)云提供商聲稱有無限的伸縮能力，但實際上，作出以下的假設(shè)是合乎情理的:隨著云計算使用率的增加，即便最大的云提供商也會開始面臨伸縮性的問題。從長遠來看，隨著云提供商中的在線服務(wù)數(shù)量日益龐大，而且每個服務(wù)總是被巨大的全球客戶群訪問，那么，伸縮性的問題也許將急劇惡化。l 在云提供商之間缺乏互操作（interoperability）當前的云技術(shù)并沒有設(shè)計帶有互操作。這就導致了不能通過云提供商之間的業(yè)務(wù)合作來解決伸縮性問題。另外，它阻礙了小和中等規(guī)模的云基礎(chǔ)設(shè)施提供商進入云供應(yīng)市場?？傮w上，抑制了

4、競爭并將云消費者鎖定到單一的提供商。l 缺乏內(nèi)置的業(yè)務(wù)服務(wù)管理（BSM）支持 業(yè)務(wù)服務(wù)管理（BSM）是一個管理策略，它允許多種業(yè)務(wù)將它們的IT管理和它們高級別的業(yè)務(wù)目標相吻合。BSM的關(guān)鍵點是服務(wù)級別協(xié)議（Service Level Agreement）。當前的云計算解決方案并沒有設(shè)計支持BSM的一些行為，這些行為很好地被建立在企業(yè)IT部門的日常管理中。結(jié)果，那些試圖改變它們的IT操作方式到基于云技術(shù)的企業(yè)將使前進的步伐面臨著非增長性和具有潛在的破壞性。我們堅信通過改進現(xiàn)有的架構(gòu)能夠修補上述的問題以及其它主要的問題（如安全性和可用性）。相反，這些問題應(yīng)該根據(jù)基本的設(shè)計準則通過對云計算架構(gòu)進行合

5、理的設(shè)計來解決。因此，RESERVOIR提出了一個引用模型和架構(gòu)來系統(tǒng)地解決這些缺陷。以上的這些問題和缺陷從下文中引用,由于翻譯的質(zhì)量和理解的差異，請大家自己去體會和消化:“The RESERVOIR Model and Architecture for Open Federated Cloud Computing”2 為什么要選擇RESERVOIR最重要的原因是RESERVOIR是開源的云計算基礎(chǔ)設(shè)施（IaaS）項目，特別是RESERVOIR所使用的幾個子項目都是非常活躍的開源云計算項目，得到了歐洲一些大型軟件提供商以及一些大學科研機構(gòu)的支持和協(xié)助。其次，以下也是選擇RESERVOIR作為研

6、究的一些重要原因。l RESERVOIR的設(shè)計準則之一以模塊化為中心。l RESERVOIR架構(gòu)本身具有可擴展性。l RESERVOIR支持業(yè)務(wù)服務(wù)管理（BSM），在當前的一些云基礎(chǔ)設(shè)施中并不多見，也為轉(zhuǎn)化為工業(yè)應(yīng)用提供了研究原型。l RESERVOIR致力于研究云的聯(lián)合（federation），也就是云的互操作。l RESERVOIR使用的子項目的社區(qū)非?；钴S。3 RESERVOIR模型及核心的組件1）RESERVOIR模型RESERVOIR模型中，在服務(wù)提供商的功能角色和基礎(chǔ)設(shè)施提供商的功能角色之間有一個清晰的分離。服務(wù)提供商是一些實體，它們理解特定業(yè)務(wù)的需求并且提供服務(wù)應(yīng)用程序來解決那些

7、需求。服務(wù)提供商不擁有這些服務(wù)應(yīng)用程序所需要的計算資源；相反，它們從基礎(chǔ)設(shè)施提供商那里租用資源?；A(chǔ)設(shè)施提供商操作一組RESERVOIR 站點，管理物理基礎(chǔ)設(shè)施供服務(wù)應(yīng)用程序執(zhí)行。這些RESERVOIR 站點的聯(lián)合形成了RESERVOIR 云。為了優(yōu)化資源的利用，一個站點的計算資源通過一個虛擬層被劃分成不同的虛擬執(zhí)行環(huán)境（VEEs）。 這些虛擬執(zhí)行環(huán)境是完全隔離的運行時環(huán)境，它們抽取出資源的物理特性并且能夠共享物理資源。被虛擬的計算資源連同虛擬層和所有管理啟用組件被稱為VEE 宿主（Host）。一個服務(wù)應(yīng)用程序是一組通過協(xié)同工作來達到共同目標的軟件組件的集合。這樣的服務(wù)應(yīng)用程序的每一個組件執(zhí)行

8、在一個專門的VEE中。這些VEE被放置在同一個RESERVOIR站點或不同的RESERVOIR站點中的相同或不同的VEE宿主中（參見下圖1）。圖1 服務(wù)應(yīng)用程序由一組VEE（圖中以小的正方形表示）來執(zhí)行，這組VEE分布在RESERVOIR 云的不同VEE宿主（Host）中。對于一個特定的服務(wù)應(yīng)用程序，VEE也許都被放置在同一個VEE宿主（Host）中（如服務(wù)應(yīng)用程序1）；但是也許被放置在同一個RESERVOIR站點的不同的VEE宿主（Host）中（如服務(wù)應(yīng)用程序2）；甚至也有可能被放置在不同的RESERVOIR站點中（如如服務(wù)應(yīng)用程序3）通過使用一個服務(wù)清單（manifest），服務(wù)應(yīng)用程序被

9、部署在RESERVOIR云中，這個服務(wù)清單正式地定義了在服務(wù)提供商和基礎(chǔ)設(shè)施提供商之間的合同與SLA。關(guān)于服務(wù)清單，將在后續(xù)的帖子中進行介紹。在每一個RESERVOIR站點中，資源利用被監(jiān)控并且VEE的位置會被不斷地更新以最低的成本來達到最佳地利用。類似地，服務(wù)應(yīng)用程序的執(zhí)行也被監(jiān)控并且資源的使用情況會不斷地被調(diào)整來滿足清單中指定的需求和SLA。重要的是資源分配的優(yōu)化不需要人來干預，完全由安裝在每個RESERVOIR站點上的RESERVOIR軟件堆棧來完成。2）RESERVOIR中的核心組件RESERVOIR由三層組件構(gòu)成（參見下圖2）。(摘自http:/claudia.morfeo-proj

10、/wiki/index.php/Image:RESERVOIRArchitecture.png)圖2 RESERVOIR三層架構(gòu)l 服務(wù)管理器（SM） - Claudia服務(wù)管理器負責服務(wù)應(yīng)用程序的初始化（控制服務(wù)生命周期）并且動態(tài)地向VEEM請求虛擬資源，盡量避免過度提供資源和提供不足的資源。服務(wù)管理器的接口（SMI）允許服務(wù)提供商通過使用服務(wù)清單（基于Open Virtualization Format）來控制服務(wù)供應(yīng)的生命周期，服務(wù)清單中申明了服務(wù)組件（包裹在虛擬機映像中），服務(wù)需求，服務(wù)的QoS（監(jiān)控，SLA目標和彈性規(guī)則）以及業(yè)務(wù)要素（成本，安全，許可證，地域，提供商，

11、限制，）。Claudia是RESERVOIR服務(wù)管理器的核心組件，是一個開源的項目。Claudia的社區(qū)主頁如下:/l 虛擬執(zhí)行環(huán)境管理器（VEEM）虛擬執(zhí)行環(huán)境管理器（VEEM）負責放置VEE（虛擬執(zhí)行環(huán)境，虛擬機概念的一個泛化）到VEE宿主（Host）（hypervisor或Java虛擬機容器管理器的泛化）中。虛擬執(zhí)行環(huán)境管理器提供了VEEM接口（VMI）給服務(wù)管理器，并且基于許多部署指令來發(fā)現(xiàn)包含服務(wù)組件最合適的VEE。VEEM處理站點的聯(lián)合來決定在哪里放置或移動（RESERVOIR允許VEE在站點之間進行移植）VEE到本地

12、（管理本地資源池）或者其他站點（與其他VEEM交互）的基礎(chǔ)設(shè)施中。OpenNebula是RESERVOIR VEEM的核心組件。OpenNebula的社區(qū)主頁如下:/Claudia將實現(xiàn)OCCI云計算接口來訪問OpenNebula。l 虛擬執(zhí)行環(huán)境宿主（VEEH）虛擬執(zhí)行環(huán)境宿主代表了能夠駐留某種VEE（例如，一個物理機帶有一個hypervisor，或者Java虛擬服務(wù)容器）的虛擬化的資源。VEEH也負責增加必須的功能到虛擬化的平臺，如虛擬網(wǎng)絡(luò)管理，映像存儲。VEEH提供VEEH接口（VHI）給VEEM來管理VEE，這個接口基于了libvirt的

13、擴展。RESERVOIR通過OpenNebula集成了KVM hypervisor。OpenNebula也支持Xen和VMWare驅(qū)動。4 涉及的基本概念RESERVOIR中的涉及以下三個基本概念:l 虛擬化l 網(wǎng)格計算l 業(yè)務(wù)服務(wù)管理（BSM）RESERVOIR的目標是結(jié)合這三個基本概念來構(gòu)建面向服務(wù)的基礎(chǔ)設(shè)施（S OI）。請參見下圖3:(摘自“Cloud computing and RESERVOIR project”)圖3 RESERVOIR的SOI等式對于上圖中的SOI等式，需要做一些說明。（1） 網(wǎng)格感知的虛擬化（Grid-Aware Virtualization）虛擬化已經(jīng)使優(yōu)化資

14、源利用成為可能。但是，這種優(yōu)化局限于單一的數(shù)據(jù)中心的不靈話的配置。RESERVOIR將擴展當前的虛擬化基礎(chǔ)設(shè)施來成為網(wǎng)格感知。同時，RESERVOIR致力于構(gòu)建一個基礎(chǔ)設(shè)施，在這個基礎(chǔ)設(shè)施中，虛擬機能夠動態(tài)得被重定位到任意的節(jié)點，不管這些節(jié)點的位置，網(wǎng)絡(luò)，存儲配置以及 管理領(lǐng)域。（2） 虛擬化感知的網(wǎng)格（Virtualization-Aware Grid）網(wǎng)格計算已經(jīng)以大規(guī)模作業(yè)調(diào)度系統(tǒng)為形式建立了聯(lián)合（federated）計算基礎(chǔ)設(shè)施的可行性和價值，這些作業(yè)調(diào)度系統(tǒng)在高性能的科學計算中非常的成功。但是，在許多情形下，調(diào)度有限作業(yè)的算法并不適合商業(yè)的應(yīng)用程序，而虛擬化技術(shù)的使用在克服網(wǎng)格概念的

15、商業(yè)化采用中的一些障礙中已經(jīng)顯示了其用處。RESERVOIR通過將研究視角從作業(yè)調(diào)度轉(zhuǎn)變到一般性的虛擬計算資源的創(chuàng)建和放置，來將虛擬化的感知增加到網(wǎng)格計算中。（3） 業(yè)務(wù)服務(wù)管理（BSM）業(yè)務(wù)服務(wù)管理 （BSM）能夠完全受益于RESERVOIR基礎(chǔ)設(shè)施的動態(tài)本質(zhì)。RESERVOIR 將提供一個統(tǒng)一的策略驅(qū)動（policy-driven）管理層，這個管理層通過調(diào)整資源分配級別（resource allocation level）和位置（location）將自動地為服務(wù)分配資源并且監(jiān)控資源執(zhí)行和利用狀況來確保符合SLA。這種基礎(chǔ)設(shè)施的新的能力將使我們能夠探究新的分配策略，并通過大量的參數(shù)進行優(yōu)化。

16、以上的說明參照了“Cloud computing and RESERVOIR project”中的”2. Key concepts”。5涉及的關(guān)鍵技術(shù)RESERVOIR中的涉及的關(guān)鍵技術(shù)有以下一些:l 能夠在多個網(wǎng)絡(luò)和存儲邊界之間進行虛擬機和虛擬的JAVA服務(wù)容器的移植 l 在支持私有，公有和混合的云架構(gòu)的站點之間進行虛擬基礎(chǔ)設(shè)施的分布式管理l 符合SLA (Service Level Agreement)需求的資源分配的算法 l 創(chuàng)建一個正式的服務(wù)定義語言來支持RESERVOIR站點之間的服務(wù)部署以及服務(wù)的生命周期管理 l 在多個物理機器和RESERVOIR站點之間建立虛擬機的安全部署和重定

17、位的安全機制l 開發(fā)一個業(yè)務(wù)信息模型包括面向業(yè)務(wù)的支付和定價機制來收取一個或多個RESERVOIR站點之間被使用的資源的費用l 為了服務(wù)供給（provisioning）和動態(tài)伸縮來進行自動的服務(wù)生命周期管理以上涉及的關(guān)鍵技術(shù)參考了http:/www.reservoir-fp7.eu/index.php?page=key-technologies中的介紹，隨著研究的深入，將可能追加更多的總結(jié)。6項目的代碼簽出和涉及的開發(fā)語言l ClaudiaClaudia的代碼存放在Morfeo的SVN領(lǐng)地中，通過SVN客戶端使用如下的命令能夠進行匿名訪問來簽出最新的代碼。svn checkout https:

18、//claudiaBuild Claudia項目需要安裝Maven, 另外，Claudia項目使用了Java語言進行開發(fā)，因此，大家需要有一定的Java基礎(chǔ)。備注1）關(guān)于SVN客戶端，推薦大家使用“烏龜（TortoiseSVN）”，從以下的位置可以獲取TortoiseSVN:/2）關(guān)于Maven，請大家從以下的位置獲取，使用方法將在后續(xù)的帖子中加以介紹。/3）關(guān)于如何Build Claudia項目，將在后續(xù)的帖子中加以介紹。l OpenNe

19、bulaOpenNebula的社區(qū)中提到代碼存放在公共的Git領(lǐng)地中，通過Git客戶端使用如下的命令能夠訪問來簽出最新的代碼。git clone git://one.git關(guān)于如何Build OpenNebula，將進行后續(xù)的研究，然后發(fā)出帖子供大家參考，Git的安裝和使用方法也將在后續(xù)的帖子中加以介紹。不過，在OpenNebula的舊的社區(qū)中曾經(jīng)提到過也可以使用SVN來簽出最新的代碼，我沒有核對過是否這個領(lǐng)地中的代碼是否有不一致的地方，以后有時間將Diff一下。/one另外，OpenNebula項目使用了C/C+/Ruby這三個語言進行開發(fā)，對編程和理解的要求比較高，因此，大家需要有一定的C/C+/Ruby編程基