云計算實現(xiàn)的相關(guān)技術(shù)與面臨問題探討.doc

云計算實現(xiàn)的相關(guān)技術(shù)與面臨問題探討 成榮 （中國石化中原油田，河南濮陽457001） 【摘要】隨著Inter網(wǎng)絡(luò)應(yīng)用技術(shù)的發(fā)展和普及，尤其是Web2.0的發(fā)展導(dǎo)致網(wǎng)絡(luò)用戶和網(wǎng)絡(luò)數(shù)據(jù)量高速增長，對數(shù)據(jù)的處理能力提出了更高的要求。資源的整合和優(yōu)化是網(wǎng)絡(luò)發(fā)展的必然趨勢，云計算應(yīng)運而生。云計算是分布式計算、并行處理和網(wǎng)格計算的進一步發(fā)展，它是基于互聯(lián)網(wǎng)的計算，能夠向各種互聯(lián)網(wǎng)應(yīng)用提供硬件服務(wù)、基礎(chǔ)架構(gòu)服務(wù)、平臺服務(wù)、軟件服務(wù)、存儲服務(wù)的系統(tǒng)。實現(xiàn)云計算系統(tǒng)面臨著諸多挑戰(zhàn)，現(xiàn)有的云計算系統(tǒng)的部署相對分散，各自內(nèi)部能夠?qū)崿F(xiàn)VM的自動分配、管理和容錯等，但云計算系統(tǒng)之間的交互還沒有統(tǒng)一的標(biāo)準(zhǔn)。關(guān)于云計算系統(tǒng)的標(biāo)準(zhǔn)化工作還需要更進一步的研究，還有一系列亟待解決的問題。 關(guān)鍵詞云計算；數(shù)據(jù)處理；虛擬化；并行編程模型 0引言 云計算是指通過互聯(lián)網(wǎng)來實現(xiàn)超級計算能力的資源。目前的依賴于個人電腦和服務(wù)器的狀態(tài)將被未來服務(wù)信息的存儲方式打破，軟件和數(shù)據(jù)將會被存放于網(wǎng)絡(luò)之中；因為云計算是開放的標(biāo)準(zhǔn)，所以任何個人和企業(yè)用戶都能夠利用云端的計算和存儲能力使自己的應(yīng)用和數(shù)據(jù)存儲得以完成，而且能在云上進行二次開發(fā)。因此，近年來的云計算贏得了眾多廠商和企業(yè)的關(guān)注并得到了長遠發(fā)展。 云計算的產(chǎn)生有其潛在的背景，隨著Inter網(wǎng)絡(luò)應(yīng)用技術(shù)的發(fā)展和普及，尤其是Web2.0的發(fā)展導(dǎo)致網(wǎng)絡(luò)用戶和網(wǎng)絡(luò)數(shù)據(jù)量高速增長，對數(shù)據(jù)的處理能力提出了更高的要求。此外，網(wǎng)絡(luò)資源的需求和利用出現(xiàn)失衡狀態(tài)，某些應(yīng)用需要大量的網(wǎng)絡(luò)資源，而大量的網(wǎng)絡(luò)資源沒有得到充分利用。因此，資源的整合和優(yōu)化是網(wǎng)絡(luò)發(fā)展的必然趨勢，云計算應(yīng)運而生。 1云計算的特征 一般而言，云是指數(shù)據(jù)中心的硬件和系統(tǒng)軟件，云分為公共云(對公眾開放)和私有云(業(yè)務(wù)組織自己使用)。在公共云的基礎(chǔ)上，云計算系統(tǒng)是指終端用戶應(yīng)用軟件通過Inter以服務(wù)的形式由SaaS提供商交付，云提供商向SaaS提供商提供數(shù)據(jù)中心的硬件和軟件服務(wù)。其主要有以下特征： （）支持虛擬化，云計算系統(tǒng)可以看做是一個虛擬資源池。通過在一個服務(wù)器上部署多個虛擬機和應(yīng)用，從而提高資源的利用率；當(dāng)一個服務(wù)器過載時支持負載的遷移。 （2）提供服務(wù)質(zhì)量保證(QoS)。云計算系統(tǒng)能夠向用戶提供滿足QoS要求的服務(wù)，能夠根據(jù)用戶的需求對系統(tǒng)作出調(diào)整，如用戶需要的硬件配置、網(wǎng)絡(luò)帶寬、存儲容量等。 （3）高可靠性、可用性和可擴放性。云計算系統(tǒng)必須保證向用戶提供可靠的服務(wù)，保證用戶能夠隨時隨地地訪問所需要的服務(wù)，并且用戶的系統(tǒng)規(guī)模變化時，云計算系統(tǒng)能夠根據(jù)用戶的需求自由伸縮。 （4）自治性。云計算系統(tǒng)是一個自治系統(tǒng)，系統(tǒng)的管理對用戶來講是透明的，不同的管理任務(wù)是自動完成的，系統(tǒng)的硬件、軟件、存儲能夠自動進行配置，從而實現(xiàn)對用戶按需提供。 2云計算實現(xiàn)的相關(guān)技術(shù) 2.1虛擬化技術(shù) 云計算實現(xiàn)的關(guān)鍵技術(shù)是虛擬化技術(shù)。通過虛擬化技術(shù)，單個服務(wù)器可以支持多個虛擬機運行多個操作系統(tǒng)和應(yīng)用，從而大大提高服務(wù)器的利用率，通過虛擬化為應(yīng)用提供了靈活可變、可擴展的平臺服務(wù)。虛擬機技術(shù)的核心是Hypervi2sor(虛擬機監(jiān)控程序)，Hypervisor在虛擬機和底層硬件之間建立一個抽象層，它可以攔截操作系統(tǒng)對硬件的調(diào)用，為駐留在其上的操作系統(tǒng)提供虛擬的CPU和內(nèi)存。目前VMwareESX和CitrixXenServer能直接運行在硬件上，虛擬的操作系統(tǒng)又運行在Hypervisor之上，從而能夠按照用戶需求提供IT基礎(chǔ)設(shè)施。 隨著虛擬化技術(shù)的應(yīng)用，對虛擬資源的管理是研究的熱點之一?？蓪M提供模型集成到現(xiàn)有的資源管理框架中，采用兩級調(diào)度的方法將對VM的管理集成到批調(diào)度器中，向用戶提供最大努力的調(diào)度服務(wù)，但目前不支持虛擬資源的預(yù)定服務(wù)。 傳統(tǒng)的調(diào)度器對短期租賃請求調(diào)度時，要完成嚴格的預(yù)定資源服務(wù)租賃是很困難的。多用虛擬機的無縫掛起和恢復(fù)計算的能力來解決這個問題。對于可用性要求不太嚴格的批量計算任務(wù)，調(diào)度器先掛起當(dāng)前計算任務(wù)，然后去完成具有嚴格可用性要求的作業(yè)，如預(yù)定資源的作業(yè)。 當(dāng)前的云計算系統(tǒng)一般是以虛擬機的形式來滿足用戶的計算資源需求，但用戶需要根據(jù)自己的要求將這些虛擬機手動配置成一個工作集群。針對這種情況，虛擬專用網(wǎng)絡(luò)VPN的發(fā)展為用戶在訪問計算云的資源時提供了一個可以定制的網(wǎng)絡(luò)環(huán)境。目前對于虛擬資源管理的研究，在滿足用戶對虛擬資源的QoS需求及服務(wù)等級協(xié)議方面還有待進一步研究。 2.2Web服務(wù)與SOA 云服務(wù)一般是以Web服務(wù)的形式來實現(xiàn)的。在云中服務(wù)的組織和協(xié)同可以在面向服務(wù)的架構(gòu)中進行管理。在SOA架構(gòu)下的云服務(wù)可以部署在各種分布式平臺上，也可以通過網(wǎng)絡(luò)訪問各種服務(wù)。近年來SOA得到了相當(dāng)廣泛的關(guān)注，但它并不是一個新概念。早期一些基于網(wǎng)絡(luò)的SOA的例子有RPC、D和ORBs等，近期的網(wǎng)格計算就是基于SOA的架構(gòu)和解決方案。 在一個SOA環(huán)境中，終端用戶請求一個IT服務(wù)(或一組服務(wù)的集合)，并希望這些服務(wù)滿足一定的QoS要求，用戶請求可以得到即時服務(wù)，或在一特定的延遲后滿足?？梢灶A(yù)期在未來十年，基于服務(wù)的解決方案將是向個人和機構(gòu)遞交信息和其他IT相關(guān)功能的主要手段。例如軟件應(yīng)用、基于Web的服務(wù)、個人和商業(yè)的桌面機計算等。 2.3并行編程模型 隨著Web2.0的出現(xiàn)，互聯(lián)網(wǎng)上的信息呈指數(shù)級增長，如搜索引擎、在線事務(wù)處理等應(yīng)用系統(tǒng)處理數(shù)據(jù)的規(guī)模越來越大。云計算系統(tǒng)必須給用戶提供一個簡單易用的編程模型來并行處理用戶的數(shù)據(jù)，從而更好地利用云計算系統(tǒng)的資源。因此研究者提出了一些分布式系統(tǒng)和并行編程模型來支持大規(guī)模數(shù)據(jù)處理。 Google文件系統(tǒng)GFS(Googlefilesystem)被用來滿足Google快速增長的數(shù)據(jù)處理需求。為發(fā)揮GFS集群的計算能力，Google提出了MapReduce并行編程模型。MapReduce是一個簡化的并行編程計算模型，模型采用函數(shù)式編程中的函數(shù)來實現(xiàn)并行編程，模型的核心操作是map和reduce。Map操作對每個元素進行操作并生成一組新數(shù)據(jù)，原數(shù)據(jù)保持不變，數(shù)據(jù)之間不存在相關(guān)，因此map操作可以高度并行實現(xiàn)；reduce操作對map操作的中間結(jié)果進行合并，并得到最后的輸出。只需對map和reduce函數(shù)進行并行化處理便得到了MapRe2duce的基本框架。 科學(xué)家針對MapReduce模型調(diào)度建立在系統(tǒng)同構(gòu)的假設(shè)上對MapReduce模型的調(diào)度進行了改進，設(shè)計了一種新的調(diào)度算法LATE，使Map2Reduce能夠在異構(gòu)環(huán)境中高效運行。還有科學(xué)家提出了另外一個并行編程模型GridBatch。GridBatch也是一個隱藏并行程序復(fù)雜性的并行編程模型，主要用來解決在計算云中大規(guī)模數(shù)據(jù)密集型應(yīng)用的并行化問題。文獻的整個工作與Google的MapReduce模型相似，但是GridBatch主要針對分析型應(yīng)用，對MapReduce模型作了優(yōu)化，允許用戶控制數(shù)據(jù)的劃分，減少了系統(tǒng)的通信開銷。針對數(shù)據(jù)密集型云計算應(yīng)用系統(tǒng)，提出為用戶提供一個抽象接口來定義任務(wù)的計算和存儲需求，并以科學(xué)領(lǐng)域中的all2pairs問題為例實現(xiàn)了這個抽象接口。 綜上所述，并行編程模型的發(fā)展對云計算系統(tǒng)的推廣實現(xiàn)具有極大的推動作用，現(xiàn)有的云編程模型均是以MapReduce編程模型為主，編程模型的適用性方面還存在一定局限性，還需要進一步的研究和完善。 3云計算亟待解決的問題 實現(xiàn)云計算系統(tǒng)面臨著諸多挑戰(zhàn)，現(xiàn)有的云計算系統(tǒng)的部署相對分散，各自內(nèi)部能夠?qū)崿F(xiàn)VM的自動分配、管理和容錯等，但云計算系統(tǒng)之間的交互還沒有統(tǒng)一的標(biāo)準(zhǔn)。關(guān)于云計算系統(tǒng)的標(biāo)準(zhǔn)化工作還需要更進一步的研究，還有一系列亟待解決的問題。首先云計算系統(tǒng)中，用戶數(shù)據(jù)存儲在云端，如何保證用戶的數(shù)據(jù)不被非法訪問和泄露是系統(tǒng)必須要解決的兩個重要問題，即數(shù)據(jù)的安全和隱私問題。同時云計算系統(tǒng)本身的可擴展性、可用性、可靠性、可管理性等都是要重點解決的問題。在服務(wù)的層次上，云計算系統(tǒng)必須要解決服務(wù)的描述及轉(zhuǎn)換問題，如何將用戶的業(yè)務(wù)理念需求轉(zhuǎn)換成對基礎(chǔ)設(shè)施的需求、如何確定高層的服務(wù)需求和度量到基礎(chǔ)設(shè)施的需求和度量之間的映射、如何保證多級別的QoS，這些都是云計算系統(tǒng)要解決的問題。在云計算系統(tǒng)的管理方面，云系統(tǒng)之間的互操作是必須要考慮的一個問題。當(dāng)一個云系統(tǒng)需要使用另外一個云系統(tǒng)的計算資源時，要能夠提供跨云的管理策略，從而使得云系統(tǒng)之間能夠自動交互。同時為了保證SLA，系統(tǒng)必須能夠進行SLA的監(jiān)測，當(dāng)有服務(wù)失敗時，自動地進行資源的重新分配。在基礎(chǔ)設(shè)施層次上，云計算系統(tǒng)要能夠進行服務(wù)的動態(tài)遷移，目前的虛擬機只支持共享存儲的遷移，如何將虛擬機遷移到?jīng)]有共享存儲的其他物理主機上也是云計算系統(tǒng)面臨的挑戰(zhàn)之一。 作為一種新型的計算模式，云計算利用高速互聯(lián)網(wǎng)的傳輸能力使數(shù)據(jù)的處理過程由個人計算機或服務(wù)器轉(zhuǎn)到互聯(lián)網(wǎng)上的計算機集群中，給用戶帶來空前的計算能力。雖然目前的云計算還不能很好地解決所有問題，但是未來一定會有越多的云計算系統(tǒng)被投入使用，云計算自身也會不斷地完善，從而成為工業(yè)界和學(xué)術(shù)界的另一研究熱點。云計算系統(tǒng)已經(jīng)成為下一代IT的發(fā)展趨勢，但是關(guān)于云系統(tǒng)的安全性、自治性、服務(wù)QoS、服務(wù)描述發(fā)現(xiàn)、云間交互等方面的研究仍顯不足，仍需要進一步深入研究。 參考文獻 陳國良,孫廣中,徐云.并行計算的一體化研究現(xiàn)狀與發(fā)展趨勢J.科學(xué)通報,xx,54(8):1043-1049. 趙慧玲,韓蘇川,霍曉莉.三網(wǎng)融合下的電信網(wǎng)技術(shù)與網(wǎng)絡(luò)發(fā)展J.中興通訊技術(shù),xx,17(4