云計(jì)算的演進(jìn)和挑戰(zhàn)性研究問題

1、云計(jì)算的演進(jìn)和挑戰(zhàn)性研究問題富麗貞 陸嘉恒 孟小峰中國(guó)人民大學(xué)摘要：本文首先介紹了云計(jì)算的演進(jìn)過程，接著探討了隨著云計(jì)算的到來(lái)將會(huì)出現(xiàn)的新的挑戰(zhàn)性問題，最后簡(jiǎn)單分析了引領(lǐng)云計(jì)算潮流的Google 和IBM 這兩家公司的云計(jì)算基礎(chǔ)架構(gòu)框架。經(jīng)濟(jì)的發(fā)展導(dǎo)致提供軟件和計(jì)算能力服務(wù)基礎(chǔ)架構(gòu)的出現(xiàn)，俗稱云服務(wù)或云計(jì)算。它是一種新興的共享基礎(chǔ)架構(gòu)的方法，利用它用戶可以在任何地方通過連接的設(shè)備訪問其應(yīng)用程序?？梢詫⒕薮蟮南到y(tǒng)池連接在一起以提供各種IT 服務(wù)。很多因素推動(dòng)了對(duì)這類環(huán)境的需求，其中包括連接設(shè)備、實(shí)時(shí)數(shù)據(jù)流、SOA 的采用以及搜索、開放協(xié)作、社會(huì)網(wǎng)絡(luò)和移動(dòng)商務(wù)等這樣的Web 2.0應(yīng)用的急劇增長(zhǎng)。

2、 另外，數(shù)字元器件性能的提升也使IT 環(huán)境的規(guī)模大幅度提高，從而進(jìn)一步加強(qiáng)了對(duì)一個(gè)由統(tǒng)一的云進(jìn)行管理的需求。毫無(wú)疑問，云計(jì)算已經(jīng)擁有了一個(gè)光明的前景。云計(jì)算的演進(jìn)目前，云計(jì)算是IT 行業(yè)的一個(gè)熱點(diǎn)話題。但它并不是革命性的新發(fā)展，而是數(shù)據(jù)管理技術(shù)不斷演進(jìn)的結(jié)果，如圖1所示。 圖1云計(jì)算的演進(jìn)在上個(gè)世紀(jì)末，分布式處理(Distributed Computing、并行處理(Parallel Computing和網(wǎng)格計(jì)算(Grid Computing已相當(dāng)成熟。他們是云計(jì)算發(fā)展的技術(shù)基礎(chǔ)。上世紀(jì) 80 年代末，開始出現(xiàn)應(yīng)用大量系統(tǒng)來(lái)解決單一問題（通常是科學(xué)問題）的情況，這就是網(wǎng)格計(jì)算的概念，而這種概念

3、又導(dǎo)致向云計(jì)算的發(fā)展。網(wǎng)格計(jì)算的關(guān)注重點(diǎn)是將工作負(fù)載移到所需的計(jì)算資源所在位置的能力，大多數(shù)情況下這種位置都是遠(yuǎn)程的，而且持續(xù)可用。通常，網(wǎng)格是服務(wù)器集群，大型任務(wù)可拆分為多個(gè)小型任務(wù)，以便在這些服務(wù)器上并行運(yùn)行。從這個(gè)角度來(lái)看，我們實(shí)際上可將網(wǎng)格視為僅僅是一臺(tái)虛擬服務(wù)器。網(wǎng)格還要求應(yīng)用程序符合網(wǎng)格軟件的接口標(biāo)準(zhǔn)。公共計(jì)算和SAAS （軟件即服務(wù)）可以看作是早期云計(jì)算的兩種形式?，F(xiàn)在云計(jì)算不只包括這兩種形式，還包括網(wǎng)絡(luò)服務(wù)、平臺(tái)即服務(wù)以及MSP （管理服務(wù)提供商）等其他形式。 到了上世紀(jì) 90 年代，虛擬化的概念已從虛擬服務(wù)器擴(kuò)展到更高層次的抽象，首先是虛擬平臺(tái)，而后又是虛擬應(yīng)用程序。公用計(jì)算

4、將集群作為虛擬平臺(tái)，采用可計(jì)量的業(yè)務(wù)模型進(jìn)行計(jì)算。最近，SAAS （軟件即服務(wù)）將虛擬化提升到了應(yīng)用程序的層次，它所使用的業(yè)務(wù)模型不是按消耗的資源收費(fèi)，而是根據(jù)向訂戶提供的應(yīng)用程序的價(jià)值收費(fèi)。這種類型服務(wù)通過瀏覽器把程序傳給成千上萬(wàn)的用戶。在用戶眼中看來(lái)，這樣會(huì)省去在服務(wù)器和軟件授權(quán)上的開支；從供應(yīng)商角度來(lái)看，這樣只需要維持一個(gè)程序就夠了，這樣能夠減少成本。S 是迄今為止這類服務(wù)最為出名的公司。SAAS 在人力資源管理程序比較常用。Google Apps和Zoho Office也是類似的服務(wù)。云計(jì)算的概念源于公用計(jì)算和 SAAS 概念?！霸啤钡膬?yōu)勢(shì)在于其基礎(chǔ)架構(gòu)管理，虛擬化技術(shù)的日益成熟和不斷

5、進(jìn)步為這種管理提供了強(qiáng)大的支持，使“云”能夠通過自動(dòng)部署、重新構(gòu)建映像 、重新均衡工作負(fù)載、監(jiān)控并系統(tǒng)地處理變更請(qǐng)求，以便管理并更好地利用底層資源。云計(jì)算面臨的挑戰(zhàn)作為一項(xiàng)有望大幅降低成本的新興技術(shù)，云計(jì)算正日益受到一系列眾多公司的追捧。但是同時(shí)也隨之產(chǎn)生了一系列新的挑戰(zhàn)性問題。首先，云計(jì)算中一個(gè)跨領(lǐng)域問題就是供應(yīng)商要在功能和開發(fā)代價(jià)上作權(quán)衡。目前，早期的云計(jì)算提供的API 比傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)的限制多得多。他們只提供一個(gè)極小化的查詢語(yǔ)言和有限的一致性保證。這給開發(fā)帶來(lái)更多的編程負(fù)擔(dān)，但是允許服務(wù)供應(yīng)商提供更多的預(yù)期服務(wù)和服務(wù)級(jí)別協(xié)議，這對(duì)于一個(gè)功能完備的SQL 數(shù)據(jù)庫(kù)也是很難達(dá)到的。在現(xiàn)有的云

6、計(jì)算基礎(chǔ)上，為了實(shí)現(xiàn)只做較少改動(dòng)而使其功能更完備，我們需要更多的經(jīng)驗(yàn)和做更多的工作。其次，易管理性在云計(jì)算中極其重要，這也帶來(lái)新的挑戰(zhàn)。和傳統(tǒng)的系統(tǒng)相比，受有限的人工干涉、工作負(fù)載變化幅度大和多種多樣的共享設(shè)備這三個(gè)因素的影響，云計(jì)算中管理更加復(fù)雜。大多數(shù)情況下，沒有協(xié)助基于云的應(yīng)用開發(fā)的數(shù)據(jù)庫(kù)管理員和系統(tǒng)管理員。甚至是單一用戶的負(fù)載隨時(shí)間都會(huì)發(fā)生大幅度的變化。對(duì)于一個(gè)偶爾會(huì)用到比平常高出幾個(gè)數(shù)量級(jí)的資源的客戶來(lái)說，云計(jì)算的可伸縮供應(yīng)是經(jīng)濟(jì)的。本來(lái)混合負(fù)載就很難調(diào)優(yōu)，但在這種情況下調(diào)優(yōu)是不可避免的。同時(shí)，服務(wù)調(diào)優(yōu)主要依賴共享設(shè)備的共享方式。例如Amazon 公司的EC2用硬件級(jí)別上的虛擬機(jī)作為

7、編程的接口。而 公司則在一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)上實(shí)現(xiàn)了具有多種獨(dú)立模式的“多租戶”虛擬機(jī)。其他的虛擬解決方案也是可行的。在負(fù)載之上平臺(tái)之下，每一種方案都有不同的可見性和不同的控制彼此的能力。這些變化需要我們重新考慮跨層資源管理的傳統(tǒng)角色和職責(zé)。上世紀(jì) 90年代末，研究學(xué)者們開始研究自我管理技術(shù)。對(duì)易管理性的需求加速了這一技術(shù)的發(fā)展。云計(jì)算系統(tǒng)需要自適應(yīng)的在線技術(shù)，反過來(lái)系統(tǒng)中新的架構(gòu)和API （包括區(qū)別與傳統(tǒng)SQL 語(yǔ)言和事務(wù)語(yǔ)義的靈活性）又促進(jìn)了顛覆性的自適應(yīng)方法的發(fā)展。接著，云計(jì)算的龐大規(guī)模同樣帶來(lái)了新的挑戰(zhàn)。現(xiàn)有的SQL 數(shù)據(jù)庫(kù)不能簡(jiǎn)單地處理放置在云中的成千上萬(wàn)的數(shù)據(jù)。在存儲(chǔ)方面，是用不同的事務(wù)

8、實(shí)現(xiàn)技術(shù)，還是用不同的存儲(chǔ)技術(shù)，或者二者都用來(lái)解決一些限制性問題還不確定。在這個(gè)問題上，目前在數(shù)據(jù)庫(kù)領(lǐng)域內(nèi)有很多提議?，F(xiàn)有的云計(jì)算已經(jīng)開始探索一些簡(jiǎn)單的實(shí)用性方法，但是我們?nèi)孕枰龈嗟墓ぷ鱽?lái)融合現(xiàn)有的云計(jì)算機(jī)制文化中的好思想。就查詢處理和優(yōu)化而言，如果搜索一個(gè)涉及到數(shù)千條處理的計(jì)劃空間需要花費(fèi)很長(zhǎng)時(shí)間，那么這是不可行的，所以需要在計(jì)劃空間或搜索上設(shè)限。最后如何在云環(huán)境中編程還尚不清楚。我們需要更多的了解云計(jì)算的現(xiàn)實(shí)問題（包括性能限制和應(yīng)用需求）來(lái)幫助設(shè)計(jì)。此外，在云基礎(chǔ)架構(gòu)中，物理資源共享帶來(lái)新的數(shù)據(jù)安全和隱私危機(jī)。他們不能再依靠機(jī)器或網(wǎng)絡(luò)的物理邊界得到保障。因此云計(jì)算為合成和加速這方面現(xiàn)有

9、的工作提供了豐富的機(jī)遇。要想成功關(guān)鍵在于我們能否準(zhǔn)確瞄準(zhǔn)云的應(yīng)用場(chǎng)景以及能否準(zhǔn)確把握服務(wù)供應(yīng)商和顧客的實(shí)際動(dòng)向。最后，隨著云計(jì)算越來(lái)越流行，預(yù)計(jì)會(huì)有新的應(yīng)用場(chǎng)景出現(xiàn)，也會(huì)帶來(lái)新的挑戰(zhàn)。例如，我們預(yù)測(cè)會(huì)出現(xiàn)一些需要預(yù)載大量數(shù)據(jù)集（像股票價(jià)格、天氣歷史數(shù)據(jù)以及網(wǎng)上檢索等）的特殊服務(wù)。從私有和公共環(huán)境中獲取有用信息引起人們?cè)絹?lái)越多的注意。這樣就產(chǎn)生新的問題：我們需要從結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)的異構(gòu)數(shù)據(jù)中提取出有用信息。同時(shí)，這也表明跨“云”服務(wù)必然會(huì)出現(xiàn)。在科學(xué)數(shù)據(jù)網(wǎng)格計(jì)算中，這個(gè)問題已經(jīng)很普及。即便在一門學(xué)科中，也會(huì)需要大量位于不同地理位置的共享數(shù)據(jù)服務(wù)器。大體上，在大多數(shù)企業(yè)亦是如此。而聯(lián)合云架

10、構(gòu)不會(huì)降低只會(huì)增加問題的難度。云計(jì)算實(shí)例分析本文最后對(duì)引領(lǐng)云計(jì)算潮流的兩大公司google 和IBM 的云計(jì)算平臺(tái)做一個(gè)簡(jiǎn)單的分析。短時(shí)間內(nèi)Google 的在云計(jì)算上的地位依然不可撼動(dòng)，其開放式的平臺(tái)體現(xiàn)了云計(jì)算模式的精髓。Google 的云計(jì)算服務(wù)所需要的絕大部分基礎(chǔ)軟件都是開源的，這意味著用戶可以自由的得到那些代碼并修改。從2003年開始，Google 連續(xù)幾年在計(jì)算機(jī)系統(tǒng)研究領(lǐng)域的最頂級(jí)會(huì)議與雜志上發(fā)表論文，揭示其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計(jì)算核心技術(shù)。Google 的云計(jì)算技術(shù)實(shí)際上是針對(duì)Google 特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對(duì)內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Go

11、ogle 提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來(lái)處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。Google 使用的云計(jì)算基礎(chǔ)架構(gòu)模式包括四個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)。包括Google 建立在集群之上的文件系統(tǒng)Google File System，針對(duì)Google 應(yīng)用程序的特點(diǎn)提出的Map/Reduce模式(映射/化簡(jiǎn)編程模式 ，分布式的鎖機(jī)制Chubby 以及Google 開發(fā)的模型簡(jiǎn)化的大規(guī)模分布式數(shù)據(jù)庫(kù)BigTable 。GFS （Google 文件系統(tǒng)）是為Google 應(yīng)用程序本身而設(shè)計(jì)的。一個(gè)GFS 集群包含一個(gè)主服務(wù)器序建立在大規(guī)模的集群基礎(chǔ)之上，Goo Goo

12、gle 關(guān)于將數(shù)據(jù)庫(kù)系統(tǒng)擴(kuò)展到分布式平臺(tái)上的BigTable 系統(tǒng)。和多個(gè)塊服務(wù)器，可以被多個(gè)客戶端訪問。為了讓不熟悉分布式系統(tǒng)人們能夠有機(jī)會(huì)將應(yīng)用程gle 還設(shè)計(jì)并實(shí)現(xiàn)了一套大規(guī)模數(shù)據(jù)處理的編程規(guī)范Map/Reduce系統(tǒng)。這樣，非分布式專業(yè)的程序編寫人員也能夠?yàn)榇笠?guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問題則交由平臺(tái)來(lái)處理。Map/Reduce通過把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。如果一個(gè)節(jié)點(diǎn)保持沉默超過一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)（

13、類同Google File System中的主服務(wù)器）記錄下這個(gè)節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個(gè)操作使用命名文件的原子操作以確保不會(huì)發(fā)生并行線程間的沖突；當(dāng)文件被改名的時(shí)候，系統(tǒng)可能會(huì)把他們復(fù)制到任務(wù)名以外的另一個(gè)名字上去。第三個(gè)云計(jì)算平臺(tái)就是為了處理Google 內(nèi)部大量的格式化以及半格式化數(shù)據(jù)，Google 構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng)BigTable 。除了這三個(gè)部分之外，Google 還建立了分布式程序的調(diào)度器，分布式的鎖服務(wù)等一系列相關(guān)的云計(jì)算服務(wù)平臺(tái)。 圖 2. 云計(jì)算和新企業(yè)數(shù)據(jù)中心藍(lán)色巨人IBM 對(duì)此也投下了重注，并為此命名為“藍(lán)云”計(jì)劃。IB

14、M 具有發(fā)展云計(jì)算業(yè)務(wù)的一切有利因素：應(yīng)用服務(wù)器、存儲(chǔ)、管理軟件、中間件等等，因此IBM 自然不會(huì)放過這樣一個(gè)成名機(jī)會(huì)。最近又推出了“新企業(yè)數(shù)據(jù)中心”的設(shè)想，該設(shè)想結(jié)合了以 Web 為中心的云計(jì)算模型和當(dāng)前的企業(yè)數(shù)據(jù)中心的優(yōu)勢(shì)。中國(guó)云計(jì)算網(wǎng)的一篇文章給出了“新企業(yè)數(shù)據(jù)中心”模型（如圖2所示）以及其基礎(chǔ)架構(gòu)服務(wù)框架（如圖3所示）。新企業(yè)數(shù)據(jù)中心將是虛擬化、高效管理的中心，它將使用以 Web 為中心的云所采用的某些工具和技術(shù)，并進(jìn)行一般化以便被范圍更廣的客戶采用，另外還進(jìn)行增強(qiáng)以支持安全的事務(wù)性工作負(fù)載。通過高效且共享的基礎(chǔ)架構(gòu)，企業(yè)能夠?qū)π碌臉I(yè)務(wù)需求迅速做出反應(yīng)，實(shí)時(shí)解析大量信息，而且還能根據(jù)實(shí)時(shí)數(shù)據(jù)做出明智的業(yè)務(wù)決策。新企業(yè)數(shù)據(jù)中心是一種演進(jìn)的新模型，能提供有助于使 IT 和業(yè)務(wù)目標(biāo)保持一致