長文檔排版原文件.doc

.云計(jì)算綜述云計(jì)算綜述 作者：林錚摘要：文章對(duì)時(shí)下比較流行的概念云計(jì)算進(jìn)行了一些簡要的介紹，隨即展開云計(jì)算將會(huì)涉及到的一些關(guān)鍵技術(shù)，并且對(duì)云計(jì)算發(fā)展帶來的一些機(jī)遇與挑戰(zhàn)做了比較詳細(xì)的描述，最后對(duì)云計(jì)算進(jìn)行了總結(jié)與展望。關(guān)鍵詞：云計(jì)算；高性能；分布式；SaaS 1云計(jì)算相關(guān)技術(shù)11數(shù)據(jù)存儲(chǔ)技術(shù)為保證高可用、高可靠和經(jīng)濟(jì)性，云計(jì)算采用分布式存儲(chǔ)的方式來存儲(chǔ)數(shù)據(jù)，采用冗余存儲(chǔ)的方式來保證存儲(chǔ)數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外。云計(jì)算系統(tǒng)需要同時(shí)滿足用戶的需求，并行地為大量用戶提供服務(wù)。因此，云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的非開源GFs(Google File System)和Hadoop開發(fā)團(tuán)隊(duì)開發(fā)的GFS開源實(shí)現(xiàn)HDFS(Hadoop Distributed File System)。大部分rr廠商，包括Yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能。它可以給大量的用戶提供總體性能較高的服務(wù)。GFS與過去的分布式文件系統(tǒng)有很多相同的目標(biāo)，但GFS的設(shè)計(jì)受到了當(dāng)前及預(yù)期的應(yīng)用方面的工作量及技術(shù)環(huán)境的驅(qū)動(dòng)，這反映了它與早期的文件系統(tǒng)明顯不同的設(shè)想。這就需要對(duì)傳統(tǒng)的選擇進(jìn)行重新檢驗(yàn)并進(jìn)行完全不同的設(shè)計(jì)觀點(diǎn)的探索。12數(shù)據(jù)管理技術(shù)云計(jì)算系統(tǒng)對(duì)大數(shù)據(jù)集進(jìn)行處理、分析，向用戶提供高效的服務(wù)。因此，數(shù)據(jù)管理技術(shù)必須能夠高效的管理大數(shù)據(jù)集。其次，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率，云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此。云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列存儲(chǔ)的數(shù)據(jù)管理模式，將表按列劃分后存儲(chǔ)。云計(jì)算的數(shù)據(jù)管理技術(shù)以C,oogle的BigTable為代表，同時(shí)Hadoop也正在開發(fā)類似BigTable的開源數(shù)據(jù)管理模塊。Bigtable是一個(gè)分布式的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，它被設(shè)計(jì)用來處理海量數(shù)據(jù)：通常是分布在數(shù)千臺(tái)普通服務(wù)器上的PB級(jí)的數(shù)據(jù)。C,oogle的很多項(xiàng)目使用Bigtable存儲(chǔ)數(shù)據(jù)，包括Web索引、CoogleEarth、C,oogle Finance。這些應(yīng)用對(duì)Bigtable提出的要求差異非常大，無論是在數(shù)據(jù)量上(從URL到網(wǎng)頁到衛(wèi)星圖像)還是在響應(yīng)速度上(從后端的批量處理到實(shí)時(shí)數(shù)據(jù)服務(wù))。盡管應(yīng)用需求差異很大，但是，針對(duì)Coogle的這些產(chǎn)品，Bigtable還是成功地提供了一個(gè)靈活的、高性能的解決方案。本論文描述了Bigtable提供的簡單的數(shù)據(jù)模型，利用這個(gè)模型，用戶可以動(dòng)態(tài)地控制數(shù)據(jù)的分布和格式。在很多方面，Bigtable和數(shù)據(jù)庫很類似，它使用了很多數(shù)據(jù)庫的實(shí)現(xiàn)策略。并行數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫已經(jīng)具備可擴(kuò)展性和高性能，但是Bigtable提供了一個(gè)和這些系統(tǒng)完全不同的接口。Bigtable不支持完整的關(guān)系數(shù)據(jù)模型；與之相反，Bigtable為客戶提供了簡單的數(shù)據(jù)模型。利用這個(gè)模型，客戶可以動(dòng)態(tài)控制數(shù)據(jù)的分布和格式(也就是對(duì)BigTable而言。數(shù)據(jù)是沒有格式的，用數(shù)據(jù)庫領(lǐng)域的術(shù)語說。就是數(shù)據(jù)沒有Schema，用戶自己去定義Schema)。用戶也可以自己推測(reason about)底層存儲(chǔ)數(shù)據(jù)的位置相關(guān)性(位置相關(guān)性可以這樣理解，比如樹狀結(jié)構(gòu)，具有相同前綴的數(shù)據(jù)的存放位置接近。在讀取的時(shí)候，可以把這些數(shù)據(jù)一次讀取出來)。數(shù)據(jù)的下標(biāo)是行和列的名字，名字可以是任意的字符串。Bigtable將存儲(chǔ)的數(shù)據(jù)都視為字符串，但是Bigtable本身不去解析這些字符串，客戶程序通常會(huì)把各種結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)串行化到這些字符串里。通過仔細(xì)選擇數(shù)據(jù)的模式，客戶可以控制數(shù)據(jù)的位置相關(guān)性。最后，可以通過BigTable的模式參數(shù)來控制數(shù)據(jù)是存放在內(nèi)存中、還是硬盤上。由于采用列存儲(chǔ)的方式管理數(shù)據(jù)，如何提供數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)讀速率是未來的數(shù)據(jù)管理技術(shù)必須解決的問題。13編程模型技術(shù)為了使用戶能更輕松地享受云計(jì)算帶來的業(yè)務(wù)，讓用戶能利用該編程模型編寫簡單的程序?qū)崿F(xiàn)特定的目的，云計(jì)算上的編程模型必須十分簡單，必須保證后臺(tái)復(fù)雜的并向執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計(jì)算采用類似MapReduce的編程模式?，F(xiàn)在所有rI廠商提出的“云”計(jì)劃中采用的編程模型，都是基于MapReduce的思想開發(fā)的編程工具。MapReduce不僅僅是一種編程模型，同時(shí)也是一種高效的任務(wù)調(diào)度模型。MapReduce這種編程模型并不僅適用于云計(jì)算，在多核和多處理、cellprocessor以及異構(gòu)機(jī)群上同樣有良好的性能。該編程模式僅適用于編寫任何內(nèi)部松耦合、能夠高度并行化的程序。如何改進(jìn)編程模式，使程序員能夠輕松地編寫緊耦合的程序，運(yùn)行時(shí)能高效地調(diào)度和執(zhí)行任務(wù)，是MapReduce編程模型未來的發(fā)展方向。14其他技術(shù)除上述講述的一些關(guān)鍵技術(shù)以外，云計(jì)算服務(wù)的提供還涉及到了方方面面的技術(shù)，比如緩存技術(shù)、安全技術(shù)、網(wǎng)絡(luò)加速等，這些都是能與云計(jì)算技術(shù)一起彼此推動(dòng)的技術(shù)。2云案例Goosle也是通過云計(jì)算的方式，大量降低計(jì)算成本，使之業(yè)務(wù)更具有競爭力。Google幾乎所有的產(chǎn)品都可以描述成云產(chǎn)品，因?yàn)槠鋬?nèi)部的技術(shù)架構(gòu)，就是一個(gè)非常有借鑒意義和標(biāo)桿意義的云架構(gòu)，在這之上的都是云產(chǎn)品。22 IBM藍(lán)云“藍(lán)云”解決方案是由IBM云計(jì)算中心開發(fā)的企業(yè)級(jí)云計(jì)算解決方案。該解決方案可以對(duì)企業(yè)現(xiàn)有的基礎(chǔ)架構(gòu)進(jìn)行整合，通過虛擬化技術(shù)和自動(dòng)化技術(shù)，構(gòu)建企業(yè)自己擁有的云計(jì)算中心，實(shí)現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份，打破應(yīng)用對(duì)資源的獨(dú)占，從而幫助企業(yè)實(shí)現(xiàn)云計(jì)算理念。藍(lán)云解決方案由以下部分構(gòu)成：需要納入云計(jì)算中心的軟硬件資源、藍(lán)云管理軟件及IBM Tivoli管理軟件及藍(lán)云部署服務(wù)及客戶化服務(wù)。23微軟云微軟的云計(jì)算戰(zhàn)略包括三大部分，目的是為自己的客戶和合作伙伴提供3種不同的云計(jì)算運(yùn)營模式。1)微軟運(yùn)營：微軟自己構(gòu)建及運(yùn)營公共云的應(yīng)用和服務(wù)，同時(shí)向個(gè)人消費(fèi)者和企業(yè)客戶提供云服務(wù)，如微軟向最終使用者提供的Online Services和Windows Live等服務(wù)。2)伙伴運(yùn)營：ISVSI等各種合作伙伴可基于Windows Azure Platform開發(fā)ERP、CRM等各種云計(jì)算應(yīng)用，并在Windows Azure Platform上為最終使用者提供服務(wù)。另外一個(gè)選擇是，微軟運(yùn)營在自己的云計(jì)算平臺(tái)中的Business Productivity Online Suite(BPOS)產(chǎn)品也可交由合作伙伴進(jìn)行托管運(yùn)營。BPOS主要包括Exchange Online、SharePoint Online、omce Communications Online和LiveMeeting Online等服務(wù)。3)客戶自建：客戶可以選擇微軟的云計(jì)算解決方案構(gòu)建自己的云計(jì)算平臺(tái)。微軟可以為用戶提供包括產(chǎn)品、技術(shù)、平臺(tái)和運(yùn)維管理在內(nèi)的全面支持。3機(jī)遇與挑戰(zhàn)31服務(wù)的可用性我們?nèi)粘Ｔ谑褂玫腉ooSe Search、?”“?一C,oogle Earth、C,oogle Map、GooghGmai、Google Doe如今，絕大多數(shù)互聯(lián)網(wǎng)服務(wù)提供商都會(huì)利用多等業(yè)務(wù)都是C,oosle基于自己云計(jì)算平臺(tái)提供的。個(gè)網(wǎng)絡(luò)提供商來使自己避免在一個(gè)單獨(dú)公司出現(xiàn)故障的情況下導(dǎo)致從互聯(lián)網(wǎng)上消失，我們相信唯一合乎情理的提供極高可用性服務(wù)的解決方案就是多云計(jì)算提供商。可用性相關(guān)的另一個(gè)問題是分布式拒絕服務(wù)(DDoS，Distributed Denial of Service)攻擊。由于彈性，云計(jì)算將攻擊目標(biāo)從SaaS提供商轉(zhuǎn)移到能夠馬上吸引攻擊并且具有DDos攻擊保護(hù)能力的效用計(jì)算提供商。32數(shù)據(jù)丟失雖然現(xiàn)在的軟件集已經(jīng)在跨平臺(tái)性方面改進(jìn)了很多，但是從本質(zhì)上說云計(jì)算的API仍是私有的?；蛘哒f當(dāng)前沒有建立起統(tǒng)一的標(biāo)準(zhǔn)。因此，用戶很難講他們的數(shù)據(jù)和程序從一個(gè)站點(diǎn)遷移到另一個(gè)。這也是很多用戶不愿采用云計(jì)算的原因。顯然，將云計(jì)算API標(biāo)準(zhǔn)化是上面問題的解決方案，這樣SaaS開發(fā)人員能夠在多個(gè)云計(jì)算提供商處發(fā)布服務(wù)和數(shù)據(jù)。某個(gè)公司的失誤或故障將不會(huì)影響到用戶數(shù)據(jù)的每個(gè)拷貝。33數(shù)據(jù)安全性和可審計(jì)性過去一段時(shí)間中我們?cè)牭蕉啻芜@樣的話：“我們企業(yè)的那些敏感數(shù)據(jù)將永遠(yuǎn)不會(huì)放到云中?！?當(dāng)前的云本質(zhì)上來說是提供了公共(而不是私有)網(wǎng)絡(luò)，因此會(huì)遭遇更多的攻擊。可審計(jì)性也很重要，按照相關(guān)法律規(guī)定，企業(yè)提交到云中的數(shù)據(jù)必須滿足審計(jì)需求。靈活的運(yùn)用加密存儲(chǔ)、虛擬局域網(wǎng)、網(wǎng)絡(luò)中間件等技術(shù)能迅速的解決當(dāng)前已經(jīng)碰到的一些問題。34數(shù)據(jù)傳輸瓶頸當(dāng)前應(yīng)用發(fā)展越來越趨向于數(shù)據(jù)密集型。如果應(yīng)用能夠被拆分交由不同的云去處理，這將導(dǎo)致膨脹的數(shù)據(jù)存放和傳輸?？爝f硬盤是客服這樣高成本的互聯(lián)網(wǎng)傳輸成本問題的一種機(jī)遇。Jim Gray發(fā)現(xiàn)，傳輸大量數(shù)據(jù)最便宜的方式是用次晨達(dá)的快遞方式來快遞硬盤，乃至整個(gè)計(jì)算機(jī)。雖然沒有硬盤廠商和計(jì)算機(jī)廠商的保證，我們認(rèn)為以快遞硬盤這種方式來進(jìn)行數(shù) 據(jù)傳輸是可靠的。第二個(gè)機(jī)遇是發(fā)現(xiàn)在云中保存數(shù)據(jù)的高效性。由于一旦數(shù)據(jù)存放在云中，數(shù)據(jù)傳輸將不再是一個(gè)瓶頸，這將會(huì)催生其他一些利用云計(jì)算能力的新服務(wù)。第三個(gè)更加激進(jìn)的機(jī)遇是試圖快速降低廣域網(wǎng)帶寬的成本。除了廣域網(wǎng)帶寬成為一個(gè)瓶頸外，云內(nèi)網(wǎng)絡(luò)技術(shù)可能也是一個(gè)性能瓶頸。35性能不可預(yù)知性云計(jì)算中多虛擬機(jī)能夠很好的共享CPU和內(nèi)存，但是LO的共享卻有明顯的問題。一個(gè)機(jī)遇是改進(jìn)提醒結(jié)構(gòu)和操作系統(tǒng)活動(dòng)有效率的虛擬中斷和I0通道。另外一個(gè)可能是閃存能夠降低I0沖突。閃存相比硬盤能夠支持更多的單位時(shí)間內(nèi)的LO操作，因此，有著隨同IO訪問沖突的多虛擬機(jī)能夠很好的協(xié)同工作，而不會(huì)出現(xiàn)使用機(jī)械硬盤時(shí)常見的互相干擾。最后一個(gè)不可預(yù)期的問題是運(yùn)行某些批處理程序時(shí)多個(gè)虛擬機(jī)的調(diào)度問題，這在高性能計(jì)算領(lǐng)域尤其明顯?？朔@一問題的機(jī)遇在于為云計(jì)算提供一個(gè)有效的資源調(diào)度和管理工具。36可伸縮的存儲(chǔ)目前針對(duì)這個(gè)問題有許多不同的嘗試，從提供豐富的查詢和存儲(chǔ)API及提供性能保證，到有存儲(chǔ)系統(tǒng)支持?jǐn)?shù)據(jù)結(jié)構(gòu)，都各不相同。存在的機(jī)遇是創(chuàng)建一個(gè)存儲(chǔ)系統(tǒng)，不僅具備上述功能，而且提供向上和向下的伸縮性支持，同時(shí)在可擴(kuò)展性、數(shù)據(jù)持久性以及高可用性等數(shù)據(jù)管理方面滿足程序員的需求。37大規(guī)模分布式系統(tǒng)的錯(cuò)誤云計(jì)算中一個(gè)很大的挑戰(zhàn)是從大規(guī)模分布式系統(tǒng)中去消除錯(cuò)誤。一個(gè)經(jīng)常出現(xiàn)的問題是這些bug不會(huì)在稍小的規(guī)模的配置中重現(xiàn)因此調(diào)試必須在生產(chǎn)環(huán)境中進(jìn)行。云計(jì)算中的虛擬機(jī)可能會(huì)成為一個(gè)機(jī)遇，它可能使程序員獲得在傳統(tǒng)分布式系統(tǒng)上難以獲得的一些有價(jià)值的信息。38快速伸縮即用即付無疑很適合存儲(chǔ)和網(wǎng)絡(luò)帶寬，這兩者都可以用使用字節(jié)數(shù)來衡量。由于使用虛擬機(jī)，計(jì)算稍稍有些不同。這里的機(jī)遇是在不違背使用協(xié)議的前提下能夠?qū)崿F(xiàn)根據(jù)負(fù)載自動(dòng)并快速地調(diào)整計(jì)算規(guī)模以能夠最大的節(jié)省費(fèi)用。39聲譽(yù)和法律危機(jī)一個(gè)用戶的惡意操作會(huì)影響到整個(gè)云的聲譽(yù)。創(chuàng)建類似于信任郵件服務(wù)那樣的聲譽(yù)保護(hù)服務(wù)將可能會(huì)成為一個(gè)機(jī)遇。另外一個(gè)問題是法律責(zé)任的轉(zhuǎn)移。當(dāng)出現(xiàn)問題時(shí)，云計(jì)算提供商將會(huì)希望由用戶去承擔(dān)相應(yīng)法律責(zé)任，而不要將責(zé)任轉(zhuǎn)嫁給他們。310軟件許可聲譽(yù)和法律危機(jī)當(dāng)前軟件許可證通常限定在運(yùn)行軟件的機(jī)器上。用戶購買軟件并按年支付維護(hù)費(fèi)用。許多云計(jì)算提供商從一開始就傾向于開源軟件，部分正是因?yàn)樯虡I(yè)軟件許可模式并不適合效用計(jì)算。首要的機(jī)遇要么開源持續(xù)流行要么商業(yè)軟件公司改變他們的許可證結(jié)構(gòu)，讓其更加適合云計(jì)算。還有一個(gè)辦法是鼓勵(lì)軟件公司制定銷售政策來向云計(jì)算提供產(chǎn)品。將軟件公司銷售部門的一些反對(duì)派轉(zhuǎn)到支持云計(jì)算的陣營中來。4結(jié)語云計(jì)算將在未來幾年進(jìn)入蓬勃發(fā)展期。根據(jù)IDC最新數(shù)據(jù)顯示，云計(jì)算服務(wù)將在2013年達(dá)到整體rII消費(fèi)的10，年收益高達(dá)442億美元。在5年內(nèi)，云計(jì)算服務(wù)的增長態(tài)勢將十分強(qiáng)勁，平均年增長將達(dá)26，是傳統(tǒng)IrI行業(yè)增長速度的6倍。同時(shí)，IDC預(yù)測未來4年中國云計(jì)算將產(chǎn)生11萬億元的市場。云計(jì)算將在未來1520年內(nèi)成為影響整個(gè)IrI行業(yè)的關(guān)鍵性技術(shù)。從201 1年到2012年云計(jì)算在技術(shù)領(lǐng)域的凈增長率將達(dá)到25，從2012年到2013年實(shí)現(xiàn)凈增長30。目前增長緩慢的原因是由于云計(jì)算還處在早期的推廣階段，一旦超越了這個(gè)階段，云計(jì)算將實(shí)現(xiàn)飛速增長。 因此，沒有人能夠準(zhǔn)確預(yù)期云計(jì)算將給我們的生活帶來哪些巨大變化，但隨著這一運(yùn)動(dòng)的不斷推進(jìn)，不管是作為消費(fèi)者，還是商業(yè)人士，都可