云計算體系架構與關鍵技術(一)學習資料

云計算:體系架構與關鍵技術（一）本文系統地分析和總結云計算的研究現狀，劃分云計算體系架構為核心服務、服務管理、用戶訪問接口等3個層次。圍繞低成本、高可靠、高可用、規(guī)?？缮炜s等研究目標，深入全面地介紹了云計算的關鍵技術及最新研究進展。在云計算基礎設施方面，介紹了云計算數據中心設計與管理及資源虛擬化技術:在大規(guī)模數據處理方面，分析了海量數據處理平臺及其資源管理與調度技術;在云計算服務保障方面，討論了服務質量保證和安全與隱私保護技術。針對新型的云計算應用和云計算存在的局限性，又探討并展望了今后的研究方向。最后，介紹了東南大學云計算平臺以及云計算研究與應用方面的相關成果。1引言近年來，社交網絡、電子商務、數字城市、在線視頻等新一代大規(guī)?；ヂ摼W應用發(fā)展迅猛。這些新興的應用具有數據存儲量大、業(yè)務增長速度快等特點。據統計至2010年，社交網站Facebook己存儲了15TB的數據，并且每天新增60TB數據；電子商務網站淘寶的B2C業(yè)務在2010年增長了4倍，其數據中心存儲了14PB數據，并且每天需要處理SOOTB數據。與此同時，傳統企業(yè)的軟硬件維護成本高昂；在企業(yè)的IT投入中，僅有20%的投入用于軟硬件更新與商業(yè)價值的提升，而80%則投入用于系統維護。根據2006年IDC對200家企業(yè)的統計，部分企業(yè)的信息技術人力成本達到1320美元/每人/每臺服務器，而部署一個新的應用系統需要花費5.4周。為了解決上述問題，2006年Google、Amazon等公司提出了“云計算”的構想。根據美國國家標準與技術研究院(NIST)的定義，云計算是一種利用互聯網實現隨時隨地、按需、便捷地訪問共享資源池(如計算設施、存儲設備、應用程序等)的計算模式。計算機資源服務化是云計算重要的表現形式，它為用戶屏蔽了數據中心管理、大規(guī)模數據處理、應用程序部署等問題。通過云計算，用戶可以根據其業(yè)務負載快速申請或釋放資源，并以按需支付的方式對所使用的資源付費，在提高服務質量的同時降低運維成本。作為信息產業(yè)的一大創(chuàng)新，云計算模式一經提出便得到工業(yè)界、學術界的廣泛關注。其中Amazon等公司的云計算平臺提供可快速部署的虛擬服務器，實現了基礎設施的按需分配。MapReduce等新型并行編程框架簡化了海量數據處理模型。Google公司的AppEngine云計算開發(fā)平臺為應用服務提供商開發(fā)和部署云計算服務提供接口。Salesforce公司的客戶關系管理(CRM,customerrelationshipmanagement)服務等云計算服務將桌面應用程序遷移到互聯網，實現應用程序的泛在訪問。同時，各國學者對云計算也展開了大量研究工作。早在2007年，斯坦福大學等多所美國高校便開始和Google,IBM合作，研究云計算關鍵技術。近年來，隨著云計算研究的深入，眾多國際會議(如SIGCOMM、OSDI,SIGMOD,CCS等)上陸續(xù)發(fā)表了云計算相關研究成果.此外，以Eucalyptus為代表的開源云計算平臺的出現，加速了云計算服務的研究和普及。不僅如此，各國政府紛紛將云計算列為國家戰(zhàn)略，投入了相當大的財力和物力用于云計算的部署。其中，美國政府利用云計算技術建立聯邦政府網站，以降低政府信息化運行成本。英國政府建立國家級云計算平臺(G-Cloud)，超過2/3的英國企業(yè)開始使用云計算服務。在我國，北京、上海、深圳、杭州、無錫等城市開展了云計算服務創(chuàng)新發(fā)展試點示范工作;電信、石油石化、交通運輸等行業(yè)也啟動了相應的云計算發(fā)展計劃，以促進產業(yè)信息化。然而，云計算本質上并非一個全新的概念。早在1961年，計算機先驅JohnMcCarthy就預言:“未來的計算資源能像公共設施(如水、電)一樣被使用?！睘榱藢崿F這個目標，在之后的幾十年里，學術界和工業(yè)界陸續(xù)提出了集群計算、效用計算、網格計算、服務計算等技術，而云計算正是從這些技術發(fā)展而來。在這些傳統技術中，集群計算將大量獨立的計算機通過高速局域網相連，從而提供高性能計算能力。效用計算為用戶提供按需租用計算機資源的途徑。網格計算整合大量異構計算機的閑置資源(如計算資源和磁盤存儲等)，組成虛擬組織，以解決大規(guī)模計算問題。服務計算作為連接信息技術和商業(yè)服務的橋梁，研究如何用信息技術對商業(yè)服務建模、操作和管理。對云計算而言，其借鑒了傳統分布式計算的思想。通常情況下，云計算采用計算機集群構成數據中心，并以服務的形式交付給用戶，使得用戶可以像使用水、電一樣按需購買云計算資源。從這個角度看，云計算與網格計算的目標非常相似。但是云計算和網格計算等傳統的分布式計算也有著較明顯的區(qū)別:首先云計算是彈性的，即云計算能根據工作負載大小動態(tài)分配資源，而部署于云計算平臺上的應用需要適應資源的變化，并能根據變化做出響應；其次，相對于強調異構資源共享的網格計算，云計算更強調大規(guī)模資源池的分享，通過分享提高資源復用率，并利用規(guī)模經濟降低運行成本:最后，云計算需要考慮經濟成本，因此硬件設備、軟件平臺的設計不再一味追求高性能，而要綜合考慮成本、可用性、可靠性等因素?；谏鲜霰容^并結合云計算的應用背景，云計算的特點可歸納如下。1)彈性服務。服務的規(guī)模可快速伸縮，以自動適應業(yè)務負載的動態(tài)變化。用戶使用的資源同業(yè)務的需求相一致，避免了因為服務器性能過載或冗余而導致的服務質量下降或資源浪費。2)資源池化。資源以共享資源池的方式統一管理。利用虛擬化技術，將資源分享給不同用戶，資源的放置、管理與分配策略對用戶透明。3)按需服務。以服務的形式為用戶提供應用程序、數據存儲、基礎設施等資源，并可以根據用戶需求，自動分配資源，而不需要系統管理員干預。4)服務可計費。監(jiān)控用戶的資源使用量，并根據資源的使用情況對服務計費。5)泛在接入。用戶可以利用各種終端設備(如PC電腦、筆記本電腦、智能手機等)隨時隨地通過互聯網訪問云計算服務。正是因為云計算具有上述5個特性，使得用戶只需連上互聯網就可以源源不斷地使用計算機資源，實現了“互聯網即計算機”的構想。綜上所述，云計算是分布式計算、互聯網技術、大規(guī)模資源管理等技術的融合與發(fā)展(如圖1所示)，其研究和應用是一個系統工程，涵蓋了數據中心管理、資源虛擬化、海量數據處理、計算機安全等重要問題。本文通過歸納云計算特點與體系架構，總結和分析云計算各層服務的關鍵技術及系統實例，針對當前云計算存在的問題，提出未來研究的方向。圖1云計算與相關技術的聯系2云計算體系架構云計算可以按需提供彈性資源，它的表現形式是一系列服務的集合。結合當前云計算的應用與研究，其體系架構可分為核心服務、服務管理、用戶訪問接口3層，如圖2所示。核心服務層將硬件基礎設施、軟件運行環(huán)境、應用程序抽象成服務，這些服務具有可靠性強、可用性高、規(guī)?？缮炜s等特點，滿足多樣化的應用需求。服務管理層為核心服務提供支持，進一步確保核心服務的可靠性、可用性與安全性。用戶訪問接口層實現端到云的訪問。圖2云計算體系架構2.1核心服務層云計算核心服務通常可以分為3個子層:基礎設施即服務層(IaaS,infrastructureasaservice)、平臺即服務層(PaaS,platformasaservice)、軟件即服務層(SaaS,softwareasaservice)。表1對3層服務的特點進行了比較。IaaS提供硬件基礎設施部署服務，為用戶按需提供實體或虛擬的計算、存儲和網絡等資源。在使用IaaS層服務的過程中，用戶需要向IaaS層服務提供商提供基礎設施的配置信息，運行于基礎設施的程序代碼以及相關的用戶數據。由于數據中心是IaaS層的基礎，因此數據中心的管理和優(yōu)化問題近年來成為研究熱點。另外，為了優(yōu)化硬件資源的分配，IaaS層引入了虛擬化技術。借助于Xen、KVM、VMware等虛擬化工具，可以提供可靠性高、可定制性強、規(guī)?？蓴U展的IaaS層服務。PaaS是云計算應用程序運行環(huán)境，提供應用程序部署與管理服務。通過PaaS層的軟件工具和開發(fā)語言，應用程序開發(fā)者只需上傳程序代碼和數據即可使用服務，而不必關注底層的網絡、存儲、操作系統的管理問題。由于目前互聯網應用平臺(如Facebook.Google、淘寶等)的數據量日趨龐大，PaaS層應當充分考慮對海量數據的存儲與處理能力，并利用有效的資源管理與調度策略提高處理效率。SaaS是基于云計算基礎平臺所開發(fā)的應用程序。企業(yè)可以通過租用SaaS層服務解決企業(yè)信息化問題，如企業(yè)通過GMail建立屬于該企業(yè)的電子郵件服務。該服務托管于Google的數據中心，企業(yè)不必考慮服務器的管理、維護問題。對于普通用戶來講，SaaS層服務將桌面應用程序遷移到互聯網，可實現應用程序的泛在訪問。表12.2服務管理層服務管理層對核心服務層的可用性、可靠性和安全性提供保障。服務管理包括服務質量(QoS,qualityofservice)保證和安全管理等。云計算需要提供高可靠、高可用、低成本的個性化服務。然而云計算平臺規(guī)模龐大且結構復雜，很難完全滿足用戶的QoS需求。為此，云計算服務提供商需要和用戶進行協商，并制定服務水平協議(SLA,servicelevelagreement)，使得雙方對服務質量的需求達成一致。當服務提供商提供的服務未能達到SLA的要求時，用戶將得到補償。此外，數據的安全性一直是用戶較為關心的問題。云計算數據中心采用的資源集中式管理方式使得云計算平臺存在單點失效問題。保存在數據中心的關鍵數據會因為突發(fā)事件(如地震、斷電)、病毒入侵、黑客攻擊而丟失或泄露。根據云計算服務特點，研究云計算環(huán)境下的安全與隱私保護技術(如數據隔離、隱私保護、訪問控制等)是保證云計算得以廣泛應用的關鍵。除了QoS保證、安全管理外，服務管理層還包括計費管理、資源監(jiān)控等管理內容，這些管理措施對云計算的穩(wěn)定運行同樣起到重要作用。2.3用戶訪問接口層用戶訪問接口實現了云計算服務的泛在訪問，通常包括命令行、Web月及務、Web門戶等形式。命令行和Web服務的訪問模式既可為終端設備提供應用程序開發(fā)接口，又便于多種服務的組合。Web門戶是訪問接口的另一種模式。通過Web門戶，云計算將用戶的桌面應用遷移到互聯網，從而使用戶隨時隨地通過瀏覽器就可以訪問數據和程序，提高工作效率。雖然用戶通過訪問接口使用便利的云計算服務，但是由于不同云計算服務商提供接口標準不同，導致用戶數據不能在不同服務商之間遷移。為此，在Intel,Sun和Cisco等公司的倡導下，云計算互操作論壇(CCIF,cloudcomputinginterop-erabilityforum)宣告成立，并致力于開發(fā)統一的云計算接口(UCI,unifiedcloudinterface)，以實現“全球環(huán)境下不同企業(yè)之間可利用云計算服務無縫協同工作”的目標。3云計算關鍵技術云計算的目標是以低成本的方式提供高可靠、高可用、規(guī)?？缮炜s的個性化服務。為了達到這個目標，需要數據中心管理、虛擬化、海量數據處理、資源管理與調度、QoS保證、安全與隱私保護等若干關鍵技術加以支持。本節(jié)詳細介紹核心服務層與服務管理層涉及的關鍵技術和典型應用，并從IaaS,PaaS、SaaS3個方面依次對核心服務層進行分析。3.1IaaSIaaS層是云計算的基礎。通過建立大規(guī)模數據中心，IaaS層為上層云計算服務提供海量硬件資源。同時，在虛擬化技術的支持下，IaaS層可以實現硬件資源的按需配置，并提供個性化的基礎設施服務。基于以上兩點，I