專題18 云計算簡介課件

1、云計算簡介 -XXX1、什么是云計算？云計算（Cloud Computing ）：是分布式處理(Distributed Computing)、并行處 理(Parallel Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展，或者說是這些計算 機科學(xué)概念的商業(yè)實現(xiàn)。是指基于互聯(lián)網(wǎng)的超級計算模式-即把存儲于個人電腦、 移動電話和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大 規(guī)模上可擴展的信息技術(shù)能力向外部客戶作為服務(wù)來提供的一種計算方式。2、云計算的發(fā)展歷程1959年6月，Christopher Strachey發(fā)表虛擬化論文，虛擬化是今天云計算基礎(chǔ)架構(gòu)的基石。1

2、984年，Sun公司的聯(lián)合創(chuàng)始人John Gage說出了“網(wǎng)絡(luò)就是計算機”的名言，用于描述分布式計算技術(shù)帶來的新世界，今天的云計算正在將這一理念變成現(xiàn)實。1996年，網(wǎng)格計算Globus開源網(wǎng)格平臺起步。1998年，VMware(威睿公司)成立并首次引入X86的虛擬技術(shù)。1999年，Marc Andreessen創(chuàng)建LoudCloud，是第一個商業(yè)化的IaaS平臺。2000年，SaaS興起。2004年，Google發(fā)布MapReduce論文。Hadoop就是Google集群系統(tǒng)的一個開源項目總稱，主要由HDFS、MapReduce和Hbase組成，其中HDFS是Google File Syst

3、em(GFS)的開源實現(xiàn);MapReduce是Google MapReduce的開源實現(xiàn);HBase是Google BigTable的開源實現(xiàn)。2004年，Doug Cutting 和 Mike Cafarella實現(xiàn)了Hadoop分布式文件系統(tǒng)(HDFS)和Map-Reduce，Hadoop并成為了非常優(yōu)秀的分布式系統(tǒng)基礎(chǔ)架構(gòu)。2005年，Amazon宣布Amazon Web Services云計算平臺。2006年，Amazon相繼推出在線存儲服務(wù)S3和彈性計算云EC2等云服務(wù)。2006年，Sun推出基于云計算理論的“BlackBox”計劃。2008年4月，Google App Engine

4、發(fā)布。2008年5月，Sun在2008JavaOne開發(fā)者大會上宣布推出“Hydrazine”計劃。2008年9月 Google公司推出Google Chrome瀏覽器，將瀏覽器徹底融入云計算時代。2008年10月，微軟發(fā)布其公共云計算平臺Windows Azure Platform，由此拉開了微軟的云計算大幕。2010年1月，Microsoft正式發(fā)布Microsoft Azure云平臺服務(wù)。結(jié)合云計算應(yīng)用背景,我們可以得出云計算主要具有以下特征:(1)彈性配置:用戶可以根據(jù)上層應(yīng)用的用戶請求數(shù)量的實時變化彈性配置資源池,有效避免應(yīng)用空閑時段的資源浪費;(2)虛擬化資源池:云計算運營商利用虛

5、擬化技術(shù)實現(xiàn)對硬件資源的動態(tài)配置,提高資源部署的靈活性;(3)即付即用:用戶根據(jù)租用虛擬機的類型和使用量進行付費,并可以在任意時間啟動虛擬機鏡像;(4)泛在連接:云計算以網(wǎng)絡(luò)為載體向用戶提供服務(wù)。用戶可以使用任意客戶端隨時隨地獲取云服務(wù)。3、云計算的特征4、云計算的體系架構(gòu) 相對于網(wǎng)格計算，云計算在面對互聯(lián)網(wǎng)規(guī)模的問題時有著先天的優(yōu)勢?！霸啤蓖ǔ１幻枋鰹橐粋€擁有巨大計算能力和存儲能力的資源池，對外提供抽象的訪問接口，允許用戶通過標準協(xié)議進行存儲。云建立在虛擬化基礎(chǔ)之上，廣泛使用通用高端協(xié)議如 Web Service（WSDL，SOAP 等）或先進的 Web 2.0 技術(shù)（如 REST，RSS，

6、AJAX 等）等技術(shù)，通過這些協(xié)議或技術(shù)，將運行在云中的結(jié)果展現(xiàn)給用戶或用戶端應(yīng)用程序。而在云內(nèi)部，完全可以采用積淀十多年的網(wǎng)格計算技術(shù)以獲得標準化、安全防護、資源管理和虛擬化等方面的支持。 對云的架構(gòu)的定義也存在多個不同的版本，為了能夠與網(wǎng)格計算進行比較，在這里給出一個相對應(yīng)的層次結(jié)構(gòu)，分別是構(gòu)造層、統(tǒng)一資源層、平臺層和應(yīng)用層。云計算的平臺層次結(jié)構(gòu)如下圖 所示： 云計算平臺層次結(jié)構(gòu)圖6.1 計算模型 云計算的數(shù)據(jù)處理方式是同一時間內(nèi)，云中的所有資源可以被所有的用戶共享，獨占資源由隊列系統(tǒng)管理以避免形成死鎖。在運行的過程中，隨著用戶量的增加和計算規(guī)模的驟增，這種處理方式必然產(chǎn)生一定的延遲，在保

7、證良好的 QoS 的同時，這些延滯能否被用戶接受，將成為云計算在未來的發(fā)展過程中面臨的一大挑戰(zhàn)。 利用云計算的靈活性和易擴展性是解決資源緊張的有效方法，但資源的快速增加會造成浪費。利用網(wǎng)格的計算模型，針對任務(wù)目標進行分類處理，增加適當(dāng)?shù)馁Y源量，將可以解決云計算的延遲問題。6.2 數(shù)據(jù)模型 以數(shù)據(jù)為中心（Data Centric），是為了解決海量數(shù)據(jù)的獲取、存儲、管理和搜索的問題，并使數(shù)據(jù)變得越來越智能化、結(jié)構(gòu)化。沒有數(shù)據(jù)，計算將無意義可言，以數(shù)據(jù)為中心的計算，有別于以應(yīng)用為中心的計算，未來將以數(shù)據(jù)的分析和處理作為計算技術(shù)研究和體驗的核心，相關(guān)的研究領(lǐng)域則涵蓋了平臺技術(shù)探索、數(shù)據(jù)分割、數(shù)據(jù)挖掘、

8、互聯(lián)網(wǎng)數(shù)據(jù)搜索等方面。從應(yīng)用為中心到數(shù)據(jù)為中心的轉(zhuǎn)變決不只是技術(shù)思路的進化，它還標志著一個更加人性化、智能化的計算時代的開始，將來無論是工作，還是娛樂，這個時代的效率都將變得更高。采用云-端分布的存儲方式的優(yōu)勢是明顯的：（1）數(shù)據(jù)的分布存儲可以充分利用云和端多種形式的計算資源，確保數(shù)據(jù)元素的信息能夠被快速高效檢索。（2）云-端的分布存儲，充分利用數(shù)據(jù)定位的效能，盡量減少數(shù)據(jù)的移動量，最終提高應(yīng)用程序的性能和擴展性非常重要。面對大量的數(shù)據(jù)，先遷移數(shù)據(jù)然后再處理將有可能造成資源緊張，另外也會造成處理代價的提高。因此，可以通過任務(wù)調(diào)度直接在數(shù)據(jù)上進行處理來降低不必要的開銷。云計算使用虛擬化技術(shù)的原因

9、：（1）進行服務(wù)和應(yīng)用的整合，通過將多個應(yīng)用運行在同一個器上，提高資源利用率；（2）對各種應(yīng)用按資源需求完成相適應(yīng)的配置，比如有些應(yīng)用需要強大的計算能力，而有些應(yīng)用需要較大容量的存儲空間，要按這些需求靈活配置，假如通過硬件來實現(xiàn)幾乎是不可能的；（3）虛擬化可以使應(yīng)用從災(zāi)難中快速恢復(fù)，能夠使服務(wù)無中斷備份和遷移，最大程度提高應(yīng)用程序可用性；（4）資源配置、監(jiān)控、和維護可以自動化操作，公用資源也可以被緩存和重用，這將進一步提高資源的響應(yīng)能力。7、云計算的編程方式（1）MapReduce 分布式編程方法 MapReduce 是一種強大的分布式編程方法，這種方法也是一種函數(shù)語言模型，用于處理大規(guī)模數(shù)據(jù)

10、集，在這個方法中僅提供了兩種函數(shù)：Map 和 Reduce。 Map函數(shù)為每一個數(shù)據(jù)項目集提供一個專用的操作，并在處理完畢后返回一個新的數(shù)據(jù)項目集；Reduce 函數(shù)在一個數(shù)據(jù)項目集上執(zhí)行聚集操作。MapReduce 系統(tǒng)能夠在一套商業(yè)計算機上自動區(qū)分輸入數(shù)據(jù)和調(diào)度信息，它具有高度的容錯性，系統(tǒng)運行時能夠?qū)ぷ鞴?jié)點進行持續(xù)的錯誤檢測，當(dāng)遇到一個節(jié)點出錯時能夠迅速的將任務(wù)快速的轉(zhuǎn)移到其他節(jié)點上。根據(jù)用戶自身的具體應(yīng)用要求,自行定制專屬的map()函數(shù)和reduce()函數(shù)。對于輸入數(shù)據(jù)中的每個鍵值對,執(zhí)行map(k1,v1) 函數(shù),執(zhí)行結(jié)果或者為空,或者輸出中間結(jié)果鍵值對, 。把多個中間結(jié)果鍵值

11、對集合在一起,執(zhí)行函數(shù)reduce(k2,list(v2),list(v2)表示與同一k2值相對應(yīng)的所有v2值序列。reduce函數(shù)執(zhí)行結(jié)果或者為空,或者是結(jié)果鍵值對。（2）Dryad 和 DryadLINQ 方法 Dryad 和 DryadLINQ 模型是微軟硅谷研究院創(chuàng)建的研究項目，旨在提供一個分布式計算平臺。近年來基于這種方法的平臺已經(jīng)成功運行在微軟內(nèi)部，并成功構(gòu)建了微軟自有的云計算平臺 Azure。據(jù) Dryad 論文描述：Dryad 被設(shè)計為伸縮于各種規(guī)模的計算平臺上，從單臺多核計算機、或由幾臺計算機組成的小型集群，到擁有數(shù)千臺計算機的數(shù)據(jù)中心都可以運行。Dryad 執(zhí)行引擎負責(zé)處理

12、大型分布式、并行應(yīng)用程序中可能出現(xiàn)的各種問題，對計算機和它們的 CPU 進行調(diào)度，從通信或計算的失敗中恢復(fù)，以及控制數(shù)據(jù)在節(jié)點間的傳遞等。 DryadLINQ 的目標是提供一種高級語言接口，使普通程序員可以簡單的進行大規(guī)模的分布式計算，整合合了微軟 Dryad 和 LINQ 兩種關(guān)鍵技術(shù)。（4）虛擬計算平臺安全與云計算服務(wù)可信性 云計算服務(wù)可信性依賴于計算平臺的安全性。云計算平臺為屏蔽基礎(chǔ)設(shè)施的異構(gòu)性并要求可方便的擴展，嚴重依賴虛擬化技術(shù)對資源實現(xiàn)統(tǒng)一，此時云平臺的安全性對虛擬計算技術(shù)的安全性的依賴程度更大。因此，要提高云計算服務(wù)的可信性，必須解決虛擬化平臺軟件的安全問題，特別是虛擬機管理軟件

13、如 Hypervisor 等。（5）虛擬機與僵尸網(wǎng)絡(luò)僵尸網(wǎng)絡(luò)控制者可能利用云計算資源，將僵尸代碼以虛擬機文件發(fā)布的形式進行傳播，這些僵尸代碼虛隱蔽運行在受害用戶的計算機中，使用戶難以察覺。同時僵尸控制者還可能利用租用的虛擬機隱藏自己的真實身份，使對攻擊來源信息的跟蹤更加困難。（6）應(yīng)用虛擬映像與軟件安全管理與傳統(tǒng)的軟件發(fā)布模式不同的是，云服務(wù)提供商通常將應(yīng)用軟件預(yù)安裝，再同操作系統(tǒng)打包形成不同類型的虛擬機文件（VA,VirtualAppliance）發(fā)布給用戶。然后用戶即可以在 Hypervisor 的支持下，自行運行 VA，也可以租用云中的虛擬機來運行。這種對于用戶來說簡單的部署模式卻為安全維護帶來了隱患。目前的漏洞發(fā)現(xiàn)和補丁管理系統(tǒng)尚不支持對 VA 的有效管理。另外 VA 文件也比較大，如果使用傳統(tǒng)安全檢測的方式，從速度上就不可以接受。VA 在未運行時實際上是一臺包含了全部配置的虛擬機，如何測試 VA 配置的安全性也是軟件安全管理中的一個難題。雖然目前出現(xiàn)了許多云計算