最有價(jià)值的云計(jì)算資料

1、云計(jì)算云計(jì)算概要n背景n云體系結(jié)構(gòu)云體系結(jié)構(gòu)n云計(jì)算云計(jì)算n云存儲(chǔ)云存儲(chǔ)n云傳輸云傳輸n討論討論阿喀琉斯之踵n古希臘神話中的阿喀琉斯是海神之子，荷馬史詩(shī)中的英雄，傳說(shuō)他的母親曾把他浸在冥河里使其能刀槍不入。但因冥河水流 湍急，母親捏著他的腳后跟不敢松手，所以其腳踵是最脆弱的地方。n在特洛伊戰(zhàn)爭(zhēng)中，阿喀琉斯殺死了特洛伊王子赫克托耳，因而惹怒了赫克托耳的保護(hù)神阿波羅，于是太陽(yáng)神用毒箭射中了阿喀琉斯的腳踵，送了這位勇士的命。 數(shù)據(jù)量n數(shù)據(jù)爆炸性增漲(2006,161 EB;2011,1800 EB;年增長(zhǎng)率達(dá)到60%. IDC報(bào)告)。n數(shù)據(jù)中的絕大部分將存儲(chǔ)在世界各地的大型數(shù)據(jù)中心。GB-TB-PB

2、-EBn2005年,美國(guó)新建立的數(shù)據(jù)中心需要消耗的能量=加利福尼亞州所消耗能量的10%（大約5GW），約40億美金。n英國(guó)的1500個(gè)數(shù)據(jù)中心每年消耗的能量和英國(guó)第十大城市萊卡斯特所需要的能量相當(dāng)。n2010年，英國(guó)單個(gè)數(shù)據(jù)中心每年在能量上的花費(fèi)達(dá)到大約740萬(wàn)英鎊。n計(jì)算機(jī)集群系統(tǒng)由于采用商用化部件，其能耗問(wèn)題更為突出。 IT基礎(chǔ)設(shè)施能耗熱密度熱密度Google數(shù)據(jù)中心nGoogle數(shù)據(jù)中心以集裝箱為單位，每個(gè)集裝箱有1160臺(tái)服務(wù)器，每個(gè)數(shù)據(jù) 中心有眾多集裝箱。nGoogle一次搜索查詢(xún)的能耗能點(diǎn)亮100瓦的燈泡11秒鐘。比利時(shí)的圣吉蘭（Saint Ghislain）數(shù)據(jù)中心完全依靠數(shù)據(jù)中

3、心外面的空氣來(lái)冷卻系統(tǒng)。Dalles數(shù)據(jù)中心位于俄勒岡州的哥倫比亞河旁，河上的Dalles大壩為數(shù)據(jù)中心提供電力。數(shù)據(jù)中心有2座4層樓高的冷卻塔。nWhat matters most to the computer designers at Google is not speed but power low power, because data centers can consume as much electricity as a city. -Eric Schmidt, CEO, GoogleMicrosoft數(shù)據(jù)中心美國(guó)華盛頓州Grand Coulee水壩是世界第三大混合電力水壩，供電

4、量是650萬(wàn)千瓦。Microsoft在水壩邊上建一個(gè)有10個(gè)沃爾瑪商店那么大的數(shù)據(jù)中心。微軟在美國(guó)芝加哥的數(shù)據(jù)中心.總面積為70萬(wàn)平方英尺。即使只啟用半數(shù)服務(wù)器,能耗也達(dá)到30兆瓦。機(jī)遇n大部分企業(yè)IT基礎(chǔ)設(shè)施的利用率只有35%. 還有許多企業(yè)的IT資源利用率不到15%（IDC報(bào)告）.nGoogle的數(shù)據(jù)表明其絕大部分服務(wù)器的利用率在10%到50%之間。nWhy? ? 突發(fā)性的數(shù)據(jù)訪問(wèn)行為 。推動(dòng)力n摩爾定律。商用化的組件組成的電腦其性能已足以支持多個(gè)操作系統(tǒng)的并行運(yùn)行。n虛擬機(jī)技術(shù)的復(fù)蘇（出現(xiàn)在上世紀(jì)70年代，并主要用在IBM 360的大型機(jī)中）n利用商用化的計(jì)算機(jī)組件來(lái)構(gòu)造云環(huán)境n利用虛擬

5、機(jī)技術(shù)來(lái)實(shí)現(xiàn)計(jì)算資源的按需分配。殺手級(jí)的應(yīng)用n任何一項(xiàng)新技術(shù)或者新的服務(wù)模式的成功，往往是因?yàn)槠涑霈F(xiàn)在恰當(dāng)?shù)臅r(shí)間，并且有合適的外因和內(nèi)因來(lái)推動(dòng)。n殺手級(jí)的應(yīng)用（WWW互聯(lián)網(wǎng)）。n云計(jì)算之歷史淵源：n元計(jì)算（Metacomputing）、普適計(jì)算（pervasive computing）、n按需計(jì)算（On demand computing）、效用計(jì)算（Utility computing）、n自主計(jì)算（Autonomic computing）、網(wǎng)格計(jì)算（Grid computing）等等。 什么是云計(jì)算n一種新的服務(wù)模式。按服務(wù)類(lèi)型大致可分：n將基礎(chǔ)設(shè)施作為服務(wù)（Infrastructure as

6、 a Service, IaaS）、n將平臺(tái)作為服務(wù)（Platform as a service, PaaS）n將軟件作為服務(wù)（Software as a service, SaaS）。 服務(wù)模式n根據(jù)實(shí)際需要通過(guò)定制或租用的方式使用基于Web的軟件來(lái)完成所需的工作。n將應(yīng)用和計(jì)算機(jī)資源包括硬件和系統(tǒng)軟件包裝成服務(wù)，通過(guò)按需付費(fèi)（pay-as-you-go）的方式，穿越Internet來(lái)滿(mǎn)足用戶(hù)各種不同的需求。n用戶(hù)可以不再需要購(gòu)買(mǎi)昂貴的計(jì)算機(jī)系統(tǒng)，不再因?yàn)樾枰虝r(shí)間使用某個(gè)軟件而不得不購(gòu)買(mǎi)該軟件的使用版權(quán)。n云計(jì)算通過(guò)虛擬化技術(shù)，通過(guò)資源整合，實(shí)現(xiàn)按需資源分配。提高資源利用率，同時(shí)降低用戶(hù)的

7、設(shè)備投入和使用成本。 云體系結(jié)構(gòu)云體系結(jié)構(gòu)n一條雙向可無(wú)限延長(zhǎng)的、被分成一個(gè)個(gè)方格的磁帶, 格里寫(xiě)有符號(hào)n一個(gè)有限狀態(tài)控制器n一個(gè)讀寫(xiě)磁頭圖靈機(jī)圖靈機(jī)這個(gè)裝置就是根據(jù)程序的命令以及它的內(nèi)部狀態(tài)進(jìn)行磁帶的讀寫(xiě)、移動(dòng)。 圖靈機(jī)的動(dòng)作由五元組確定：圖靈機(jī)的動(dòng)作由五元組確定：其中，其中，q和和q為控制器的當(dāng)前狀態(tài)和下一狀態(tài)；為控制器的當(dāng)前狀態(tài)和下一狀態(tài)；b和和a為方格中的原有符號(hào)為方格中的原有符號(hào)和修改后的符號(hào)，和修改后的符號(hào)，m指示磁頭移動(dòng)方向，或左或右或停。指示磁頭移動(dòng)方向，或左或右或停。由狀態(tài)和符號(hào)確定的工作過(guò)程稱(chēng)圖靈機(jī)程序。由狀態(tài)和符號(hào)確定的工作過(guò)程稱(chēng)圖靈機(jī)程序。圖靈論題：圖靈論題：凡是可計(jì)算

8、的函數(shù)都可以用圖靈機(jī)計(jì)算。凡是可計(jì)算的函數(shù)都可以用圖靈機(jī)計(jì)算。馮馮諾伊曼架構(gòu)諾伊曼架構(gòu)l計(jì)算機(jī)由控制器、運(yùn)算器、存儲(chǔ)器、輸入設(shè)備和輸出設(shè)備五大部分組成。l基本原理：存儲(chǔ)程序（stored program）并按地址順序執(zhí)行。l控制器按照程序順序，逐條把指令和數(shù)據(jù)從存儲(chǔ)器中取出并加以執(zhí)行，自動(dòng)完成由程序所描述的處理工作。l以計(jì)算為中心云環(huán)境架構(gòu)服務(wù)器存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)虛擬化技術(shù)應(yīng)用/計(jì)算傳輸數(shù)據(jù)云環(huán)境架構(gòu)與用戶(hù)視圖n云架構(gòu)的特點(diǎn)：將地理上分布、大規(guī)模、異構(gòu)的資源進(jìn)行虛擬化，并能夠?qū)τ脩?hù)提供按需服務(wù)。n云的成功在很大程度上決定于云的規(guī)模效應(yīng)。n同時(shí)，云環(huán)境下非常重要的問(wèn)題之一就是如何合適地安

9、排計(jì)算、存儲(chǔ)和傳輸，使得其規(guī)模和性能能夠同步擴(kuò)展。 云計(jì)算:虛擬機(jī)n虛擬機(jī)通過(guò)軟件來(lái)模擬具有完整硬件系統(tǒng)功能的、運(yùn)行在一個(gè)完全隔離環(huán)境中的完整計(jì)算機(jī)系統(tǒng)。n優(yōu)點(diǎn)：n提高資源的利用率。多個(gè)操作系統(tǒng)可以同時(shí)存在和運(yùn)行于同一個(gè)物理平臺(tái)上（在單個(gè)服務(wù)器上有可能同時(shí)運(yùn)行數(shù)百個(gè)虛擬機(jī)器）。n有效隔離操作系統(tǒng)和資源。虛擬機(jī)中的操作系統(tǒng)崩潰后恢復(fù)比較容易，并不會(huì)對(duì)同一個(gè)物理平臺(tái)上的其它操作系統(tǒng)造成影響，而且比較容易實(shí)現(xiàn)操作系統(tǒng)的數(shù)據(jù)重放和回滾。 一個(gè)典型的虛擬機(jī)環(huán)境虛擬機(jī)技術(shù)的問(wèn)題n虛擬機(jī)技術(shù)最初使用在IBM 360的大型機(jī)中。大型機(jī)中往往采用專(zhuān)門(mén)的通道來(lái)來(lái)保證外部設(shè)備的訪問(wèn)和性能。n將該技術(shù)移植到基于商用組

10、件的X86環(huán)境下，由于缺乏專(zhuān)用的通道和通道處理機(jī)來(lái)應(yīng)對(duì)I/O訪問(wèn)，虛擬機(jī)環(huán)境下的I/O問(wèn)題已經(jīng)成為當(dāng)前虛擬機(jī)系統(tǒng)中面臨的最大問(wèn)題。n虛擬機(jī)環(huán)境下：第二個(gè)域的應(yīng)用通過(guò)系統(tǒng)調(diào)用產(chǎn)生異步I/O，進(jìn)入管理程序（Hypervisor），該管理程序?qū)⒃揑/O操作轉(zhuǎn)給第零個(gè)域，然后返回到第二個(gè)域的操作系統(tǒng)（異步I/O）和上層應(yīng)用程序。此時(shí)第零個(gè)域的操作系統(tǒng)將進(jìn)行實(shí)際的I/O操作。待I/O完成后，會(huì)產(chǎn)生一個(gè)虛擬中斷給第零個(gè)域的操作系統(tǒng)，該操作系統(tǒng)給虛擬化軟件發(fā)出相應(yīng)的虛擬中斷。待虛擬化軟件完成I/O后，會(huì)給第零個(gè)域的操作系統(tǒng)返回一個(gè)系統(tǒng)調(diào)用來(lái)喚醒第二個(gè)域的操作系統(tǒng)，然后虛擬機(jī)管理程序?qū)/O完成的中斷交給第二

11、個(gè)域的操作系統(tǒng)，最后將I/O操作產(chǎn)生的數(shù)據(jù)交給第二個(gè)域中的應(yīng)用程序。傳統(tǒng)的計(jì)算機(jī)系統(tǒng)中：應(yīng)用程序通過(guò)系統(tǒng)調(diào)用產(chǎn)生異步I/O操作后直接返回。待I/O操作完成后會(huì)產(chǎn)生中斷給操作系統(tǒng)，并將I/O操作產(chǎn)生的數(shù)據(jù)交給應(yīng)用程序。云存儲(chǔ):磁盤(pán)驅(qū)動(dòng)器磁盤(pán)是一種機(jī)電混合設(shè)備。在過(guò)去的十多年中，磁盤(pán)的區(qū)域密度、軌密度和線密度分別獲得了100%, 50% 和 30% 的增長(zhǎng)。磁記錄技術(shù)存儲(chǔ)的角色演變n數(shù)據(jù)的增漲導(dǎo)致了以“計(jì)算”為中心到以“數(shù)據(jù)存儲(chǔ)”為中心的的觀念革新。n存儲(chǔ)領(lǐng)域的兩個(gè)重要轉(zhuǎn)折點(diǎn)：n并行存儲(chǔ)。比如磁盤(pán)陣列技術(shù)（RAID）。n網(wǎng)絡(luò)存儲(chǔ)。NAS,SAN 新型存儲(chǔ)體系結(jié)構(gòu)n將網(wǎng)絡(luò)引入存儲(chǔ)系統(tǒng)，改變主機(jī)與外部

12、存儲(chǔ)節(jié)點(diǎn)間的連接模式，產(chǎn)生了若干新型存儲(chǔ)體系結(jié)構(gòu)：n直接聯(lián)網(wǎng)存儲(chǔ)（ Direct attached storage , DAS ）n附網(wǎng)存儲(chǔ)（network attached storage , NAS）n存儲(chǔ)區(qū)域網(wǎng)(storage area network , SAN)。n存儲(chǔ)系統(tǒng)必須要從少數(shù)的存儲(chǔ)引擎向連在網(wǎng)絡(luò)上的成千上萬(wàn)的商用化存儲(chǔ)設(shè)備進(jìn)行轉(zhuǎn)變。三種典型的存儲(chǔ)系統(tǒng)附網(wǎng)存儲(chǔ)附網(wǎng)存儲(chǔ)存儲(chǔ)區(qū)域網(wǎng)存儲(chǔ)區(qū)域網(wǎng)直連存儲(chǔ)直連存儲(chǔ)存儲(chǔ)需求科學(xué)計(jì)算科學(xué)計(jì)算航空航空航天航天生物醫(yī)學(xué)生物醫(yī)學(xué)石油勘探石油勘探 n在過(guò)去的十多年中集群網(wǎng)絡(luò)的重要進(jìn)展之一是可以將成千上萬(wàn)的節(jié)點(diǎn)連起來(lái)，同時(shí)保證高可擴(kuò)展性和相對(duì)較低的通

13、訊開(kāi)銷(xiāo)。n采用商用化的技術(shù)來(lái)構(gòu)造可擴(kuò)展的集群是云存儲(chǔ)的基本組件。n搭積木的形式來(lái)聚合存儲(chǔ)組件。云存儲(chǔ)理想架構(gòu)挑戰(zhàn)1：名字空間n存儲(chǔ)器空間的組織和分配，數(shù)據(jù)的存儲(chǔ)、保護(hù)和檢索都依賴(lài)于文件系統(tǒng)。n文件系統(tǒng)由文件和目錄構(gòu)成文件系統(tǒng)的樹(shù)形層次化結(jié)構(gòu)。包括集群文件系統(tǒng)。n當(dāng)數(shù)據(jù)的訪問(wèn)從樹(shù)根走向樹(shù)葉的時(shí)候，訪問(wèn)的延遲會(huì)響應(yīng)的增加。如果不知道文件保存位置，必須遍歷整個(gè)目錄。n還有兩個(gè)重要的因素導(dǎo)致樹(shù)形架構(gòu)不適合于云存儲(chǔ)環(huán)境：n（1）樹(shù)根本身就是一個(gè)單一失效點(diǎn)，而且很容易形成系統(tǒng)的瓶頸。n（2）樹(shù)形架構(gòu)很難在Internet上擴(kuò)展到地理上分布的規(guī)模。n云存儲(chǔ)只有采用非集中式的名字空間來(lái)避免潛在的性能瓶頸和單點(diǎn)

14、失效。挑戰(zhàn)2：元數(shù)據(jù)n元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，主要用來(lái)反映地址信息和控制信息，通常包括文件名、文件大小、時(shí)間戳、文件屬性等等。n在文件系統(tǒng)的操作中，超過(guò)50%的操作是針對(duì)元數(shù)據(jù)的. 另有研究指出，使用NFS 3.0時(shí)，其客戶(hù)端和服務(wù)器端交互的信息中65%的信息是和元數(shù)據(jù)相關(guān)的。n元數(shù)據(jù)是小的隨機(jī)請(qǐng)求。n和存儲(chǔ)容量的增長(zhǎng)不同，機(jī)械組件所帶來(lái)的延遲，磁盤(pán)的平均訪問(wèn)時(shí)間每年的降低不足8%。n小的隨機(jī)請(qǐng)求,尋道時(shí)間是磁盤(pán)訪問(wèn)延遲中最組要的部分。這是由于磁頭的穩(wěn)定時(shí)間主導(dǎo)著磁盤(pán)的尋道時(shí)間，而且磁頭的穩(wěn)定時(shí)間數(shù)年來(lái)基本上沒(méi)有太大的變化。n因此，對(duì)于大規(guī)模系統(tǒng)來(lái)講，元數(shù)據(jù)的訪問(wèn)往往成為制約整個(gè)系統(tǒng)性能的瓶頸

15、。云傳輸：廣域網(wǎng)性能云傳輸：廣域網(wǎng)性能nNielsen 法則：終端用戶(hù)的網(wǎng)絡(luò)帶寬以每年50%的速度增長(zhǎng)。n廣域網(wǎng)：n一條T1線路的帶寬只相當(dāng)于千兆網(wǎng)的千分之一，許多幀中繼線路的帶寬只有256Kbits/秒。nGarfinkel 通過(guò)測(cè)量發(fā)現(xiàn)從美國(guó)伯克利大學(xué)到西雅圖的平均網(wǎng)絡(luò)寫(xiě)帶寬大約是5 to 18 Mbits/秒。n我們的測(cè)量數(shù)據(jù)：在格林尼治標(biāo)準(zhǔn)時(shí)間下午7點(diǎn)到10點(diǎn)，從英國(guó)劍橋大學(xué)到中國(guó)北京的平均網(wǎng)絡(luò)帶寬大約是1.8 Mbits每秒。n由于廣域網(wǎng)物理距離的原因，不可避免的時(shí)延也會(huì)對(duì)帶寬造成影響。例如，一個(gè)T3鏈路（44.736 Mbits/秒），當(dāng)時(shí)延超過(guò)40ms時(shí)，其帶寬很快就下降到與T1

16、鏈路（1.544 Mbits/秒）相當(dāng)。簡(jiǎn)單計(jì)算n基于以上的測(cè)試數(shù)據(jù)，如果假設(shè)網(wǎng)絡(luò)帶寬為20 Mbits/秒，從美國(guó)伯克利大學(xué)傳輸10TB數(shù)據(jù)到西雅圖需要45天的時(shí)間n如果通過(guò)亞馬遜（S3）來(lái)進(jìn)行該數(shù)據(jù)傳輸，需要另外向亞馬遜支付1000美金的網(wǎng)絡(luò)傳輸費(fèi)用。云傳輸可能的解決方案n云環(huán)境必須是地理上分布的，因?yàn)樵频某晒υ诤艽蟪潭壬蠜Q定于其規(guī)模效應(yīng)。n計(jì)算和存儲(chǔ)相對(duì)便宜，然而，由于廣域網(wǎng)環(huán)境下的低帶寬、高延遲和較高的丟包率，使得廣域網(wǎng)成為云環(huán)境下那塊最短的木板。n圖靈獎(jiǎng)獲得者Jim Gray 在2006年就指出在廣域網(wǎng)上處理大數(shù)據(jù)集時(shí)，應(yīng)該將程序傳給數(shù)據(jù)，而不是將數(shù)據(jù)傳給程序。n另外，通過(guò)數(shù)據(jù)壓縮、

17、數(shù)據(jù)的去重等方法來(lái)減少網(wǎng)域網(wǎng)上的數(shù)據(jù)傳輸流量，降低對(duì)網(wǎng)絡(luò)帶寬的需求。采用動(dòng)態(tài)緩存、IP流量管理以及QoS等方法來(lái)降低廣域網(wǎng)的延遲。n但是，這些方法只能在一定程度上來(lái)緩解網(wǎng)絡(luò)瓶頸問(wèn)題，不能從根本上解決問(wèn)題。因此，在設(shè)計(jì)云架構(gòu)時(shí)，必須要考慮廣域網(wǎng)的帶寬、延遲和包丟失率所帶來(lái)的影響。云環(huán)境下的傳輸協(xié)議n目前廣泛使用的TCP/IP協(xié)議是在實(shí)驗(yàn)室低速網(wǎng)絡(luò)環(huán)境下誕生的，在設(shè)計(jì)初期只是為了保證數(shù)據(jù)在鏈路上的可靠傳輸。因此，它并不是為廣域網(wǎng)而設(shè)計(jì)的網(wǎng)絡(luò)傳輸協(xié)議。nTCP/IP協(xié)議的滑動(dòng)窗口，重傳和恢復(fù)等機(jī)制使得廣域網(wǎng)的傳輸效率急劇下降。nTCP的窗口尺寸、慢啟動(dòng)等機(jī)制也無(wú)法充分利用已有的網(wǎng)絡(luò)帶寬。n我們需要重新審視在大規(guī)模數(shù)據(jù)傳輸?shù)那闆r下廣域網(wǎng)的性能優(yōu)化相關(guān)的