非常好的Google云計算技術培訓

1、www.si-.Google云計算原理云計算原理研究院研究院 黃兵黃兵.2Reached Our GoalReached Our Goal 認識云計算（理解） 理解Google 云計算實現(xiàn)原理（難點） 可獨立在GAE上開發(fā)云服務應用 了解TMF？以及云未來的發(fā)展（了解）.3初識云計算1Google云計算原理2GAE平臺部署云服務3提 綱TM Forum 對云態(tài)度4.4We have a dream We have a dream 計算機的計算機的服務能力服務能力可以作為一種商品進行流通。可以作為一種商品進行流通。就像水、電、就像水、電、 氣一樣取之方便，費用低廉氣一樣取之方便，費用低廉.5云計

2、算定義云計算定義圖：云計算概念模型云計算云計算:是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠按需獲取計算力、存儲空間和 信 息 服 務 。.6云計算服務的部署形式云計算服務的部署形式IaaS基礎設施云基礎設施云(代表：亞馬遜的S3)SaaS 應用云應用云（代表：salesforce的CRM）PaaS 平臺云平臺云（代表：Google App Engine）私有云私有云(數(shù)據(jù)中心數(shù)據(jù)中心 內(nèi)部網(wǎng)內(nèi)部網(wǎng))公共云公共云(服務提供商服務提供商 互連網(wǎng)互連網(wǎng))混合云混合云( (公共和私有公共和私有) )X as a service.7Amazon Amazon 云計

3、算云計算1GB數(shù)據(jù)存放1個月為0.15美元每個服務器租用1小時為0.1美元Amazon的的IaaS云計算思路云計算思路彈性計算云EC2為企業(yè)提供計算服務簡單存儲服務S3為企業(yè)提供存儲服務Amazon的的IaaS運用實例運用實例.8亞馬遜IaaS應用案例：紐約時報使用使用亞馬遜云計算服務亞馬遜云計算服務效果：效果：在不到 24個小時的時間里處理了1100萬篇文章費用：費用：累計花費240美元利用自己服務器利用自己服務器時間：時間：數(shù)月時間費用：費用：多得多的費用 .9Google Google 云計算云計算Google的云計算思路的云計算思路“瀏覽器操作系統(tǒng)”.10隸屬隸屬PaaS的的Googl

4、e云計算云計算Google Google 云計算云計算PaaSPaaS屬于部署在云端云端的應用執(zhí)行環(huán)境支持Python和JavaJava兩種語言通過SDK調(diào)用Google的各種服務。如Google Map、Mail等用戶可快速、廉價（可免費使用限定的流量和存儲）地部署自己開發(fā)的應用（如創(chuàng)新的網(wǎng)站、游戲等）在下一章將具體介紹在下一章將具體介紹GAEGAE具體的應用具體的應用.11Google Google 云計算云計算SaaSSaaS隸屬隸屬SaaS的的Google云計算云計算提供在線“Word、Excel、PPT”提供在線MAP提供在線日歷管理.12Google云計算平臺技術架構云計算平臺技術

5、架構分布式文件系統(tǒng) Google Distributed 并行數(shù)據(jù)處理 MapReduce分布式鎖 Chubby結構化數(shù)據(jù)表 BigTableGoogleGoogle如何實現(xiàn)云？如何實現(xiàn)云？.13云計算概念入門云計算概念入門.14初識云計算1Google云計算原理2GAE平臺部署云服務3提 綱TM Forum 對云態(tài)度4.15GoogleGoogle云計算原理云計算原理1234.16.17Google設計設計GFS的動機的動機 Google需要支持需要支持海量數(shù)據(jù)存儲的文件系統(tǒng)的文件系統(tǒng)購置昂貴的分布式文件系統(tǒng)與硬件？是否可以在一堆廉價且不可靠的硬件上構建可靠的分布式文件系統(tǒng)？.18GFS的設

6、計思路的設計思路GFS設計原則：設計原則：機器失效不能視為異常現(xiàn)象異?，F(xiàn)象能應付對大型大型/ /超大型超大型文件處理支持大量用戶大量用戶同時訪問GFS組成組成GFS集群:一個的MasterMaster和多個ChunkServerChunkServer（塊服務器）組成，并可以多客戶端ClientClient訪問GFS設計要點設計要點每個文件拆成若干個64M64M文件塊文件塊Chunk組成每個Chunk都由Master根據(jù)其創(chuàng)建時間指定Chunk Handle(64)Chunk Handle(64)文件塊被保存在ChunkServer本地磁盤本地磁盤中缺省情況下3處熱備份備份C Chunk塊文件.

7、19GFS的設計思路的設計思路Client職責職責包含文件系統(tǒng)的APIAPI負責和ChunkServer和Master通信通信代表應用程序進行讀寫讀寫操作Client和Master進行元數(shù)據(jù)元數(shù)據(jù)操作Client和ChunkServer進行文件數(shù)據(jù)文件數(shù)據(jù)操作Master職責職責負責管理所有文件系統(tǒng)的元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)包括：命名空間，訪問控制信息，文件到Chunk的映射信息等ChunkServer職責職責負責存儲chunk文件塊Linux文件系統(tǒng).20GFS的系統(tǒng)架構的系統(tǒng)架構應用程序GFS客戶端GFS數(shù)據(jù)塊服務器Linux文件系統(tǒng)GFS主服務器文件命名空間Chunk 2EEE/foo/bar

8、GFS數(shù)據(jù)塊服務器Linux文件系統(tǒng)標注：數(shù)據(jù)信息控制信息文件名，chunk索引向數(shù)據(jù)塊服務器發(fā)指令返回數(shù)據(jù)塊服務器狀態(tài)Chunk句柄和位置Chunk句柄，查找數(shù)據(jù)返回數(shù)據(jù)信息.21Question文件為什么要被化分為文件為什么要被化分為64M？Answer：1、可以減少Client和Master的之間的交互，減少Master的負載2、客戶端可以在一個Chunk中完成許多操作3、可以減少TCP三次握手時間。另外這些信息都要被Master管理的缺點：缺點：有冗余.22GFS架構的特點架構的特點l 采用中心服務器模式采用中心服務器模式Master可以方便地增加Chunk ServerMaster掌

9、握系統(tǒng)內(nèi)所有Chunk Server的情況，方便進行負載均衡不存在元數(shù)據(jù)的一致性問題l 不緩存數(shù)據(jù)不緩存數(shù)據(jù)必要性：Client流式讀取，非重復讀寫可行性：Master本身管理多個Server，很復雜.23GFS容錯機制容錯機制l Chunk Server容錯容錯每個Chunk有多個存儲副本（默認是默認是3 3個個），分別存儲于不通的服務器上每個Chunk又劃分為若干Block（64KB），每個Block對應一個32bit32bit的校驗碼的校驗碼，保證數(shù)據(jù)正確（若某個Block錯誤，則轉(zhuǎn)移至其他Chunk副本）lMaster容錯容錯三類元數(shù)據(jù)：命名空間（目錄結構）、Chunk與文件名的映射以

10、及Chunk副本的位置信息前兩類通過日志日志提供容錯，Chunk副本信息存儲于其它存儲于其它Chunk Server。這樣Master出現(xiàn)故障時可恢復.24GFS實驗效果圖實驗效果圖ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Master.25GoogleGoogle云計算原理云計算原理1234.26并行計算基礎并行計算基礎l 摩爾定律正在走向終結摩爾定律正在走向終結單芯片容納晶體管的增加，對制造工藝提出要求CPU制造18nm18nm技術，電子泄漏問題CPU主頻已達3GHz3G

11、Hz時代，難以繼續(xù)提高散熱問題（發(fā)熱太大，且難以驅(qū)散）功耗太高未來的發(fā)展：多核未來的發(fā)展：多核.27什么樣的問題適合并行計算？什么樣的問題適合并行計算？l 斐波那契序列斐波那契序列(Fibonacci) Xl 計算計算URL訪問頻率訪問頻率 YMap函數(shù)處理日志中web頁面請求的記錄，然后輸出(URL,1)。Reduce函數(shù)把相同URL的value值都累加起來，產(chǎn)生(URL,記錄總數(shù))結果。.28GoogleGoogle為什么需要為什么需要MapReduceMapReduce？l Google擁有海量數(shù)據(jù)，并且需要快速處理擁有海量數(shù)據(jù)，并且需要快速處理l 什么是什么是MapReduce？Goo

12、gle MapReduce架構設計師Jeffrey DeanJeffery Dean設計一個新的抽象模型抽象模型， 使我們只要執(zhí)行的簡單計算簡單計算，而將并行化、容錯、數(shù)據(jù)分布、負載均衡的等雜亂細節(jié)放在一個庫里，使并行編程時不必關心它們這就是MapReduce.29Google Google 并行運算編程模型并行運算編程模型MapMapMap 原始數(shù)據(jù)原始數(shù)據(jù) 1原始數(shù)據(jù)原始數(shù)據(jù) 2原始數(shù)據(jù)原始數(shù)據(jù) MReduceReduce結果結果 1結果結果R1、在編程的時候，開發(fā)者需、在編程的時候，開發(fā)者需要編寫兩個函數(shù)：要編寫兩個函數(shù)：Map:(in_key, in_value)Reduce:(key

13、,value 1,value 2)2、Map操作產(chǎn)生結果是操作產(chǎn)生結果是對對3、在、在Map，Reduce之間系之間系統(tǒng)把同一統(tǒng)把同一Key歸類到歸類到Reduce3、Reduce操作對相同的操作對相同的Key進行歸類處理進行歸類處理.30MapReduceMapReduce實現(xiàn)機制實現(xiàn)機制用戶程序(1)分割(1)分割(1)分割Master工作機M工作機M工作機M工作機R工作機R(2)指派Map(2)指派Reduce片段1片段4片段3片段2輸入文件輸入文件(3)Read(4)本地存儲輸出文件0輸出文件1Map狀態(tài)狀態(tài)本地存儲本地存儲Reduce狀態(tài)狀態(tài)輸出文件輸出文件(5)遠程讀取(6)寫入文

14、件.31單詞計數(shù) 體現(xiàn)M/R算法Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 輸入數(shù)據(jù)：輸入數(shù)據(jù)：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value) for( each world world in value)collect(world,1);Reduce(Key,Value ) int count = 0; for(each w in value)count +; collect(Key,count);1).32Hello Wo

15、rld Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP.334)Map輸出輸出FoldFold輸出輸出.34Fold輸出輸出5)Reduce輸出輸出Reduce.35MapReduceMapReduce容錯機制容錯機制l 背

16、景背景MapReduce設計初衷：由普通PC組成的集群來處理超大規(guī)模的超大規(guī)模的數(shù)據(jù)數(shù)據(jù)，所以有效的錯誤保障機制是必不可少lWorker容錯容錯Master周期性周期性的ping每個workerlMaster容錯容錯Master周期性的將Master的數(shù)據(jù)結構數(shù)據(jù)結構的寫入磁盤寫入磁盤，即檢查點（checkpoint）Master數(shù)據(jù)結構包括: Map和Reduce任務的狀態(tài)（空閑、工作中或完成)，以及Worker機器(非空閑任務的機器)的標識。.36GoogleGoogle云計算原理云計算原理1234.37初識云計算1Google云計算原理2GAE平臺部署云服務3提 綱TM Forum 對云

17、態(tài)度4.38GAEGAE部署云應用部署云應用.39初識云計算1Google云計算原理2GAE平臺部署云服務3提 綱TM Forum 對云態(tài)度4.40TMF See Sunny Future In Tele Management World AmericanTMFTMF簡介簡介1、電信管理論壇、電信管理論壇 ,非盈利聯(lián)盟組織非盈利聯(lián)盟組織2、會員遍布全球、會員遍布全球195個國家，個國家，700+會會員公司員公司3、我們公司也是會員，享受會員權利、我們公司也是會員，享受會員權利4、業(yè)界廣泛使用的、業(yè)界廣泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技術最新框架技術.41結束語結束語云

18、計算的出現(xiàn)并快速發(fā)展，一方面是虛擬化技術虛擬化技術、分布式計算分布式計算等技術發(fā)展的結果， 另一方面也是互聯(lián)網(wǎng)應用應用不斷豐富趨勢的體現(xiàn)。目前，雖然有Amazon、Google、IBM、Microsoft等在推，但云計算還沒有一個統(tǒng)一的標準。云計算平臺已經(jīng)為很多用戶所使用， 但是云計算在行業(yè)標準、數(shù)據(jù)安全、服務質(zhì)量、應用軟件等方面也面臨著各種問題，這些問題的解決需要技術的進一步發(fā)展?，F(xiàn)有的研究大多集中于云體系結構、云存儲、云數(shù)據(jù)管理、虛擬化、云安全、編程模型等技術www.si-.Google云計算技術.主要內(nèi)容Google的“云”在哪里？Google云計算應用場景Google云計算的技術框架G

19、oogle云計算的關鍵技術.Google的“云”在哪里？云計算是一個新概念于07年第3季度被提出，是并行計算、分布式計算和網(wǎng)格計算等技術的混合演進，經(jīng)過商業(yè)包裝的概念 為分布式存儲和分布式計算找到了盈利模式提出以來發(fā)展迅速，Google、Amazon、Microsoft等公司都提出了自己的云計算方案為什么Google需要“云”？系統(tǒng)規(guī)模對系統(tǒng)設計的重要性Google提供的服務：海量信息海量用戶，如何又好又快地提供服務？.Google的“云”在哪里？Google的“云”無所不在Google Earth、GmailGoogle Docs，Google Wave云計算技術是Google大部分應用的基

20、礎設施沒有“云計算”，就沒有Google的創(chuàng)新服務.Google云計算應用場景Google的云計算夢想應用向互聯(lián)網(wǎng)遷移數(shù)據(jù)向互聯(lián)網(wǎng)遷移計算能力向互聯(lián)網(wǎng)遷移存儲空間向互聯(lián)網(wǎng)遷移“瀏覽器操作系統(tǒng)”Google Chrome.Google云計算應用場景Google云計算應用的分類總體上，云計算可以分為IaaS、PaaS和SaaS三種類型.Google云計算應用場景Google云計算應用的分類目前，Google云計算應用可以歸于SaaS和PaaS兩類.Google云計算應用場景Google DocsGoogle在線文檔創(chuàng)建在線的Word和Excel，支持主要的文檔編輯功能.Google云計算應用場景G

21、oogle DocsGoogle在線文檔在線創(chuàng)建演示文檔（PPT），并支持在線演示.Google云計算應用場景Google DocsGoogle在線文檔支持實時協(xié)作（多人同時編輯）使用豐富的在線模板，快速構建文檔支持移動設備訪問和編輯與其他產(chǎn)品集成，如Gmail等.Google云計算應用場景Google MapsGoogle提供的電子地圖服務.Google云計算應用場景Google MapsGoogle提供的電子地圖服務提供全球詳盡的矢量電子地圖不僅僅是地圖 街景 地形 交通流量 衛(wèi)星圖片不僅僅是地圖 商業(yè)信息 導航支持移動設備訪問，對外提供服務.Google云計算應用場景GmailGoogl

22、e提供的電子郵件服務超大附件、海量存儲空間.Google云計算應用場景Google CalendarGoogle提供的日程安排工具.Google云計算應用場景Google WaveGoogle的信息分享、協(xié)作、發(fā)布平臺一個創(chuàng)新和整合的平臺整合了Gmail、即時通訊、文字處理、在線協(xié)作（游戲）等功能.Google云計算應用場景App Engine隸屬于PaaS的Google云計算屬于部署在云端的應用執(zhí)行環(huán)境支持Python和Java兩種語言通過SDK提供Google的各種服務，如圖形、MAIL和數(shù)據(jù)存儲等用戶可快速、廉價（可免費使用限定的流量和存儲）地部署自己開發(fā)的應用（如創(chuàng)新的網(wǎng)站、游戲等）.

23、Google云計算應用場景上述應用的特點應用（功能實現(xiàn)）在云端存儲在云端計算在云端.Google云計算的技術架構Google的云計算應用均依賴于四個基礎組件文件存儲，Google ，GFS并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結構化數(shù)據(jù)表BigTable.Google云計算關鍵技術GFSGoogle文件系統(tǒng)的假設與目標硬件出錯是正常而非異常 系統(tǒng)應當由大量廉價、易損的硬件組成 必須保持文件系統(tǒng)整體的可靠性主要負載是流數(shù)據(jù)讀寫 主要用于程序處理批量數(shù)據(jù)，而非與用戶的交互或隨機讀寫 數(shù)據(jù)寫主要是“追加寫”，“插入寫”非常少需要存儲大尺寸的文件 存儲的文件尺寸可能是GB或TB量級，而且應

24、當能支持存儲成千上萬的大尺寸文件.Google云計算關鍵技術GFSGFS的架構 如何存儲大文件？ 節(jié)點分為Client、Master和Chunk Server三類.Google云計算關鍵技術GFSGFS的架構Master：管理節(jié)點，邏輯上唯一（物理上多個），保存系統(tǒng)元數(shù)據(jù)，負責整個文件系統(tǒng)的管理，是GFS的“大腦”.Google云計算關鍵技術GFSGFS的架構Chunk Server：負責具體的存儲工作 GFS可以包含多個Chunk Server，其數(shù)目決定了GFS的存儲規(guī)模 GFS將文件分塊存儲，塊大小默認為64M，每隔塊均具有唯一索引號（index）.Google云計算關鍵技術GFSGFS

25、的架構GFS的訪問流程.Google云計算關鍵技術GFSGFS的架構訪問流程實現(xiàn)了控制流和信息流的分離 Client與Master僅有控制流，使Master不成為瓶頸 Client與Chunk Server直接存儲數(shù)據(jù)，實現(xiàn)高速的數(shù)據(jù)并發(fā)讀取.Google云計算關鍵技術GFSGFS的架構的特點采用中心服務器模式 可以方便地增加Chunk Server Master掌握系統(tǒng)內(nèi)所有Chunk Server的情況，方便進行負載均衡 不存在元數(shù)據(jù)的一致性問題不緩沖數(shù)據(jù) GFS的文件操作大部分是流式讀寫，不存在大量的重復讀寫，使用Cache對性能提高不大 Chunk Server上的數(shù)據(jù)存取使用本地文件

26、系統(tǒng)，如果某個Chunk讀取頻繁，文件系統(tǒng)具有Cache 從可行性看，Cache與實際數(shù)據(jù)的一致性維護也極其復雜.Google云計算關鍵技術GFSGFS的架構的特點在用戶態(tài)下實現(xiàn) 直接利用Chunk Server的文件系統(tǒng)存取Chunk，實現(xiàn)簡單 用戶態(tài)應用調(diào)試較為簡單，利于開發(fā) 用戶態(tài)的GFS不會影響Chunk Server的穩(wěn)定性只提供專用的訪問接口 降低GFS的實現(xiàn)復雜度.Google云計算關鍵技術GFSGFS的容錯機制Chunk Server容錯 每個Chunk有多個存儲副本（通常是3個），分別存儲于不通的服務器上 每個Chunk又劃分為若干Block（64KB），每個Block對應一

27、個32bit的校驗碼，保證數(shù)據(jù)正確（若某個Block錯誤，則轉(zhuǎn)移至其他Chunk副本）Master容錯 三類元數(shù)據(jù)：命名空間（目錄結構）、Chunk與文件名的映射以及Chunk副本的位置信息 前兩類通過日志提供容錯，Chunk副本信息存儲于Chunk Server，Master出現(xiàn)故障時可恢復.Google云計算關鍵技術GFS基于GFS的Google數(shù)據(jù)中心節(jié)點廉價、易損壞，但整體可靠、穩(wěn)定.Google云計算關鍵技術MapReduceMapReduceGoogle提出的一個軟件架構，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運算MapReduce實現(xiàn)了Map和R

28、educe兩個功能Map把一個函數(shù)應用于集合中的所有成員，然后返回一個基于這個處理的結果集Reduce對結果集進行分類和歸納Map()和 Reduce() 兩個函數(shù)可能會并行運行，即使不是在同一的系統(tǒng)的同一時刻.Google云計算關鍵技術MapReduce業(yè)務處理流程.Google云計算關鍵技術MapReduce案例：單詞記數(shù)問題(Word Count)給定一個巨大的文本（如1TB），如何計算單詞出現(xiàn)的數(shù)目？.Google云計算關鍵技術MapReduce使用MapReduce求解該問題定義Map和Reduce函數(shù).Google云計算關鍵技術MapReduce使用MapReduce求解該問題St

29、ep 1: 自動對文本進行分割.Google云計算關鍵技術MapReduce使用MapReduce求解該問題Step 2:在分割之后的每一對進行用戶定義的Map進行處理，再生成新的對.Google云計算關鍵技術MapReduce使用MapReduce求解該問題Step 3:對輸出的結果集歸攏、排序(系統(tǒng)自動完成）.Google云計算關鍵技術MapReduce使用MapReduce求解該問題Step 4:通過Reduce操作生成最后結果.Google云計算關鍵技術MapReduce實踐證明，MapReduce是出色的分布式計算模型Google宣布，其對分布于1000臺計算機上的1TB數(shù)據(jù)進行排序

30、僅僅需要68s對4000臺計算機上的1PB數(shù)據(jù)進行排序處理僅需要6小時2分鐘（每次測試至少會損壞1塊硬盤）在08年1月份，Google MapReduce平均每天的數(shù)據(jù)處理量是20PB，相當于美國國會圖書館當年5月份存檔網(wǎng)絡數(shù)據(jù)的240倍.Google云計算關鍵技術Chubby分布式一致性問題在一個分布式系統(tǒng)中，有一組的Process，它們需要確定一個Value。于是每個Process都提出了一個Value，一致性就是指只有其中的一個Value能夠被選中作為最后確定的值，并且當這個值被選出來以后，所有的Process都需要被通知到.Google云計算關鍵技術ChubbyGoogle云計算中的分

31、布式一致性問題例如，GFS在物理上往往包含多個Master，但需要在邏輯上確定唯一的Master。如何確定？這是一個分布式一致性問題Chubby是Google為解決分布式一致性問題而設計的提供粗粒度鎖服務的文件系統(tǒng).Google云計算關鍵技術ChubbyChubby是一個文件系統(tǒng)，如何提供“鎖”服務？Chubby中的鎖就是文件在GFS的例子中，創(chuàng)建文件就是進行“加鎖”操作，創(chuàng)建文件成功的那個server其實就是搶占到了“鎖”用戶通過打開、關閉和讀取文件，獲取共享鎖或者獨占鎖；并且通過通信機制，向用戶發(fā)送更新信息因此，通過Chubby可以解決Google云計算中的分布式一致性問題.Google云計算關鍵技術BigTable為什么需要設計BigTable？Google需要存儲的數(shù)據(jù)種類繁多 網(wǎng)頁，地圖數(shù)據(jù)，郵件 如何使用統(tǒng)一的方式存儲各類數(shù)據(jù)？海量的服務請求 如何快速地從海量信息中尋找需要的數(shù)據(jù)？BigTable：基于GFS和Chubby的分布式存儲系統(tǒng)對數(shù)據(jù)進行結構化存儲和管理與GFS的區(qū)別.Google云計算關鍵技術BigTabl