google云計算培訓(xùn)課件

ReachedOurGoal

認(rèn)識云計算（理解）

理解Google云計算實(shí)現(xiàn)原理（難點(diǎn)）

可獨(dú)立在GAE上開發(fā)云服務(wù)應(yīng)用

了解TMF?以及云未來的發(fā)展（了解）

提綱

??初識云計算

每Google云計算原理

?GAE平臺部署云服務(wù)

QTMForum對云態(tài)度

3

Wehaveadream

愿景:

計算機(jī)的服務(wù)能力可以作為一種商品進(jìn)行流通。

就像水、電、氣一樣取之方便，費(fèi)用低廉

4

云計算定義

云計算:是一種

商業(yè)計算模型。

它將計算任務(wù)分

按鼠計費(fèi)的商業(yè)模型布在大量計算機(jī)

構(gòu)成的資源池上,

使各種應(yīng)用系統(tǒng)

能夠按需獲取計

算力、存儲空間

和信息服務(wù)。

0?i■一

圖：云計算概念模型5

云計算服務(wù)的部署形式

公共云」私有云

混合云

（服務(wù)提供商-互連網(wǎng)）

（數(shù)據(jù)中心-內(nèi)部網(wǎng)）（公共和私有）

Xasaservice

SaaS應(yīng)用云

（代表：salesforce的CRM）

PaaS平臺云

（代表：GoogleAppEngine）

laaS基礎(chǔ)設(shè)施云amazon.com

（代表：亞馬遜的S3）

6

Amazon云計算

磔，amazon

webservices

1.Amazon的laaS云計算思路

?彈性計算云EC2為企業(yè)提供計算服務(wù)

每個服務(wù)器租用1小時為61美元

?簡單存儲服務(wù)S3為企業(yè)提供存儲服務(wù)

1GB數(shù)據(jù)存放1個月為0.15美元

2.Amazon的laaS運(yùn)用實(shí)例

7

亞馬遜laaS應(yīng)用案例：紐約時報

Mamazon

webservices

三三

El)c，y'cWllorkSimesM*?u*-w.*■*a.*<i

>LCINaSUMNitwn?KWIUMIOMY.sirmtwiuiiraM<nctifm使用亞馬遜云計算服務(wù)

US.ATTACKED

HIJACKEDJETSDESTROYTWINTOWERS

ANDHITPENTAGONINDAYOFTERROR效果：在不到24個小時的時間里處理

了noo萬篇文章

費(fèi)用：累計花費(fèi)240美元

利用自己服務(wù)器

時間：數(shù)月時間

費(fèi)用：多得多的費(fèi)用

8

Google云計算

6。。噓

1.Google的云計算思路

應(yīng)用向互聯(lián)數(shù)據(jù)向互聯(lián)

網(wǎng)遷移網(wǎng)遷移

計算能力向存儲空間向ChromeOS

互聯(lián)網(wǎng)遷移互聯(lián)網(wǎng)遷移“瀏覽器=操作系統(tǒng)”

9

Google云計算PaaS

Go^le

appengineer

2.隸屬PaaS的Google云計算

A屬于部署在云端的應(yīng)用執(zhí)行環(huán)境

?支持Python和Jara兩種語言

?通過SDK調(diào)用Google的各種服務(wù)。如GoogleMap、Mail等

A用戶可快速、廉價（可免費(fèi)使用限定的流量和存儲）地部署

自己開發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）

A在下一章將具體介紹GAE具體的應(yīng)用

^^■■1

10

Google云計算SaaS

Google文件

3.隸屬SaaS的Google云計算

Google文件提供在線“Word、Excel、PPT”

Go°g發(fā)鶻提供在線MAP

Google日歷提供在線日歷管理

GMil……

口E?A

vr

11

Google如何實(shí)現(xiàn)云?

Goog。l谷e歌

Google云計算平臺技術(shù)架構(gòu)

A分布式文件系統(tǒng)GoogleDistributedFileSystem

將

A并行數(shù)據(jù)處理MapReduce在

第

?分布式鎖Chubby二

章

?結(jié)構(gòu)化數(shù)據(jù)表BigTable詳

細(xì)

介

紹

MapReduce

GFS

12

云計算概念入門

Q&A

13

提綱

?初識云計算

?Google云計算原理

?GAE平臺部署云服務(wù)

r\TMForum對云態(tài)度

14

Google云計算原理

可分布式文件系統(tǒng)GFS

愉并行數(shù)據(jù)處理模型MapReduceI

W分布式鎖服務(wù)Chubby

“分布式數(shù)據(jù)庫BigTable

Google云計算應(yīng)用

一、Z\/、

MapReduceBigTableChubb)

r~一

GFS，

*-----------------------------------------------------------------------------Jv--------------------)15

9

Google設(shè)計GFS的動機(jī)

?Google需要支持滲量泰提范瀚勺文件系統(tǒng)

-購置昂貴的分布式文件系統(tǒng)與硬件？

17

GFS的設(shè)計思路

1.GFS設(shè)計原則：

＞機(jī)器失效不能視為異?，F(xiàn)象

＞能應(yīng)付對大型/超大型文件處理

?支持大量用戶同時訪問

2.GFS組成

AGFS集群：一個的Master和多個ChunkServer(塊服務(wù)器)組成,

并可以多客戶端Client訪問

3.GFS設(shè)計要點(diǎn)

＞每個文件拆成若干個64M文件塊Chunk組成

＞每個Chunk都由Master根據(jù)其創(chuàng)建時間指定ChunkHandle(64)

＞文件塊被保存在ChunkServer本地磁盤中

＞缺省情況下3處熱備份Chunk塊文件

18

GFS的設(shè)計思路

4.Client職責(zé)

?包含文件系統(tǒng)的API

>負(fù)責(zé)和ChunkServer和Master通信

?代表應(yīng)用程序進(jìn)行讀寫操作

>Client和Master進(jìn)行元數(shù)據(jù)操作

>Client和ChunkServer進(jìn)行文件數(shù)據(jù)操作

5.Master職責(zé)

>負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)蕭

?元數(shù)據(jù)包括：命名空間,訪問控制信息,文步到C3/7A的映射

信息等

6.ChunkServer職責(zé)

?負(fù)責(zé)存儲chunk文件塊

ALinux文件系統(tǒng)

19

GFS的系統(tǒng)架構(gòu)

GFS主服務(wù)器

文件命名空間

/foo/bar

Chunk

12EEE

/...........-

Linux文件系統(tǒng)Linux文件系統(tǒng)

返回數(shù)據(jù)信.息廠、廠、o

L

—X.

20

Question文件為什么要被化分為64M?

Answer：

1、可以減少Client和Master的之間的交互，減少M(fèi)aster的負(fù)載

2、客戶端可以在一個Chunk中完成許多操作

3、可以減少TCP三次握手時間。另外這些信息都要被Master管理的

缺點(diǎn)：有冗余

21

GFS架構(gòu)的特點(diǎn)

?采用中心服務(wù)器模式Master

?可以方便地增加ChunkServer

>Master掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)

行負(fù)載均衡

>不存在元數(shù)據(jù)的一致性問題

?不緩存數(shù)據(jù)

A必要性：Client流式讀取，非重復(fù)讀寫

A可行性：Master本身管理多個Server,很復(fù)雜

22

GFS容錯機(jī)制

?ChunkServer容錯

?每個Chunk有多個存儲副本（默認(rèn)是3個），分別存儲于不通

的服務(wù)器上

?每個Chunk又劃分為若干Block（64KB）,每個Block對應(yīng)一個

32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個Block錯誤，則轉(zhuǎn)移

至其他Chunk副本）

?Master容錯

?三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射

以及Chunk副本的位置信息

＞前兩類通過日志提供容錯，Chunk副本信息存儲于其它Chunk

Server這樣Master出現(xiàn)故障時可恢復(fù)

o

23

GFS實(shí)驗(yàn)效果圖

Master

ChunkServer1ChunkServer2

Client16

24

Google云計算原理

可分布式文件系統(tǒng)GFS

(7)并行數(shù)據(jù)處理模型MapReduce

0分布式鎖服務(wù)Chubby

”分布式數(shù)據(jù)庫BigTable

Go聞8云計算應(yīng)用I

r

M叩ReduceBigTable

Chubb

GI

25

并行計算基礎(chǔ)

?摩爾定律正在走向終結(jié)…

?單芯片容納晶體管的增加，對制造工藝提出要求

>CPU制造18nm技術(shù)，電子泄漏問題

ACPU主頻已達(dá)3GHz時代，難以繼續(xù)提高

/散熱問題（發(fā)熱太大，且難以驅(qū)散）

/功耗太高

未來的發(fā)展：多核

—"

26

什么樣的問題適合并行計算?

?斐波刃口契序歹1（Fibonacci）X

(1,A：=0

耳=<1,k=1

、Fk-i+理_2.,k>2.

?計算URL訪問頻率Y

Map函數(shù)處理日志中web頁面請

求的記錄，然后輸出（URL,1）。

Reduce函數(shù)把相同URL的value

值都累加起來，產(chǎn)生（URL,記錄

總數(shù)）結(jié)果。

27

Google為什么需要MapReduce?

?Google擁有海量數(shù)據(jù)，并且需要快速處理

?什么是MapReduce?

JefferyDean設(shè)計一個新的抽象模型，CoogleMapReduce

使我們只要執(zhí)行的簡單計算，而將方行化、架構(gòu)設(shè)計師

JeffreyDean

容錯、數(shù)據(jù)分布、負(fù)載均衡的等柒亂繩節(jié)

放在一個庫里，使并行編程時不必關(guān)心它

們這就是MapReduce

28

Google并行運(yùn)算編程模型

1、在編程的時候，開發(fā)者需

要編寫兩個函數(shù)：

Map:(in_key,in_value)

Reduce:(key,[value1,value

2...])

2、Map操作產(chǎn)生結(jié)果是

<key,value>Xt

3、在Map,Reduce之間系

統(tǒng)把同一Key歸類到Reduce

3、Reduce操作對相同的Key

進(jìn)行歸類處理

29

MapReduce實(shí)現(xiàn)機(jī)制

輸入文件Map狀態(tài)本地存儲Reduce狀態(tài)

h—k

30

單詞計數(shù)體現(xiàn)M/R算法

輸入數(shù)據(jù)：

HelloWorldByeWorld

HelloChinaByeChina

HelloSi-techByeSi-tech

1)

Reduce(Key,Value[])

Map(Key,Value)(

(intcount=0;

for(eachworld'world'invalue)for(eachwinvalue)

collectCworld'J);count++;

)collect(Key,count);

)

31

2)

HelloWorldByeWorld

HelloChinaByeChina

HelloSi-techByeSi-techI分割）

3)ello1><Bye1>

<World1><World1>

HelloWorldByeWorld

<Hello1><Bye1>

HelloChinaByeChina

<China1><China1>

HelloSi-techByeSi-tech

<Hello1><Bye1>

<Si-tech1><Si-tech1>

32

4)

Map輸出Fold輸出

ello1><Bye1><Hello1><Hello1><Hello1>

<World1><World1>

<Bye1><Bye1><Bye1>

<Hello1><Bye1>

Fold

<World1><World1>

<China1><China1>

<China1><China1>

<Hello1><Bye1>

<Si-tech1><Si-tech1>

<Si-tech1><Si-tech1>

33

5)

Fold輸出Reduce輸出

<Hello1><Hello1><Hello1>

<Bye3>

<Bye1><Bye1><Bye1>

<World2>

<World1><World1>Reduce

<China2>

<China1><China1>

<Si-tech2>

<Si-tech1><Si-tech1>

34

MapReduce容錯機(jī)制

?背景

AMapReduce設(shè)計初衷：由普通PC組成的集群來處理超大賽蕉的

數(shù)據(jù),所以有效的錯誤保障機(jī)制是必不可少

?Worker容錯

>Master屈助使的ping每個worker

?Master容錯

>Master周期性的將Master的教舞結(jié)猾的寫入磁盤,即檢查點(diǎn)

（checkpoint）

AMaster數(shù)據(jù)結(jié)構(gòu)包括：Map和Reduce任務(wù)的狀態(tài)（空閑、工作

中或完成），以及Worker機(jī)器（非空閑任務(wù)的機(jī)器）豳麋

35

Google云計算原理

可分布式文件系統(tǒng)GFS

G)并行數(shù)據(jù)處理模型MapReduce

⑤分布式鎖服務(wù)Chubby

哥分布式數(shù)據(jù)庫BigTable

Google云計算應(yīng)用

、Z

MapReduceBigTable

)IChubb

GFS

36

提綱

?初識云計算

每Google云計算原理

GAE平臺部署云服務(wù)

QTMForum對云態(tài)度

37

GAE部署云應(yīng)用

Q&A

課堂演示部署過程