Google云計算核心技術及應用場景分析.

1、201工年4月28RGoogle云計算核心技術介紹及應用場景分析hltp:hi.baidiJ com/dr1ceSnzhang小組成員王仕軍PPT制作報吿人-王長凱論文捜集，論文翻譯圖片和視頻捜集莢術指導201年4月日內(nèi)容目錄云計算的概念云計算的概念云計算的服務形式云計算的發(fā)展現(xiàn)狀Google 云計算 核心技術介紹Ad|分布式文件系統(tǒng)GFS分布式數(shù)據(jù)庫BigTable并行計算模型MapReduceGoogle 云計算 應用場景分析 Google Scholar Google Analytics Google AppEnginc云計算的基本概念云計算的概念云計算的服務形式云計算的發(fā)展現(xiàn)狀201年

2、4月日201年4月28R云計算的概念是由分布式計算算模型.“將計算任務分衣用系統(tǒng)能夠根拒務DIOL G 8 *夬川八，金業(yè)/敷將/7木忸梅/個人爭IMLI云計算的發(fā)展現(xiàn)狀JHIOIamazonweb servicesG8teMicr3阿里Soo ARP/ 百客檢RUf費的住業(yè)檜/云計算的服務形式 laaS (Infrastructure as a service)Amazon Web服務(AWS)IBM的Blue Cloud等 PaaS (Platform as a service)Google的AppEngineSalesforce的開放平臺 八百客的800APP SaaS (Softwar

3、e as a service)Google 云計算核心技術并行計算模型MapReduce分布式文件系統(tǒng)GFS分布式數(shù)據(jù)庫BigTable?0l年4月日Google DocsGoogle Mail201年4月”曰201M 年4月28R10為什么需要MapReduce? Google擁有海量數(shù)據(jù)，并且需要快速處理MapReduce的概念處理和生成海量數(shù)據(jù)的并行編程模型；用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運算； MapReduce的核心是Map和Reduce兩個函數(shù)Map,映射，對列表中的所有元素進行指定的操作，返回基于 這個處理的中間結(jié)果集；Reduce,化簡，對中間結(jié)果集進行分類和歸納得到

4、最終的計 算結(jié)果；兩個函數(shù)可能會并行運行普通的PC機集群上：201年4月28R12MapReduce執(zhí)行流程MapReduce架構(gòu)的思考 Worker故障Master周期性的ping每個worker,檢查狀態(tài) 雷摯蛙珞芒M a p任務MapReduce計算架構(gòu)有什么問題？ 定期寫入檢查點數(shù)據(jù)備恢復之用Master的數(shù)據(jù)多重備份機制 重新發(fā)起MapReduce計算請求MapReduce的優(yōu)化卜任務分割的粒度:時間復雜度任務備份本地文跳過異13Map201年4月16MapReduce的應用場合網(wǎng)站訪問量統(tǒng)計Map:Rcducc:反向連接分析Map:target, sourcoReduce:倒排索引

5、Map:Reduce:MapReduce示仮ij:單詞計數(shù)案例:單詞記數(shù)問題(Word Count)給定巨大的文本文件(大于1TB),如何計算文件中所有單詞 出現(xiàn)的數(shù)目？Hello: 3IIcllo World Bye WcrldNWorld 2Hello lladoop Bye I(udoopMapReduce :Bye Hadcx) )p Hello Itadaop1/n)C. JHadoop 4201年4月MRIS201年4月16輸入數(shù)據(jù):輸出數(shù)據(jù)：甲詞所山現(xiàn)的頻率201工年4月28R18MapReduce示仮ij:單詞計數(shù)卜使用MapReduce求解該問題定義Map和Reduce函數(shù)(

6、Pseudo Code)Map(K,V)(For each word w in V Collect(w .1);Reduce(K,V int count = 0;For each v in vcount + v; Collect(K /count);MapReduce示仮ij:單詞計數(shù)卜使用MapReduce求解該問題Step 1:自動對文本進行分割201工年4月28R18201M 年4月28R20Worl.lvByc 1-eWorldteWorld . 1AWorld .1 a- Hndocp lHvc 1FlodByc Ay-Hadoop l* Bye. I、. I JS-I、I N丿 H

7、iKkwip . 1 MapReduce示仮ij:單詞計數(shù)卜使用MapReduce求解該問題Step 2:在分割之后的每一對vkey, value進行用戶定義 的Map進行處理，生成新的vkey, value對MapReduce示例:單詞計數(shù)卜使用MapReduce求解該問題Step 3:對Map返回的中間結(jié)果集歸攏排序19201M 年4月28RMnp rail old愉山MapReduce示例:單詞計數(shù)卜使用MapReduce求解該問題Google 云計算核心技術Fold 倫出Step 4:將分組過的中間結(jié)果集傳給Reduce操作通過計 數(shù)生成最后結(jié)果?01燉4月曰、分布式文件系統(tǒng)GFS20

8、1年4月”曰22分布式文件系統(tǒng)GFS產(chǎn)生的背景數(shù)據(jù)存儲在多個可能出故障的普通PC機集群上 和傳統(tǒng)文件系統(tǒng)相比文件很大（GB級別） 多數(shù)文件在寫操作時為追加內(nèi)容而不是重寫 主要負擔為文件持續(xù)或隨機讀取,同步寫，連續(xù)寫等功能特性可擴展的分布式文件系統(tǒng)用于訪問大量數(shù)據(jù)的大型應用高效運行在廉價硬件的集群上容錯：集群中的機器可熱拔插分布式文件系統(tǒng)GFS GFS文件系統(tǒng)架構(gòu)Application(ctwmk byte nrnEMaster 的必要性?I chunk handle,chunk location*)(file QilNT . huaik jn3v I一I me ziR、Conrmlmessag

9、es塊大小為 64 MB?chunk dalMGoogle 云計算核心技術分布式數(shù)據(jù)庫BigTable分布式數(shù)據(jù)庫BigTableBigTable的概念大型的分布式數(shù)據(jù)庫，存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù) 建立在GFS丄ockService和MapReduce之上 把所有數(shù)據(jù)都作為對象來處理BigTable的作用為Google云計算應用提供數(shù)據(jù)結(jié)構(gòu)化存儲功能 為應用提供簡單數(shù)據(jù)查詢功能（不支持聯(lián)合查詢） 為M apReduce提供數(shù)據(jù)源或數(shù)據(jù)結(jié)果存儲201年4月日分布式數(shù)據(jù)庫BigTable BigTable的數(shù)據(jù)模型分布式的多維映射，以(row, column, timestamp)索引Colu mns

10、Google 云計算應用場景、學術搜索服務Coogle ScholarEngine1-4 o:1t2: timestampi1_ _ I1111Column FamilyRTableletanchorbold”ch or google-Contents:*201年4月28R學術搜索服務Google ScholarWebWdzs Maa Ms Shftaoig Gmail more vA Yi”cknid smcutinciArr- ar mt A Fax R Gnltth如JOA紳R (ho ACM 20=0 portal aem sgptrsnsfmnia Ur. part cf the 1

11、1 industry makng saRi%ara 6or mors attractnro a sarvico andwy FT ho&剛are & dsined aM purchased氐eiopon Aitbmnvach id3r. Cted av二?貨:m2 AH 89 0287Mfkct-Rntcd cloud computtnoi Vivien, hyp化and rcdlityJor dci/nno 1SQAICCS AScomputinoR 8vyya. CS Yoc. S Verxigopo I -_Pffcfmjrcc ComfMiting . 2C08 - l

12、ee explore teee orgAbstract This keynote paner presert a 21st certury vision o4 computing de-t6es varnuB computing pwadigms pfomiaing to dolrrtheSBIa9 computing uftiliio. deAnoo Cloud compiiling and pro旳deEthe arch4octure for creatirg r-arlceinig wfllMday be the 5th utility (alter力met elecincity ges

13、. and leleohony)7h*s computing utHKv*. I Ke all other . Cad All 25學術搜索服務Google Scholar。數(shù)據(jù)抽取尋找包含學術論文信息的網(wǎng)頁數(shù)據(jù).井結(jié)構(gòu)化存儲學術論文信息抽?。ǚ治鰠⒖嘉墨I摘要等）可能的技術方案:MapReduce+Bi gTable。數(shù)據(jù)統(tǒng)計基于抽取的數(shù)據(jù)進行統(tǒng)計分析（如分析被引用次數(shù)等）可能的技術方案MapReduce+B i gTab IeGoogleschola8e chScholarAncles andT ar./ifne二nckidechai tens 201年4月28R。數(shù)據(jù)存儲行鍵：論文標題列鍵

14、:作者主題詞.摘要，參考文獻期刊信息被引次數(shù)等201M 年4月28R學術搜索服務Google ScholarGUMOCUJ匕出、J里九&hx/ut( (wm和“嗆文記食學術搜索服務Google ScholarGoadc Scholar tllB 沃 iWG*it U iftXG P it i：D citVQ.l總衣C” tA 1v 倫文0.1，論文八訃OA.】“rc. 1論S. 1論瓷人“ *HmJv 論MF：$ ZA. 2燉48.論文C.論G .Z 與QIU龍Q論2C侖二列.；TCXM.fifcTD it TH. Kt TAI $ Z診2鼻.QX ZC料料9 Kh1iitSuifeX

15、A尢ZD論丈A. lx論t A. 1X丈入lx走XA. 1 V4 11倫YU. ixtf：?U“】X化t 9. t1應用架構(gòu)服務Coogle AppEngine?01年4月“日38201年4月28日40應用架構(gòu)服務:Google AppEngine報告總結(jié)MH年4月”口M10Google云計算關鍵技術并不僅僅是GFS,BigTable,MapReduce,還依靠其他軟硬件的支持；3項關鍵技術都比較成熟，最近幾年也有比較大的更 新和修正,開源社區(qū)也有類似的開源項目可供研究使 用，比如Hbase(BT), Hadoop(GFS4-MapReduce);Google正在研發(fā)新的分布式計算框架Spanner,希 望能夠在全球范圍內(nèi)配置，調(diào)度計算資源；由于時間有限，研究不夠深入,有興趣的同學可以自 行閱讀相關論文和書籍.201年4月28日40參考資源相關書籍：葉偉