非常好的Google云計算技術(shù)培訓(xùn)課件_第1頁
非常好的Google云計算技術(shù)培訓(xùn)課件_第2頁
非常好的Google云計算技術(shù)培訓(xùn)課件_第3頁
非常好的Google云計算技術(shù)培訓(xùn)課件_第4頁
非常好的Google云計算技術(shù)培訓(xùn)課件_第5頁
已閱讀5頁,還剩90頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

Google云計算原理研究院黃兵2ReachedOurGoal

認(rèn)識云計算(理解)

理解Google云計算實現(xiàn)原理(難點)

可獨立在GAE上開發(fā)云服務(wù)應(yīng)用

了解TMF?以及云未來的發(fā)展(了解)3初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提綱TMForum對云態(tài)度44Wehaveadream……愿景: 計算機(jī)的效勞能力可以作為一種商品進(jìn)行流通。就像水、電、氣一樣取之方便,費(fèi)用低廉5云計算定義

圖:云計算概念模型云計算:是一種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠按需獲取計算力、存儲空間和信息效勞。6云計算效勞的部署形式IaaS根底設(shè)施云(代表:亞馬遜的S3)SaaS應(yīng)用云〔代表:salesforce的CRM〕PaaS平臺云〔代表:GoogleAppEngine〕私有云(數(shù)據(jù)中心–內(nèi)部網(wǎng))公共云(服務(wù)提供商–互連網(wǎng))混合云(公共和私有)Xasaservice7Amazon云計算1GB數(shù)據(jù)存放1個月為0.15美元每個服務(wù)器租用1小時為0.1美元Amazon的IaaS云計算思路彈性計算云EC2為企業(yè)提供計算效勞簡單存儲效勞S3為企業(yè)提供存儲效勞Amazon的IaaS運(yùn)用實例亞馬遜IaaS應(yīng)用案例:紐約時報使用亞馬遜云計算效勞效果:在不到24個小時的時間里處理了1100萬篇文章費(fèi)用:累計花費(fèi)240美元利用自己效勞器時間:數(shù)月時間費(fèi)用:多得多的費(fèi)用89Google云計算Google的云計算思路“瀏覽器=操作系統(tǒng)〞10隸屬PaaS的Google云計算Google云計算PaaS屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語言通過SDK調(diào)用Google的各種效勞。如GoogleMap、Mail等用戶可快速、廉價〔可免費(fèi)使用限定的流量和存儲〕地部署自己開發(fā)的應(yīng)用〔如創(chuàng)新的網(wǎng)站、游戲等〕在下一章將具體介紹GAE具體的應(yīng)用11Google云計算SaaS隸屬SaaS的Google云計算提供在線“Word、Excel、PPT〞提供在線MAP提供在線日歷管理……Google云計算平臺技術(shù)架構(gòu)分布式文件系統(tǒng)GoogleDistributedFileSystem并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle如何實現(xiàn)云?Google云計算應(yīng)用MapReduceBigTableGFSChubby12將在第二章詳細(xì)介紹13云計算概念入門Q&A14初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提綱TMForum對云態(tài)度4Google云計算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby151617Google設(shè)計GFS的動機(jī)Google需要支持海量數(shù)據(jù)存儲的文件系統(tǒng)購置昂貴的分布式文件系統(tǒng)與硬件?是否可以在一堆廉價且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)?GFS的設(shè)計思路GFS設(shè)計原那么:機(jī)器失效不能視為異?,F(xiàn)象能應(yīng)付對大型/超大型文件處理支持大量用戶同時訪問GFS組成GFS集群:一個的Master和多個ChunkServer〔塊效勞器〕組成,并可以多客戶端Client訪問GFS設(shè)計要點每個文件拆成假設(shè)干個64M文件塊Chunk組成每個Chunk都由Master根據(jù)其創(chuàng)立時間指定ChunkHandle(64)文件塊被保存在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件18GFS的設(shè)計思路Client職責(zé)包含文件系統(tǒng)的API負(fù)責(zé)和ChunkServer和Master通信代表應(yīng)用程序進(jìn)行讀寫操作Client和Master進(jìn)行元數(shù)據(jù)操作Client和ChunkServer進(jìn)行文件數(shù)據(jù)操作Master職責(zé)負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)據(jù)元數(shù)據(jù)包括:命名空間,訪問控制信息,文件到Chunk的映射信息等ChunkServer職責(zé)負(fù)責(zé)存儲chunk文件塊Linux文件系統(tǒng)1920GFS的系統(tǒng)架構(gòu)應(yīng)用程序GFS客戶端GFS數(shù)據(jù)塊效勞器Linux文件系統(tǒng)GFS主效勞器文件命名空間Chunk2EEE/foo/barGFS數(shù)據(jù)塊效勞器Linux文件系統(tǒng)………………標(biāo)注:數(shù)據(jù)信息控制信息文件名,chunk索引向數(shù)據(jù)塊效勞器發(fā)指令返回數(shù)據(jù)塊效勞器狀態(tài)Chunk句柄和位置Chunk句柄,查找數(shù)據(jù)返回數(shù)據(jù)信息21Question文件為什么要被化分為64M?Answer:1、可以減少Client和Master的之間的交互,減少M(fèi)aster的負(fù)載2、客戶端可以在一個Chunk中完成許多操作3、可以減少TCP三次握手時間。另外這些信息都要被Master管理的缺點:有冗余GFS架構(gòu)的特點采用中心效勞器模式Master可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況,方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問題不緩存數(shù)據(jù)必要性:Client流式讀取,非重復(fù)讀寫可行性:Master本身管理多個Server,很復(fù)雜22GFS容錯機(jī)制ChunkServer容錯每個Chunk有多個存儲副本〔默認(rèn)是3個〕,分別存儲于不通的效勞器上每個Chunk又劃分為假設(shè)干Block〔64KB〕,每個Block對應(yīng)一個32bit的校驗碼,保證數(shù)據(jù)正確〔假設(shè)某個Block錯誤,那么轉(zhuǎn)移至其他Chunk副本〕Master容錯三類元數(shù)據(jù):命名空間〔目錄結(jié)構(gòu)〕、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過日志提供容錯,Chunk副本信息存儲于其它ChunkServer。這樣Master出現(xiàn)故障時可恢復(fù)2324GFS實驗效果圖ChunkServer1ChunkServer2ChunkServer16……MasterClient1Client2Client16路由器1路由器2MasterGoogle云計算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby25并行計算根底摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加,對制造工藝提出要求CPU制造18nm技術(shù),電子泄漏問題CPU主頻已達(dá)3GHz時代,難以繼續(xù)提高散熱問題〔發(fā)熱太大,且難以驅(qū)散〕功耗太高26未來的開展:多核27什么樣的問題適合并行計算?斐波那契序列(Fibonacci)X計算URL訪問頻率YMap函數(shù)處理日志中web頁面請求的記錄,然后輸出(URL,1)。Reduce函數(shù)把相同URL的value值都累加起來,產(chǎn)生(URL,記錄總數(shù))結(jié)果。Google為什么需要MapReduce?Google擁有海量數(shù)據(jù),并且需要快速處理什么是MapReduce?28GoogleMapReduce架構(gòu)設(shè)計師JeffreyDeanJefferyDean設(shè)計一個新的抽象模型,使我們只要執(zhí)行的簡單計算,而將并行化、容錯、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個庫里,使并行編程時不必關(guān)心它們這就是MapReduce29Google并行運(yùn)算編程模型MapMapMap……原始數(shù)據(jù)1原始數(shù)據(jù)2原始數(shù)據(jù)MReduceReduce結(jié)果1結(jié)果R……1、在編程的時候,開發(fā)者需要編寫兩個函數(shù):Map:(in_key,in_value)Reduce:(key,[value1,value2…])2、Map操作產(chǎn)生結(jié)果是<key,value>對3、在Map,Reduce之間系統(tǒng)把同一Key歸類到Reduce3、Reduce操作對相同的Key進(jìn)行歸類處理30MapReduce實現(xiàn)機(jī)制用戶程序(1)分割(1)分割(1)分割Master工作機(jī)M工作機(jī)M工作機(jī)M工作機(jī)R工作機(jī)R(2)指派Map(2)指派Reduce片段1片段4片段3片段2輸入文件(3)Read(4)本地存儲輸出文件0輸出文件1Map狀態(tài)本地存儲Reduce狀態(tài)輸出文件(5)遠(yuǎn)程讀取(6)寫入文件31單詞計數(shù)表達(dá)M/R算法HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-tech輸入數(shù)據(jù):MapReduceHello:3Bye:3China:2World:2Si-tech:2Map(Key,Value){for(eachworld‘world’invalue) collect(‘world’,1);}Reduce(Key,Value[]){intcount=0;for(eachwinvalue) count++;collect(Key,count);}1)32HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-tech2)分割分割分割HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-techKEYVALUEKEYVALUEKEYVALUE3)HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-techMAPMAPMAP<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>33<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>4)Map輸出Fold<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>Fold輸出34<Hello3><Bye3><China2><World2><Si-tech2><Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>Fold輸出5)Reduce輸出ReduceMapReduce容錯機(jī)制背景MapReduce設(shè)計初衷:由普通PC組成的集群來處理超大規(guī)模的數(shù)據(jù),所以有效的錯誤保障機(jī)制是必不可少Worker容錯Master周期性的ping每個workerMaster容錯Master周期性的將Master的數(shù)據(jù)結(jié)構(gòu)的寫入磁盤,即檢查點〔checkpoint〕Master數(shù)據(jù)結(jié)構(gòu)包括:Map和Reduce任務(wù)的狀態(tài)〔空閑、工作中或完成),以及Worker機(jī)器(非空閑任務(wù)的機(jī)器)的標(biāo)識。35Google云計算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby3637初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提綱TMForum對云態(tài)度438GAE部署云應(yīng)用Q&A課堂演示部署過程39初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提綱TMForum對云態(tài)度4TMFSeeSunnyFutureInTeleManagementWorldAmerican40TMF簡介1、電信管理論壇,非盈利聯(lián)盟組織2、會員遍布全球195個國家,700+會員公司3、我們公司也是會員,享受會員權(quán)利4、業(yè)界廣泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技術(shù)結(jié)束語云計算的出現(xiàn)并快速開展,一方面是虛擬化技術(shù)、分布式計算等技術(shù)開展的結(jié)果,另一方面也是互聯(lián)網(wǎng)應(yīng)用不斷豐富趨勢的表達(dá)。目前,雖然有Amazon、Google、IBM、Microsoft等在推,但云計算還沒有一個統(tǒng)一的標(biāo)準(zhǔn)。云計算平臺已經(jīng)為很多用戶所使用,但是云計算在行業(yè)標(biāo)準(zhǔn)、數(shù)據(jù)平安、效勞質(zhì)量、應(yīng)用軟件等方面也面臨著各種問題,這些問題的解決需要技術(shù)的進(jìn)一步開展?,F(xiàn)有的研究大多集中于云體系結(jié)構(gòu)、云存儲、云數(shù)據(jù)管理、虛擬化、云平安、編程模型等技術(shù)41Google云計算技術(shù)主要內(nèi)容Google的“云〞在哪里?Google云計算應(yīng)用場景Google云計算的技術(shù)框架Google云計算的關(guān)鍵技術(shù)Google的“云〞在哪里?云計算是一個新概念于07年第3季度被提出,是并行計算、分布式計算和網(wǎng)格計算等技術(shù)的混合演進(jìn),經(jīng)過商業(yè)包裝的概念為分布式存儲和分布式計算找到了盈利模式提出以來開展迅速,Google、Amazon、Microsoft等公司都提出了自己的云計算方案為什么Google需要“云〞?系統(tǒng)規(guī)模對系統(tǒng)設(shè)計的重要性Google提供的效勞:海量信息+海量用戶,如何又好又快地提供效勞?Google的“云〞在哪里?Google的“云〞無所不在GoogleEarth、Gmail……GoogleDocs,GoogleWave……云計算技術(shù)是Google大局部應(yīng)用的根底設(shè)施沒有“云計算〞,就沒有Google的創(chuàng)新效勞Google云計算應(yīng)用場景Google的云計算夢想應(yīng)用向互聯(lián)網(wǎng)遷移數(shù)據(jù)向互聯(lián)網(wǎng)遷移計算能力向互聯(lián)網(wǎng)遷移存儲空間向互聯(lián)網(wǎng)遷移“瀏覽器=操作系統(tǒng)〞GoogleChromeGoogle云計算應(yīng)用場景Google云計算應(yīng)用的分類總體上,云計算可以分為IaaS、PaaS和SaaS三種類型Google云計算應(yīng)用場景Google云計算應(yīng)用的分類目前,Google云計算應(yīng)用可以歸于SaaS和PaaS兩類SaaSGoogleDocsGoogleMapsGmailGoogleCalendarGoogleWave……PaaSGoogleAppEngineGoogle云計算應(yīng)用場景

——GoogleDocsGoogle在線文檔創(chuàng)立在線的Word和Excel,支持主要的文檔編輯功能Google云計算應(yīng)用場景

——GoogleDocsGoogle在線文檔在線創(chuàng)立演示文檔〔PPT〕,并支持在線演示Google云計算應(yīng)用場景

——GoogleDocsGoogle在線文檔支持實時協(xié)作〔多人同時編輯〕使用豐富的在線模板,快速構(gòu)建文檔支持移動設(shè)備訪問和編輯與其他產(chǎn)品集成,如Gmail等Google云計算應(yīng)用場景

——GoogleMapsGoogle提供的電子地圖效勞Google云計算應(yīng)用場景

——GoogleMapsGoogle提供的電子地圖效勞提供全球詳盡的矢量電子地圖不僅僅是地圖街景地形交通流量衛(wèi)星圖片不僅僅是地圖商業(yè)信息導(dǎo)航支持移動設(shè)備訪問,對外提供效勞Google云計算應(yīng)用場景

——GmailGoogle提供的電子郵件效勞超大附件、海量存儲空間Google云計算應(yīng)用場景

——GoogleCalendarGoogle提供的日程安排工具Google云計算應(yīng)用場景

——GoogleWaveGoogle的信息分享、協(xié)作、發(fā)布平臺一個創(chuàng)新和整合的平臺整合了Gmail、即時通訊、文字處理、在線協(xié)作〔游戲〕等功能Google云計算應(yīng)用場景

——AppEngine隸屬于PaaS的Google云計算屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語言通過SDK提供Google的各種效勞,如圖形、MAIL和數(shù)據(jù)存儲等用戶可快速、廉價〔可免費(fèi)使用限定的流量和存儲〕地部署自己開發(fā)的應(yīng)用〔如創(chuàng)新的網(wǎng)站、游戲等〕Google云計算應(yīng)用場景上述應(yīng)用的特點應(yīng)用〔功能實現(xiàn)〕在云端存儲在云端計算在云端Google云計算的技術(shù)架構(gòu)Google的云計算應(yīng)用均依賴于四個根底組件文件存儲,GoogleFileSystem,GFS并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle云計算應(yīng)用MapReduceBigTableGFSChubbyGoogle云計算關(guān)鍵技術(shù)

——GFSGoogle文件系統(tǒng)的假設(shè)與目標(biāo)硬件出錯是正常而非異常系統(tǒng)應(yīng)當(dāng)由大量廉價、易損的硬件組成必須保持文件系統(tǒng)整體的可靠性主要負(fù)載是流數(shù)據(jù)讀寫主要用于程序處理批量數(shù)據(jù),而非與用戶的交互或隨機(jī)讀寫數(shù)據(jù)寫主要是“追加寫〞,“插入寫〞非常少需要存儲大尺寸的文件存儲的文件尺寸可能是GB或TB量級,而且應(yīng)當(dāng)能支持存儲成千上萬的大尺寸文件Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)如何存儲大文件?節(jié)點分為Client、Master和ChunkServer三類Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)Master:管理節(jié)點,邏輯上唯一〔物理上多個〕,保存系統(tǒng)元數(shù)據(jù),負(fù)責(zé)整個文件系統(tǒng)的管理,是GFS的“大腦〞Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)ChunkServer:負(fù)責(zé)具體的存儲工作GFS可以包含多個ChunkServer,其數(shù)目決定了GFS的存儲規(guī)模GFS將文件分塊存儲,塊大小默認(rèn)為64M,每隔塊均具有唯一索引號〔index〕Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)GFS的訪問流程Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)訪問流程實現(xiàn)了控制流和信息流的別離Client與Master僅有控制流,使Master不成為瓶頸Client與ChunkServer直接存儲數(shù)據(jù),實現(xiàn)高速的數(shù)據(jù)并發(fā)讀取Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)的特點采用中心效勞器模式可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況,方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問題不緩沖數(shù)據(jù)GFS的文件操作大局部是流式讀寫,不存在大量的重復(fù)讀寫,使用Cache對性能提高不大ChunkServer上的數(shù)據(jù)存取使用本地文件系統(tǒng),如果某個Chunk讀取頻繁,文件系統(tǒng)具有Cache從可行性看,Cache與實際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜Google云計算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)的特點在用戶態(tài)下實現(xiàn)直接利用ChunkServer的文件系統(tǒng)存取Chunk,實現(xiàn)簡單用戶態(tài)應(yīng)用調(diào)試較為簡單,利于開發(fā)用戶態(tài)的GFS不會影響ChunkServer的穩(wěn)定性只提供專用的訪問接口降低GFS的實現(xiàn)復(fù)雜度Google云計算關(guān)鍵技術(shù)

——GFSGFS的容錯機(jī)制ChunkServer容錯每個Chunk有多個存儲副本〔通常是3個〕,分別存儲于不通的效勞器上每個Chunk又劃分為假設(shè)干Block〔64KB〕,每個Block對應(yīng)一個32bit的校驗碼,保證數(shù)據(jù)正確〔假設(shè)某個Block錯誤,那么轉(zhuǎn)移至其他Chunk副本〕Master容錯三類元數(shù)據(jù):命名空間〔目錄結(jié)構(gòu)〕、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過日志提供容錯,Chunk副本信息存儲于ChunkServer,Master出現(xiàn)故障時可恢復(fù)Google云計算關(guān)鍵技術(shù)

——GFS基于GFS的Google數(shù)據(jù)中心節(jié)點廉價、易損壞,但整體可靠、穩(wěn)定Google云計算關(guān)鍵技術(shù)

——MapReduceMapReduceGoogle提出的一個軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集〔通常大于1TB〕的并行運(yùn)算MapReduce實現(xiàn)了Map和Reduce兩個功能Map把一個函數(shù)應(yīng)用于集合中的所有成員,然后返回一個基于這個處理的結(jié)果集Reduce對結(jié)果集進(jìn)行分類和歸納Map()和Reduce()兩個函數(shù)可能會并行運(yùn)行,即使不是在同一的系統(tǒng)的同一時刻Google云計算關(guān)鍵技術(shù)

——MapReduce業(yè)務(wù)處理流程Google云計算關(guān)鍵技術(shù)

——MapReduce案例:單詞記數(shù)問題(WordCount)給定一個巨大的文本〔如1TB〕,如何計算單詞出現(xiàn)的數(shù)目?Google云計算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問題定義Map和Reduce函數(shù)Google云計算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問題Step1:自動對文本進(jìn)行分割Google云計算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問題Step2:在分割之后的每一對<key,value>進(jìn)行用戶定義的Map進(jìn)行處理,再生成新的<key,value>對Google云計算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問題Step3:對輸出的結(jié)果集歸攏、排序(系統(tǒng)自動完成〕Google云計算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問題Step4:通過Reduce操作生成最后結(jié)果Google云計算關(guān)鍵技術(shù)

——MapReduce實踐證明,MapReduce是出色的分布式計算模型Google宣布,其對分布于1000臺計算機(jī)上的1TB數(shù)據(jù)進(jìn)行排序僅僅需要68s對4000臺計算機(jī)上的1PB數(shù)據(jù)進(jìn)行排序處理僅需要6小時2分鐘〔每次測試至少會損壞1塊硬盤〕在08年1月份,GoogleMapReduce平均每天的數(shù)據(jù)處理量是20PB,相當(dāng)于美國國會圖書館當(dāng)年5月份存檔網(wǎng)絡(luò)數(shù)據(jù)的240倍Google云計算關(guān)鍵技術(shù)

——Chubby分布式一致性問題在一個分布式系統(tǒng)中,有一組的Process,它們需要確定一個Value。于是每個Process都提出了一個Value,一致性就是指只有其中的一個Value能夠被選中作為最后確定的值,并且當(dāng)這個值被選出來以后,所有的Process都需要被通知到Google云計算關(guān)鍵技術(shù)

——ChubbyGoogle云計算中的分布式一致性問題例如,GFS在物理上往往包含多個Master,但需要在邏輯上確定唯一的Master。如何確定?這是一個分布式一致性問題Chubby是Google為解決分布式一致性問題而設(shè)計的提供粗粒度鎖效勞的文件系統(tǒng)Google云計算關(guān)鍵技術(shù)

——ChubbyChubby是一個文件系統(tǒng),如何提供“鎖〞效勞?Chubby中的鎖就是文件在GFS的例子中,創(chuàng)立文件就是進(jìn)行“加鎖〞操作,創(chuàng)立文件成功的那個server其實就是搶占到了“鎖〞用戶通過翻開、關(guān)閉和讀取文件,獲取共享鎖或者獨占鎖;并且通過通信機(jī)制,向用戶發(fā)送更新信息因此,通過Chubby可以解決Google云計算中的分布式一致性問題Google云計算關(guān)鍵技術(shù)

——BigTable為什么需要設(shè)計BigTable?Google需要存儲的數(shù)據(jù)種類繁多網(wǎng)頁,地圖數(shù)據(jù),郵件……如何使用統(tǒng)一的方式存儲各類數(shù)據(jù)?海量的效勞請求如何快速地從海量信息中尋找需要的數(shù)據(jù)?

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論