ZooKeeper分布式應(yīng)用的協(xié)調(diào)器課件

ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器主要內(nèi)容ZooKeeper的數(shù)據(jù)模型ZooKeeper的數(shù)據(jù)讀寫機(jī)制ZooKeeper的使用方法主要內(nèi)容ZooKeeper的數(shù)據(jù)模型為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個(gè)主控、協(xié)調(diào)器或控制器來管理物理分布的子進(jìn)程（如資源、任務(wù)分配等）目前，大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序，缺乏一個(gè)通用的機(jī)制協(xié)調(diào)程序的反復(fù)編寫浪費(fèi)，且難以形成通用、伸縮性好的協(xié)調(diào)器ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù)）為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個(gè)主控、ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)命名符合常規(guī)文件系統(tǒng)規(guī)范，

不能包含/節(jié)點(diǎn)Znode可以包含數(shù)據(jù)與子

節(jié)點(diǎn)客戶端應(yīng)用可在節(jié)點(diǎn)上設(shè)置

監(jiān)視器節(jié)點(diǎn)數(shù)據(jù)不支持部分讀寫，

而是一次性完整讀寫臨時(shí)性節(jié)點(diǎn)ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)節(jié)點(diǎn)創(chuàng)建屬性臨時(shí)性節(jié)點(diǎn)創(chuàng)建的節(jié)點(diǎn)不是持久節(jié)點(diǎn)一旦與客戶端的會(huì)話結(jié)束，節(jié)點(diǎn)自動(dòng)刪除Sequence創(chuàng)建節(jié)點(diǎn)時(shí)，編號(hào)自動(dòng)加1例如x-1,x-2,s-3,x-4等節(jié)點(diǎn)創(chuàng)建屬性臨時(shí)性節(jié)點(diǎn)ZooKeeper的讀寫機(jī)制ZooKeeper是一個(gè)由多個(gè)Server組成的集群一個(gè)Leader，多個(gè)Follower每個(gè)Server都保存了一份數(shù)據(jù)副本全局?jǐn)?shù)據(jù)一致分布式讀寫更新請(qǐng)求轉(zhuǎn)發(fā)，由Leader實(shí)施ZooKeeper的讀寫機(jī)制ZooKeeper是一個(gè)由多個(gè)S使用ZooKeeper的約定更新請(qǐng)求順序執(zhí)行來自同一個(gè)Client的更新請(qǐng)求按其發(fā)送順序依次執(zhí)行數(shù)據(jù)更新原子性一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分?jǐn)?shù)據(jù)寫入成功或失敗的情況全局唯一數(shù)據(jù)視圖Client無論連接哪個(gè)Server，數(shù)據(jù)視圖都是一致的實(shí)時(shí)性在一定時(shí)間范圍內(nèi)，Client能讀到最新數(shù)據(jù)使用ZooKeeper的約定更新請(qǐng)求順序執(zhí)行ZooKeeper的APIStringcreate(path,data,acl,flags)voiddelete(path,expectedVersion)StatsetData(path,data,expectedVersion)(data,Stat)getData(path,watch)Statexists(path,watch)String[]getChildren(path,watch)voidsync(path)StatsetACL(path,acl,expectedVersion)(acl,Stat)getACL(path)包含監(jiān)視器調(diào)用參數(shù)均包含節(jié)點(diǎn)路徑ZooKeeper的APIStringcreate(pat對(duì)比：Chubby的APIhandleOpen(path,…)?Close(handle,…)?GetContentsAndStat(handle,…),GetStat(handle),ReadDir(handle,…)?SetContents(handle),SetACL(handle,…)?Delete(path)?Acquire(),TryAcquire(),Release()?GetSequencer(),SetSequencer(),CheckSequencer()?僅Open包含節(jié)點(diǎn)路徑，生成handle供其他API使用對(duì)比：Chubby的APIhandleOpen(path,如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)這里的“鎖”并非對(duì)ZooKeeper的資源加鎖，用于對(duì)第三方資源加鎖用例多個(gè)第三方分布式Server需要使用某第三方資源，誰獲取了ZooKeeper中的獨(dú)占鎖，誰就可以使用第三方資源，否則等待如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)如何使用ZooKeeper？Leader選舉用于在多個(gè)節(jié)點(diǎn)中選取主控，如GFS中對(duì)外服務(wù)Master節(jié)點(diǎn)的選取1)getData(“/servers/leader”,true)2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出3)讀取失敗，執(zhí)行create(“.../servers/leader”,hostname,EPHEMERAL)（注意節(jié)點(diǎn)類型）如果創(chuàng)建成功則自己成為leader，寫入信息，退出5)如果寫入失敗，則返回步驟1getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化，會(huì)重啟上述流程如何使用ZooKeeper？Leader選舉1)getDat如何使用ZooKeeper？獨(dú)占鎖如果分布式應(yīng)用需要對(duì)某資源獨(dú)占使用，可以申請(qǐng)獨(dú)占鎖1)id=create(“.../locks/x-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id是第一個(gè)節(jié)點(diǎn)，則獲取獨(dú)占鎖，退出4)exists(nameoflastchildbeforeid,true)（注意，設(shè)置了監(jiān)視器）5)如果id之前不存在節(jié)點(diǎn)，返回步驟26)等待通知7)返回步驟2有且僅有一個(gè)Client可以獲取到獨(dú)占鎖如何使用ZooKeeper？獨(dú)占鎖1)id=create如何使用ZooKeeper？共享鎖1)id=create(“.../locks/s-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id之前沒有x-類型的節(jié)點(diǎn)，獲取共享鎖，退出4)exists(nameofthelastx-beforeid,true)5)如果id之前不存在x-類型節(jié)點(diǎn)，返回步驟26)等待事件通知7)返回步驟2如果之前沒有獨(dú)占鎖，就可以獲取共享鎖如何使用ZooKeeper？共享鎖1)id=create如何使用ZooKeeper？其他應(yīng)用(小數(shù)據(jù)存儲(chǔ))例如，GFS中master如何獲知ChunkServer信息？基于ZooKeeper的實(shí)現(xiàn)方法ChunkServer執(zhí)行如下操作：1)id=create(“.../chunkservers/cs-”,SEQUENCE|EPHEMERAL)2)向節(jié)點(diǎn)id中寫入ChunkServer元信息Master執(zhí)行如下操作：1)getChildren(“.../chunkservers/”,true)2)讀取子節(jié)點(diǎn)數(shù)據(jù)，獲知ChunkServer元信息如何使用ZooKeeper？其他應(yīng)用(小數(shù)據(jù)存儲(chǔ))基于Zoo其他ZooKeeper的會(huì)話Client通過發(fā)送PING請(qǐng)求與Server保持會(huì)話通過PING，可以同時(shí)獲知Client與Server是否活躍ZooKeeper的監(jiān)視器監(jiān)視器是一次性的，一次事件通知后就作廢其他ZooKeeper的會(huì)話性能ZooKeeper適用于主要負(fù)載為讀的應(yīng)用場(chǎng)合性能ZooKeeper適用于主要ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器主要內(nèi)容ZooKeeper的數(shù)據(jù)模型ZooKeeper的數(shù)據(jù)讀寫機(jī)制ZooKeeper的使用方法主要內(nèi)容ZooKeeper的數(shù)據(jù)模型為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個(gè)主控、協(xié)調(diào)器或控制器來管理物理分布的子進(jìn)程（如資源、任務(wù)分配等）目前，大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序，缺乏一個(gè)通用的機(jī)制協(xié)調(diào)程序的反復(fù)編寫浪費(fèi)，且難以形成通用、伸縮性好的協(xié)調(diào)器ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù)）為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個(gè)主控、ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)命名符合常規(guī)文件系統(tǒng)規(guī)范，

不能包含/節(jié)點(diǎn)Znode可以包含數(shù)據(jù)與子

節(jié)點(diǎn)客戶端應(yīng)用可在節(jié)點(diǎn)上設(shè)置

監(jiān)視器節(jié)點(diǎn)數(shù)據(jù)不支持部分讀寫，

而是一次性完整讀寫臨時(shí)性節(jié)點(diǎn)ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)節(jié)點(diǎn)創(chuàng)建屬性臨時(shí)性節(jié)點(diǎn)創(chuàng)建的節(jié)點(diǎn)不是持久節(jié)點(diǎn)一旦與客戶端的會(huì)話結(jié)束，節(jié)點(diǎn)自動(dòng)刪除Sequence創(chuàng)建節(jié)點(diǎn)時(shí)，編號(hào)自動(dòng)加1例如x-1,x-2,s-3,x-4等節(jié)點(diǎn)創(chuàng)建屬性臨時(shí)性節(jié)點(diǎn)ZooKeeper的讀寫機(jī)制ZooKeeper是一個(gè)由多個(gè)Server組成的集群一個(gè)Leader，多個(gè)Follower每個(gè)Server都保存了一份數(shù)據(jù)副本全局?jǐn)?shù)據(jù)一致分布式讀寫更新請(qǐng)求轉(zhuǎn)發(fā)，由Leader實(shí)施ZooKeeper的讀寫機(jī)制ZooKeeper是一個(gè)由多個(gè)S使用ZooKeeper的約定更新請(qǐng)求順序執(zhí)行來自同一個(gè)Client的更新請(qǐng)求按其發(fā)送順序依次執(zhí)行數(shù)據(jù)更新原子性一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分?jǐn)?shù)據(jù)寫入成功或失敗的情況全局唯一數(shù)據(jù)視圖Client無論連接哪個(gè)Server，數(shù)據(jù)視圖都是一致的實(shí)時(shí)性在一定時(shí)間范圍內(nèi)，Client能讀到最新數(shù)據(jù)使用ZooKeeper的約定更新請(qǐng)求順序執(zhí)行ZooKeeper的APIStringcreate(path,data,acl,flags)voiddelete(path,expectedVersion)StatsetData(path,data,expectedVersion)(data,Stat)getData(path,watch)Statexists(path,watch)String[]getChildren(path,watch)voidsync(path)StatsetACL(path,acl,expectedVersion)(acl,Stat)getACL(path)包含監(jiān)視器調(diào)用參數(shù)均包含節(jié)點(diǎn)路徑ZooKeeper的APIStringcreate(pat對(duì)比：Chubby的APIhandleOpen(path,…)?Close(handle,…)?GetContentsAndStat(handle,…),GetStat(handle),ReadDir(handle,…)?SetContents(handle),SetACL(handle,…)?Delete(path)?Acquire(),TryAcquire(),Release()?GetSequencer(),SetSequencer(),CheckSequencer()?僅Open包含節(jié)點(diǎn)路徑，生成handle供其他API使用對(duì)比：Chubby的APIhandleOpen(path,如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)這里的“鎖”并非對(duì)ZooKeeper的資源加鎖，用于對(duì)第三方資源加鎖用例多個(gè)第三方分布式Server需要使用某第三方資源，誰獲取了ZooKeeper中的獨(dú)占鎖，誰就可以使用第三方資源，否則等待如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)如何使用ZooKeeper？Leader選舉用于在多個(gè)節(jié)點(diǎn)中選取主控，如GFS中對(duì)外服務(wù)Master節(jié)點(diǎn)的選取1)getData(“/servers/leader”,true)2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出3)讀取失敗，執(zhí)行create(“.../servers/leader”,hostname,EPHEMERAL)（注意節(jié)點(diǎn)類型）如果創(chuàng)建成功則自己成為leader，寫入信息，退出5)如果寫入失敗，則返回步驟1getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化，會(huì)重啟上述流程如何使用ZooKeeper？Leader選舉1)getDat如何使用ZooKeeper？獨(dú)占鎖如果分布式應(yīng)用需要對(duì)某資源獨(dú)占使用，可以申請(qǐng)獨(dú)占鎖1)id=create(“.../locks/x-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id是第一個(gè)節(jié)點(diǎn)，則獲取獨(dú)占鎖，退出4)exists(nameoflastchildbeforeid,true)（注意，設(shè)置了監(jiān)視器）5)如果id之前不存在節(jié)點(diǎn)，返回步驟26)等待通知7)返回步驟2有且僅有一個(gè)Client可以獲取到獨(dú)占鎖如何使用ZooKeeper？獨(dú)占鎖1)id=create如何使用ZooKeeper？共享鎖1)id=create(“.../locks/s-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id之前沒有x-類型的節(jié)點(diǎn)，獲取共享鎖，退出4)exists(name