云計(jì)算系列教程

1、ZooKeeper分布式應(yīng)用的協(xié)調(diào)器,主要內(nèi)容,ZooKeeper的數(shù)據(jù)模型 ZooKeeper的數(shù)據(jù)讀寫(xiě)機(jī)制 ZooKeeper的使用方法,為什么需要ZooKeeper,大部分分布式應(yīng)用需要一個(gè)主控、協(xié)調(diào)器或控制器來(lái)管理物理分布的子進(jìn)程（如資源、任務(wù)分配等） 目前，大部分應(yīng)用需要開(kāi)發(fā)私有的協(xié)調(diào)程序，缺乏一個(gè)通用的機(jī)制 協(xié)調(diào)程序的反復(fù)編寫(xiě)浪費(fèi)，且難以形成通用、伸縮性好的協(xié)調(diào)器 ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù),ZooKeeper的數(shù)據(jù)模型,層次化目錄結(jié)構(gòu) 命名符合常規(guī)文件系統(tǒng)規(guī)范， 不能包含/ 節(jié)點(diǎn)Znode可以包含數(shù)據(jù)與子 節(jié)點(diǎn) 客戶端

2、應(yīng)用可在節(jié)點(diǎn)上設(shè)置 監(jiān)視器 節(jié)點(diǎn)數(shù)據(jù)不支持部分讀寫(xiě)， 而是一次性完整讀寫(xiě) Ephemeral節(jié)點(diǎn),節(jié)點(diǎn)創(chuàng)建屬性,Ephemeral 創(chuàng)建的節(jié)點(diǎn)不是持久節(jié)點(diǎn) 一旦與客戶端的會(huì)話結(jié)束，節(jié)點(diǎn)自動(dòng)刪除 Sequence 創(chuàng)建節(jié)點(diǎn)時(shí)，編號(hào)自動(dòng)加1 例如x-1,x-2,s-3,x-4等,ZooKeeper的讀寫(xiě)機(jī)制,ZooKeeper是一個(gè)由多個(gè)Server組成的集群 一個(gè)Leader，多個(gè)Follower 每個(gè)Server都保存了一份數(shù)據(jù)副本 全局?jǐn)?shù)據(jù)一致 分布式讀寫(xiě) 更新請(qǐng)求轉(zhuǎn)發(fā)，由Leader實(shí)施,使用ZooKeeper的約定,更新請(qǐng)求順序執(zhí)行 來(lái)自同一個(gè)Client的更新請(qǐng)求按其發(fā)送順序依次執(zhí)行

3、數(shù)據(jù)更新原子性 一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分?jǐn)?shù)據(jù)寫(xiě)入成功或失敗的情況 全局唯一數(shù)據(jù)視圖 Client無(wú)論連接哪個(gè)Server，數(shù)據(jù)視圖都是一致的 實(shí)時(shí)性 在一定時(shí)間范圍內(nèi)，Client能讀到最新數(shù)據(jù),ZooKeeper的API,String create(path, data, acl, flags) void delete(path, expectedVersion) Stat setData(path, data, expectedVersion) (data, Stat) getData(path, watch) Stat exists(path, watch) Strin

4、g getChildren(path, watch) void sync(path) Stat setACL(path, acl, expectedVersion) (acl, Stat) getACL(path,包含監(jiān)視器,調(diào)用參數(shù)均包含節(jié)點(diǎn)路徑,對(duì)比：Chubby的API,handle Open(path,) Close(handle,) GetContentsAndStat(handle,), GetStat(handle), ReadDir(handle,) SetContents(handle), SetACL(handle,) Delete(path) Acquire(), Try

5、Acquire(), Release() GetSequencer(), SetSequencer(), CheckSequencer(,僅Open包含節(jié)點(diǎn)路徑，生成handle供其他API使用,如何使用ZooKeeper,關(guān)于ZooKeeper的鎖服務(wù) 這里的“鎖”并非對(duì)ZooKeeper的資源加鎖，用于對(duì)第三方資源加鎖 用例 多個(gè)第三方分布式Server需要使用某第三方資源，誰(shuí)獲取了ZooKeeper中的獨(dú)占鎖，誰(shuí)就可以使用第三方資源，否則等待,如何使用ZooKeeper,Leader選舉 用于在多個(gè)節(jié)點(diǎn)中選取主控，如GFS中對(duì)外服務(wù)Master節(jié)點(diǎn)的選取,1)getData(“/serv

6、ers/leader”, true) 2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出 3)讀取失敗，執(zhí)行create(“./servers/leader”, hostname, EPHEMERAL)（注意節(jié)點(diǎn)類型） 如果創(chuàng)建成功則自己成為leader，寫(xiě)入信息，退出 5)如果寫(xiě)入失敗，則返回步驟1,getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化， 會(huì)重啟上述流程,如何使用ZooKeeper,獨(dú)占鎖 如果分布式應(yīng)用需要對(duì)某資源獨(dú)占使用，可以申請(qǐng)獨(dú)占鎖,1)id = create(“./locks/x-”, SEQUENCE|EPHEMERAL) 2)getChildren(“./locks/

7、”, false) 3)如果id是第一個(gè)節(jié)點(diǎn)，則獲取獨(dú)占鎖，退出 4)exists(name of last child before id, true)（注意，設(shè)置了監(jiān)視器） 5)如果id之前不存在節(jié)點(diǎn)，返回步驟2 6)等待通知 7)返回步驟2,有且僅有一個(gè)Client可以獲取到獨(dú)占鎖,如何使用ZooKeeper,共享鎖,1)id = create(“./locks/s-”, SEQUENCE|EPHEMERAL) 2)getChildren(“./locks/”, false) 3)如果id之前沒(méi)有x-類型的節(jié)點(diǎn)，獲取共享鎖，退出 4)exists(name of the last x-

8、before id, true) 5)如果id之前不存在x-類型節(jié)點(diǎn)，返回步驟2 6)等待事件通知 7)返回步驟2,如果之前沒(méi)有獨(dú)占鎖，就可以獲取共享鎖,如何使用ZooKeeper,其他應(yīng)用(小數(shù)據(jù)存儲(chǔ)) 例如，GFS中master如何獲知ChunkServer信息,基于ZooKeeper的實(shí)現(xiàn)方法 ChunkServer執(zhí)行如下操作： 1)id = create(“./chunkservers/cs-”, SEQUENCE|EPHEMERAL) 2)向節(jié)點(diǎn)id中寫(xiě)入ChunkServer元信息 Master執(zhí)行如下操作： 1) getChildren(“./chunkservers/”, true) 2)讀取子節(jié)點(diǎn)數(shù)據(jù)，獲知ChunkServer元信息,其他,ZooKe