云計算系列教程10

1、ZooKeeper分布式應(yīng)用的協(xié)調(diào)器主要內(nèi)容 ZooKeeper的數(shù)據(jù)模型 ZooKeeper的數(shù)據(jù)讀寫機制 ZooKeeper的使用方法為什么需要ZooKeeper? 大部分分布式應(yīng)用需要一個主控、協(xié)調(diào)器或控制器來管理物理分布的子進程（如資源、任務(wù)分配等） 目前，大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序，缺乏一個通用的機制 協(xié)調(diào)程序的反復(fù)編寫浪費，且難以形成通用、伸縮性好的協(xié)調(diào)器 ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù)）ZooKeeper的數(shù)據(jù)模型 層次化目錄結(jié)構(gòu) 命名符合常規(guī)文件系統(tǒng)規(guī)范， 不能包含/ 節(jié)點Znode可以包含數(shù)據(jù)與子 節(jié)點 客戶端應(yīng)

2、用可在節(jié)點上設(shè)置 監(jiān)視器 節(jié)點數(shù)據(jù)不支持部分讀寫， 而是一次性完整讀寫 Ephemeral節(jié)點節(jié)點創(chuàng)建屬性 Ephemeral 創(chuàng)建的節(jié)點不是持久節(jié)點 一旦與客戶端的會話結(jié)束，節(jié)點自動刪除 Sequence 創(chuàng)建節(jié)點時，編號自動加1 例如x-1,x-2,s-3,x-4等ZooKeeper的讀寫機制 ZooKeeper是一個由多個Server組成的集群 一個Leader，多個Follower 每個Server都保存了一份數(shù)據(jù)副本 全局數(shù)據(jù)一致 分布式讀寫 更新請求轉(zhuǎn)發(fā)，由Leader實施使用ZooKeeper的約定 更新請求順序執(zhí)行 來自同一個Client的更新請求按其發(fā)送順序依次執(zhí)行 數(shù)據(jù)更新

3、原子性 一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分數(shù)據(jù)寫入成功或失敗的情況 全局唯一數(shù)據(jù)視圖 Client無論連接哪個Server，數(shù)據(jù)視圖都是一致的 實時性 在一定時間范圍內(nèi)，Client能讀到最新數(shù)據(jù)ZooKeeper的APIString create(path, data, acl, flags)void delete(path, expectedVersion)Stat setData(path, data, expectedVersion)(data, Stat) getData(path, watch)Stat exists(path, watch)String getChildr

4、en(path, watch)void sync(path)Stat setACL(path, acl, expectedVersion)(acl, Stat) getACL(path)包含監(jiān)視器調(diào)用參數(shù)均包含節(jié)點路徑對比：Chubby的APIhandle Open(path,) Close(handle,) GetContentsAndStat(handle,), GetStat(handle), ReadDir(handle,) SetContents(handle), SetACL(handle,) Delete(path) Acquire(), TryAcquire(), Releas

5、e() GetSequencer(), SetSequencer(), CheckSequencer()?僅Open包含節(jié)點路徑，生成handle供其他API使用如何使用ZooKeeper？ 關(guān)于ZooKeeper的鎖服務(wù) 這里的“鎖”并非對ZooKeeper的資源加鎖，用于對第三方資源加鎖 用例 多個第三方分布式Server需要使用某第三方資源，誰獲取了ZooKeeper中的獨占鎖，誰就可以使用第三方資源，否則等待如何使用ZooKeeper？ Leader選舉 用于在多個節(jié)點中選取主控，如GFS中對外服務(wù)Master節(jié)點的選取1)getData(“/servers/leader”,?true

6、)2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出3)讀取失敗，執(zhí)行create(“./servers/leader”,?hostname,?EPHEMERAL)（注意節(jié)點類型）如果創(chuàng)建成功則自己成為leader，寫入信息，退出5)如果寫入失敗，則返回步驟1getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化，會重啟上述流程如何使用ZooKeeper？ 獨占鎖 如果分布式應(yīng)用需要對某資源獨占使用，可以申請獨占鎖1)id?=?create(“./locks/x-”,?SEQUENCE|EPHEMERAL)2)getChildren(“./locks/”,?false)3)如果id是第一個節(jié)點，則獲取

7、獨占鎖，退出4)exists(name?of?last?child?before?id,?true)（注意，設(shè)置了監(jiān)視器）5)如果id之前不存在節(jié)點，返回步驟26)等待通知7)返回步驟2有且僅有一個Client可以獲取到獨占鎖如何使用ZooKeeper？ 共享鎖1)id?=?create(“./locks/s-”,?SEQUENCE|EPHEMERAL)2)getChildren(“./locks/”,?false)3)如果id之前沒有x-類型的節(jié)點，獲取共享鎖，退出4)exists(name?of?the?last?x-?before?id,?true)5)如果id之前不存在x-類型節(jié)點，返回步驟26)等待事件通知7)返回步驟2如果之前沒有獨占鎖，就可以獲取共享鎖如何使用ZooKeeper？ 其他應(yīng)用(小數(shù)據(jù)存儲) 例如，GFS中master如何獲知ChunkServer信息？基于ZooKeeper的實現(xiàn)方法ChunkServer執(zhí)行如下操作：1)id?=?create(“./chunkservers/cs-”,?SEQUENCE|EPHEMERAL)2)向節(jié)點id中寫入ChunkServer元信息Master執(zhí)行如下操作：1)?getChildren(“./chunkservers/”,?true)2)讀取子節(jié)點數(shù)據(jù)，獲知ChunkServer元信息其他 ZooKe