zookeeper簡介

1、Zookeeper簡介Zookeeper簡介 什么是Zookeeper 設(shè)計目標 Zookeeper server組成 數(shù)據(jù)模型 常用方法 典型應(yīng)用場景 指令匯總Zookeeper簡介 什么是ZookeeperZK是一個高效的分布式協(xié)調(diào)服務(wù)，它暴露了一些公用服務(wù)，比如命名/配置管理/同步控制/群組服務(wù)等。我們可以使用ZK來實現(xiàn)比如達成共識/集團管理/leader選舉等。Zookeeper簡介 設(shè)計目標簡單：ZK中的namespace組織結(jié)構(gòu)類似與標準的文件系統(tǒng)，通過這些共享的有層次的namespace來互相協(xié)調(diào)分布式中的多個進程，這些namespace由ZNodes組成，ZK數(shù)據(jù)被保存在內(nèi)存中

2、，這也意味著ZK將可以達到較高的吞吐量/較低的延遲。ZK的核心目標就是高性能，高可用，嚴格有序存取。高性能標志著ZK可以被使用在大規(guī)模分布式環(huán)境中，高可用標志著ZK避免單點故障，具有較強的容錯能力；嚴格有序(strict ordering)意味著客戶端可以實現(xiàn)復(fù)雜的同步。 Zookeeper簡介 設(shè)計目標復(fù)制：ZK的數(shù)據(jù)將會在ZK Cluster中的每臺機器上協(xié)作復(fù)制(備份)，構(gòu)成ZK服務(wù)的機器必須能夠互相感知對方。它們保持了一個內(nèi)存視圖狀態(tài)（in-memory image of state）,同時伴隨這tnx log和snapshot的持久存儲。只要大部分server有效，那么ZK 服務(wù)也是

3、有效的?？蛻舳酥慌c一個zk server建立鏈接，client通過建立的TCP連接來進行請求/響應(yīng)/獲取事件/發(fā)送心跳等。如果此TCP連接失效，client將會嘗試連接其他的ZK server。 Zookeeper簡介 設(shè)計目標全序性：對于每個update請求，ZK（leader）都會為其生成唯一的Zid來表示其事務(wù)的順序，接下來的操作可以使用zid的順序?qū)崿F(xiàn)同步原語（隊列）。高效快速：ZK在“讀主導(dǎo)”的應(yīng)用中表現(xiàn)的非常的優(yōu)秀。ZK應(yīng)用可以運行在數(shù)臺機器上，并且在read遠大與write的場景中，是非常適合的，通常這個比例為10：1. Zookeeper簡介 Zookeeper server組

4、成ZK server根據(jù)其身份特性分為三種：leader，F(xiàn)ollower，Observer，其中Follower和Observer又統(tǒng)稱Learner（學習者）。 Leader：負責客戶端的writer類型請求 Follower：負責客戶端的reader類型請求，參與leader選舉等 Observer：特殊的“Follower”，其可以接受客戶端reader請求，但不參與選舉。（擴容系統(tǒng)支撐能力，提高了讀取速度。因為它不接受任何同步的寫入請求，只負責與leader同步數(shù)據(jù)）Zookeeper簡介 數(shù)據(jù)模型Zookeeper 會維護一個具有層次關(guān)系的數(shù)據(jù)結(jié)構(gòu)，它非常類似于一個標準的文件系統(tǒng)Z

5、ookeeper簡介 數(shù)據(jù)模型1、每個子目錄項如 NameService 都被稱作為 znode，這個 znode 是被它所在的路徑唯一標識，如 Server1 這個 znode 的標識為 /NameService/Server12、znode 可以有子節(jié)點目錄，并且每個 znode 可以存儲數(shù)據(jù)，注意 EPHEMERAL 類型的目錄節(jié)點不能有子節(jié)點目錄3、znode 是有版本的，每個 znode 中存儲的數(shù)據(jù)可以有多個版本，也就是一個訪問路徑中可以存儲多份數(shù)據(jù) Zookeeper簡介 數(shù)據(jù)模型4、znode 可以是臨時節(jié)點，一旦創(chuàng)建這個 znode 的客戶端與服務(wù)器失去聯(lián)系，這個 znode

6、 也將自動刪除，Zookeeper 的客戶端和服務(wù)器通信采用長連接方式，每個客戶端和服務(wù)器通過心跳來保持連接，這個連接狀態(tài)稱為 session，如果 znode 是臨時節(jié)點，這個 session 失效，znode 也就刪除了5、znode 的目錄名可以自動編號，如 App1 已經(jīng)存在，再創(chuàng)建的話，將會自動命名為 App2 Zookeeper簡介 數(shù)據(jù)模型6、 znode 可以被監(jiān)控，包括這個目錄節(jié)點中存儲的數(shù)據(jù)的修改，子節(jié)點目錄的變化等，一旦變化可以通知設(shè)置監(jiān)控的客戶端，這個是 Zookeeper 的核心特性，Zookeeper 的很多功能都是基于這個特性實現(xiàn)的，后面在典型的應(yīng)用場景中會有實例

7、介紹 Zookeeper簡介 常用方法 Zookeeper簡介 常用方法 Zookeeper簡介 典型應(yīng)用場景Zookeeper 從設(shè)計模式角度來看，是一個基于觀察者模式設(shè)計的分布式服務(wù)管理框架，它負責存儲和管理大家都關(guān)心的數(shù)據(jù)，然后接受觀察者的注冊，一旦這些數(shù)據(jù)的狀態(tài)發(fā)生 變化，Zookeeper 就將負責通知已經(jīng)在 Zookeeper 上注冊的那些觀察者做出相應(yīng)的反應(yīng)，從而實現(xiàn)集群中類似 Master/Slave 管理模式。 統(tǒng)一命名服務(wù)（Name Service） 配置管理（Configuration Management） 集群管理（Group Membership） 共享鎖（Lock

8、s） 隊列管理Zookeeper簡介 統(tǒng)一命名服務(wù)（Name Service）分布式應(yīng)用中，通常需要有一套完整的命名規(guī)則，既能夠產(chǎn)生唯一的名稱又便于人識別和記住，通常情況下用樹形的名稱結(jié)構(gòu)是一個理想的選擇，樹形的名稱 結(jié)構(gòu)是一個有層次的目錄結(jié)構(gòu)，既對人友好又不會重復(fù)。說到這里你可能想到了 JNDI，沒錯 Zookeeper 的 Name Service 與 JNDI 能夠完成的功能是差不多的，它們都是將有層次的目錄結(jié)構(gòu)關(guān)聯(lián)到一定資源上，但是 Zookeeper 的 Name Service 更加是廣泛意義上的關(guān)聯(lián)，也許你并不需要將名稱關(guān)聯(lián)到特定資源上，你可能只需要一個不會重復(fù)名稱，就像數(shù)據(jù)庫中

9、產(chǎn)生一個唯一的數(shù)字主鍵一樣。Name Service 已經(jīng)是 Zookeeper 內(nèi)置的功能，你只要調(diào)用 Zookeeper 的 API 就能實現(xiàn)。如調(diào)用 create 接口就可以很容易創(chuàng)建一個目錄節(jié)點。Zookeeper簡介 配置管理（Configuration Management）配置的管理在分布式應(yīng)用環(huán)境中很常見，例如同一個應(yīng)用系統(tǒng)需要多臺 PC Server 運行，但是它們運行的應(yīng)用系統(tǒng)的某些配置項是相同的，如果要修改這些相同的配置項，那么就必須同時修改每臺運行這個應(yīng)用系統(tǒng)的 PC Server，這樣非常麻煩而且容易出錯。像這樣的配置信息完全可以交給 Zookeeper 來管理，將配

10、置信息保存在 Zookeeper 的某個目錄節(jié)點中，然后將所有需要修改的應(yīng)用機器監(jiān)控配置信息的狀態(tài)，一旦配置信息發(fā)生變化，每臺應(yīng)用機器就會收到 Zookeeper 的通知，然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中。Zookeeper簡介 配置管理（Configuration Management）Zookeeper簡介 集群管理（Group Membership） Zookeeper 能夠很容易的實現(xiàn)集群管理的功能，如有多臺 Server 組成一個服務(wù)集群，那么必須要一個“總管”知道當前集群中每臺機器的服務(wù)狀態(tài)，一旦有機器不能提供服務(wù)，集群中其它集群必須知道，從而做出調(diào)整重新分

11、配服 務(wù)策略。同樣當增加集群的服務(wù)能力時，就會增加一臺或多臺 Server，同樣也必須讓“總管”知道。 Zookeeper 不僅能夠幫你維護當前的集群中機器的服務(wù)狀態(tài)，而且能夠幫你選出一個“總管”，讓這個總管來管理集群，這就是 Zookeeper 的另一個功能 Leader Election。Zookeeper簡介 集群管理（Group Membership）-實現(xiàn) 它們的實現(xiàn)方式都是在 Zookeeper 上創(chuàng)建一個 EPHEMERAL 類型的目錄節(jié)點，然后每個 Server 在它們創(chuàng)建目錄節(jié)點的父目錄節(jié)點上調(diào)用 getChildren(String path, boolean watch)

12、 方法并設(shè)置 watch 為 true，由于是 EPHEMERAL 目錄節(jié)點，當創(chuàng)建它的 Server 死去，這個目錄節(jié)點也隨之被刪除，所以 Children 將會變化，這時 getChildren上的 Watch 將會被調(diào)用，所以其它 Server 就知道已經(jīng)有某臺 Server 死去了。新增 Server 也是同樣的原理。Zookeeper簡介 集群管理（Group Membership）-實現(xiàn) Zookeeper 如何實現(xiàn) Leader Election，也就是選出一個 Master Server。和前面的一樣每臺 Server 創(chuàng)建一個 EPHEMERAL 目錄節(jié)點，不同的是它還是一個

13、 SEQUENTIAL 目錄節(jié)點，所以它是個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點。之所以它是 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，是因為我們可以給每臺 Server 編號，我們可以選擇當前是最小編號的 Server 為 Master，假如這個最小編號的 Server 死去，由于是 EPHEMERAL 節(jié)點，死去的 Server 對應(yīng)的節(jié)點也被刪除，所以當前的節(jié)點列表中又出現(xiàn)一個最小編號的節(jié)點，我們就選擇這個節(jié)點為當前 Master。這樣就實現(xiàn)了動態(tài)選擇 Master，避免了傳統(tǒng)意義上單 Master 容易出現(xiàn)單點故障的問題。Zookeeper簡介 集群管理（Gr

14、oup Membership）-實現(xiàn)Zookeeper簡介 集群管理（Group Membership）-實現(xiàn)Leader Election 關(guān)鍵代碼Zookeeper簡介 共享鎖（Locks）共享鎖在同一個進程中很容易實現(xiàn)，但是在跨進程或者在不同 Server 之間就不好實現(xiàn)了。Zookeeper 卻很容易實現(xiàn)這個功能，實現(xiàn)方式也是需要獲得鎖的 Server 創(chuàng)建一個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，然后調(diào)用 getChildren方法獲取當前的目錄節(jié)點列表中最小的目錄節(jié)點是不是就是自己創(chuàng)建的目錄節(jié)點，如果正是自己創(chuàng)建的，那么它就獲得了這個鎖，如果不是那么它就調(diào)用 exi

15、sts(String path, boolean watch) 方法并監(jiān)控 Zookeeper 上目錄節(jié)點列表的變化，一直到自己創(chuàng)建的節(jié)點是列表中最小編號的目錄節(jié)點，從而獲得鎖，釋放鎖很簡單，只要刪除前面它自己所創(chuàng)建的目錄節(jié)點就行了。Zookeeper簡介 共享鎖（Locks）Zookeeper簡介 共享鎖（Locks）Zookeeper簡介 隊列管理Zookeeper 可以處理兩種類型的隊列： 當一個隊列的成員都聚齊時，這個隊列才可用，否則一直等待所有成員到達，這種是同步隊列。 隊列按照 FIFO 方式進行入隊和出隊操作，例如實現(xiàn)生產(chǎn)者和消費者模型。Zookeeper簡介 隊列管理同步隊列用

16、 Zookeeper 實現(xiàn)的實現(xiàn)思路如下： 創(chuàng)建一個父目錄 /synchronizing，每個成員都監(jiān)控標志（Set Watch）位目錄 /synchronizing/start 是否存在，然后每個成員都加入這個隊列，加入隊列的方式就是創(chuàng)建 /synchronizing/member_i 的臨時目錄節(jié)點，然后每個成員獲取 / synchronizing 目錄的所有目錄節(jié)點，也就是 member_i。判斷 i 的值是否已經(jīng)是成員的個數(shù)，如果小于成員個數(shù)等待 /synchronizing/start 的出現(xiàn)，如果已經(jīng)相等就創(chuàng)建 /synchronizing/start。Zookeeper簡介 隊列

17、管理Zookeeper簡介 隊列管理Zookeeper簡介 隊列管理FIFO 隊列用 Zookeeper 實現(xiàn)思路如下： 實現(xiàn)的思路也非常簡單，就是在特定的目錄下創(chuàng)建 SEQUENTIAL 類型的子目錄 /queue_i，這樣就能保證所有成員加入隊列時都是有編號的，出隊列時通過 getChildren( ) 方法可以返回當前所有的隊列中的元素，然后消費其中最小的一個，這樣就能保證 FIFO。Zookeeper簡介 隊列管理生產(chǎn)者代碼：Zookeeper簡介 隊列管理消費者代碼：Zookeeper簡介 指令匯總 創(chuàng)建節(jié)點 獲取節(jié)點數(shù)據(jù) 查看子節(jié)點列表 設(shè)置節(jié)點值 刪除所有節(jié)點 設(shè)置ACL 刪除節(jié)

18、點 添加授權(quán)信息Zookeeper簡介 創(chuàng)建節(jié)點 格式:create -s -e path data acl 其中-s表示創(chuàng)建一個有序節(jié)點,-e表示創(chuàng)建一個臨時節(jié)點.默認為持久性節(jié)點-create -s /test null -create /test null 包括ACL的例子-create -s /test null digest:test:Kk3Nr5X06NH+XdlGMyOrULgK/mo=:rwcda （創(chuàng)建一個path為“/test”的節(jié)點,值為“null”,ACL授權(quán)方式為“digest”,其中授權(quán)的用戶名:密碼為“test:Kk3Nr5X06NH+XdlGMyOrULgK/m

19、o=”,ACL的權(quán)限列表為“r”“w”“c”“d”“a”.）Zookeeper簡介 創(chuàng)建節(jié)點digest授權(quán)方式表示client方位此節(jié)點數(shù)據(jù),需要指定用戶名和密碼,可以參考zookeeper中 DigestAuthenticationProvider.generateDigest(String ipName)方法;通過向此方法指定原始的用戶名和密碼即可獲得digest之后的字符串,比如傳入test:test,將會得 到test:V28q/NynI4JI3Rk54h0r8O5kMug=,其內(nèi)部原理是將密碼部分進行MD5 + sha1操作.再zkCli.sh指令上你需要傳遞digest之后的字符串. 其中ACL的授權(quán)方式有很多種,你可以在ZooDefs類中找到更多的信息. 最后一個參數(shù)為權(quán)限列表,r表示read,w表示write,c表示create,d表示delete,a表示adminZookeeper簡