第11課運(yùn)維第十一

1、Kafka原理剖析及實(shí)戰(zhàn)演練Kafka運(yùn)維DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Kafka 運(yùn)維n Topic增刪改查n Partition/Replica重新分配n 設(shè)置Preferred Replica ElectionDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Topic增刪改查n Topic的設(shè)置，影響分布式處理的并行度，從而影響性能，甚至結(jié)果的正確性n bin/kafka-topics.shDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Partition/Replic

2、a重新分配n Partition/Replica重新分配Ø 增加Broker后，已有的數(shù)據(jù)自動(dòng)遷移到新Broker上Ø 刪除Broker前，需要將待刪除的Broker上的數(shù)據(jù)遷移到其它Broker上n bin/kafka-reassign-partitions.shDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Partition/Replica重新分配n Partition/Replica重新分配過(guò)程.5.6.7.將Zookeeper中的AR（Current Assigned Replicas）更新為OAR（Original

3、 list of replicas for partition） + RAR（Reassigned replicas）。強(qiáng)制更新Zookeeper中的leader epoch，向AR中的每個(gè)Replica將RAR - OAR中的Replica設(shè)置為NewReplica狀態(tài)等待直到RAR中所有的Replica都與其Leader同步將RAR中所有的Replica都設(shè)置為OnlineReplica狀態(tài)將Cache中的AR設(shè)置為RARLeaderAndIsrRequest若Leader不在RAR中，則從RAR中重新Zookeeper中的leader epoch出一個(gè)新的Leader并LeaderAnd

4、IsrRequest。若新的Leader不是從RAR中而出，則還要增加8.將OAR - RAR中的所有Replica設(shè)置為OfflineReplica狀態(tài)，該過(guò)程包含兩部分。第一，將Zookeeper上ISR中的OAR - RAR移除并向LeaderLeaderAndIsrRequest從而通知這些Replica已經(jīng)從ISR中移除；第二，向OAR - RAR中的ReplicaPartition的Replica將OAR - RAR中的所有Replica設(shè)置為NonExistentReplica狀態(tài)從而將其從磁盤(pán)上刪除將Zookeeper中的AR設(shè)置為RAR刪除/admin/reassign_pa

5、rtitionStopReplicaRequest從而停止不再分配給該9.10.11.DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Partition/Replica重新分配n Partition/Replica重新分配過(guò)程以下是Partition重新分配的案例，OAR = 1，2，3，RAR = 4，5，6，Partition重新分配過(guò)程中Zookeeper中的AR和Leader/ISR路徑如下DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)ARleader/ISRStep1,2,31/1,2,3(initial stat

6、e)1,2,3,4,5,61/1,2,3(step 2)1,2,3,4,5,61/1,2,3,4,5,6(step 4)1,2,3,4,5,64/1,2,3,4,5,6(step 7)1,2,3,4,5,64/4,5,6(step 8)4,5,64/4,5,6(step 10)Preferred Replica Leader Electionn Preferred Replica Leader ElectionØ 所有的讀寫(xiě)都發(fā)生在Leader上，Leader的分布是否均勻，直接影響集群的負(fù)載均衡Ø Preferred Replica只有在ISR中被選為L(zhǎng)eadernbin

7、/kafka-preferred-replica-election.shn 可通過(guò)如下配置來(lái)啟用和自動(dòng)Leadership平衡Ø erval.seconds=300Ø leader.imbalance.per.broker.percentage=10Ø auto.leader.rebalance.enable=trueDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Preferred Replica Leader Electionn Preferred Replica Leader Election1.在Zookeeper上創(chuàng)建/admin/preferred_replica_election節(jié)點(diǎn)，并存入需要調(diào)整Preferred Replica的Partition信息Controller一直Watch該節(jié)點(diǎn)，一旦該節(jié)點(diǎn)被創(chuàng)建，Controller會(huì)收到通知，并獲取該內(nèi)容2.3.ControllerPreferred Replica，如果發(fā)現(xiàn)該Replica當(dāng)前并非是Leader并且它在該P(yáng)artition的ISR中，Controller向該ReplicaLeaderAndIsrRequest，使該Replica成為L(zhǎng)eader。如果該R