項(xiàng)目13 Kafka分布式集群搭建

Hadoop大數(shù)據(jù)技術(shù)——Kafka分布式集群搭建Kafka概述Kafka是由LinkedIn開發(fā)的一個(gè)分布式的消息系統(tǒng)，使用Scala語言編寫，它以可水平擴(kuò)展和高吞吐率的特點(diǎn)而被廣泛使用。目前越來越多的開源分布式處理系統(tǒng)，如Spark、Flink都支持與Kafka集成。比如一個(gè)實(shí)時(shí)日志分析系統(tǒng)，F(xiàn)lume采集數(shù)據(jù)通過接口傳輸?shù)終afka集群（多臺(tái)Kafka服務(wù)器組成的集群稱為Kafka集群），然后Flink或者Spark直接調(diào)用接口從Kafka實(shí)時(shí)讀取數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析。湖南軟件職業(yè)技術(shù)大學(xué)Kafka概述Kafka設(shè)計(jì)目標(biāo)以時(shí)間復(fù)雜度為O（1）的方式提供消息持久化（Kafka）能力，即使對(duì)TB級(jí)以上數(shù)據(jù)也能保證常數(shù)時(shí)間的訪問性能。持久化是將程序數(shù)據(jù)在持久狀態(tài)和瞬時(shí)狀態(tài)間轉(zhuǎn)換的機(jī)制。通俗地講，就是瞬時(shí)數(shù)據(jù)（比如內(nèi)存中的數(shù)據(jù)是不能永久保存的）持久化為持久數(shù)據(jù)（比如持久化至磁盤中能夠長(zhǎng)久保存）。保證高吞吐率，即使在非常廉價(jià)的商用機(jī)器上，也能做到單機(jī)支持每秒100,000條消息的傳輸速度。支持KafkaServer間的消息分區(qū)，以及分布式消息消費(fèi)，同時(shí)保證每個(gè)Partition內(nèi)的消息順序傳輸。支持離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理。湖南軟件職業(yè)技術(shù)大學(xué)Kafka概述Kafka特點(diǎn)高吞吐量、低延遲：Kafka

每秒可以處理幾十萬條消息，它的延遲最低只有幾毫秒?？蓴U(kuò)展性：Kafka集群同Hadoop集群一樣，支持橫向擴(kuò)展。持久性、可靠性：Kafka消息可以被持久化到本地磁盤，并且支持Partition數(shù)據(jù)備份，防止數(shù)據(jù)丟失。容錯(cuò)性：允許Kafka集群中的節(jié)點(diǎn)失敗，如果Partition（分區(qū)）副本數(shù)量為n，則最多允許n-1個(gè)節(jié)點(diǎn)失敗。高并發(fā)：?jiǎn)喂?jié)點(diǎn)支持上千個(gè)客戶端同時(shí)讀寫，每秒鐘有上百M(fèi)B的吞吐量，基本上達(dá)到了網(wǎng)卡的極限。湖南軟件職業(yè)技術(shù)大學(xué)Kafka構(gòu)架設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

基本架構(gòu)

Kafka構(gòu)架設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

Topic和Partition

Kafka構(gòu)架設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

消費(fèi)者和消費(fèi)者組

Kafka構(gòu)架設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)Replica副本Leader：每個(gè)Replica集合中的分區(qū)都會(huì)選出一個(gè)唯一的Leader，所有的讀寫請(qǐng)求都由Leader處理，其他副本從Leader處把數(shù)據(jù)更新同步到本地。Follower：是副本中的另外一個(gè)角色，可以從Leader中復(fù)制數(shù)據(jù)。ISR：Kafka集群通過數(shù)據(jù)冗余來實(shí)現(xiàn)容錯(cuò)。每個(gè)分區(qū)都會(huì)有一個(gè)Leader，以及零個(gè)或多個(gè)Follower，Leader加上Follower總和就是副本因子。Follower與Leader之間的數(shù)據(jù)同步是通過Follower主動(dòng)拉取Leader上面的消息來實(shí)現(xiàn)的。所有的Follower不可能與Leader中的數(shù)據(jù)一直保持同步，那么與Leader數(shù)據(jù)保持同步的這些Fol