2023學(xué)年完整公開(kāi)課版Kafka讀取partition的offset

Kafka讀取partition的offset2知識(shí)目標(biāo)分區(qū)partition偏移offset01能力目標(biāo)offset提交的應(yīng)用場(chǎng)景offset提交的方式02學(xué)習(xí)目標(biāo)3目錄01分區(qū)partition02偏移offset03offset提交的應(yīng)用場(chǎng)景04offset提交的方式分區(qū)partition4kafka是為分布式環(huán)境設(shè)計(jì)的,因此如果日志文件,其實(shí)也可以理解成消息數(shù)據(jù)庫(kù),放在同一個(gè)地方,那么必然會(huì)帶來(lái)可用性的下降,一掛全掛,如果全量拷貝到所有的機(jī)器上,那么數(shù)據(jù)又存在過(guò)多的冗余,而且由于每臺(tái)機(jī)器的磁盤(pán)大小是有限的,所以即使有再多的機(jī)器,可處理的消息還是被磁盤(pán)所限制,無(wú)法超越當(dāng)前磁盤(pán)大小.因此有了partition的概念.kafka對(duì)消息進(jìn)行一定的計(jì)算,通過(guò)hash來(lái)進(jìn)行分區(qū).這樣,就把一份log文件分成了多份.,分成多份以后,在單臺(tái)broker上。,如果新建topic的時(shí)候,我們選擇了

--replication-factor1--partitions2

,那么在log目錄里,我們會(huì)看到test-0目錄和test-1目錄.就是兩個(gè)分區(qū)了.偏移offset5分區(qū)就是一個(gè)有序的,不可變的消息隊(duì)列.新來(lái)的commitlog持續(xù)往后面加數(shù)據(jù).這些消息被分配了一個(gè)下標(biāo)(或者偏移),就是offset,用來(lái)定位這一條消息.消費(fèi)者消費(fèi)到了哪條消息,是保持在消費(fèi)者這一端的.消息者也可以控制,消費(fèi)者可以在本地保存最后消息的offset,并間歇性的向zookeeper注冊(cè)offset.也可以重置offset。offset提交的應(yīng)用場(chǎng)景6簡(jiǎn)單的來(lái)說(shuō)就是一條消息對(duì)應(yīng)一個(gè)offset下標(biāo)，每次消費(fèi)數(shù)據(jù)的時(shí)候如果提交offset，那么下次消費(fèi)就會(huì)從提交的offset加一那里開(kāi)始消費(fèi)。比如一個(gè)topic中有100條數(shù)據(jù)，我消費(fèi)了50條并且提交了，那么此時(shí)的kafka服務(wù)端記錄提交的offset就是49(offset從0開(kāi)始)，那么下次消費(fèi)的時(shí)候offset就從50開(kāi)始消費(fèi)。offset提交的方式有兩種，自動(dòng)提交和手動(dòng)提交。conf/perties配置文件的參數(shù)設(shè)置：mit=true（那么這個(gè)是自動(dòng)提交，false為手動(dòng)）offset提交的方式71.自動(dòng)提交偏移量kafka中偏移量的自動(dòng)提交是由參數(shù)enable_auto_commit和auto_commit_interval_ms控制的，當(dāng)enable_auto_commit=True時(shí)，Kafka在消費(fèi)的過(guò)程中會(huì)以頻率為auto_commit_interval_ms向Kafka自帶的topic(__consumer_offsets)進(jìn)行偏移量提交，具體提交到哪個(gè)Partation是以算法：partation=hash(group_id)%50來(lái)計(jì)算的。offset提交的方式82.手動(dòng)提交偏移量對(duì)于手動(dòng)提交offset主要有3種方式：1.同步提交2.異步提交3.異步+同步組合的方式提交。offset提交的方式92.1.同步手動(dòng)提交偏移量同步模式下提交失敗的時(shí)候一直嘗試提交，直到遇到無(wú)法重試的情況下才會(huì)結(jié)束，同時(shí)同步方式下消費(fèi)者線(xiàn)程在拉取消息會(huì)被阻塞，在broker對(duì)提交的請(qǐng)求做出響應(yīng)之前，會(huì)一直阻塞直到偏移量提交操作成功或者在提交過(guò)程中發(fā)生異常，限制了消息的吞吐量。只有當(dāng)前批次的消息提交完成時(shí)才會(huì)觸發(fā)poll來(lái)獲取下一輪的消息。offset提交的方式102.2.異步手動(dòng)提交偏移量+回調(diào)函數(shù)異步手動(dòng)提交offset時(shí)，消費(fèi)者線(xiàn)程不會(huì)阻塞，提交失敗的時(shí)候也不會(huì)進(jìn)行重試，并且可以配合回調(diào)函數(shù)在broker做出響應(yīng)的時(shí)候記錄錯(cuò)誤信息。對(duì)于異步提交，由于不會(huì)進(jìn)行失敗重試，當(dāng)消費(fèi)者異常關(guān)閉或者觸發(fā)了再均衡前，如果偏移量還未提交就會(huì)造成偏移量丟失。offset提交的方式112.3.異步+同步組合的方式提交偏移量針對(duì)異步提交偏移量丟失的問(wèn)題，通過(guò)對(duì)消費(fèi)者進(jìn)行異步批次提交并且在關(guān)閉時(shí)同步提交的方式，這樣即使上一次