消息中間件-Kafka講解課件

Kafka一、MQ系統(tǒng)二、Kafka架構(gòu)三、Kafka命令四、配置文件Kafka一、MQ系統(tǒng)MQ系統(tǒng)一、Redis二、ZeroMQ三、ActiveMQ四、RocketMQ五、KafkaMQ系統(tǒng)一、RedisMQ系統(tǒng)RedisRedis是一個(gè)NoSQL數(shù)據(jù)庫(kù)處理小流量的消息隊(duì)列不適用于大流量的應(yīng)用場(chǎng)景MQ系統(tǒng)RedisMQ系統(tǒng)ActiveMQActiveMQ2007年發(fā)布第一個(gè)版本(同年JDK1.5發(fā)布)被廣泛應(yīng)用于零售、銀行、電子商務(wù)和政府等領(lǐng)域。穩(wěn)定性好，性能還過得去。缺少異步JavaAPI和NIO支持，在高資源配置的計(jì)算機(jī)上擴(kuò)展性不佳。Apollo重寫了ActiveMQ內(nèi)核，Apache稱其為最快、最強(qiáng)健的STOMP（StreamingTextOrientatedMessageProtocol，流文本定向消息協(xié)議）服務(wù)器。github一年多沒更新，網(wǎng)傳Apollo項(xiàng)目已經(jīng)失敗MQ系統(tǒng)ActiveMQMQ系統(tǒng)ZeroMQ不支持序列化，閱后即焚。如果服務(wù)器宕機(jī)，數(shù)據(jù)將丟失ZeroMQ本身只是一個(gè)網(wǎng)絡(luò)協(xié)議棧的實(shí)現(xiàn)庫(kù).使用過程中由應(yīng)用服務(wù)器扮演服務(wù)器的角色ZeroMQ的目標(biāo)是，成為L(zhǎng)inux內(nèi)核的一部分逆天的性能MQ系統(tǒng)ZeroMQMQ系統(tǒng)KafakVSRocketMQ定位Kafak：由Linkin開源，用于即時(shí)的日志傳輸RocketMQ：由淘寶開源，實(shí)現(xiàn)非日志的可靠消息傳輸，用于交易、訂單、充值等場(chǎng)景TPS性能kafka單機(jī)寫入TPS在百萬條/秒，消息大小為10bRocketMQ單機(jī)

7萬條/秒，消息大小為10b隊(duì)列數(shù)kafak單機(jī)超過64個(gè)隊(duì)列/分區(qū)，Load會(huì)發(fā)生明顯的飆高現(xiàn)象RocketMQ最高支持5萬隊(duì)列實(shí)時(shí)性Kafka使用短輪詢方式，實(shí)時(shí)性取決于輪詢間隔時(shí)間RocketMQ使用長(zhǎng)輪詢，同Push方式實(shí)時(shí)性一致，消息的投遞延時(shí)通常在幾個(gè)毫秒。成熟度Kafka在日志領(lǐng)域比較成熟，操作系統(tǒng)Crash，會(huì)導(dǎo)致數(shù)據(jù)丟失RocketMQ在阿里集團(tuán)內(nèi)部有大量的應(yīng)用在使用，不會(huì)丟消息MQ系統(tǒng)KafakVSRocketMQMQ系統(tǒng)總結(jié)MQ系統(tǒng)特點(diǎn)RedisNO-SQL數(shù)據(jù)庫(kù)，適用于處理少量MQ數(shù)據(jù)ActiveMQ久經(jīng)沙場(chǎng)的老戰(zhàn)士，穩(wěn)定性好ZeroMQ一個(gè)網(wǎng)絡(luò)通信協(xié)議棧性能超級(jí)強(qiáng)勁RocketMQ阿里出品標(biāo)準(zhǔn)MQ系統(tǒng)中性能最好的Kafka/Jafka專為日志收集設(shè)計(jì)非標(biāo)準(zhǔn)MQ系統(tǒng)，容災(zāi)能力弱，性能超過RocketMQ消息處理速度上限大約為100MB/sMQ系統(tǒng)總結(jié)MQ系統(tǒng)特點(diǎn)RedisNO-SQL數(shù)據(jù)庫(kù)，ActKafka架構(gòu)系統(tǒng)結(jié)構(gòu)kafkaclusterBroker1Broker2Broker3Producer-AProducer-BProducer-CConsumer-AConsumer-AConsumer-CZookeeper基礎(chǔ)架構(gòu)Kafka架構(gòu)系統(tǒng)結(jié)構(gòu)kafkaclusterBrokeKafka架構(gòu)基本概念主題：topic分區(qū)：partition消息：message生產(chǎn)者：producer消費(fèi)者：consumergroup消息隊(duì)列：brokerProducerTopicConsumerGroupPartitionConsumer11..N11..NKafka架構(gòu)基本概念ProducerTopicConsuKafka架構(gòu)kafka消息流程圖topic消息隊(duì)列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盤注1：消息隊(duì)列依賴于本地磁盤注2：默認(rèn)情況下，磁盤存儲(chǔ)會(huì)保存7天Kafka架構(gòu)kafka消息流程圖topic消息隊(duì)列PrKafka架構(gòu)kafka消息流程圖topic消息隊(duì)列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盤1本地磁盤2注1：在一個(gè)由6個(gè)7200rpm的SATA硬盤組成的RAID-5磁盤陣列上，線性寫入的速度大約是300MB/秒，隨機(jī)寫入?yún)s只有50k/秒。注2：在某些情況下，順序磁盤訪問能夠比【隨機(jī)】?jī)?nèi)存訪問還要快！Kafka架構(gòu)kafka消息流程圖topic消息隊(duì)列PrKafka架構(gòu)kafka集群運(yùn)行流程圖broker(1)broker(2)topic13741282109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerKafka架構(gòu)kafka集群運(yùn)行流程圖broker(1)Kafka架構(gòu)topic&partitiontopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerproducer怎么保證業(yè)務(wù)有序？1、每個(gè)partition對(duì)應(yīng)一個(gè)文件（夾）2、分文件存儲(chǔ)利于增加topic消息容量3、把partition放在不同磁盤上，可以提高讀寫性能4、把partition分散在不同機(jī)器上，支持負(fù)載均衡5、通過遷移單個(gè)partition，實(shí)現(xiàn)快速水平擴(kuò)展6、partition內(nèi)有序，partition間無序Kafka架構(gòu)topic&partitiontopicKafka架構(gòu)producertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerconsumer處理速度跟不上怎么辦？1、自定義partitioner,保證同族消息保存在相同partition中，默認(rèn)為hash算法隨機(jī)分配2、異步提交時(shí)，會(huì)把多個(gè)消息合并，提高IO性能3、如果對(duì)topic進(jìn)行水平擴(kuò)容，producer需要重新獲取broker列表，重新連接Kafka架構(gòu)producertopicbroker(1)Kafka架構(gòu)consumertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producer不同的consumerGroup之間有什么關(guān)系？Thread-AThread-BThread-C1、一個(gè)partition只會(huì)被一個(gè)consumer線程連接；2、一個(gè)consumergroup由多個(gè)consumer線程組成；3、一個(gè)consumergroup可以同時(shí)被多個(gè)進(jìn)程使用。Kafka架構(gòu)consumertopicbroker(1)Kafka架構(gòu)consumergroup注：GroupA和GroupB會(huì)收到的是完全相同的消息Kafka架構(gòu)consumergroup注：GroupKafka架構(gòu)kafka在zookeeper中的數(shù)據(jù)Kafka架構(gòu)kafka在zookeeper中的數(shù)據(jù)Kafka命令數(shù)據(jù)分區(qū)和水平擴(kuò)展1、創(chuàng)建一個(gè)16分區(qū)，雙備的topic

./bin/kafka-topics.sh--create\--zookeeper10.100.10.200:2181\--replication-factor2

\--partitions16--topicmy-topic

\2、水平擴(kuò)展./bin/kafka-reassign-partitions.sh--execute\--manual-assignment-json-filepartitions-to-move.json

catpartitions-to-move.json:{"partitions":[{"topic":"my-topic","partition":1,"replicas":[1,4]}]}把一個(gè)partition的replica從broker1,2遷移到broker1,4上Kafka命令數(shù)據(jù)分區(qū)和水平擴(kuò)展把一個(gè)partition的配置文件producer配置文件producer配置文件consumer配置文件consumer配置文件broker配置文件brokerKafka性能報(bào)告(A)<1k,8K條/秒>Kafka性能報(bào)告(A)<1k,8K條/秒>Kafka性能報(bào)告(B)<1k,83MB/s>Kafka性能報(bào)告(B)<1k,83MB/s>Q