檢視kafka最近訊息的佇列情況

2021-10-10 14:16:22 字數 666 閱讀 1180

1、使用kafka-run-class指令,獲取topic的最小offset和最大offset

#檢視各個分割槽的最小offset(這個意思就是,這個offset之前的訊息已經被清除了,現在consumer是從這個offset之後開始消費):

./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list localhost:9092 --topic topic的名字 --time -2

#檢視各個分割槽的最大offset(這個意思就是,producer下一次寫入資訊時的offset):

./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list localhost:9092 --topic topic的名字 --time -1

2、獲取最近n條資料,offset = maxoffset - n;

./kafka-console-consumer.sh --bootstrap-server 192.168.35.14:9092 --topic topic的名字 \

--property print.key=true --partition 0 --offset 52874

訊息佇列 訊息佇列 kafka

kafka是乙個分布式的基於發布 訂閱模式的訊息佇列,主要用於大資料實時處理領域。要理解kafka首先要有分布式的概念,要有訊息佇列的概念。分布式系統最大的優勢就是解耦和削峰,這種情況下,a系統生成了乙個訊息,b系統非同步獲取,那麼就需要乙個存放訊息的訊息佇列 mq 相比較傳統的訊息佇列,訊息被消費...

訊息佇列 Kafka學習

kafka是乙個分布式的訊息佇列,學習見apache kafka文件,中文翻譯見kafka分享,乙個簡單的入門例子見kafka 入門例項。本文只針對自己感興趣的點記錄下。producer consumer 訊息的生成者和使用者。broker kafka server充當broker角色,起到訊息佇列...

訊息佇列 Kafka學習

kafka是乙個分布式的訊息佇列,學習見apache kafka文件,中文翻譯見kafka分享,乙個簡單的入門例子見kafka 入門例項。本文只針對自己感興趣的點記錄下。producer consumer 訊息的生成者和使用者。broker kafka server充當broker角色,起到訊息佇列...