Kafka基礎 命令列使用舉例 CDH版本

2021-08-21 01:34:55 字數 1416 閱讀 4034

kafka的命令列:共有10個命令,每個命令有各自的作用

常用的命令:kafka-console-consumer、kafka-console-producer、kafka-topics和kafka-run-class

(1)、建立topic

kafka-topics --create --topic yourtopic --zookeeper hadoop:2181 --partitions 2 --replication-factor 2

(2)、檢視kafka所有的topic名稱

kafka-topics --list --zookeeper hadoop:2181

(3)、描述你的topic

kafka-topics --describe --zookeeper hadoop:2181 --topic yourtopic

(4)、暫時刪除topic(如果要徹底刪除topic,則需要到znode上把元資料刪掉)

kafka-topics --delete --zookeeper hadoop:2181 --topic yourtopic

(5)、給kafka的topic新增分割槽

kafka-topics --zookeeper hadoop:2181 --alter --partitions 2 --topic yourtopic

生產(pub):kafka-console-producer --topic yourtopic --broker-list hadoop3:9092

訂閱消費(sub):kafka-console-consumer --zookeeper hadoop3:2181  --topic yourtopic

(1)檢視每個partition的最新偏移量

kafka-run-class kafka.tools.getoffsetshell --broker-list hadoop:9092 --topic yourtopic --time -1

(2)檢視每個partition的最早的偏移量

kafka-run-class kafka.tools.getoffsetshell --broker-list hadoop:9092 --topic yourtopic --time -2

(3)檢視consumer組內消費的offset

kafka-run-class kafka.tools.consumeroffsetchecker --zookeeper hadoop:2181 --topic yourtopic

獲取topic消費組的偏移量

kafka-consumer-offset-checker --zookeeper=localhost:2181 --topic=mytopic  --group=my_consumer_group

命令列使用

命令列使用 命令是由英文單詞的縮寫展示 只要了解了英文單詞和縮寫規則 就可以迅速掌握 首先了解單詞含義 檔案 file 新建 make 刪除 remove 移動 move 複製 copy 羅列 list 鏈結 link 查詢 find 觸控 touch 改變 change 發出回音 重複 echo ...

命令列使用

命令是由英文單詞的縮寫展示 只要了解了英文單詞和縮寫規則 就可以迅速掌握 首先了解單詞含義 檔案 file 新建 make 刪除 remove 移動 move 複製 copy 羅列 list 鏈結 link 查詢 find 觸控 touch 改變 change 發出回音 重複 echo 目錄 資料夾...

命令列使用

命令是由英文單詞的縮寫展示 只要了解了英文單詞和縮寫規則 就可以迅速掌握 首先了解單詞含義 檔案 file 新建 make 刪除 remove 移動 move 複製 copy 羅列 list 鏈結 link 查詢 find 觸控 touch 改變 change 發出回音 重複 echo 目錄 資料夾...