1) kafka官網：
downloads
3) 客戶端庫：
4) librdkafka庫：
二：kafka 版本0.9後的變更及瓶頸
1 服務端增加了groupcoordinator這個角色；
2 topic的offset資訊由之前儲存在zk上改為儲存在乙個特殊的topic（_consumer_offsets）中。
一般瓶頸：網絡卡（一般建議log壓縮）
三：常見指令
建立topic
kafka-topics --create --zookeeper
《zk位址埠
》--replication-factor
《副本數
》--partitions
《分割槽數
》--topic
《主題名稱》
eg：kafka-topics --create --zookeeper 100.11.211.91:2181 --replication-factor 1 --partitions 3 --topic alarm_car
kafka-topics --create --zookeeper 100.11.211.91:2181 --replication-factor 1 --partitions 3 --topic alarm_
wifi
kafka-topics --create --zookeeper 100.11.211.91:2181 --replication-factor 1 --partitions 3 --topic alarm_
face
理論原則：
1 分割槽數=目標吞吐量/max（乙個topic時生產者吞吐量，乙個topic時消費者吞吐量）
2 消費者組個數 = topic分割槽數
3 副本數量（isr）
列出所有topic
kafka-topics.sh --list --zookeeper
《zk位址埠》
eg：kafka-topics --list --zookeeper 100.11.211.91:2181
刪除topic
1) kafka-topics.sh --zookeeper localhost:2181 --topic test --delete
2) kafka-topics.sh --zookeeper localhost:2181/kafka --topic test --delete
3) kafka-run-class.sh kafka.admin.deletetopiccommand --zookeeper localhost:2181 --topic test
檢視topic
kafka-topics.sh --describe --zookeeper
《zk位址埠
》--topic
《topic名稱》
eg：kafka-topics --describe --zookeeper 100.11.211.91:2181 --topic alarm_car
檢視topic下所有的資料明細：（建乙個消費者從頭開始將topic都消費一遍）
kafka-console-consumer --topic alarm_wifi --from-beginning --bootstrap-server 100.11.211.94:9092,100.11.211.95:9092,100.11.211.96:9092
增加topic的partition數
kafka-topics.sh --zookeeper
《zk位址埠
》--alter --topic
《topic名稱
》--partitions 5
檢視有哪些消費者group
新版本：
kafka-consumer-
groups.sh
--new-consumer --bootstrap-server
127.0.0.1
:9292
--list
老版本：
kafka-consumer-groups.sh --zookeeper
100.11.211.91:2181
/kafka --list
kafka學習筆記 常用指令
常用指令 新建虛擬視窗 kafka，在每台上執行 screen s kafka 退出虛擬視窗 kafka，在每台上執行 ctrl a d 1.建立 topic kafka topics.sh create zookeeper cluster1 2181,cluster2 2181,cluster3 ...
ubuntu常用指令總結
ubuntu常用指令總結 基礎 關機命令 sudo shutdown h now 定時關機 sudo shutdown h 23 00 重啟電腦 sudo reboot 休眠 sudo pm hibernate 檢視ip ifconfig 安裝軟體 sudo apt get install file...
ubuntu常用指令總結
1 進入根目錄 cd 2 進入home目錄 cd home目錄是home下當前使用者的預設目錄，即cd cd home 當前使用者名稱，開啟終端視窗時預設在home目錄下，所以會顯示 usr name device name 例如我的顯示 andrew an andrew optiplex 9020...