kafka-server-start.bat ../../config/server.properties &
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic tm-tongji
kafka-topics.bat --list --zookeeper localhost:2181
kafka-console-consumer.bat --zookeeper localhost:2181 --topic tm-tongji --from-beginning
建立kafka topic
bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2
檢視所有topic列表
bin/kafka-topics.sh --zookeeper node01:2181 --list
檢視指定topic資訊
bin/kafka-topics.sh --zookeeper node01:2181 --describe --topic t_cdr
控制台向topic生產資料
bin/kafka-console-producer.sh --broker-list node86:9092 --topic t_cdr
控制台消費topic的資料
bin/kafka-console-consumer.sh --zookeeper node01:2181 --topic t_cdr --from-beginning
檢視topic某分割槽偏移量最大（小）值
bin/kafka-run-class.sh kafka.tools.getoffsetshell --topic hive-mdatabase-hostsltable --time -1 --broker-list node86:9092 --partitions 0
注： time為-1時表示最大值，time為-2時表示最小值
增加topic分割槽數
為topic t_cdr 增加10個分割槽
$kafka_home/bin/kafka-topics.sh --zookeeper 10.3.0.19:2181,10.3.0.18:2181 --alter --topic tm-tongji --partitions 1
刪除topic，慎用，只會刪除zookeeper中的元資料，訊息檔案須手動刪除
$kafka_home/bin/kafka-run-class.sh kafka.admin.deletetopiccommand --zookeeper 10.8.0.19:2181,10.8.0.18:2181 --topic tm-tongji
查詢topic的offset的範圍
用下面命令可以查詢到topic:dynamicrange broker:sparkmaster:9092的offset的最小值：
$ /opt/cloudera/parcels/kafka/bin/kafka-run-class.sh kafka.tools.getoffsetshell --broker-list sparkmaster:9092 —topic dynamicrange --time -2
輸出dynamicrange:0:1288
查詢offset的最大值：
$ /opt/cloudera/parcels/kafka/bin/kafka-run-class.sh kafka.tools.getoffsetshell --broker-list sparkmaster:9092 —topic dynamicrange --time -1
輸出dynamicrange:0:7885
從上面的輸出可以看出topic:dynamicrange只有乙個partition:0 offset範圍為:[1288,7885]
設定consumer group的offset
啟動zookeeper client
$ /opt/cloudera/parcels/cdh/lib/zookeeper/bin/zkcli.sh
通過下面命令設定consumer group:dynamicrangegroup topic:dynamicrange partition:0的offset為1288:
set /consumers/dynamicrangegroup/offsets/dynamicrange/0 1288
注意如果你的kafka設定了zookeeper root，比如為/kafka，那麼命令應該改為：
set /kafka/consumers/dynamicrangegroup/offsets/dynamicrange/0 1288
只保留輸出錯誤資訊 nohup command >/dev/null 2>log &
所有資訊都不要 nohup command >/dev/null 2>&1 &
nohup command > vienout.txt 2>&1 &
nohup command > vienout.txt 2>&1 &
由於使用nohup時，會自動將輸出寫入nohup.out檔案中，如果檔案很大的話，nohup.out就會不停的增大，我們可以利用linux下乙個特殊的檔案/dev/null來解決這個問題，這個檔案就相當於乙個黑洞，任何輸出到這個檔案的東西都將消失
只保留輸出錯誤資訊 nohup command >/dev/null 2>log &
所有資訊都不要 nohup command >/dev/null 2>&1 &
這裡解釋一下後面的2>&1 。 這涉及到linux的重定向，其中0、1、2分別是標準輸入、標準輸出、標準錯誤輸出，用來指定需要重定向的標準輸入輸出。預設情況下是標出輸出，也就是1 。例如我們而上文提到的 2>&1 是 將錯誤資訊重定向到標準輸出。
還有就是如果不想讓程式輸出，linux下有乙個/dev/null的特殊檔案，就像乙個黑洞，所有輸出到這個檔案的資訊全部會消失，如果你不需要輸出日誌，這樣做就不會導致輸出日誌檔案越來越大，占用儲存空間的問題了
對映常用命令組合
vim ~/.bashrc
vim /etc/bashrc
alias tomcatlog="tail -f /usr/local/tomcat/logs/catalina.out"
alias zhao="ps -ef|grep "
alias kafkaserver="cd /data/local/kafka/"
alias kafkarun="cd /data/kafka/runlog/"
alias kafkalog="tail -f /data/kafka/runlog/server.out"
alias kafkaerr="tail -f /data/kafka/runlog/server.err"
alias zookeeper="cd /data/log/zookeeper"
source /etc/bashrc
kafka操作命令
啟動 bin kafka server start.sh daemon config server 0.properties bin kafka server start.sh daemon config server 1.properties 如果有多個server broker bin kafk...
kafka常用操作命令
broker kafka集群由乙個或多個伺服器組成。每個伺服器稱為 主題 topic 維護一組訊息分類 分割槽 partition 隸屬於主題，每個主題會包含多個分割槽，訊息 msg 隸屬於分割槽，每個分割槽有乙個訊息序列，每個訊息在該分割槽中都有乙個唯一的序號，這個序號叫偏移量 生產者 produ...
Kafka常用操作命令
建立主題 kafka topics create bootstrap server node01 9092 replication factor 3 partitions 3 topic test檢視主題列表 kafka topics list bootstrap server node01 909...