Kafka版本介紹 安裝 常用命令 概念理解

1.啟動乙個kafka服務需要做什麼

3）修改/conf目錄下的配置檔案

# 在配置檔案server.properties中增加以下配置，刪除topic時才會真實的刪除topic，否則只標記為刪除，不做任何操作

delete.topic.enable=true
# 修改以下配置為kafka資料需要儲存的位置（注意雖然引數名叫log但實際是資料存放目錄，日誌目錄預設自動在kafka目錄下生成logs目錄，其中的server.log為kafka的日誌檔案）
log.dirs=/opt/kafka_2.11-1.0.1/kafka-data
# 修改zookeeper.properties配置檔案下的如下引數，設定zookeeper資料儲存目錄為需要儲存的目錄
datadir=/opt/kafka_2.11-1.0.1/zookeeper-data

1）版本關係

0.8版本以上的kafka 消費的offset不儲存在zookeeper，而是儲存在kafka集群中的，所以在0.8版本以上的kafka，消費資料時最好連線bootstrap-server 埠9092.

0.10的版本是高於0.8版本的

2）各個元件的埠

zookeeper 埠2181，kafka埠9092

topic 連線zookeeper的2181埠從zookeeper中獲取kafka 節點 中topic的資訊

生產者連線 broker-list的9092埠生產資料

消費者連線zookeeper的2181埠或者bootstrap的9092埠消費資料

3.kafka的常用命令

1）列出所有topic

kafka-topics.sh --zookeeper localhost:2181 --list

# 建立乙個1個分割槽，2個副本名為topic_test的topic

./kafka-topics.sh --zookeeper localhost:2181 --create --topic topic_test --partitions 1 --replication-factor 1

# 刪除topic_test，配置檔案需要修改才能生效

./kafka-topics.sh --zookeeper localhost:2181 --create --topic topic_test --delete

./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_test

# 消費者連線zookeeper進行消費

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
# 消費者連線bootstrap進行消費
./kafka-console-consumer.sh --bootstrap localhost:9092 --topic test --from-beginning

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...

Kafka 常用命令

kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...