a)kafka搭建
1、解壓
2、修改配置/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=0
log.dirs=/var/huawei/kafka-logs
zookeeper.connect=node03:2181,node04,2181:node05:2181
delete.topic.enable=true
3、配置kafka啟動指令碼
a)建立檔案
/software/kafka_2.11-0.11.0.3/bin/startkafka.sh
b)輸入
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
c)修改啟動指令碼許可權
chmod +x ./startkafka.sh
4、分發到node02，node03
5、修改broker.id
a)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=1
b)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=2
6、配置環境變數
export kafka_home=/software/kafka_2.11-0.11.0.3
export path=$path:$kafka_home/bin
7、指令碼啟動 到/software/kafka_2.11-0.11.0.3
建立startkafka.sh 新增以下命令
nohup /software/kafka_2.11-0.11.0.3/bin/kafka-server-start.sh /software/kafka_2.11-0.11.0.3/config/server.properties > kafka.log 2>&1 &
a)kafka命令
1).建立topic
zookeeper位址 操作方式 topic名字 分割槽個數 副本個數
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --create --topic test --partitions 3 --replication-factor 3
2).檢視集群中的topic:
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --list
3).console當做訊息的生產者
生產訊息時指定kafka集群 指定生產到那個topic
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test
4).console當做訊息消費者
預設找2181埠，所以可以不寫
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test
從頭消費
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test --from-beginning
5).檢視topic詳細描述
進入zkcli.sh客戶端
zookeeper中broker資訊：get /brokers/topics/test/partitions/0/state
zookeeper中consumer資訊：get /consumers/console-consumer-53584/offsets/test/2
命令：檢視test的topic詳細資訊
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --describe --topic test
6).刪除topic
kafka-topics.sh --zookeeper node03,node04,node05 --delete --topic test1
在/software/kafka_2.11-0.11.0.3/config/server.properties 配置 delete.topic.enable=true
kafka搭建 快速搭建Kafka服務
搞流處理的話，無論如何是繞不過kafka的了，還好kafka是乙個概念比較好理解的架構模型。我覺得官方的這三張圖已經很好地把模型結構給闡述清楚了。發布 訂閱模型 實現訊息寫入與訊息讀取解耦。kafka相當於是乙個訊息緩衝池 2.日誌檔案順序結構 kafka的高吞吐量就是依賴順序寫入 當然還包括了一些...
kafka集群的搭建
本系列文章主要闡述大資料計算平台相關框架的搭建，包括如下內容 kafka是乙個分布式 分割槽的 多副本的 多訂閱者的訊息佇列,以高吞吐量著稱，主要用於實時資料的傳輸和處理，總體架構如下 本文環境列表 直接在伺服器10.20.112.59上解壓 1 2 3 cd tar zxvf kafka 2.11...
kafka集群的搭建
首先要了解kafka的理論基本概念，否則看起來可能會讀不懂的。建議先網上學習一下kafka基礎知識。能看懂下面的圖 集群的搭建 主要是kafka集群 broker 與 zookeeper 注意 啟動時要先啟動zookeeper再啟動broker 即kafka主機 機器較多，寫shell指令碼一鍵啟動...