KafKa使用筆記

## kafka使用筆記

#### 快速開始
關閉防火牆
版本：kafka_2.12-
1.0.0
.tgz
zookeeper集群：hdp1,hdp2,hdp3
kafka集群搭建：hdp1,hdp2,hdp3 
##### 一、配置檔案
在hdp1下：
vim kafka_2.12-
1.0.0
/config --
> server.properties
broler.id=
0 標誌當前機器在集群中的唯一標識
listeners=plaintext://
192.168
.182
.146
:9092 提供的位址
log.dirs=
/opt/kafka_2.12-
1.0.0
/kafkalogs
zookeeper.connect=hadoop102:
2181
,hadoop103:
2181
,hadoop104:
2181
*可選配置 message.max.
byte
=5242880
default
.replication.factor=
2 集群儲存訊息的副本數
replica.fetch.max.bytes=
5242880 取訊息的最大位元組數*
將kafka複製到hdp2和hdp3，
更改hdp2和hdp3中broler.id，listeners，使id唯一，listener對應各節點ip 
##### 二、啟動服務
各節點執行：
./kafka-server-start.sh -daemon .
./config/server.properties
建立topic:
[root@node1 bin]# ./kafka-topics.sh --create --zookeeper hadoop102:
2181
--replication-factor 2
--partitions 1
--topic test
檢視topic列表：
[root@hdp1 bin]# ./kafka-topics.sh --list --zookeeper hadoop101:
2181
生產者： 用帶顏色的：
[root@hdp1 bin]# ./kafka-console-producer.sh --broker-list hadoop102:
9092
--topic test
./kafka-console-producer.sh --broker-list hadoop102:
9092
,hadoop103:
9092
,hadoop104:
9092
--topic test
消費者：
[root@hdp2 bin]#./kafka-console-consumer.sh --bootstrap-server hadoop103:
9092
--topic test --from-beginning
檢視topic資訊：
[root@hdp1 bin]# ./kafka-topics.sh --describe --zookeeper hadoop102:
2181
--topic test
flume監控 傳送資料消費kafka 開啟埠 nc hadoop102 5566
[root@hadoop102 flume]# bin/flume-ng agent -c conf/
-n a1 -f job/nc-kafka.conf

kafka使用筆記

1.安裝zookeeper bash 收藏 ticktime 2000 clientport 4180 引數說明 ticktime zookeeper中使用的基本時間單位,毫秒值.datadir 資料目錄.可以是任意目錄.datalogdir log目錄,同樣可以是任意目錄.如果沒有設定該引數,將使...

Kafka使用筆記

1.1定義 kafka 是乙個分布式的基於發布 訂閱模式的訊息佇列 message queue 主要應用於 大資料實時處理領域。1.2 訊息佇列 1.2.1 傳統訊息佇列的應用場景 訊息佇列好處 1.2.2 訊息佇列兩種模式 1 點對點模式 一對一，消費者主動拉取資料，訊息收到後訊息清除 2 2 發...

kafka安裝使用筆記

kafka 2.11 2.0.0 root lijia1 config vi server.properties broker.id 0 advertised.listeners plaintext zhang 9092 log.dirs opt bigdata kafka211 kafka log...