kafka內外網集群配置

2022-03-12 06:17:58 字數 1026 閱讀 3187

linux下配置使用

以第一台為例(先配置好jdk環境)

1、解壓kafka:2.10-0.10.1.1

2、修改zookeeper.properties

新增配置:maxclientcnxns=0

ticktime=2000

initlimit=10

synclimit=5

session.timeout.ms=100000

server.0=ip1:2888:3888

server.1=ip2:2888:3888

server.2=ip3:2888:3888

datadir=/tmp/zookeeper(可以自行建立使用目錄)

在 /tmp/zookeeper 下建立myid檔案,並輸入"0"字元,其他兩台分別輸入1,2

3、修改server.properties

broker.id=0(第一台設0,第二台設1,第三台設2)

delete.topic.enable=true

放開listeners=plaintext://ip:port並修改當前機器的值(內網)

放開advertised.listeners=plaintext://ip:port(外網)

放開log.dirs=tmp/kafka-logs 同時在tmp下新建此資料夾(可以換另外地方)

num.partitions=2

zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

zookeeper.connection.timeout.ms=15000

default.replication.factor=2

4、zookeeper啟動:nohup ./zookeeper-server-start.sh ../config/zookeeper.properties >> zookeeper.out &

kafka啟動:nohup ./kafka-server-start.sh ../config/server.properties >> kafka.out &

kafka內外網監聽配置

簡單的配置listeners,外網伺服器資料推到內網kafka集群中,發現可以生成topic,但是無法寫入資料,外網伺服器報錯 2020 06 10 14 18 53.307 warn 10702 ad producer 1 org.apache.kafka.clients.networkclien...

雙網絡卡內外網配置

1.去網路配置中刪除外網閘道器,或者選擇 自動獲取ip位址 否則會造成衝突 2.cmd route add 111.0.0.0 mask 255.0.0.0 222.0.0.2 p metric 1 引數含義 111.0.0.0 必填,想訪問的內網網段 255.0.0.0 必填,子網掩碼 222.0...

Kafka 配置外網訪問

kafka 有的時候會跨機房接收訊息,本地開發機也需要向遠端伺服器發一些訊息,預設是不支援外連的,所以需要配置一下遠端訪問。kafka 伺服器 host 修改 檢視 hostname,檢視內網 ip 並記錄 cat etc hostname vm172 31 110 6.ksc.com ifconf...