一台Linux主機搭建kafka集群

2021-08-04 03:59:55 字數 1544 閱讀 3515

具體看:

wget 

.0.1/kafka_2.11-0.9

.0.1.tgz

tar -xzf kafka_2.11-0.9

.0.0.tgz

kafka broker配置檔案修改

修改kafka根目錄下的config/server.properties

broker.id=0 #整個集群內唯一id號,整數,一般從0開始

listeners=plaintext:

.6.56:9092 #協議、當前broker機器ip、埠,此值可以配置多個,應該跟ssl等有關係,更多用法尚未弄懂,這裡修改為ip和埠。

port=9092 #broker埠

host.name=192.168

.6.56 #broker 機器ip

log.dirs=/zyxx_data/kafka-logs/kafka00 #kafka儲存資料的目錄

zookeeper.connect=192.168

.6.56:2181,192.168

.6.56:2182,192.168

.6.56:2183 #zookeeper 集群列表

kafka broker多節點配置

kafka多節點配置,可以像zookeeper一樣把軟體目錄copy多份,修改各自的配置檔案。這裡介紹另外一種方式:同乙個軟體目錄程式,但使用不同的配置檔案啟動

使用不同的配置檔案啟動多個broker節點,這種方式只適合一台機器下的偽集群搭建,在多台機器的真正集群就沒有意義了

把kafka根目錄下的config/server.properties copy兩份,名稱分別修改為:server-1.properties 、server-2.properties。各自修改他們的配置如下:

config/server-1.properties

broker.id=1 

listeners=plaintext:.6.56:9093

port=9093

host.name=192.168.6.56

log.dirs=/zyxx_data/kafka-logs/kafka01

zookeeper.connect=192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183

config/server-2.properties

broker.id=2 

listeners=plaintext:.6.56:9094

port=9094

host.name=192.168.6.56

log.dirs=/zyxx_data/kafka-logs/kafka02

zookeeper.connect=192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183

為了簡單起見,這裡通過命令列的方式啟動生產者和消費者進行測試。

**:

expect ssh 另外一台主機

expect ssh 另外一台主機 usr bin expect spawn ssh 192.168.177.251 spawn 後面加上要執行的命令 expect yes no expect 是將spawn的命令才能被expect捕捉到 send yes r send 是講expect的指令碼需要...

如何刪除一台OSD主機

在ceph的一台osd主機出現故障的時候,資料可以通過副本的機制進行恢復,之後通過刪除osd的操作也能夠將故障osd從osd tree當中刪除掉,但是故障的 osd 的主機仍然會留在集群當中,通過 ceph osd tree 或者列印 crush map 都可以看到這個損壞的節點主機名,所以這裡講下...

關於一台主機能啟動多個tomcat

當第乙個tomcat啟動後,後面tomcat的server.xml中的埠不管怎麼改,仍然會報埠衝突。後來在dos下執行才發現所有的tomcat都會去找 catalina home和catalina base這兩個環境變數,因此步驟如下 1.使用壓縮版的tomcat不能使用安裝版的。2.第乙個tomc...