LINUX kafka 集群安裝

2021-08-20 01:21:11 字數 2306 閱讀 9127

1、準備工作

2、開始安裝

kafka

壓縮包上傳到伺服器上

/tmp

2、解壓

kafka

的安裝包:

3、把kafka包移動到目錄/usr/local; mv kafka_2.11-0.9.0.1/usr/local/

4、配置 kafka  環境變數(可選)

vi /etc/profile

在profile中新增如下內容

kafka_home=/opt/kafka_2.11-0.9.0.1

path=$path:$kafka_home/bin

5、設定profile生效:source /etc/profile

6、修改/usr/local/kafka/config/servier.properties

############################# server basics #############################

# 唯一標識乙個broker. /為依次增長的:1、2、3、4,集群中唯一id

broker.id=1

############################# socket server settings

#繫結服務監聽的位址和埠,要填寫hostname -i 出來的位址,否則可能會繫結到127.0.0.1,producer可能會發不出訊息

listeners=plaintext://:9092

host.name=本機ip

advertised.host.name=本機ip

# 處理網路請求的執行緒數

num.network.threads=3

# 處理磁碟i/o的執行緒數

num.io.threads=8

# socket server的傳送buffer大小 (so_sndbuf)

socket.send.buffer.bytes=102400

# socket server的接收buffer大小 (so_rcvbuf)

socket.receive.buffer.bytes=102400

#乙個請求的最大size,用來保護防止oom

socket.request.max.bytes=104857600

############################# log basics #############################

#存放日誌和訊息的目錄,可以是用逗號分開的目錄,同樣不推薦使用/tmp

log.dirs=/usr/local/kafka_2.11-0.9.0.1/logs

#每個topic預設partitions的數量,數量較大表示消費者可以有更大的並行度。

num.partitions=1

num.recovery.threads.per.data.dir=1

#日誌的過期時間,超過後被刪除,單位小時

log.retention.hours=168

#乙個日誌檔案最大大小,超過會新建乙個檔案

log.segment.bytes=1073741824

#根據過期策略檢查過期檔案的時間間隔,單位毫秒

log.retention.check.interval.ms=300000

############################# zookeeper #############################

#zookeeper的連線配置,用逗號隔開, kafka資料在zk中的根目錄

zookeeper.connect=fee-prod-zk1:2181,fee-prod-zk2:2181,fee-prod-zk3:2181

# 連線zk的超時時間

zookeeper.connection.timeout.ms=6000

7、啟動

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

Linux Kafka 集群安裝筆記

環境 vmware workstation 10,centos 7 x86 64 1511.iso,xshell 4.0,ip1 192.168.216.138,ip2 192.168.216.139,ip3 192.168.216.140.參照linux zookeeper 安裝筆記準備一組zoo...

linux kafka 安裝與啟動

cp kafka 2.12 2.1.1.tgz opt 然後解壓 tar zxvf kafka 2.12 2.1.1.tgz 2.環境變數配置 可以選做 vim etc profile 3.設定單機啟動 修改配置檔案 修改日誌路徑 log.dirs opt kafka 2.12 2.1.1 zook...

mysql集群安裝面板 mysql集群安裝指南

環境說明 系統環境 centos 6.5 mini 64bit 軟體版本 mysql cluster advanced 7.3.7 linux glibc2.5 x86 64.tar.gz mgm 192.168.100.211 ndbd1 192.168.100.212 ndbd2 192.168...