kafka集群的搭建

2021-10-04 07:29:54 字數 1738 閱讀 4702

首先要了解kafka的理論基本概念,否則看起來可能會讀不懂的。建議先網上學習一下kafka基礎知識。能看懂下面的圖

集群的搭建-主要是kafka集群(broker) 與 zookeeper

注意:啟動時要先啟動zookeeper再啟動broker(即kafka主機)(**機器較多,寫shell指令碼一鍵啟動)

關閉時先關閉broker 再關閉zookeeper

(上圖右下角,0.9版本以後offset儲存在本地意思是儲存在kafka集群,可能是某個topic下面,所以查詢命令也有所不同)

接下來重點是修改 配置檔案哦

(重頭戲來了kafka/config/server.properties,說一下可能需要我們修改的引數)

broker.id只能是整型數字,每個kafka伺服器的id都不同。所以每個都要單獨修改哦。

監聽服務及埠

log.dirs 這個目錄其實是儲存的資料資訊,不是kafka的日誌檔案!

資料儲存時間

zookeeper.connect 配置zk資訊,如果需配置多個用逗號分割。

配置修改好之後

想配置也可以配置一下環境變數。

分發安裝包 xsync kafka/ (分發完以後去其它的伺服器上修改配置檔案裡的broker.id)

接下來先啟動zookeeper

啟動命令:zk.sh start

檢視一下kafka的命令都有哪些。進入kafka的bin目錄。了解一下常用的就可以了。

啟動命令(守護程序模式啟動):

kafka-server-start.sh -daemon config/server.properties
後面就是上面修改的配置檔案(server.properties)

關閉命令:kafka-server-stop.sh stop
挨個啟動太麻煩了,寫個群起指令碼吧,寫法如下:

kafka 群起指令碼:

#!/bin/bash

case $1 in

"start");;

"stop");;

esac

儲存為test.sh

chmod 777 test.sh (賦許可權)

執行:test.sh start

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...