kafka集群的搭建及測試（20191218更新）

20191218更新

目前複習到kafka集群，然後回來看了看之前寫的這篇文章。

真的是寫的亂七八糟，

向之前所有搜到這篇文章的童鞋致歉！！！

又重新整理了一篇《kafka集群（偽分布式）的搭建及整合springboot》

比這篇有條理，也算是隨著年齡增長，自己也在進步吧。o(∩_∩)o~

以下是原回答

準備工作：

kafka壓縮包

安裝步驟：

1、使用命令unzip kafka_2.10-0.8.2.1.zip解壓kafka壓縮包。

2、使用命令mv kafka_2.10-0.8.2.1 kafka_2.10為安裝包改名。將目錄名kafka_2.10-0.8.2.1更改為kafka_2.10。

3、進入安裝包的config目錄下，有乙個server.properties配置檔案。

4、修改server.properties配置檔案。主要修改三個選項。

1、broker.id=0（這個是配置brokeid的，我在三颱伺服器上配置kafka，則這三颱伺服器的broker.id分別為0、1、2）

2、log.dirs=/kafka-logs（這個配置是決定資料存放目錄。注意：不是執行日誌目錄）

3、zookeeper.connect=spark001:2181,spark002:2181,spark003:2181（這個是連線zookeeper的ip位址和埠號，這裡我們使用自己配置的zookeeper集群，不使用內建zookeeper集群，便於後期的維護）

5、把配置好的安裝包通過命令scp -r kafka/ node03:pwd傳送到其他節點，並且在其他節點改一下broker.id。

6、通過上面的配置修改。kafka集群已經搭建成功了，下面測試一下我們搭建的kafka集群。首先在搭配了zookeeper的節點上通過命令zkserver.sh start啟動zookeeper集群。（zookeeper集群的搭建請參考《hdfs高可用性的完全分布式搭建過程》）

7、進入安裝包的bin目錄下，找到kafka-server-start.sh檔案，通過命令./kafka-server-start.sh ../config/server.properties >>kafka.log 2>&1 &啟動kafka集群。

8、通過命令./kafka-topics.sh --create --zookeeper node02:2181,node03:2181,node04:2181 --topic "luo" --partitions 3 --replication-factor 1建立topic。

9、生產資料，輸入命令：./kafka-console-producer.sh --broker-list node01:9092,node02:9092 --topic "luo"。會進入生產介面等待。

10、消費資料，在另乙個節點輸入命令：kafka-console-consumer.sh --zookeeper node02:2181 --topic "luo"，出現如下介面。

11、在生產者介面輸入資料，

可以在消費者介面看到生產者生產的資料。

錯誤記錄:-bash: ./kafka-server-start.sh: permission denied

在執行啟動啟動kafka集群的時候，報錯沒有許可權操作該檔案，直接通過chmod 777 zookeeper-server-start.sh命令給無許可權的檔案更改許可權。