CDH集群整合kafka

2021-07-03 02:15:54 字數 1663 閱讀 4898

1.cdh環境已經搭建成功,在cdh上搭建kafka,要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper

2.kafka_2.11-0.8.2.1.tgz已經上傳到kafka集群環境中

修改hosts

10.10.0.11 s1-1

10.10.0.12 s1-2

10.10.0.13 s1-3

10.10.0.14 s1-4

10.10.0.15 s2-1

10.10.0.16 s2-2

10.10.0.17 s2-3

10.10.0.18 s2-4

10.10.0.19 s3-1

10.10.0.20 s3-2

10.10.0.21 s3-3

10.10.0.22 s3-4

10.10.0.23 s4-1

10.10.0.24 s4-2

1.cd /usr/lib/zookeeper/conf/

2.vi zoo.cfg

3.新增以下內容

#kafka server

10.10.0.12 s1-2

10.10.0.16 s2-2

10.10.0.20 s3-2

# zookeeper cluster

server.1=s1-3:2888:3888

server.2=s2-3:2888:3888

server.3=s3-3:2888:3888

4.每台機器上生成myid:

13:$ echo "1" >/var/lib/zookeeper/myid

17:$ echo "2" >/var/lib/zookeeper/myid

21:$ echo "3" >/var/lib/zookeeper/myid

1.cd /usr/lib/kafka

2.tar -zxvf kafka_2.11-0.8.2.1.tgz

3.cd kafka_2.11-0.8.2.1/config/

4.vi server.properties

broker.id=1,其他兩個為2,3

port=9092 其他兩個為9093,9094

hostname=10.10.0.12,其他兩個為10.10.0.16,10.10.0.20

zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

依次關閉yarn,hbase,hdfs,zookeeper,然後反順序開啟

12/16/20

./bin/kafka-server-start.shconfig/server.properties &

1.jps顯示有kakka

2.  建立topic

./bin/kafka-topics.sh --create --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 --replication-factor 1 --partitions1 --topic page_visits

3.  檢視命令

./bin/kafka-topics.sh --list --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

CDH集群整合kafka

1.cdh環境已經搭建成功,在cdh上搭建kafka。要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper 2.kafka 2.11 0.8.2.1.tgz已經上傳到kafka集群環境中 改動hosts 10.10.0.11 s1 1 10.10.0.12 s1 2...

cdh完美整合kafka

具體實現的簡要步驟可參照cloudera官網提供的文件 下面就是我根據這個文件的整合過程。csd包 關閉集群,關閉cm服務 假如不關閉cm服務,會出現在新增kafka服務時找不到相關的服務描述 將csd包放到cm安裝節點下的 opt cloudera csd目錄下,如圖 將parcel包放到cm安裝...

SpringBoot整合kafka集群

本文整合基於springboot2.0 kafka版本kafka 2.12 2.3.0,使用org.springframework.kafka來做的整合 專案目錄結構 pom.xml依賴 本配置檔案是才用的併發批量消費方式,bootstrap servers是我們集群的機器位址 生產者control...