CentOS7下Kafka安裝 黃海的技術空間

2022-09-23 03:39:09 字數 2031 閱讀 3056

使用kafka自帶的zookeeper進行安裝(可參看kafka自帶的說明檔案)

為kafka和zookeep配置centos下的服務

為kafka和zookeep配置firwalld相關的檔案

前提安裝環境為centos7.x,官網**最新版的kafka,解壓至/opt/kafka中(可以建立乙個指向當前版本的軟連線)。

tar -zxf kafka_2.12-2.1.1.tar.gz -c /opt // 解壓到指定資料夾下

ln -s /opt/kafka_2.12-2.1.1 /opt/kafka // 建立指向當前版本的軟連線為zookeeper建立服務

系統定義服務指令碼位於/usr/lib/systemd/system/目錄下,自定義服務指令碼位於/etc/systemd/system/目錄下。因此在/etc/systemd/system/目錄下,新建zookeeper.service檔案,內容如下:

[unit]

description=zookeeper.service

after=network.target

[service]

user=root

type=idle

enviroment=zoo_log_dir=/var/log/zookeeper

execstart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties

execstop=/opt/kafka/bin/zookeeper-server-stop.sh /opt/kafka/config/zookeeper.properties

execreload=$execstop;$execstart

[install]

wantedby=multi-user.target為kafka建立服務

在/etc/systemd/system/目錄下,建立kafka.service檔案

[unit]

description=kafka.service

after=network.target remote-fs.target zookeeper.service

[service]

user=root

type=idle

execstart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

execstop=/opt/kafka/bin/kafka-server-stop.sh /opt/kafka/config/server.properties

execreload=$execstop;$execstart

[install]

wantedby=multi-user.target為zookeeper建立firewalld的配置檔案

系統自帶的firewalld管理的服務位於/usr/lib/firewalld/services/目錄下,自定義的firewalld管理服務位於/etc/firewalld/services/目錄下。因此在/etc/firewalld/services/目錄下,新建zookeeper.xml檔案,內容如下:

<?xml version="1.0" encoding="utf-8"?>

zookeeper

zookeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. usually used with kafka.

為kafka建立firewalld的配置檔案

在/etc/firewalld/services/目錄下,新建kafka.xml檔案,內容如下:

<?xml version="1.0" encoding="utf-8"?>

kafka

kafka is a streaming platform.

centos7單機安裝kafka

基礎要求作業系統 centos 7x 64位 kafka版本 kafka 2.11 0.8.2.1 提取碼 ns3c 1 關閉selinux 開放防火牆9092埠 root wzy x vi etc selinux config root wzy x tail 2 etc selinux confi...

CentOS 7下安裝Kafka單機版

啟動kafka服務 kafka server start.sh config server.properties ps ef grep kafka檢視,觀察到zookeeper和kafka服務已啟動 建立乙個叫 test1234 的topic,它只有乙個分割槽,乙個副本 kafka topics.s...

Centos7下kafka集群搭建

1.kafka以topic來進行訊息管理,每個topic包含多個partition,每個partition對應乙個邏輯log,有多個segment組成。2.每個segment中儲存多條訊息 見下圖 訊息id由其邏輯位置決定,即從訊息id可直接定位到訊息的儲存位置,避免id到位置的額外對映。3.每個p...