Kafka 安裝與使用

2021-09-25 06:55:49 字數 1688 閱讀 1344

.html

wget

# kafka安裝包和一般安裝包的命名方式不一樣,我們看乙個kafka包命名:kafka_2.11-1.1.0.tgz,其中2.11是scala的版本,1.1.0才是kafka的版本。

# 官方強烈建議scala版本和伺服器上的scala版本保持一致,避免引發一些不可預知的問題。

# 將安裝包放到伺服器上的某個位置,然後進入這個位置的目錄下。

# 我選擇將kafka安裝在 /usr/local/ 這個目錄下。(解壓到其它目錄也可以,如:/opt/modules/)

[root@vm_0_17_centos ~]# tar -zxvf kafka_2.11-1.1.0.tgz -c /usr/local/

# 進入 kafka_2.11-1.1.0 目錄

[root@vm_0_17_centos ~]# cd /usr/local/kafka_2.11-1.1.0

# 進入配置檔案所在目錄:配置檔案在/usr/local/kafka_2.11-1.1.0/config目錄下面。具體修改見另一篇。

[root@vm_0_17_centos ~]# cd /usr/local/kafka_2.11-1.1.0/config

執行kafka需要使用zookeeper,所以你需要先啟動zookeeper,如果你沒有zookeeper,你可以使用kafka自帶打包和配置好的zookeeper。先啟動zookeeper,再依次在各自節點上啟動kafka。

kafka依賴zookeeper,zookeeper集群可以自己搭建,也可以用kafka安裝包中內建的shell指令碼啟動zookeeper。

如果已經安裝了zk單機或者zk集群(單機或者集群都可以,取決於你對高可用的要求),那麼可以跳過這一步,直接啟動kafka。

# 啟動zookeeper。啟動zk有兩種方式:

# 第一種是使用kafka自己帶的乙個zk。

[root@vm_0_17_centos ~]# bin/zookeeper-server-start.sh config/zookeeper.properties

[root@vm_0_17_centos ~]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

# 第二種是使用其它的zookeeper,可以位於本機也可以位於其它位址。

# 這種情況需要修改config下面的sercer.properties裡面的zookeeper位址。例如zookeeper.connect=192.168.213.11:2181。

# 成功啟動zookeeper後才可以啟動kafka。

# 啟動kafka服務(啟動broker)

[root@vm_0_17_centos ~]# bin/kafka-server-start.sh config/server.properties

[root@vm_0_17_centos ~]# bin/kafka-server-start.sh config/server.properties &

[root@vm_0_17_centos ~]# bin/kafka-server-start.sh -daemon config/server.properties

kafka使用與安裝

集群安裝 1 解壓 2 修改server.properties broker.id 1 zookeeper.connect weekend05 2181,weekend06 2181,weekend07 2181 3 將zookeeper集群啟動 4 在每一台節點上啟動broker 啟動的時候 如果...

Kafka的安裝與使用

kafka是乙個分布式的訊息佇列,一般在整個系統中起到解耦,削峰,非同步處理的作用。整個系統分為消費者和生產者,生產者往裡面寫入資料,消費者取出資料進行邏輯處理。其實zookeeper就是乙個服務註冊和發現中心。kafka使用zookeeper來進行動態的集群擴充套件,不需要修改客戶端的配置。在開啟...

KaFka 安裝與基本使用

學了有一段時間的大資料了,學習新的元件,大部分安裝可以分為三步 上傳解壓,配置檔案,啟動。分享一下我的kafka安裝包 1 上傳解壓 2 進入到 usr local soft kafka 2.10 0.8.2.2 config 目錄下,修改server.properties檔案 3 因為kafka是...