Centos上Kafka的搭建

2021-10-04 10:29:57 字數 2358 閱讀 8422

個人部落格傳送門

流**平台有三大主要功能:

kafka通常用於兩大類的應用:

隨著物聯網的大力發展,接下來會有越來越多的事物需要接入到網際網路上,因此對於資料的接入處理和資料的實時處理也是乙個比較大的挑戰,同時也迸發出了很多的訊息佇列,現在比較主流和常用的如kafka、rabbitmq、rocketmq等。但是不同的訊息佇列應用的場景有一定的差異,有興趣的話可以去深入的研究下。這裡我們這介紹下kafka的搭建和kafka的一些用法。

一.首先搭建kafka需要先搭建好zookeeper的服務。

首先需要先來修改zookeeper的配置並且啟動zookeeper。 在伺服器上切換到zookeeper的根目錄下,然後進入conf包,然後拷貝zoo_sample.cfg檔案並將檔案的名稱修改為 zoo.cf,然後開啟zoo.cfg檔案如圖配置。

# the number of milliseconds of each tick

ticktime=2000

# the number of ticks that the initial

# synchronization phase can take

initlimit=10

# the number of ticks that can pass between

# sending a request and getting an acknowledgement

synclimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

datalogdir=/data/zookeeper/log

datadir=/data/zookeeper/data

# the port at which the clients will connect

clientport=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxclientcnxns=60

## be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

## ## the number of snapshots to retain in datadir

#autopurge.snapretaincount=3

# purge task interval in hours

# set to "0" to disable auto purge feature

#autopurge.purgeinterval=1

只需要配置好zookeeper的資料的存放路徑和日誌的存放路徑,便於我們查詢分析,然後配置zookeeper的埠即可,然後我們切到bin目錄下執行zkserver.sh start即可看到我們的zookeeper已經起來。

這裡我們只是簡單的介紹了單例項的安裝,對於集群的安裝方式,類似只是配置檔案稍微修改一下,有興趣的可以了解下,建議了解下zookeper集群的選舉模式(半數選舉)等。

二.接下來需要搭建kafka的環境

同樣的進入到kafka安裝包的解壓的路徑下,然後進入conf包種然後先去修改server.properties檔案:

到此,單機例項下的kafka的配置就已經完成了,接下來我們需要啟動kafka:

bin/kafka-server-start.sh config/server.properties

到此,kafka在單機上的例項的搭建過程就全部完成了,接下來我們一起看下kafka的使用方法。

三.kafka的基本操作

接下來分別講解下kafka如何建立乙個topic 、 檢視乙個topic的資訊 、生產乙個訊息、消費乙個訊息和刪除乙個topic等。

到此,kafka的搭建就全部完成了,但是沒有說出為何日誌收集選擇kafka ,並且kafka的topic、group和partition等關係。等到下一章記錄springboot整合kafka的時候在具體的說明。

centos7搭建kafka集群

安裝環境 集群規劃 伺服器lnh01 伺服器lnh02 伺服器lnh03 zookeeper zookeeper zookeeper kafka kafka kafka 安裝步驟 上傳壓縮包到伺服器 解壓至 opt soft下 命令 tar zxvf kafka 2.12 2.4.1.tgz c o...

centos 搭建 kafka 及開機啟動

2.安裝 2.1 解壓 2.2 修改配置 3 開機自啟 4 開啟外網埠 建立 home software kafka 2.6.0資料夾 並進入 home software kafka目錄下解壓kafka至2.6.0下 mkdir home software kafka 2.6.0 cd home s...

centos7搭建kafka集群

7.關閉防火牆 systemctl stop firewalld.service 停止firewall systemctl disable firewalld.service 禁止firewall開機啟動 firewall cmd state 檢視預設防火牆狀態 關閉後顯示notrunning,開啟...