Kafka單機環境的部署

2022-03-18 13:03:00 字數 2201 閱讀 9026

前面說過kafka集群環境的部署,現在主要說一下在本地測試中kafka單機環境的部署,和前面一樣首先保證zookeeper服務的正常執行,然後解壓並釋放kafka安裝包,並放到指定位置:

tar -xvzf kafka_2.9.2-0.8.2.2.tar.gz

mkdir /usr/kafka

mv kafka_2.9.2-0.8.2.2 /usr/kafka/

cd /usr/kafka/kafka_2.9.2-0.8.2.2

現在開始編輯配置檔案server.properties,執行命令: vim config/server.properties 開啟配置檔案

首先去掉#host.name=localhost前面的注釋,這個開發過程中可以填寫集群主機名或者ip位址,有很多錯誤就是因為這裡被注釋導致的,建議單機環境一定去掉注釋根據情況配置;集群中一般根據zookeeper.connect識別,所以此項可以配置也可以忽略

然後之前集群部署中曾經修改過borker.id,port這裡不用動,都是預設即可,修改一下log.dirs放到/usr/kafka/logs目錄中,這個可以自己指定

logs目錄我們後來需要手動建立,然後log.cleaner.enable要改為true,表示自動清理日誌

然後修改zookeeper.connect為localhost:2181/kafka,預設是localhost:2181,這樣會在zookeeper上直接建立kafka對應檔案,這裡加上/kafka和之前一樣,表示在zookeeper上建立kafka節點,把kafka相關檔案都放在localhost:2181/kafka節點下

到現在,基本的配置就完成了,現在儲存並退出配置檔案

然後建立logs日誌目錄: mkdir /usr/kafka/logs ,建立目錄之後,開始啟動kafka服務:

nohup bin/kafka-server-start.sh config/server.properties >> /dev/null &
上面**hohup代表把任務放到後台作為服務執行,有些指令碼不像之前的二進位制程式一樣可以一直跑在伺服器上,雖然後面加上&表示在後台執行,但是一段時間後可能會退出,nohup可以讓程式一直跑在後台,輸入以上命令後命令行會卡住,然後需要再次輸入一次回車回到命令列,另外我們退出shell時必須使用logout退出,切不可直接關閉視窗,否則程式也可能異常退出

然後建立乙個訊息佇列:

bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka
建立佇列的時候,replication-factor只能是1個,因為是單節點,而partitions分割槽可以是1個或者2個都可以,測試環境建議是1個即可

然後,建立乙個消費者:

bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test
此時,命令行會進入執行狀態,介面就卡住不動了,然後再新建乙個視窗,進入kafka目錄,繼續建立乙個生產者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
同樣這個時候命令列進入執行狀態,我們輸入乙個字串:hello kafka!

此時開啟剛才建立消費者的視窗,會看到剛才的輸入訊息被消費了

到現在,kafka單機訊息佇列基本的配置和執行都是正常的,單機環境配置基本上就是這些

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...

kafka單機部署

2 解壓 tar zxvf kafka 2.12 0.11.0.3.tgz c local sda kafka3 使用kafka自帶的zookeeper,修改zookeeper.properties cd local sda kafka kafka 2.12 0.11.0.3 進入kafka主目錄 ...

Kafka 單機部署

kafka 單機部署區分整合zookeeper 部署和zookeeper kafka 部署倆總方式,如果是單機部署kafka,整合zookeeper 最簡單,也可以選擇zookeeper kafka 這種模式,但是如果為kafka集群的話,則必須需要部署 zookeeper 集群。一.獲取解壓wge...