kafka的啟動與測試 刪除topic

2022-05-07 05:24:07 字數 1345 閱讀 5298

進入kafka的安裝目錄,不知道安裝目錄的可以用命令ps -ef|grep kafka來檢視,我的目錄是/usr/local/kafka

檢視埠,進入conf資料夾

kafkaserver.properties

啟動與停止

在啟動server

topic

徹底刪除topic

如果需要被刪除topic 此時正在被程式 produce和consume,則這些生產和消費程式需要停止

因為如果有程式正在生產或者消費該topic,則該topic的offset資訊一致會在broker更新。呼叫kafka delete命令則無法刪除該topic。

同時,需要設定server.propertiesauto.create.topics.enable=false,預設設定為true。如果設定為true,則produce或者fetch 不存在的topic也會自動建立這個topic。這樣會給刪除topic帶來很多意向不到的問題。

所以,這一步很重要,必須設定auto.create.topics.enable = false,並認真把生產和消費程式徹底全部停止。

server.properties設定delete.topic.enable=true, 如果沒有設定 delete.topic.enable=true,則呼叫kafka 的delete命令無法真正將topic刪除,而是顯示(marked for deletion)

重啟zookeeper和server,然後呼叫命令/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper localhost:2182 --topic test刪除topic

刪除kafka儲存目錄(server.properties檔案log.dirs配置,預設為"/tmp/kafka-logs")相關topic的資料目錄。

注意:如果kafka 有多個 broker,且每個broker 配置了多個資料盤(比如 /tmp/kafka-logs,/tmp1/kafka-logs ...),且topic也有多個分割槽和replica,則需要對所有broker的所有資料盤進行掃瞄,刪除該topic的所有分割槽資料。

(僅在測試環境這樣用,因為刪掉所有資料了)如果上面還不行,就刪掉/tmp/kafka-logs/tmp/zookeeper/下的資料(謹慎使用)

測試建立消費者(在b視窗)可能由於kafka版本不同,命令引數可能不同,可以使用bin/kafka-console-consumer.sh --topic test 看下

kafka 後台啟動 Kafka的安裝與啟動

安裝 在mac上可以使用brew install kafka進行kafka的安裝,在安裝kafka時,會自動檢測有無zookpeer,如果沒有的話也會安裝乙個。啟動kafka 啟動kafka,首先要確保啟動zookpeer.進入kafka安裝目錄的bin目錄下執行 zookeeper server ...

Kafka安裝與測試

tar zxf kafka 2.11 2.1.0.tgz c usr local sudo mv usr local kafka 2.11 2.1.0.tgz usr local kafka sudo chown r hadoop usr local kafka 啟動zookeeper cd usr...

kafka安裝與測試

基於linux centos7.0環境先進行測試學習 producer即生產者,向kafka集 送訊息,在傳送訊息之前,會對訊息進行分類,即topic,topic即主題,通過對訊息指定主題可以將訊息分類,消費者可以只關注自己需要的topic中的訊息 consumer即消費者,消費者通過與kafka集...