手動刪除Kafka Topic

2021-09-07 07:51:51 字數 2014 閱讀 3656

一、刪除kafka topic

執行./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】;如果kafaka啟動時載入的配置檔案中server.properties沒有配置delete.topic.enable=true,那麼此時的刪除並不是真正的刪除,而是把topic標記為:marked for deletion

可以通過命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list來檢視所有topic

此時若想真正刪除它,可以登入zookeeper客戶端,命令:./bin/zookeeper-client

找到topic所在的目錄:ls /brokers/topics

找到要刪除的topic,執行命令:rmr /brokers/topics/【topic name】即可,此時topic被徹底刪除。

另外被標記為marked for deletion的topic可以在zookeeper客戶端中通過命令獲得:ls /admin/delete_topics/【topic name】,如果你刪除了此處的topic,那麼marked for deletion 標記消失;

二、zookeeper資料清理

下面分四種場景,具體如下:

1、停止kafka,保持zookeeper仍舊執行

a.用zookeeper客戶端zkclient連線zookeeper,如:

./zkcli.sh -server 10.67.2.21:2181,10.67.2.20:2181

連線成功後,可以用命令檢視zk的目錄結構:

ls /brokers/topics

然後可以看到該目錄下有pjtest目錄,刪除方式:

delete /brokers/topics/pjtest/partitions/0/state

...delete /brokers/topics/pjtest/partitions/9/state

delete /brokers/topics/pjtest/partitions/0

...delete /brokers/topics/pjtest/partitions/9

delete /brokers/topics/pjtest/partitions

delete /brokers/topics/pjtest

2、停止kafka和zookeeper

3、啟動kafka和zookeeper

一、kafka日誌清理

kafka將會保留所有發布的訊息,不論他們是否被消費過.如果需要清理,則需要進行配置.server.properties配置:

log.cleanup.policy=delete

日誌清理策略

log.retention.hours=240

資料儲存的最大時間超過這個時間會根據log.cleanup.policy設定的策略處理資料,也就是消費端能夠多久去消費資料

log.retention.bytes和log.retention.minutes任意乙個達到要求,都會執行刪除

log.retention.bytes=-1

topic每個分割槽的最大檔案大小,乙個topic的大小限制=分割槽數*log.retention.bytes.-1表示沒有大小限制

log.retention.bytes和log.retention.minutes任意乙個達到要求,都會執行刪除

log.retention.check.interval.ms=5minutes 檔案大小檢查的週期時間

kafka topic檢視刪除

1,檢視kafka topic列表,使用 list引數 bin kafka topics.sh zookeeper 127.0.0.1 2181 list consumer offsets lx test topic test2,檢視kafka特定topic的詳情,使用 topic與 describ...

kafka topic 完全刪除

kafka topics.sh zookeeper 2181,2181,2181 topic test delete 此處可直接手動刪除,關閉kafka,刪除 log.dirs 配置的目錄下的相關topic檔案 或者.kafka topics.sh delete zookeeper zookeepe...

手動刪除sxs exe病毒

手動刪除sxs.exe病毒?2006 10 8 8 56 51 by 木魚 q 我中了sxs.exe病毒?a 特徵 在每個盤根目錄下自動生成sxs.exe,autorun.inf檔案,有的還在windows system32下生成svohost.exe 或 sxs.exe 檔案屬性為隱含屬性。自動禁...