隨著資料的增加每分鐘產生的資料量很大,對伺服器硬碟壓力也很大.可以從兩方面著手解決這個問題
1.增加伺服器集群
2.優化kafka服務配置
a.縮短日誌的備份時間log.retention.hours=72
b.縮短日誌的備份上限log.retention.bytes=5368709120
c.開啟日誌壓縮log.cleaner.enable=
false
d.開啟日誌清理log.cleanup.policy = delete
詳細引數參考
kafka常用運維命令
啟動kafka啟動之前需要先啟動zookeeper,如果沒有安裝zookeeper 可使用kafka自帶zookeeper啟動 bin zookeeper server start.sh config zookeeper.properties bin kafka server start.sh co...
Linux運維 運維日誌 CentOs7防火牆篇
啟動 systemctl start firewalld 關閉 systemctl stop firewalld 檢視狀態 systemctl status firewalld 開機禁用 systemctl disable firewalld 開機啟用 systemctl enable firewa...
kafka運維常用命令
kafka運維常用命令 列出所有的topic bin kafka topics.sh zookeeper 127.0.0.1 2181 list 檢視 topic資訊 bin kafka topics.sh zookeeper 127.0.0.1 2181 describe topic topicn...