kafka集群效能的OS引數

2021-10-24 13:27:54 字數 1843 閱讀 4920

kafka讀寫磁碟會頻繁的建立並修改檔案系統中的檔案，主要有下面3類

日誌檔案


索引檔案


元資料檔案
乙個broker需要控制的檔案數 近似 等於

(乙個topic分割槽大小 / 分割槽段檔案大小 ) * 3 * 所有topic分割槽數總和
比如乙個partition(topic 分割槽) 大小為200g, 乙個partition segment(分割槽段檔案)大小為10g,  並且該broker上面有100個topic分割槽

則 該broker上面需要維護的檔案個數為 (200 / 10) * 3 * 100 = 6000

檢視linux系統限制引數

[bigdataservice@hadoop]$ ulimit -a


core file size (blocks, -c) 0


data seg size (kbytes, -d) unlimited


scheduling priority (-e) 0


file size (blocks, -f) unlimited


pending signals (-i) 256897


max locked memory (kbytes, -l) 64


max memory size (kbytes, -m) unlimited


open files (-n) 102400


pipe size (512 bytes, -p) 8


posix message queues (bytes, -q) 819200


real-time priority (-r) 0


stack size (kbytes, -s) 8192


cpu time (seconds, -t) unlimited


max user processes (-u) 4096


virtual memory (kbytes, -v) unlimited


file locks (-x) unlimited
可以看到這一行引數配置open files                      (-n) 102400

由此可知系統允許的開啟最多檔案數為102400

如果要進行重新設定的話只需 執行下面的命令

ulimit -n 102400
xfs是高效能檔案系統，centos7, centos8預設檔案系統都是xfs格式的

sysctl vm.swapiness = 《乙個較小的數值》
檢視頁快取刷盤引數

sysctl -a | grep dirty


vm.dirty_background_bytes = 0


vm.dirty_background_ratio = 10


vm.dirty_bytes = 0


vm.dirty_expire_centisecs = 3000


vm.dirty_ratio = 30


vm.dirty_writeback_centisecs = 500
kafka時依賴os頁快取的flush功能實現訊息的真正落盤，預設刷盤間隔時5秒，可適當調大

Redis安裝 集群 效能監控

最近專案即將上線，由於人手問題，各種研究運維相關知識，這兩天剛弄完redis集群部署的問題，跟大家嘮嘮。以下均是在linux環境下執行，系統ubuntu16.04 sudo wget 複製 sudo tar zxvf redis stable.tar.gz 複製 sudo apt get insta...

RocketMQ 集群效能摸高

我們在生產環境搭建乙個集群時，需要對該集群的效能進行摸高。即 集群的最大 tps 大約多少，我們做到心裡有數。通常我們日常的實際流量控制在壓測最高值的 1 3 到 1 2 左右，預留一倍到兩倍的空間應對流量的突增情況。如何進行壓力測試呢？寫段傳送 測試同學通過 jmeter 進行壓力測試，或者 中通...

ES集群效能優化及維護

注 集群 elasticsearch 版本為 v7.2.1。index.refresh interval 重新整理時間，預設1 put index all settings?preserve existing false index.number of replicas 備份數，預設1 put in...