1、網路和io操作執行緒配置優化
# broker處理訊息的最大執行緒數（預設為3）
num.network
.threads=cpu核數+1
# broker處理磁碟io的執行緒數
num.io
.threads=cpu核數*2
2、log資料檔案刷盤策略
# 每當producer寫入10000條訊息時，刷資料到磁碟
log.flush
.interval
.messages=10000
# 每間隔1秒鐘時間，刷資料到磁碟
log.flush
.interval
.ms=1000
3、日誌保留策略配置
# 保留三天，也可以更短 （log.cleaner.delete.retention.ms）
log.retention
.hours=72
# 段檔案配置1gb，有利於快速**磁碟空間，重啟kafka載入也會加快(如果檔案過小，則檔案數量比較多，kafka啟動時是單執行緒掃瞄目錄(log.dir)下所有資料檔案
log.segment
.bytes=1073741824
4、replica相關配置
default.replication.factor:
3# 這個引數指新建立乙個topic時，預設的replica數量,replica過少會影響資料的可用性，太多則會白白浪費儲存資源，一般建議在2~3為宜。
1、zookeeper.session
.timeout
.ms
解釋：配置的超時時間太短，zookeeper沒有讀完consumer的資料，連線就被consumer斷開了！
引數：5000
2、zookeeper.sync
.time
.ms解釋：zookeeper集群中leader和follower之間的同步的時間
引數：2000
3、auto.commit
.enable=true
解釋：注意offset資訊並不是每消費一次訊息就向zk提交一次,而是現在本地儲存(記憶體),並定期提交
4、auto.commit
.interval
.ms解釋：自動提交offset到zookeeper的時間間隔
引數：1000
5、zookeeper.connection
.timeout
.ms
解釋：確認zookeeper連線建立操作客戶端能等待的最長時間
引數：10000
6、rebalance.backoff
.ms解釋：消費均衡兩次重試之間的時間間隔
引數：2000
7、rebalance.max
.retries
解釋：消費均衡的重試次數
引數：10
kafka效能調優
2 vim bin kafka server start.sh 調整kafka heap opts xmx16g xms16g 的值 2 3 4 broker處理訊息的最大執行緒數 num.network.threads 9 broker處理磁碟io的執行緒數 num.io.threads 16 s...
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...
Kafka 集群調優
kafka 集群搭建鏈結 單個 kafka伺服器足以滿足本地開發或 poc要求，使用集群的最大好處是可以跨伺服器進行負載均衡，再則就是可以使用複製功能來避免因單點故障造成的資料丟失。在維護 kafka 或底層系統時，使用集群可以確保為客戶端提供高可用性。乙個 kafka 需要多少個 broker取決...