jvm.options 配置記憶體大小優化 可根據伺服器的效能進行配置
-xms1g
-xmx1g 可修改為2g
logstash.yml 優化引數配置 下面是8核16g的配置調優
1）、pipeline.workers
該引數可控制output或filter外掛程式的工作執行緒數（只能設定正整數），當發現事件正在備份或cpu沒有飽和，則可以增加工作執行緒，以提高效能。
2）、pipeline.batch.size
設定批量執行event的最大值，該值是用於input的批量處理事件值，再打包傳送給filter和output，增加該值可以在一定範圍內提高效能，但是需要增加額外的記憶體開銷。
3）、pipeline.batch.delay
批處理的最大等待值（input需要按照batch處理的最大值傳送到訊息佇列，但是不能一直等，所以需要乙個最大的超時機制）
pipeline.workers：8
pipeline.batch.size：2000
pipeline.batch.delay：10
pipeline.output.workers:8
4）實際output 時的執行緒數
預設配置 --->pipeline.output.workers:1
可優化為 ---> pipeline.output.workers: 不超過pipeline 執行緒數
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...
Spark效能調優 JVM調優
通過一張圖讓你明白以下四個問題 1.jvm gc機制，堆記憶體的組成 2.spark的調優為什麼會和jvm的調優會有關聯？因為scala也是基於jvm執行的語言 3.spark中oom產生的原因 4.如何在jvm這個層面上來對spark進行調優 補充 spark程式執行時 jvm堆記憶體分配比例 r...
七 Spark效能調優 Shuffle 調優
目錄 一 調節 map 端緩衝區大小 二 調節 reduce 端拉取資料緩衝區大小 三 調節 reduce 端拉取資料重試次數 四 調節 reduce 端拉取資料等待間隔 五 調節 sortshuffle 排序操作閾值 val conf new sparkconf set spark.shuffle...