ELK簡單調優

2021-08-20 05:21:33 字數 775 閱讀 5866

es配置檔案

xpack.security.enabled: true #允許安全驗證

bootstrap.memory_lock: true #開啟記憶體鎖,防止使用交換分割槽

bootstrap.system_call_filter: false #重啟時系統禁止呼叫過濾器

transport.tcp.compress: true #設定壓縮tcp傳輸時的資料

logstash配置檔案

pipeline.workers: 4

cpu核心數(或幾倍cpu核心數)

該引數可控制

output

或filter

外掛程式的工作執行緒數(只能設定正整數),當發現事件

正在備份或

cpu沒有飽和,則可以增加工作執行緒,以提高效能。cup個數*單個cup核數

pipeline.batch.size: 1000

設定批量執行

event

的最大值,該值是用於

input

的批量處理事件值,再打包傳送給

filter

和output

,增加該值可以在一定範圍內提高效能,但是需要增加額外的記憶體開銷。

pipeline.batch.delay: 10

批處理的最大等待值(

input

需要按照

batch

處理的最大值傳送到訊息佇列,但是不能一直等,所以需要乙個最大的超時機制)。

kafka簡單調優

1 batch.size 預設是16384byte,也就是16kb,生產者傳送多個訊息到broker上的同乙個分割槽時,為了減少網路請求帶來的效能開銷,通過批量的方式 來提交訊息,可以通過這個引數來控制批量提交的位元組數大小,意味著當一批訊息大小達到指定的batch.size的時候會統一傳送。2 l...

ELK簡單問答

elasticsearch是乙個支援分布式儲存以及全文索引的資料庫,可用於儲存非結構化資料並能快速檢索關鍵字。比較適用於儲存日誌記錄。問題1 elasticsearch是如何分布式儲存資料的?elasticsearch會從所有節點中推舉出乙個master節點,master節點負責建立或者刪除索引,新...

單調棧與單調佇列簡單例題

poj3250 題意 有n只奶牛排成一列向右看,每頭奶牛只能看到比自己矮的奶牛,即會被高的奶牛擋住後面,問共有多少只奶牛能被看到 思路 考慮每頭奶牛能被前面牛看到的次數,也就是從他左邊開始單調遞減的序列的長度,用單調棧維護即可 include includeusing namespace std c...