elasticsearch索引自動清理

2021-07-27 18:14:01 字數 653 閱讀 7898

檢視所有的索引檔案:

刪除索引檔案以釋放空間:

單節點的elk可在索引目錄刪除索引檔案:集群環境刪除某節點的索引檔案,會導致集群服務不可用.集群環境需要使用api的方式進行刪除.

索引檔案保留在伺服器中,大大減小伺服器的效能,占用硬碟空間,

因此使用指令碼自動刪除elk中兩個月以前的索引以釋放空間:

新增計畫任務:

$crontab -e

0 0 * * * cd /root && ./elk_index_remove.sh >>/dev/null

Elasticsearch索引建議

背景 最近在做日誌收集,用到elasticsearch作為儲存層,因為日誌量比較大,一天近2t,所以每時每刻都會有大量的插入操作。又由於是給開發人員查日誌使用,所以查詢的量比較小。受限於儲存空間,目前僅保留7天的日誌,多數為乙個業務模組乙個索引,按天切分索引。關於索引和型別的取捨,建立多個索引還是乙...

elasticsearch 建立索引

介紹 分詞器 analyzer 包括乙個分解器 tokenizer 和多個詞元過濾器 filter 詞元過濾器的作是對分詞器提取的詞元進一步處理,比如轉成小寫,使用edge ngram,同義詞等,處理之後成為索引詞 term 文件正包含了幾個這樣的term成為frequency 詞頻 分解器 tok...

Elasticsearch 索引例項

elasticsearch包含了一系列的感念,比如索引 indexing 搜尋 search 以及聚合 aggregations 現在我們主要介紹indexing。在elasticsearch中,文件歸屬於一種型別 type 而這些型別存在於索引 index 中,我們可以畫一些簡單的對比圖來模擬傳統...