Elasticsearch索引自動套用模板

2022-06-21 18:00:11 字數 1045 閱讀 5838

方案選擇:

方案一:可對logstash配置output引數:

如下所示:

這種方案在logstash中指定模板檔案,由logstash將template寫入es集群;

方案二:直接將template寫入es集群

通過es提供的api,將json格式的template寫入目標es集群的_template路徑,對新生成的所有符合過濾規則的索引直接套用該模板。

模板的結構大致分四塊吧:

第一部分:通用設定,主要是模板匹配索引的過濾規則,影響該模板對哪些索引生效;

第二部分:settings:配置索引的公共引數,比如索引的replicas,以及分片數shards等引數;

第四部分:aliases:索引別名,索引別名可用在索引資料遷移等用途上。

典型的乙個template如下所示:

,

"logs": ,

"@version": ,

"exp": ,

"guid": ,

"loglevel": ,

"logtime": ,

"loggername": ,

"message": ,

"processid": ,

"stacktrace": ,

"threadid": ,

"exp": ,

"loglevel": ,

"logtime": ,

"loggername": ,

"message": ,

"processid": ,

"tags": ,

"threadid": }}

},"aliases":

}

在這個json中可以清楚地看到四個部分,並且對string型別的fields設定了不進行預設分詞資訊。

Elasticsearch索引建議

背景 最近在做日誌收集,用到elasticsearch作為儲存層,因為日誌量比較大,一天近2t,所以每時每刻都會有大量的插入操作。又由於是給開發人員查日誌使用,所以查詢的量比較小。受限於儲存空間,目前僅保留7天的日誌,多數為乙個業務模組乙個索引,按天切分索引。關於索引和型別的取捨,建立多個索引還是乙...

elasticsearch 建立索引

介紹 分詞器 analyzer 包括乙個分解器 tokenizer 和多個詞元過濾器 filter 詞元過濾器的作是對分詞器提取的詞元進一步處理,比如轉成小寫,使用edge ngram,同義詞等,處理之後成為索引詞 term 文件正包含了幾個這樣的term成為frequency 詞頻 分解器 tok...

Elasticsearch 索引例項

elasticsearch包含了一系列的感念,比如索引 indexing 搜尋 search 以及聚合 aggregations 現在我們主要介紹indexing。在elasticsearch中,文件歸屬於一種型別 type 而這些型別存在於索引 index 中,我們可以畫一些簡單的對比圖來模擬傳統...