ElasticSearch 索引遷移

二、利用es自帶快照備份到檔案儲存進行遷移

介紹兩種比較好的es集群遷移資料的方法。下面是對兩種方法的具體描述，已經過實踐驗證通過。

方法1、利用開源工具elasticdump進行遷移。優點是操作及其簡單，且不需要重啟集群；缺點是傳輸較慢，不適用大資料量的傳輸，過程中集群間使用http埠，占用集群頻寬。主要還是慢。

方法2、利用es自帶快照備份到檔案儲存進行遷移。優點是速度快，因為是寫磁碟，拷貝到新集群伺服器，從快照恢復，速度快。適用於大資料量的場景

執行

yum install -y nodejs

執行

npm

install -g n
n latest

執行

npm

install elasticdump -g

elasticdump --input=http://fromhost:9200/indexname --output=http://tohost:9200/indexname --type=data0.源es集群指定共享資料夾

保證/data/backups目錄存在，且屬於elastic啟動使用者

mkdir /data/backups

chown -r elastic:elastic /data/backups

path.repo: [

"/data/backups"
]

1.源es集群中建立repository

執行指令

}'2.建立快照（快照備份資料）

curl -xput http://fromhost:9200/_snapshot/my_repository/snapshot_20191114?wait_for_completion=true  -d ''

3.移動源es集群snapshot至目標es集群的倉庫

拷貝/data/backups/my_backup到新es集群機器

4.目標es集群建立repository

curl -xput http://tohost:9200/_snapshot/my_repository  -d '

}'

curl -xget http://tohost:9200/_snapshot/my_repository/_all

curl -xpost http://tohost:9200/_snapshot/my_repository/snapshot_20191114/_restore

Elasticsearch索引建議

背景 最近在做日誌收集，用到elasticsearch作為儲存層，因為日誌量比較大，一天近2t，所以每時每刻都會有大量的插入操作。又由於是給開發人員查日誌使用，所以查詢的量比較小。受限於儲存空間，目前僅保留7天的日誌，多數為乙個業務模組乙個索引，按天切分索引。關於索引和型別的取捨，建立多個索引還是乙...

elasticsearch 建立索引

介紹 分詞器 analyzer 包括乙個分解器 tokenizer 和多個詞元過濾器 filter 詞元過濾器的作是對分詞器提取的詞元進一步處理，比如轉成小寫，使用edge ngram,同義詞等，處理之後成為索引詞 term 文件正包含了幾個這樣的term成為frequency 詞頻 分解器 tok...

Elasticsearch 索引例項

elasticsearch包含了一系列的感念，比如索引 indexing 搜尋 search 以及聚合 aggregations 現在我們主要介紹indexing。在elasticsearch中，文件歸屬於一種型別 type 而這些型別存在於索引 index 中，我們可以畫一些簡單的對比圖來模擬傳統...