將Elasticsearch的快照備份到HDFS

2021-09-20 07:48:18 字數 1548 閱讀 1438

1、安裝elasticsearch外掛程式repository-hdfs

將zip包放在/usr/local下

注意外掛程式版本需要和elasticsearch的版本對應。如果版本不匹配,在安裝時會有提示

cd /usr/local/software/elasticsearch-6.2.1/bin

./elasticsearch-plugin install

file:///

usr/local/repository-hdfs-6.2.1.zip

安裝成功後需要重啟elasticsearch

2、備份和恢復

構建乙個倉庫

一些引數的說明:

uri                 :    hdfs的位址和埠

path              :    資料儲存/載入的路徑

load_defaults:    是否載入hadoop預設配置(預設開啟)

compress      :    是否壓縮元資料(預設關閉)

chunk_size    :    覆蓋塊大小(預設關閉)

conf_location:這個引數好像不用加

在建立倉庫時會報如下類似的錯誤

permission denied: user=elasticsearch, access=write

臨時解決辦法:

去修改hdfs的hdfs-site.xml檔案,取消hadoop hdfs的使用者許可權檢查。需要再找其他辦法做到從根本上解決問題

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

增加如下配置

dfs.permissions

false

重啟hdfs

備份快照

檢視所有快照

檢視某個快照

刪除乙個快照

恢復快照

將Elasticsearch的快照備份到HDFS

1 安裝elasticsearch外掛程式repository hdfs 將zip包放在 usr local下 注意外掛程式版本需要和elasticsearch的版本對應。如果版本不匹配,在安裝時會有提示 cd usr local software elasticsearch 6.2.1 bin e...

ElasticSearch的工作機制

elasticsearch,和solr一樣,是底層基於apache lucene,且具備高可靠性的企業級搜尋引擎。elasticsearch中的一些概念其實和關係型資料庫都有對應關係,比如資料庫在es中被稱為索引,表在es中被稱作type。具體對應關係見下表。elasticsearch中的repli...

ElasticSearch的工作機制

elasticsearch,和solr一樣,是底層基於apache lucene,且具備高可靠性的企業級搜尋引擎。elasticsearch中的一些概念其實和關係型資料庫都有對應關係,比如資料庫在es中被稱為索引,表在es中被稱作type。具體對應關係見下表。elasticsearch中的repli...