es動態分配分片 ES集群分片及副本調整

2021-10-13 14:56:26 字數 759 閱讀 8481

分片shardses是個分布式的搜尋引擎, 所以索引通常都會分解成不同部分, 而這些分布在不同節點的資料就是分片.

es自動管理和組織分片, 並在必要的時候對分片資料進行再平衡分配

副本replicas為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略replica。副本策略對index中的每個分片建立冗餘的副本,

處理查詢時可以把這些副本當做主分片來對待(primary shard),此外副本策略提供了高可用和資料安全的保障,當分片所在的機器宕機,

elasticsearch可以使用其副本進行恢復,從而避免資料丟失。

調整分片和副本原則a:索引不存在時,可以自定義副本和分片數

b:索引存在,則只能修改副本

調整分片和副本常用命令

檢視集群node 資訊curl -xget 

檢視集群索引curl -xget 

定期自動清理索引這裡使用linux中的crontab進行定時任務來刪除xx天的索引。我們在定義logstash向elasticsearch中輸出索引的格式為***-2019.08.10,因此,我們可以先定義乙個指令碼:

touch es_clear.sh

vim es_clear.sh

#! /bin/bash

data=`date -d "-xx days" "+%y.%m.&d"`

chmod +x es_clear.sh

0 1 * * * /home/elkpro/scripts/es_clear.sh

es動態分配分片 ES磁碟分配不均問題

近es集群磁碟空間告警,日誌又沒地方可以遷移,然後申請了新的伺服器,一次性加入8台新的伺服器 新增了32個新的資料節點,至此,我們的主集群已經到達85個資料節點的規模,整個集群資料已達到pb級別,終於可以跟別人炫耀我是做大資料的了。o o哈哈 但是隨著集群節點的不斷壯大,問題也隨之而來,剛開始加入新...

ES集群分片及副本調整

分片shards es是個分布式的搜尋引擎,所以索引通常都會分解成不同部分,而這些分布在不同節點的資料就是分片.es自動管理和組織分片,並在必要的時候對分片資料進行再平衡分配副本replicas 為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略repl...

ES集群分片及副本調整 學習,認真學習

分片shards es是個分布式的搜尋引擎,所以索引通常都會分解成不同部分,而這些分布在不同節點的資料就是分片.es自動管理和組織分片,並在必要的時候對分片資料進行再平衡分配副本replicas 為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略repl...