Elasticsearch集群運維

2021-09-08 14:13:09 字數 2676 閱讀 7201

1、es滾動重啟:

#準備工作:

##提前開啟如下資訊,有些api是需要觀察的各項指標(出現問題則停止重啟),其餘是配合檢查的api:

##檢視集群unassigen shards 原因

curl

###集群配置

curl

###pending-tasks

curl

###集群健康

curl

#重啟client-node組節點

#start

步驟1:關閉其中乙個client節點

步驟2:重啟節點

步驟3:檢查節點是否加入集群

步驟4:重複步驟2-3重啟其他節點

#end

#重啟mater-node節點

#start

步驟1:明確master節點ip

步驟2:關閉master-node組的乙個非master節點

步驟3:重啟節點

步驟4:檢查節點是否加入集群(確保已經加入集群)

步驟5:重複步驟2-4,重啟另外的master-node組的乙個非master節點

步驟6:關閉master節點

步驟7:重啟master節點

##在master節點擊舉過程中,集群功能不可用(包括了:索引功能、search功能,api功能堵塞等),集群並不會立即選舉出master節點(預設進行選舉的時間為3s, 由於網路的問題,往往將master選舉的時間延長)

步驟8:檢查集群裝填,檢查節點是否加入集群。

##當master選舉出來,集群功能將全部正常。

#end

#重啟data-node節點

#start

步驟1:禁用分片分配

curl -x put -d '}'

##禁用分片分配期間,集群新建索引將無法分配副本分片,允許新建索引主分片的分配

步驟2:執行同步重新整理

curl -xpost ""

##對於在此刻不在更新的索引,此操作將通過synced值來確認主副分片是否資料一致(加快了分片加入集群的時間);對於在此刻索引發生變化的分片,此操作對節點加入集群的索引恢復沒有作用

步驟3:關閉乙個data-node節點

步驟4:重啟節點

步驟5:檢查節點是否加入集群

步驟6:啟用分片分配

curl -x put -d '}'

步驟7:檢查集群狀態是否為green

##在啟用了分片分配後,unassigen shards會瞬間減少(不會瞬間減少為0,因為在大的es集群中,每個節點都會有在更新的索引分片);之後會出現一些initializing shards,這部分分片會需要等待一段時間才會減少為0(分片同步過程中)

步驟8:重複步驟3-7,重啟其他節點

步驟9:節點全部重啟完畢後,檢查集群配置,確保沒有禁用分片分配

#end

參考資料:

es官方重啟教程

2、es index常用設定:

es index的settings:

}調整重新整理間隔為30s,減少segment的數量

}調整副本數為0

3、es cluster常用設定:

es cluster的settings:

}允許在節點上併發分片恢復的個數(寫和讀),只控制「恢復」過程的併發數,對集群「重平衡」和其他情況下的併發數沒有影響。

} 控制節點重啟後有多少併發數從本地恢復未分配的主分片。

}設定索引恢復時每秒位元組數。

}允許在集群上併發分片重平衡的個數,只控制「重平衡」過程的併發數,對集群「恢復」和其他情況下的併發數沒有影響。

}禁用集群「rebalance」

}啟用集群「rebalance」

#調整集群恢復併發數為4

#取消設定,集群恢復併發數為預設

#通過ip,排除集群中的某個節點:節點ip:10.100.0.11

#通過ip,排除集群中的多個節點:節點ip:10.10.0.11,10.100.0.12

#取消節點排除的限制

#調整資料節點的低水位值為600gb

#調整資料節點的高水位值為300gb

#取消使用者設定,集群恢復這一項的預設配置

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...