ElasticSearch集群安全保障

2021-09-28 17:22:53 字數 1412 閱讀 7325

elasticsearch集群監控指標:

集群健康分為三個狀態: green、yellow、red。

get

/_cluster/health

檢視放回結果,如:

status值就是集群狀態,說明如下:

顏色意義

green

所有主要分片和複製分片都可用

yellow

所有主要分片可用,但不是所有複製分片都可用

red不是所有的主要分片都可用

分片(shard)是es工作的最小單元,儲存一部分索引資料。文件儲存在分片中,分配在集群中,如果集群擴容或者縮容則會移動分片,以保持平衡。

分片也分為主分片和複製分片,文件屬於乙個主分片,主分片大小決定索引儲存的資料大小。

主分片

理論上主分片能儲存的資料大小是沒有限制的,限制取決於你實際的使用情況。分片的

最大容量完全取決於你的使用狀況:硬體儲存的大小、文件的大小和複雜度、如何索引

和查詢你的文件,以及你期望的響應時間。

複製分片

複製分片是主分片的副本,防止單點故障造成資料丟失,複製分片也可以供讀取請求,數量可以隨時調整。

分片資料設定

在建立索引時,可以指定分片的數量,如新增index索引,設定主分片為2,複製分片為3

put /index

}

在乙個節點儲存資料會有單點故障的可能,因為沒有資料備份。

為了避免單點故障,可以啟動第二節點。與第乙個節點啟動方式相同,只要集群名稱相同啟動後會自動發現第乙個節點的集群,啟動後主分片和複製分片會被併發複製到第二節點。

如果啟動沒有成功,檢查是否網路廣播被禁用或防火牆限制。

橫向拓展

隨著業務的增長,可以考慮做橫向拓展,即新增新的節點機器,以減少節點負擔。

例如給2個節點6個分片的集群新增新的節點,變化如圖:

原本node1,node2儲存6個分片,現在加入node3後會將分片分給node3,以緩解node1,node2的儲存壓力,並且可以使用node3的資源如cpu,記憶體等。

故障應對

當es中的主節點故障後,會迅速生成乙個主節點以維持工作,因為集群丟失主節點無法繼續工作。

生成主節點後會檢查主分片,如果主分片丟失,則將其複製分片改為主分片,當故障的節點恢復後會生成複製分片到該節點。

分片數量修改

為應對頻繁的讀寫請求,可以適當的調整分片。

例如,修改索引doc的複製分片數量為2:

put /doc/_settings

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...