ElasticSearch 集群的規劃部署與運維

2022-06-05 06:00:12 字數 3166 閱讀 6097

公號:碼農充電站pro主頁:

es 有以下不同型別的節點:

data節點:負責資料儲存。

ingest節點:資料預處理。

coordinating節點:處理使用者請求。

在開發環境中,乙個節點可以承擔多種角色。

但是在生產環境,建議乙個節點只負責單一角色,以達到高可用性及高效能。同時根據業務需求和硬體資源來合理分配節點。

1.1,節點配置引數

在預設情況下,乙個節點會同時扮演 master eligible node,data node 和 ingest node。

各型別的節點配置引數如下:

節點型別

配置引數

預設值master eligible

node.master

true

data node

node.data

true

ingest node

node.ingest

true

coordinating無-

mlnode.ml

true(需要 enable x-pack)

預設情況下,每個節點都是乙個 coordinating 節點,可以將node.masternode.datanode.ingest同時設定為false,讓乙個節點只負責coordinating 節點的角色。

1.2,配置單一角色

預設情況下,乙個節點會承擔多個角色,可以通過配置讓乙個節點只負責單一角色。

單一職責節點配置:

data節點

ingest節點

coordinating節點

1.3,水平擴充套件架構

集群的水平擴充套件:

1.4,讀寫分離架構

使用ingest節點對資料預處理。

es 中的文件儲存在索引中,索引的最小儲存單位是分片,不同的索引儲存在不同的分片中。

當討論分片時,一般是基於某個索引的,不同索引之間的分片互不干擾。

分片分為主分片副本分片兩種;副本分片是主分片的拷貝,主要用於備份資料。

關於主副分片數的設定:

副本分片數:副本分片數在索引建立之後可以動態修改。

關於每個節點上的分片數的設定,可參考這裡。

2.1,主分片的設計

如果某個索引只有乙個主分片

如果某個索引有多個主分片

缺點:但是主分片數也不能過多,因為對於分片的管理也需要額外的資源開銷。主要會帶來以下問題:

對於分片的設計建議

從分片數量考慮:

2.2,副本分片的設計

副本分片是主分片的備份:

缺點:容量規劃指的是,在乙個實際專案中:

3.1,要考慮的因素

做容量規劃時要考慮的因素:

業務需求:

3.2,硬體配置

對系統整體效能要求高的,建議使用 ssd,記憶體與硬碟的比例可為 1:10。

對系統整體效能要求一般的,可使用機械硬碟,記憶體與硬碟的比例可為 1:50。

jvm 配置為機器記憶體的一半,建議 jvm 記憶體配置不超過 32 g。

單個節點的資料建議控制在 2tb 以內,最大不超過 5 tb。

3.3,常見應用場景

有如下常見應用場景:

日誌類應用:

1,處理時間序列資料

es 中提供了 date math 索引名用於寫入時間序列的資料。

示例:

請求 uri 要經過 url 編碼:

# put /# 經過 url 編碼後

put /%3cmy-index-%7bnow%2fd%7d%3e

查詢示例:

# post /從 es 5 開始,es 支援開發模式與生產模式,es 可通過配置自動選擇不同的模式去執行:

生產模式配置:

4.1,booststrap 檢測

在生產模式啟動 es 集群時,會進行 booststrap 檢測(只有檢測通過才能啟動成功),它包括:

4.2,jvm 配置

jvm 通過config

目錄下的 jvm.options 檔案進行配置,需要注意以下幾點:

4.3,更多的 es 配置集群狀態為green只能代表分片正常分配,不能代表沒有其它問題。

5.1,slow log

es 的 slow log 可以設定一些閾值,當寫入時間或者查詢時間超過這些閾值後,會將相關操作記錄日誌。

5.2,集群診斷

需要監控的指標:

乙個集群診斷工具 support diagnostics。

(本節完。)

推薦閱讀:

elasticsearch 聚合分析

elasticsearch 資料建模

elasticsearch 分布式集群

elasticsearch 集群安全

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...