elasticsearch集群詳解

2021-10-11 01:43:05 字數 1592 閱讀 8469

在單台es伺服器節點上,隨著業務量的發展索引檔案慢慢增多,會影響到效率和記憶體儲存問題等。

如果使用es集群,會將單台伺服器節點的索引檔案使用分片技術,分布式的存放在多個不同的物理機器上,從而可以實現高可用、容錯性等。

es核心存放的是索引。

將資料拆分成多台節點進行存放。

es是如何解決高併發

es是乙個分布式全文檢索框架,隱藏了複雜的處理機制,內部使用 分片機制、集**現、分片負載均衡請求路由。

shards 分片:代表索引分片,es可以把乙個完整的索引分成多個分片,這樣的好處是可以把乙個大的索引拆分成多個,分布到不同的節點上。構成分布式搜尋。分片的數量只能在索引建立前指定,並且索引建立後不能更改。

replicas分片:代表索引副本,es可以設定多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜尋請求進行負載均衡。

1、每個索引會被分成多個分片shards進行儲存,預設建立索引是分配5個分片進行儲存,每個分片都會分布式部署在多個不同的節點上進行部署,該分片成為primary shards 主分片。

在es 中每乙個主的分片都有乙個對應的副分片,這裡總共由10分片。

注意:索引的主分片數量定義好後,不能被修改。主分片數量一旦定義好之後就不能修改,但是副分片的數量是可以修改的。

2、每乙個主分片為了實現高可用,都會有自己對應的備分片,主分片對應的備分片不能存放同一臺伺服器上,主分片可以和其他備分片存放在同乙個node節點上。

單台 es 伺服器中是沒有副分片的。

documnet routing(資料路由)

當客戶端發起建立document的時候,es需要確定這個document放在該index哪個shard上。這個過程就是資料路由。

路由演算法:shard = hash(routing) % number_of_primary_shards

如果number_of_primary_shards在查詢的時候取餘發生的變化,無法獲取到該資料

cluster:代表乙個集群,集群中有多個節點,其中有乙個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於集群內部來說的。es的乙個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何乙個節點的通訊和與整個es集群通訊是等價的。

shards:代表索引分片,es可以把乙個完整的索引分成多個分片,這樣的好處是可以把乙個大的索引拆分成多個,分布到不同的節點上。構成分布式搜尋。分片的數量只能在索引建立前指定,並且索引建立後不能更改。 replicas:代表索引副本,es可以設定多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜尋請求進行負載均衡。

recovery:代表資料恢復或叫資料重新分布,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行資料恢復。

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...