Elasticsearch核心概念

2021-09-11 03:09:20 字數 1526 閱讀 4227

一、cluster

1)代表乙個集群,有乙個主節點,通過選舉產生。對外部來說es去中心化,邏輯上是乙個整體。

2)主節點負責管理集群狀態,包括管理分片狀態和副本狀態,以及節點的發現和刪除

3)主節點不負責對資料的增刪改查請求處理,只負責維護集群相關狀態

二、shards(分片)

1)索引分片,es可以把完整的索引分成多個分片,分布到不同的節點上,構成分布式搜尋,提高效能和吞吐量,實現負載均衡。

2)分片的數量只能在建立索引庫時設定,不能修改

3)預設乙個索引庫有5個分片

4)每個分片中最多儲存2147483519條資料

三、replicas(副本)

1)es可以給索引分片設定副本

副本作用:1提高系統容錯性2提高es查詢效率

2)副本的數量可以隨時修改

初始:curl -xput 'bigdata11:9200/bigdata/ -d 『}』

建立成功修改:curl -xput 『bigdata11:9200/bigdata/_settings』 -d 『}』

3)可以在建立索引時指定

4)預設乙個分片有乙個副本

5)主分片和副本不會再同乙個節點上

四、recovery

資料恢復或者叫資料重新分布。es在有節點增加或者退出時根據機器的負載均衡重新調整分片

五、gateway

es索引的持久化儲存方式。es預設先把索引存放在記憶體,當記憶體滿時再持久化到硬碟。當這個es集群關閉再重新啟動時就會從gateway中讀取索引資料。es支援多種型別gateway。

hadoop外掛程式安裝: bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.2.0

hadoop外掛程式配置:vi elasticsearch.yml

gateway: type: hdfs

gateway: hdfs:

uri:hdfs://bigdata11:9000

六、discovery.zen

es的自動發現節點機制,es基於p2p,先通過廣播尋找存在的節點,再通過多播協議來進行節點之間的通訊,同時也支援點對點互動

如果在不同網段節點如何組成es集群:1禁用自動發現機制discovery.zen.ping.multicast.enabled:fasle2設定新發現節點被啟動時能夠發現的主節點列表discovery.zen.ping.unicast.hosts:[「192.168.137.11」,」」,」」]

七、transport

es內部節點或集群與客戶端的互動方式,預設內部使用tcp協議進行互動,同時支援http協議(json格式)、thrift、servlet、memcached、zeromq等傳輸協議(通過外掛程式方式整合)

八、setting

Elasticsearch核心概念

elasticsearch使用lucene作為其底層的搜尋引擎,關於lucene的介紹,可以參考官方 lucene關鍵概念 lucene使用inverted index來儲存term在document中位置的對映關係。譬如如下文件 使用inverted index儲存,乙個簡單地對映關係 term ...

Elasticsearch核心指標

基於google的監控方案,將es監控歸為兩大類五個子類,分別是黑盒監控和白盒監控 四個 指標 詳情可以參考書籍 sre google運維解密 第53頁 黑盒監控 白盒監控 延時 容量 流量 風險提示 上述指標大部分都是基於es介面進行的採集,因此在es故障期間,上述指標可能無法採集,因此,還需要通...

Elasticsearch核心概念

節點是組成elasticsearch集群的基本服務單元,集群中的每個執行中的elasticsearch伺服器都可以稱之為節點,它們共同承擔資料和負載壓力 主節點 負責管理集群範圍內的所有變更 node.master true node.data false 資料節點 儲存資料和其對應的倒排索引 資料...