Elasticsearch核心概念

2021-10-10 03:20:28 字數 2902 閱讀 6398

節點是組成elasticsearch集群的基本服務單元,集群中的每個執行中的elasticsearch伺服器都可以稱之為節點,它們共同承擔資料和負載壓力

主節點: 負責管理集群範圍內的所有變更

node.master:

true

node.data:

false

資料節點: 儲存資料和其對應的倒排索引

資料讀寫流程只和資料節點互動,不會和主節點打交道

通過配置node.data: true(預設)開使乙個節點成為資料節點,也可通過下面的配置建立乙個資料節點

node.master:

false

node.data:

true

node.ingest:

false

預處理節點

這是從5.0版本開始引入的概念。預處理操作允許在所有文件之前,即寫入資料之前,通過事先預定好的一系列的processors(處理器)和pipeline(管道),對資料進行某種轉換、富化。processors 和 pipeline攔截bulk和index請求,在應用相關操作後將文件傳回給index或bulk

api

node.master:

false

node.data:

false

node.ingest:

true

協調節點: 均衡每個節點的負載, 處理客戶端請求

客戶端請求可以傳送到集群的任何節點,每個節點都知道任意文件所處的位置,然後**這些請求,收集資料並返回給客戶端

node.master:

false

node.data:

false

node.ingest:

false

*注:在5.0本本之前還有乙個部落節點,在5.0之後被協調節點所取代*
elasticsearch的集群是由具有相同cluster.name的乙個或多個elasticsearch節點組成的,各個節點協同工作,共享資料。同乙個集群內節點的名字不能重複,但集群名稱一定要相同

:在實際使用中,一般需要給集群起乙個有意義的名字。可以防止乙個新啟動的節點加入相同網路中的另乙個同名的集群中

elasticsearch集群的三種狀態

elasticsearch 的乙個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看elasticsearch集群,在邏輯上是乙個整體,你與任何乙個節點的通訊和於整個elasticsearch集群通訊時等價的

elasticsearch中的每個分片其實就是lucene中的乙個索引檔案,因此每個分片必須有乙個主分片和零到多個副本分片。

當索引的資料量巨大時,受限於單個節點的記憶體、磁碟處理能力等,節點無法足夠快地響應客戶端的請求,此時需要將乙個索引上的資料進行水平拆分。拆出來的每個資料部分稱之為乙個分片

主分片: 索引內任意乙個文件都屬於乙個主分片,所以主分片的數量決定著索引能夠儲存的最大資料量

副本分片: 副本分片只是乙個主分片的拷貝。副本分片作為硬體故障時保護資料不丟失的冗餘備份,並為搜尋和返回文件等操作提供服務

資料的讀寫

備份,也可以稱之為副本。副本指的是對主分片的備份,這種備份是精確複製模式。每個主分片可以有零個或多個副本,主分片和備份分片都可以對外提供資料查詢服務。當構建索引進行寫入操作時,首先在主分片上完成資料的索引,然後從主分片分發到副本分片上進行索引。

當主分片不可用時,elasticsearch會在副本分片中選舉出乙個分片作為主分片,從而避免資料丟失

注:副本分片即可以提公升elasticsearch系統的靠可用性,又可以提公升搜尋時的併發效能;但副本分片也是一把雙刃劍,如果副本分片資料量設定得太多,則在寫操作時會增加資料同步的負擔

索引,在elasticsearch中索引由乙個或多個分片組成。在使用索引時,需要通過索引名稱在集群內進行唯一標識。

類別,指的是索引內部的邏輯分割槽,通過type在索引內部進行唯一標識。在查詢時如果沒有該值,則表示需要在整個索引中查詢。

:在elasticsearech7.x中type預設只有乙個為_doc,在8.x中將被完全廢棄。

文件,在索引中的每一條資料叫做乙個文件,與關係型資料庫的使用方式類似,一條文件資料通過_id進行唯一標識。

settings時對集群中索引的定義資訊,比如乙個索引預設的分片數、副本數等。

a

nalyzer表示的是字段分詞方式的定義。乙個analyzer通常由乙個tokenizer和零到多個filter組成。在elasticsearch中。預設的標準analyzer包含乙個標準的tokenizer和三個filter,即standard

Elasticsearch核心概念

elasticsearch使用lucene作為其底層的搜尋引擎,關於lucene的介紹,可以參考官方 lucene關鍵概念 lucene使用inverted index來儲存term在document中位置的對映關係。譬如如下文件 使用inverted index儲存,乙個簡單地對映關係 term ...

Elasticsearch核心概念

一 cluster 1 代表乙個集群,有乙個主節點,通過選舉產生。對外部來說es去中心化,邏輯上是乙個整體。2 主節點負責管理集群狀態,包括管理分片狀態和副本狀態,以及節點的發現和刪除 3 主節點不負責對資料的增刪改查請求處理,只負責維護集群相關狀態 二 shards 分片 1 索引分片,es可以把...

Elasticsearch核心指標

基於google的監控方案,將es監控歸為兩大類五個子類,分別是黑盒監控和白盒監控 四個 指標 詳情可以參考書籍 sre google運維解密 第53頁 黑盒監控 白盒監控 延時 容量 流量 風險提示 上述指標大部分都是基於es介面進行的採集,因此在es故障期間,上述指標可能無法採集,因此,還需要通...