ElasticSearch集群內部原理

2021-10-10 05:48:49 字數 603 閱讀 9881

分布式系統的集群方式可以分為主從和無主模式。

主從模式通過將mater作為權威節點,將操作分工,維護集群元資訊簡化系統設計,但是存在單點故障的問題。

主節點管理集群層面相關的相關操作。一般不作為資料節點,盡量做少量的工作。

為避免出現腦裂問題(網路分割槽時出現多主)的情況,配置discovery.zen.minimum_master_nodes=(master_eligible_nodes)/2+1

資料節點

負責儲存資料、執行資料的相關操作,對cpu、記憶體、io要求較高,一般情況下,資料讀寫流程只和資料節點互動,不會和主節點打交道。

預處理節點

預處理操作允許在索引文件之前,即寫入資料之前,通過事先定義好的一系列的processors(處理器)和pipeline(管道),對資料進行某種轉換、富化。

協調節點

客戶端的請求可以發到集群中的任意節點,每個節點都有任意文件所處位置的位置資訊,**請求並收集返回的結果,處理客戶端請求的節點稱為協調節點。

集群狀態元資料是全域性資訊,元資料報括內容路由資訊、配置資訊等,其中最重要的是內容路由資訊,它描述了「哪個分片位於哪個節點」,主節點接收從節點的更新,然後廣播給其他節點。

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...