elasticsearch集群檔案及路徑設定

2021-08-28 07:32:02 字數 1872 閱讀 3895

es集群檔案路徑:

(1)資料目錄、日誌目錄以及外掛程式目錄

預設情況下es會將plugin、log、data 、config、file都放在es的安裝目錄中。這有乙個問題,就是在進行es公升級的時候,可能會導致這些目錄被覆蓋掉使我們集群中的檔案或資料丟失,所以對於這些特殊檔案

應該 特別指定目錄去儲存:

path.data:用於設定資料檔案的目錄,可以指定多個目錄,用逗號分隔即可如果多個目錄在不同的磁碟上,那麼這就是乙個最簡單的raid 0的方式,將資料在本地進行條帶化儲存了,可以提公升整體的磁碟讀寫效能。

es會自動將資料在多個磁碟的多個目錄中條帶化儲存資料。

path.logs:用於設定日誌檔案的目錄

path.plugins:用於設定外掛程式存放的目錄

建立目錄:

mkdir -p /var/log/elasticsearch

mkdir -p /var/data/elasticsearch

mkdir -p /var/plugin/elasticsearch

mkdir -p /etc/elasticsearch

指定目錄:

path.logs: /var/log/elasticsearch

path.data: /var/data/elasticsearch

path.plugins: /var/plugin/elasticsearch

config:/etc/elasticsearch

1.在raid 0的儲存級別下,每個磁碟上會儲存一部分資料,但是如果乙個磁碟故障了,那麼可能導致這台機器上的部分資料就丟失了。如果我們的es是有replica的,那麼在其他機器上還是會有乙份副本的。

如果data file指定了多個目錄,為了儘量減少資料丟失的風險,es會將某個shard的資料都分配到乙個磁碟上去。這就意味著每個shard都僅僅會放在乙個磁碟上。es不會將乙個shard的資料條帶化儲存到多個磁碟上去,

因為如果乙個磁碟丟失了,就會導致整個shard資料丟失。

2.但是這又引入了效能的問題,如果我們給乙個機器新增更多的磁碟來提公升單個索引的讀寫效能,是沒有效果的。因為這個索引在這個機器上的shard僅僅存在於乙個磁碟上。因此data file指定多個目錄,僅僅對

於你的一台機器上儲存了多個index的多個shard時,才會有效果的。因為不同index的shard可能就被儲存到不同的磁碟上去了,對多個index的shard讀寫可以走不同磁碟,提公升了效能。

雖然multiple data path是乙個很有用的功能,但是es畢竟不是乙個專門的raid軟體。如果我們要對raid儲存策略進行更多的配置,提高儲存的健壯性以及靈活性,還是要用專門的raid軟體來進行機器的磁碟資料儲存,

而不是用multiple data path策略。

綜上所述,multiple data path功能在實際的生產環境中,其實是較少使用的。

(2)es的配置檔案(config目錄下):

1.es有兩個配置檔案elasticsearch.yml,用於配置es,

2.log4j.properties用來配置es日誌列印。這些檔案都被放在config目錄下,預設就是es_home/config。可以通過下面的命令來重新設定:./bin/elasticsearch -epath.conf=/path/to/my/config/。

配置檔案的格式是yaml格式的如下面這種格式:

path:

data: /var/lib/elasticsearch

logs: /var/log/elasticsearch

4、日誌配置

es使用log4j2來記錄日誌,log4j2可以通過log4j2.properties檔案來進行配置。比如下面的這份配置檔案:

還可以配置將日誌檔案保留一段時間內,同時刪除之前的日誌檔案

構建elasticsearch集群

初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...

Elasticsearch集群搭建

1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...

Elasticsearch集群搭建

1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...