Elasticsearch分布式搜尋集群配置

2021-09-08 23:11:25 字數 3202 閱讀 9083

配置檔案位於%es_home%/config/elasticsearch.yml檔案中,用editplus開啟它,你便可以進行配置。

所有的配置都可以使用環境變數,例如:node.rack: $  表示環境變數中有乙個rack_env_var變數。

下面列舉一下elasticsearch的可配置項:

1. 集群名稱,預設為elasticsearch:cluster.name: elasticsearch

2. 節點名稱,es啟動時會自動建立節點名稱,但你也可進行配置:node.name: "franz kafka"

3. 是否作為主節點,每個節點都可以被配置成為主節點,預設值為true:node.master: true

4. 是否儲存資料,即儲存索引片段,預設值為true:node.data: true

master和data同時配置會產生一些奇異的效果:

1) 當master為false,而data為true時,會對該節點產生嚴重負荷;

2) 當master為true,而data為false時,該節點作為乙個協調者;

3) 當master為false,data也為false時,該節點就變成了乙個負載均衡器。

你可以通過連線http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes

或者使用外掛程式或來檢視集群狀態。

5. 每個節點都可以定義一些與之關聯的通用屬性,用於後期集群進行碎片分配時的過濾:node.rack: rack314

6. 預設情況下,多個節點可以在同乙個安裝路徑啟動,如果你想讓你的es只啟動乙個節點,可以進行如下設定:node.max_local_storage_nodes: 1

7. 設定乙個索引的碎片數量,預設值為5:index.number_of_shards: 5

8. 設定乙個索引可被複製的數量,預設值為1:index.number_of_replicas: 1

當你想要禁用公布式時,你可以進行如下設定:

index.number_of_shards: 1

index.number_of_replicas: 0

這兩個屬性的設定直接影響集群中索引和搜尋操作的執行。假設你有足夠的機器來持有碎片和複製品,那麼可以按如下規則設定這兩個值:

1) 擁有更多的碎片可以提公升索引執行能力,並允許通過機器分發乙個大型的索引;

2) 擁有更多的複製器能夠提公升搜尋執行能力以及集群能力。

對於乙個索引來說,number_of_shards只能設定一次,而number_of_replicas可以使用索引更新設定api在任何時候被增加或者減少。

elasticsearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。

可以連線http://localhost:9200/a/_status來檢測索引的狀態。

9. 配置檔案所在的位置,即elasticsearch.yml和logging.yml所在的位置:path.conf: /path/to/conf

10. 分配給當前節點的索引資料所在的位置:path.data: /path/to/data

可以可選擇的包含乙個以上的位置,使得資料在檔案級別跨越位置,這樣在建立時就有更多的自由路徑,如:path.data: /path/to/data1,/path/to/data2

11. 臨時檔案位置:path.work: /path/to/work

12. 日誌檔案所在位置:path.logs: /path/to/logs

13. 外掛程式安裝位置:path.plugins: /path/to/plugins

15. jvm開始交換時,elasticsearch表現並不好:你需要保障jvm不進行交換,可以將bootstrap.mlockall設定為true禁止交換:bootstrap.mlockall: true

請確保es_min_mem和es_max_mem的值是一樣的,並且能夠為elasticsearch分配足夠的內在,並為系統操作保留足夠的記憶體。

18. bind_host和publish_host可以一起設定:network.host: 192.168.0.1

19. 可以定製該節點與其他節點互動的埠:transport.tcp.port: 9300

20. 節點間互動時,可以設定是否壓縮,轉為為不壓縮:transport.tcp.compress: true

21. 可以為http傳輸監聽定製埠:http.port: 9200

22. 設定內容的最大長度:http.max_content_length: 100mb

23. 禁止http:http.enabled: false

24. 閘道器允許在所有集群重啟後持有集群狀態,集群狀態的變更都會被儲存下來,當第一次啟用集群時,可以從閘道器中讀取到狀態,預設閘道器型別(也是推薦的)是local:gateway.type: local

25. 允許在n個節點啟動後恢復過程:gateway.recover_after_nodes: 1

27. 設定該集群中可存在的節點上限:gateway.expected_nodes: 2

28. 設定乙個節點的併發數量,有兩種情況,一種是在初始復甦過程中:cluster.routing.allocation.node_initial_primaries_recoveries: 4

另一種是在新增、刪除節點及調整時:cluster.routing.allocation.node_concurrent_recoveries: 2

29. 設定復甦時的吞吐量,預設情況下是無限的:indices.recovery.max_size_per_sec: 0

30. 設定從對等節點恢復片段時開啟的流的數量上限:indices.recovery.concurrent_streams: 5

31. 設定乙個集群中主節點的數量,當多於三個節點時,該值可在2-4之間:discovery.zen.minimum_master_nodes: 1

32. 設定ping其他節點時的超時時間,網路比較慢時可將該值設大:discovery.zen.ping.timeout: 3s

上有更多關於discovery的設定。

33. 禁止當前節點發現多個集群節點,預設值為true:discovery.zen.ping.multicast.enabled: false

34. 設定新節點被啟動時能夠發現的主節點列表:discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portx-porty]"]

ElasticSearch分布式架構

it技術精華網 今天介紹下elasticsearch的分布式架構,如果你熟悉cassandra hadoop mongodb,你會發現elasticsearch裡面有很多他們的影子,沒錯,elasticsearch吸收了目前主流的分布式系統的很多特性,下面簡單介紹一把。之前翻譯過一篇 譯 搜尋引擎與...

ElasticSearch 分布式集群

elasticsearch用於構建高可用和可擴充套件的系統。擴充套件的方式可以是購買更好的伺服器 縱向擴充套件 vertical scale or scaling up 或者購買更多的伺服器 橫向擴充套件 horizontal scale or scaling out elasticsearch雖然...

ElasticSearch分布式機制

1 使用場景 大型分布式日誌分析系統elk elasticsearch logstash kibana 大型電商商品搜尋系統 站內搜尋 網盤搜尋引擎等。2 elasticsearch的儲存結構 elasticsearch是檔案儲存,是面向文件型資料庫,一條資料在這裡就是乙個文件,用json作為文件序...