ELK集群安裝及簡單使用

2021-09-08 06:56:38 字數 3768 閱讀 9616

192.168.1.105  es-2   /elk(目錄)

192.168.1.108  es-1   logstash  kibana  /mydata/elk

192.168.1.106 es-3 /elk

一般我們需要進行日誌分析場景:直接在日誌檔案中 grep、awk 就可以獲得自己想要的資訊。但在規模較大的場景中,此方法效率低下,面臨問題包括日誌量太大如何歸檔、文字搜尋太慢怎麼辦、如何多維度查詢。需要集中化的日誌管理,所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統,將所有節點上的日誌統一收集,管理,訪問。

一般大型系統是乙個分布式部署的架構,不同的服務模組部署在不同的伺服器上,問題出現時,大部分情況需要根據問題暴露的關鍵資訊,定位到具體的伺服器和服務模組,構建一套集中式日誌系統,可以提高定位問題的效率。

5.4.0

解壓

tar -zxvf 包名

編輯配置檔案

vi /xx/

config

/elasticsearch.yml

改變幾個地方

儲存,退出;

啟動服務

建立es使用者,把es資料夾許可權分配過去

useradd elk

passwd elk

chown -r

elk:

elk/

elk/elasticsearch

使用者必須用elk使用者開啟es,不然會出現root不能進行啟動es的錯誤

為了方面啟動我們在/etc/profile裡面加上export es

檢視埠狀態

ss -tnl

有無ip+埠(9200,9300)

至此,節點es-1配置完成。

之後幾台,同樣方式新增

查詢版本

elasticsearch -v

啟動 sh elasticsearch -d 停止

直接kill掉 重啟

kill 殺掉 再

sh elasticsearch -d

查詢集群狀態

方法①

curl -xget

'106:9200/_cat/nodes'

查詢集群健康狀況

//同上在後面新增 ?v ,表示詳細顯示

查詢集群狀態

方法②

curl -xget

'106:9200/_cluster/state/nodes?pretty'

查詢集群中的

master

curl -xget

'106:9200/_cluster/state/master_node?pretty' 或

curl -xget

'106:9200/_cat/master?v'

查詢集群的健康狀態

curl -xget

'106:9200/_cat/health?v' 或

curl -xget

'106:9200/_cluster/health?pretty'

elasticsearch rest api遵循的格式為:

curl -x:///

logstash 5.4.0

並解壓

tar -zxvf

logstash 5.4.0

構建離線外掛程式包:bin/logstash-plugin prepare-offline-pack logstash-input-beats

安裝離線外掛程式包: bin/logstash-plugin install

file:///elk/logstash/l

ogstash 5.4.0

配置 5044 埠作為 filebeat 的連線和建立 es 索引。新建 logstash.conf

配置檔案,

input }

output -%"

document_type => "%" }

}logstash 使用該配置使用 es 的索引,和 filebeat 做的事情是一樣的,不過擁有了額外的快取以及強大豐富的外掛程式庫。

啟動 logstash :

./bin/logstash -f config/logstash.conf &

vi /kibana/

config

/kibana.yml

改變幾個地方

server.port:5601

server.host:"ip"

elasticsearch.url:"105:9200"

儲存後,退出;

./bin/kibana &

ss -tnl

檢視有無埠5601,或者看日誌

如果此法出現外掛程式錯誤,把程序kill掉,重啟動kibana

kibana是乙個為 elasticsearch 提供的資料分析的 web 介面(5601)。可使用它對日誌進行高效的搜尋、視覺化、分析等各種操作。kibana目前最新的版本5.3.

x-pack是kibana中單獨的乙個元件,在5.x之前各種單獨的元件(shield, watcher, marvel, graph, reporting),現在都整合到x-pack中.

kibana+x-pack實現集群的監控

在es 安裝x-pack,es停用狀態下執行

在es目錄下

elasticsearch-plugin install x-pack   

在kibana中安裝 x-pack ,kibana停用狀態下執行

zip包大小約120mb,注意您的網路。。。耐心等待!

在 kibana目錄下

kibana-plugin install x-pack

啟動es,啟動kibana 

驗證x-pack

在瀏覽器上輸入: 

,可以開啟kibana,此時需要輸入使用者名稱和密碼登入,預設分別是 elastic 和 changeme。

登入到kibana會發現 elastic是乙個最高端別的user,擁有所有許可權,其角色是superuser。當然在這裡我們也可以新增自定義的使用者,並為其分配角色,不同的角色對應不同的功能。

我們不僅可以通過kibana視覺化的介面來管理使用者

另外我們也可以通過es的reset password api來管理使用者。

put _xpack/security/user/elastic/_password

put _xpack/security/user/kibana/_password

修改了kibana的密碼之後,還需要修改kibana.yml的配置檔案中

elasticsearch.password:kibanapw 因為

x-pack

外掛程式其實是收費的,所以我們要把他破解掉,也可以直接交錢

說明:其實我們一般不會用logstash去採集資料,一般採集資料是用filebeat去採集,

輕量級,資源佔比很少,很好用,當然beat分幾種下回詳說

ELK安裝使用

6.42版本為例 一 安裝elasticsearch 2 修改配置檔案,結尾新增兩個配置 http.cors.allow origin 3 啟動 不能用root使用者,必須新建立乙個使用者並授權 nohup bin elasticsearch 4 安裝ik 非必須 1 安裝 bin elastics...

ELK安裝使用

安裝版本 elasticsearch 2.4.6 logstash2.4.0 kibana4.6.1 啟動前先關閉防火牆 systemctl stop firewalld tar xvf elasticsearch 2.4.6.tar.gz 由於安全原因,es不能用root使用者安裝,所以建立乙個使...

ELK之Logstash單節點安裝及簡單使用

logstash單節點安裝及簡單使用 前期準備 1 安裝jdk 2 關閉防火牆 1.建立logstas 件夾,上傳並解壓安裝包 cd usr mkdir logstash cd logstash rz 選中上傳準備好的 logstash安裝包 tar zxvf xx 2.啟動 2.1.bin log...