2017-12-28 | admin
一、簡介
1、核心組成
elk由elasticsearch、logstash和kibana三部分元件組成；
elasticsearch是個開源分布式搜尋引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。
logstash是乙個完全開源的工具，它可以對你的日誌進行收集、分析，並將其儲存供以後使用
kibana是乙個開源和免費的工具，它可以為 logstash 和 elasticsearch 提供的日誌分析友好的 web 介面，可以幫助您彙總、分析和搜尋重要資料日誌。
2、四大元件
logstash: logstash server 端用來蒐集日誌；
elasticsearch: 儲存各類日誌；
kibana: web化介面用作查尋和視覺化日誌；
logstash forwarder: logstash client端用來通過lumberjack 網路協議傳送日誌到logstash server；
3、elk工作流程
在需要收集日誌的所有服務上部署logstash，作為logstash agent（logstash shipper）用於監控並過濾收集日誌，將過濾後的內容傳送到redis，然後logstash indexer將日誌收集在一起交給全文搜尋服務elasticsearch，可以用elasticsearch進行自定義搜尋通過kibana 來結合自定義搜尋進行頁面展示。
簡單的流程示意圖如下：
二、開始部署
系統環境：centos 7.1
伺服器ip：172.16.16.201
建立安裝目錄：/elk
新建測試使用者：useradd elk
給予許可權：chown -r elk:elk /elk
關於elk三者的版本問題：最好統一在同一修訂版本，否則會在最後出現版本錯誤而不能抓取到日誌資料
如本次安裝版本全部為6.1.1版本
1、安裝jdk環境
elasticsearch、logstash、kibana均需要jdk1.8及以上環境，所以需要先安裝jdk
2、安裝elasticsearch
安裝版本：elasticsearch-6.1.1
安裝目錄：/elk/elasticsearch-6.1.1，安裝過程略，參考筆記：elasticsearch-6.0.1安裝：
3、安裝logstash
安裝版本：logstash-6.1.1
安裝目錄：/elk/logstash-6.1.1
python12
3456
7cd/elk
wget
# 解壓、進入目錄
tar zxvf logstash-6.1.1.tar.gz
cdlogstash-6.1.1
新增系統變數
python12
345vim/etc/profile
logstash_home=/elk/logstash-6.1.1
export path=$path:$logstash_home/bin
source/etc/profile
logstash常用引數
-e :指定logstash的配置資訊，可以用於快速測試;
-f :指定logstash的配置檔案；可以用於生產環境;
啟動logstash測試
測試1：通過-e引數指定logstash的配置資訊，用於快速測試，直接輸出到螢幕。
logstash -e 「input } output }」
python12
3456
78910
1112
13[elk@localhost~]$logstash-e"input } output }"
sending logstash's logs to /elk/logstash-6.1.1/logs which is now configured via log4j2.properties
[2017-12-28t16:05:36,161][info ][logstash.modules.scaffold] initializing module
[2017-12-28t16:05:36,212][info ][logstash.modules.scaffold] initializing module
[2017-12-28t16:05:37,574][warn ][logstash.config.source.multilocal] ignoring the 'pipelines.yml'filebecause modules orcommand line options are specified
[2017-12-28t16:05:39,184][info][logstash.runner]startinglogstash
[2017-12-28t16:05:40,558][info][logstash.agent]successfullystartedlogstashapiendpoint
[2017-12-28t16:05:44,576][info][logstash.pipeline]startingpipeline
[2017-12-28t16:05:44,792][info][logstash.pipeline]pipelinestarted
the stdin plugin isnow waiting forinput:#等待手動輸入
[2017-12-28t16:05:44,968][info][logstash.agent]pipelinesrunning
helloworld# 手動輸入
2017-12-28t08:05:58.028zlocalhost.localdomain helloworld#這種輸入直接原封不動返回
測試2：通過-e引數指定logstash的配置資訊，用於快速測試，以json格式輸出到螢幕。
logstash -e 『input}output}』
4、安裝kibana
安裝版本：kibana-6.1.1
安裝目錄：/elk/kibana-6.1.1
python12
3456
wget
tar zxvf kibana-6.1.1-linux-x86_64.tar.gz
mv kibana-6.1.1-linux-x86_64 ./kibana-6.1.1
cdkibana-6.1.1/
修改配置檔案
python12
345vim config/kibana.yml
server.port:5601# 埠號
server.host:"172.16.16.201"# 本機ip
elasticsearch.url:""# elasticsearch url位址
啟動
通過瀏覽器訪問
搭建ELK日誌分析平台
上 elk介紹及搭建 elasticsearch 分布式集群 下 搭建kibana和logstash伺服器 elk 日誌相關 logstash輸出到elasticsearch多索引 elasticsearch索引自動清理 logstash處理json格式日誌檔案的三種方法 logstash的filt...
elk日誌監控平台搭建
版本 6.1.3 jdk 安裝 略 kibana 安裝 tar xvzf kibana 6.1.3 linux x86 64.tar.gz 啟動 bin kibana 驗證 http localhost 5601 後台啟動 bin kibana exit退出 elasticsearch 安裝 tar...
ELK（開源日誌分析平台）介紹
elk是三個開源軟體的縮寫，分別表示 elasticsearch logstash,kibana 它們都是開源軟體。新增了乙個filebeat，它是乙個輕量級的日誌收集處理工具 agent filebeat占用資源少，適合於在各個伺服器上蒐集日誌後傳輸給logstash，官方也推薦此工具。elast...