本地搭建ELK系統

2021-07-09 14:39:58 字數 2361 閱讀 3000

elk系統主要由三部分組成,分別是elasticsearch、logstash、kibana。

elk系統收到推送過來的日誌後,首先由logstash解析日誌中的字段,分解成乙個乙個的關鍵字。elasticsearch將關鍵字與日誌資訊關聯起來,以一種特定的格式化方式儲存資料到硬碟。kibana提供與使用者的互動介面,根據使用者需求,從elasticsearch中讀取資訊並在網頁上顯示。

一、安裝工具

1.安裝elasticsearch

wget 

.co/elasticsearch/elasticsearch/elasticsearch-1.7

.1.tar

.gztar -xvzf elasticsearch-1.7

.1.tar

.gzcp -a elasticsearch-1.7

.1 /usr/local

cd /usr/local

ln –s elasticsearch-1.7

.1 elasticsearch

2.安裝logstash
wget 

.co/logstash/logstash/logstash-1.5

.4.tar

.gztar –xvzf logstash-1.5

.4.tar

.gzcp –a logstash-1.5

.4 /usr/local

cd /usr/local

ln –s logstash-1.5

.4 logstash

3.安裝kibana
wget .co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

tar –xvzf kibana-

4.1.2

-linux

-x64

.tar.gz

cp –a kibana-

4.1.2

-linux

-x64 /usr/local

cd /usr/local

ln –s kibana-

4.1.2

-linux

-x64 kibana

二、配置logstash
cd /usr/local/logstash

mkdir etc

touch central.conf

central.conf是logstash的配置檔案,檔名隨意配置件,檔案內容如下:

input

}output

elasticsearch

}

啟動logstash程式:

/usr/local/logstash/bin/logstash

agent--

verbose--

config

/usr/local/logstash/etc/central

.conf

配置檔案將從/tmp/*.log中讀到的日誌,同時傳給elasticsearch和標準輸出。我現在現在還沒有配置elasticsearch,可以從標準輸出視窗中觀察。如果有將日誌內容輸出,可知logstash搭建成功察。

三、配置elasticsearch

由於elasticsearch和logstash是安裝在一台機器上,elasticsearch預設配置即可。

/usr/local/elasticsearch/bin/elasticsearch -d

#以deamon方式啟動elasticsearch

開啟127.0.01:9200看到這樣的內容可知elasticsearch搭建成功

,

"tagline" : "you know, for search"

}

四、配置kibana

kibana也不需要配置,直接啟動

/usr/local/kibana/bin/kibana
開啟127.0.01:5601即可看到kibana的頁面,選擇預設配置,進入,/tmp/*.log中的資訊在kibana中顯示,可知kibana搭建成功。

五、遇到的問題

1.開啟127.0.0.1:9200或127.0.0.1:5601時,提示網頁無法開啟,但kibana與elasticsearch伺服器確實已經啟動。

解決方法:**關掉

2./tmp/*.log是存在的,但是kibana上提示沒有資料,logstash的stdout也看不到資料

解決方法:logstash只讀取最近一段時間的日誌,把日誌檔案時間更新一下就可以解決

六、參考文章

ELK 本地搭建kafka環境

tar zxvf kafka 2.11 2.0.1.tgz kafka需要安裝zookee使用,但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka 2.11 1.1.0 config 下的 zookeeper.properties 配置 zookeeper.proper...

搭建ELK日誌系統(三)

安裝kibana 1 確保jdk已經安裝,這裡省略 2 由於我的es是7.5.0版本的,所以這裡的kibana也安裝相同版本,否則會有問題。然後啟動 這裡我說一下,由於我的是學生伺服器,1核2g的,啟動了es,再啟動kibana的時候,cpu 99 記憶體 99 結果就自動killed了。所以我就一...

日誌收集系統ELK搭建

在傳統專案中,如果在生產環境中,有多台不同的伺服器集群,如果生產環境需要通過日誌定位專案的bug的話,需要在每台節點上使用傳統的命令方式查詢,這樣效率非常低下。因此我們需要集中化的管理日誌,elk則應運而生。elk elasticseach logstash kibana,日誌收集原理如下所示。1 ...