基於Centos7 6安裝Filebeat7 3

該篇為efk日誌系統搭建的姊妹篇，第一篇為基於centos7.6安裝elasticsearch7.3,主要就是記錄一下filebeat的安裝配置以及抓取日誌落地到elasticsearch.

$ tar -xvf filebeat-7.3.1-linux-x86_64.tar.gz

# filebeat-7.3.1/filebeat -e

進入filebeat-7.3.1安裝目錄，可以看見其配置檔案filebeat.yml。

input 配置，告訴crawler抓取哪些檔案變化，為了抓取的資料便於後面視覺化分析，這裡配置為json資料，在應用日誌輸出格式定義一下即可。

#*************************== filebeat inputs *************************====

filebeat.inputs:
- type: log
enabled: true
paths:
json.keys_under_root: true
json.overwrite_keys: true

#******************************== outputs ***********************************==

# 解決index pattern不生效
setup.ilm.enabled: false
setup.template:
name: "log"
# pattern與output的index保持一致
pattern: "log-access-*"
settings:
# 本地日誌不需要多副本和分片，節省一點es的資源
index.number_of_shards: 1
index.number_of_replicas: 0
#-------------------------- elasticsearch output ------------------------------
# es 位址及索引
output.elasticsearch:
hosts: ["10.231.xx.***:8200"]
# 自定義索引,需要配置上面的模板
index: "log-access-%-%"
# 許可權認證配置

$ ./filebeat -e -c filebeat.yml

...2019-09-15t15:41:42.205+0800 info instance/beat.go:292 setup beat: filebeat; version: 7.3.1
2019-09-15t15:41:42.205+0800 info elasticsearch/client.go:170 elasticsearch url: 
2019-09-15t15:41:42.206+0800 info [monitoring] log/log.go:118 starting metrics logging every 30s
2019-09-15t15:41:42.206+0800 info instance/beat.go:421 filebeat start running.
2019-09-15t15:41:42.207+0800 info registrar/registrar.go:152 states loaded from registrar: 1
2019-09-15t15:41:42.207+0800 info crawler/crawler.go:72 loading inputs: 1
2019-09-15t15:41:42.207+0800 info input/input.go:114 starting input of type: log; id: 16861026505510540300
2019-09-15t15:41:42.207+0800 info crawler/crawler.go:106 loading and starting inputs completed. enabled inputs: 1
2019-09-15t15:41:42.207+0800 info cfgfile/reload.go:171 config reloader started
2019-09-15t15:41:42.208+0800 info cfgfile/reload.go:226 loading of config files completed.
2019-09-15t15:41:45.200+0800 info add_cloud_metadata/add_cloud_metadata.go:347 add_cloud_metadata: hosting provider type not detected.
2019-09-15t15:41:46.201+0800 info pipeline/output.go:95 connecting to backoff(elasticsearch())
2019-09-15t15:41:46.208+0800 info elasticsearch/client.go:743 attempting to connect to elasticsearch version 7.3.1
2019-09-15t15:41:46.239+0800 info template/load.go:88 template log already exists and will not be overwritten.
2019-09-15t15:41:46.239+0800 info [index-management] idxmgmt/std.go:289 loaded index template.
2019-09-15t15:41:46.242+0800 info pipeline/output.go:105 connection to backoff(elasticsearch()) established

如需切到後台執行:

$ nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

後面應該還會進行一次業務技術公升級，使用訊息佇列kafka作為連線filebeat和es的中間層，因為隨著qps的增大，es可能被壓垮，需要通過kafka來削峰填谷。

filebeat7.3官方文件

filebeat7.3配置文件

CentOS 7 6編譯安裝LNMP

一 前期準備 1.伺服器以最小化方式安裝centos 7.6 2.配置本地源及安裝epel源 cd etc yum.repos.d vi centos base.repo 增加enable 1 yum install wget wget o etc yum.repos.d centos base.r...

centos7 6離線安裝gcc，gcc c

2.安裝 實際安裝過程中用到的rpm包，如下圖所示 rpm命令 安裝 rpm ivh name.rpm 解除安裝 rpm e name 檢視是否安裝 rpm qa name 忽略依賴進行安裝 rpm ivh name.rpm nodeps force 當執行下面的語句後，系統會自動選出所需的依賴包進...

centos 7 6 安裝 dcoker教程

root使用者執行以下命令 1.安裝docker ce需要的依 賴yum install y yum utils lvm22.新增docker ce安裝源 yum config manager add repo 3.先將伺服器上的軟體包資訊快取到本地 yum makecache fast4.安裝do...