Filebeat modules 日誌分析

filebeat module

將非結構化資料,轉為結構化資料. module logstash

filebeat module --> es.

1

)修改filebeat配置檔案
[root@web01~]
# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
path: $/modules.d/
*.yml
reload.enabled: false
#reload.period: 10s
setup.kibana:
host: "10.0.0.161:5601"
output.elasticsearch:
hosts: [
"10.0.0.161:9200"
,"10.0.0.162:9200"
,"10.0.0.163:9200"]2
) 啟用nginx的module 
[root@web01 filebeat]
# filebeat modules enable nginx
3) 初始化環境
[root@web01 filebeat]
# filebeat setup -e 
4) 配置採集nginx日誌的具體路徑
[root@web01~]
# cat /etc/filebeat/modules.d/nginx.yml
# module: nginx
# docs: 
- module: nginx
# access logs
access:
enabled: true
var.paths: [
"/var/log/nginx/access.log"
]# error logs
error:
enabled: true
var.paths: [
"/var/log/nginx/error.log"]5
) 啟動filebeat
) 開啟mysql慢日誌以及錯誤日誌
[root@web01~]
# cat /etc/my.cnf
[mysqld]
datadir=
/var/lib/mysql
socket=
/var/lib/mysql/mysql.sock
symbolic-links=
0server-id=
7slow_query_log=
onslow_query_log_file=
/var/log/mariadb/slow.log
long_query_time=
0.5[mysqld_safe]
log-error=
/var/log/mariadb/mariadb.log
pid-
file
=/var/run/mariadb/mariadb.pid
2) 配置filebeat.yml
[root@web01~]
# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
path: $/modules.d/
*.yml
reload.enabled: false
#reload.period: 10s
setup.kibana:
host: "10.0.0.161:5601"
output.elasticsearch:
hosts: [
"10.0.0.161:9200"
,"10.0.0.162:9200"
,"10.0.0.163:9200"]3
) 啟動filebeat的module
[root@web01~]
# filebeat modules enable mysql
4) 配置mysql module指向的日誌路徑
[root@web01 filebeat]
# cat /etc/filebeat/modules.d/mysql.yml
# module: mysql
# docs: 
- module: mysql
# error logs
error:
enabled: true
var.paths: [
"/var/log/mariadb/mariadb.log"
]# slow logs
slowlog:
enabled: true
var.paths: [
"/var/log/mariadb/slow.log"]5
) 初始化環境(一次即可)
[root@web01~]
# filebeat setup -e
6) 過載filebeat
python logging yaml日誌分割
1 建立log.yaml檔案 version 1 disable existing loggers false formatters format asctime s filename s levelname s message s datefmt f t handlers console clas...
LogParse Windows系統日誌分析
本文將對常見的日誌型別，利用微軟日誌分析工具 logparser 結合已經掌握的惡意 分析windows系統日誌，關聯出系統的異常。資料 於windows的事件檢視器中的 evtx檔案，eventvwr.msc。除此之外還要關注木馬病毒的資訊 安全日誌登入部分的事件 id 和登入型別 都具有一定含義...
日誌讀取 利用Python實現Web日誌分析
平時應急響應的時候可以利用一些小工具來使得工作事半功倍，看網上有一些比較優秀的web日誌分析工具。用過一次奇安信的360星圖日誌分析工具，該款工具會根據內建的一些攻擊規則生成分析報告。但是這個工具個性化還是有欠缺的，比如我想搜尋 日誌狀態碼為404的，請求體中帶有phpinfo的，所有就突發奇想寫了...