使用Docker搭建ELK日誌蒐集系統 三

fluentd是用ruby編寫的，具有靈活性，對效能敏感的部分是用c編寫的

這就是為什麼treasure data, inc提供穩定的fluentd (td-agent)的原因。fluentd和td-agent的區別在這裡。

1.安裝fluentd的td-agent

curl -l  | sh

systemctl start td-agent.service
systemctl status td-agent.service
ll /etc/td-agent/td-agent.conf
#td-agent的配置檔案
ll /var/log/td-agent/td-agent.log
#td-agent的標準日誌輸出檔案
/usr/sbin/td-agent --dry-run -c /etc/td-agent/td-agent.conf
#配置檔案語法檢查

這裡是針對cent os的安裝

其他系統請參考：

cat > td-agent.conf << 'eof'

@type tail
@type json
path /tmp/access.log,/tmp/error.log
pos_file /tmp/log.pos
tag docker.access
## @type stdout
#@type elasticsearch
hosts 10.1.1.225:9200
user elastic
password changeme
target_index_key target_index
index_name default_index
type_name fluentd
include_tag_key true
tag_key dockername
flush_interval 1s
request_timeout 15s
reload_connections false
reconnect_on_error true
resurrect_after 5s
buffer_type memory
num_threads 2
eof

可以指定多個路徑或排除某些路徑

請參考:

ELK 使用Docker快速搭建

elk 是三個開源專案的首字母縮寫，這三個專案分別是 elasticsearch logstash 和 kibana。elasticsearch 是乙個搜尋和分析引擎。logstash 是伺服器端資料處理管道，能夠同時從多個 採集資料，轉換資料，然後將資料傳送到諸如 elasticsearch 等 ...

使用Docker部署日誌分析平台 ELK

日誌分析平台elk由3個服務組成，分別是elasticsearch logstash和kibana，其中 elasticsearch是乙個分布式搜尋分析引擎，負責日誌儲存並提供 搜尋功能。logstash能提供資料收集 加工和傳輸管道的服務，負責日誌收 集。kibana是乙個資料視覺化平台，並可以將...

Docker部署ELK 日誌歸集

elk是elasticsearch logstash kibana的縮寫，使用elk的原因是因為公司使用spring cloud部署了多個微服務，不同的微服務有不同的日誌檔案，當生產上出現問題是不能及時排查，所以使用logstash手機日誌，elasticsearch實現全文檢索，kibana作為顯...