Docker安裝logstash,配置多管道

2021-10-08 03:33:48 字數 1851 閱讀 4747

docker安裝logstash首先需要知道logstash的目錄結構如下圖:

#以下配置能在kibana檢視logstash狀態

xpack.monitoring.enabled: true

xpack.monitoring.elasticsearch.username: "logstash46"

xpack.monitoring.elasticsearch.password: "123456"

xpack.monitoring.elasticsearch.hosts: [""]

每乙個pipeline.id對應乙個管道,本專案是使用logstash消費kafka,針對不同的topic,建立不同的通道,效果等同配置檔案中的if判斷匹配tag將不同的資料寫入不同的index,如果使用乙個通道(預設通道是main)將會導致乙個索引能查到所有資料,無法進行分類。且當接入資料型別太多使用if判斷會導致配置檔案臃腫。

- pipeline.id: video

path.config: "/usr/share/logstash/pipeline/kanba-video.conf"

- pipeline.id: pay

path.config: "/usr/share/logstash/pipeline/kanba-pay.conf"

- pipeline.id: ott

path.config: "/usr/share/logstash/pipeline/kanba-ott.conf"

- pipeline.id: tls

path.config: "/usr/share/logstash/pipeline/kanba-tls.conf"

此處以乙個檔案為例

input

}filter\]"}}

grok\&"}}

grok\&"}}

grok"}}

mutate

}output

stdout

}

docker run -d --restart=always --privileged=true --name logstash47 -p 5044:5044 -p 5047:5047 -p 9600:9600 --network host -v /storage/brick/logstash/config/pipelines.yml:/usr/share/logstash/config/pipelines.yml -v /storage/brick/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v /storage/brick/logstash/pipeline/:/usr/share/logstash/pipeline/ 172.16.151.46:5000/logstash:6.8.6

docker安裝與docker安裝nginx

主要是部署速度的不同,dockers較快,是秒級,而虛擬機器很慢,至少10s以上 docker部署專案將會更快更好 step 1 安裝必要的一些系統工具 step 2 新增軟體源資訊 sudo yum config manager add repo step 3 更新並安裝 docker ce su...

Docker系列 docker安裝

docker的安裝和使用有一些前提條件,主要體現在體系架構和核心的支援上。對於體系架構,除了docker一開始就支援的x86 64,其他體系架構的支援則一直在不斷地完善和推進中。docker分為ce和ee兩大版本。ce即社群版 免費,支援週期7個月 ee即企業版,強調安全,付費使用,支援週期24個月...

docker學習 docker安裝

1 解除安裝已經存在的docker 執行命令 yum remove docker docker client docker client latest docker common docker latest docker latest logrotate docker logrotate docke...