Logstash 多個配置檔案(conf)

2022-06-11 07:51:09 字數 1632 閱讀 9822

logstash:多個配置檔案(conf)

對於多個配置的處理方法,有多個處理方法:

乙個pipeline含有乙個邏輯的資料流,它從input接收資料,並把它們傳入到佇列裡,經過worker的處理,最後輸出到output。這個output可以是elasticsearch或其它。下面針對這兩種情況,來分別進行描述。

}接下來,修改pipelines.yml檔案。在logstash的安裝目錄下的config檔案目錄下,修改pipelines.yml檔案。

- pipeline.id: daily

pipeline.workers: 1

pipeline.batch.size: 1

path.config: "/users/liuxg/data/multi-pipeline/daily.conf"

- pipeline.id: apache

queue.type: persisted

path.config: "/users/liuxg/data/multi-pipeline/apache.conf"

在上面的配置中,把daily.conf和apache.conf分別置於兩個不同的pipleline中。

這樣操作配置已經完成了。進入到longstash的安裝目錄。我們通過如下的命令來執行:

./bin/logstash

在terminal中,可以看到有兩個piple在同時執行,也可以在kibana中看到我們的index結果。

同樣可以修改位於logstash安裝目錄下的config子目錄裡的pipleline.yml檔案,並把它修改為:

- pipeline.id: my_logs

queue.type: persisted

path.config: "/users/liuxg/data/multi-pipeline/*.conf"

把所有位於/users/liuxg/data/multi-pipeline/下的所有的conf檔案都放於乙個pipeline裡。

按照上面同樣的方法來執行我們的應用:

./bin/logstash

從執行的結果中看到了兩個同樣的輸出。這是為什麼呢?這是因為我們把兩個.conf檔案放於乙個pipleline裡執行,那麼我們有兩個stdout的輸出分別位於兩個.conf檔案了。

在kibana裡可以看到我們的最終的index資料:

我們可以看到在apache_log裡有20條資料,它包括兩個log檔案裡所有的事件,這是因為它們都是乙個pipleline。同樣我們可以在apache_daily看到同樣的20條資料。

多個配置檔案

有二種方法 一 在web.xml中,依次加入struts config.xml,xml,yyy.xml 二 在web.xml中增加如下 config test web inf test struts config.xml 這種設定必須在根目錄下增加用於存放jsp等檔案的test目錄。與之相關的jsp...

ELK之Logstash配置檔案詳解

logstash 是乙個開源的資料收集引擎,它具有備實時資料傳輸能力。它可以統一過濾來自不同源的資料,並按照開發者的制定的規範輸出到目的地。它以外掛程式的形式來組織功能,通過配置檔案來描述需要外掛程式做什麼,配置檔案主要由input filter和output三部分組成。負責從資料來源提取資料,由於...

Logstash conf d 多個配置檔案

今天在群裡乙個關於在 logstash 的配置目錄存在多個配置檔案的時候如何處理的問題?我的結論是載入所有配置檔案並合併為乙個。lcy lcy elk logstash sudo opt logstash bin logstash help sudo password for lcy usage b...