官方介紹：logstash is an open source data collection engine with real-time pipelining capabilities。簡單來說logstash就是一根具備實時資料傳輸能力的管道，負責將資料資訊從管道的輸入端傳輸到管道的輸出端；與此同時這根管道還可以讓你根據自己的需求在中間加上濾網，logstash提供裡很多功能強大的濾網以滿足你的各種應用場景。
logstash 官方文件
logstash 主要的配置，就是輸入 input 和 輸出output,還有 filter
input
}output" }
}## 輸出到檔案裡面
file
}
,
"host": "192.168.23.211",
"@timestamp": "2018-12-25t01:16:45.736z",
"event_type": "click", // 傳送的資料
"data_sender": "android",// 傳送的資料
"device_id": "00000000-2242-9cf3-0000-0000138614f1",// 傳送的資料
"element_id": "31lf",// 傳送的資料
"element_type": "advert",// 傳送的資料
"current_page_name": "b201812201509559344",// 傳送的資料
"business_id": "y31|8",// 傳送的資料
"platform": "android",// 傳送的資料
"element_content": "x201812211338438973"// 傳送的資料
}
,
"host": "192.168.23.211",
"@timestamp": "2018-12-25t01:16:45.736z",
"message": "" // 傳送的資料
}
因為我個人習慣於無論傳送方使用什麼樣的 請求頭，接收到的資料格式都保持一致，所有，我去掉預設的 codec
input ##去除預設新增的codec
}}output" }
}file "}
}}
input
#codec => json
#解決跨域問題
response_headers =>
response_headers =>
response_headers =>
}}output" }
}file "}
}}
然後今天有提到乙個需求，需要使用logstash 提供2個http 介面對外，然後分別分發到 同乙個kafka裡面，不同的topic.
Logstash安裝和使用
logstash是開源的伺服器端資料處理管道，能夠同時 從多個 採集資料 轉換資料，然後將資料傳送到您最喜歡的 儲存庫 中。我們的儲存庫當然是 elasticsearch。作用 集中 轉換和儲存資料 bin logstash e input output 輸入 hello world 輸出 logs...
使用Filebeat和Logstash集中歸檔日誌
方 案 注釋 由於logstash無法處理輸出到檔案亂序的問題，可通過不同的檔案使用不同的logstash 或者直接寫入es 不存在亂序問題 通過flink輸出到檔案 部 署系統環境 filebeat配置 etc filebeat filebeat.yml filebeat.prospectors ...
elk部署詳解 logstash搭建
是乙個管理日誌和事件的工具。安裝部署 使用 f引數替換命令列中的 e引數bin logstash f logstash conf bin logstash f logstash conf auto reload path data mysql mysql.log path var log messa...