資料收集引擎 Logstash 簡介

cd /usr/local/src

wget

# 解壓到指定安裝目錄

tar zxvf logstash-7.5.0.tar.gz -c /usr/local/logstash

# 按需修改配置檔案

vim /usr/local/logstash/config/logstash.yml

# 設定名稱

node.name: master-1

# 設定遠端訪問

# 啟動

cd /usr/local/logstash
bin/logstash -e 'input } output }'
# 當出現 successfully started logstash api endpoint ，啟動成功
# 控制台輸入：hello world
# logstash 處理後會在控制台輸出：

bin/logstash -e 'input  } output  stdout {} }'

# 啟動成功後，控制台輸入：hello world
# logstash 處理後會在控制台輸出：

# 新建配置檔案

cd /usr/local/logstash
vim test.conf
# 寫入如下內容
input 
}output 
}# 儲存退出，重啟 logstash
bin/logstash -f test.conf
# 新開乙個控制台，往 /usr/local/logstash/test.txt 檔案裡寫內容
vim /usr/local/logstash/test.txt
# 寫入字串：hello world
# 儲存退出
# 回到啟動 logstash 的控制台，控制台輸出：

vim test2.conf

# 寫入如下
input 
}output 
stdout 
}# 儲存退出，重啟 logstash
bin/logstash -f test2.conf

cd /usr/local/logstash

vim test3.conf
# 寫入如下內容
input 
file
file} 
output "}}
if[type]
=="nginx_access_log""}
}if[type]
=="mysql_error_log""}
}}# 儲存退出，重啟 logstash
bin/logstash -f test3.conf
# 效果如下圖
## 可能發生的問題：
# 第一次配置時，執行 logstash 對日誌檔案進行的讀取操作，然後輸出到了 elasticsearch
# 重啟 logstash 後從隱藏檔案中的讀取完成的日誌檔案位置知道，日誌檔案並沒有發生改變
# 所以 logstash 並沒有對日誌檔案再次進行讀取，所以控制台沒有任何輸出
# 解決方案 1：刪除隱藏檔案 隱藏檔案 .sincedb_*
cd /usr/local/logstash/data/plugins/inputs/file
rm .sincedb_*
# 解決方案 2：input file 下配置 sincedb_path => "/dev/null"
Logstash 資料處理引擎
簡介 logstash是一款輕量級的日誌蒐集處理框架，它支援動態的從各種資料來源蒐集資料，並對資料進行過濾 分析 豐富 統一格式等操作，並按照開發者制定的規範傳輸到指定的位置。官網介紹，並茂 小貼士 logstash 依賴 jdk1.8 因此在安裝之前請確保機器已經安裝和配置好 jdk1.8。log...
Logstash收集Nginx日誌
通過日誌我們可以及時發現軟體所遇到的問題，但是日誌位於伺服器上，不便於觀察，視覺化的實時收集日誌並分析十分重要，而elk棧為另外們提供了很好的解決方案。這裡，我們使用logstash收集nginx日誌，並輸出到elasticsearch，用kibana來顯示。cd usr local src wge...
logstash 收集nginx日誌
一 logstash使用學習 不難理解，我們的日誌通常都是在日誌檔案中儲存的，所以，當我們在使用input外掛程式時，收集日誌，需要使用file模組，從檔案中讀取日誌的內容，那麼接下來講解的是，將日誌內容輸出到另乙個檔案中，如此一來，我們可以將日誌檔案同意目錄，方便查詢。注意 logstash與其他...