ELK搭建記錄(第二彈)

2021-08-02 22:55:06 字數 1362 閱讀 7731

今天又研究了一天又有一些新的收穫,趕緊記下來。只列出做了修改的部分。

1.不再需要filebeat了,logstash直接就可以讀取日誌檔案

2.logstash配置檔案修改

這裡推薦乙個很棒的**,學logstash一定要看:logstash最佳實踐

解釋一下吧:

logstash配置檔案不可或缺的三個部分:input,file,output。

input 指定日誌資料**

path是個陣列,可以配置多個檔案路徑,每個路徑可以使用萬用字元,即每個路徑可以指向一組檔案。

type給讀取到的日誌設定乙個自定義型別

start_position指定從什麼位置開始讀取,begin是從頭開始讀(同時要刪掉sincedb檔案噢,否則還是從尾巴讀)

sincedb_path指定sincedb檔案存放在什麼位置(注:sincedb是logstash儲存日誌的檔案)

filter 用來過濾日誌資料,只有通過過濾,才會傳給output

date 沒有完全理解是幹啥的,大概是以當前時間重寫了日誌時間,如果以file模式以begining模式讀取日誌必須要加這條

multiline 有時我們打出的日誌資料中間有換行,它在日誌檔案中有多行,我這裡告訴logstash,如果這條日誌是以[開頭,它就屬於前一條日誌

if 語句 logstash支援簡單的表示式,我這裡告訴logstash,如果是空資料,直接丟棄

grok 由於從檔案讀取日誌,logstash不知道日誌語義,就無法做資訊解析,比如這條日誌的級別是什麼,這裡通過正則匹配出日誌級別給level欄位

output

輸出日誌到elasticsearch,指定索引格式(index)和日誌型別(document_type,這裡取的是file中定義的type)

說一下elk分別如何啟動

三個工具都有bin目錄,bin目錄下都有可執行檔案,elasticsearch和kibana的配置檔案都在config目錄下,是yml格式,logstash的配置檔案是我自己建立的config目錄,格式為conf。啟動時都定位到它們所在的目錄,建議三個程式放在乙個screen中,一是好管理,二是啟動之後ctrl+a+d就不用管了。按以下順序啟動,elasticsearch要在logstash前面不然讀取到的日誌沒地方輸送了

./bin/elasticsearch

./bin/logstash agent -f ./config/logstash.conf

./bin/kibana

elaticsearch和kibana的管理介面怎麼使用不說了,不是難點所在

ELK環境搭建記錄

日誌主要包括系統日誌 應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷,效能安全性,從而及時採取措施糾正錯誤。通常,日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器,你還在使用依次登入每台機器的...

廖雪峰學習記錄(第二彈)

裝飾器顧名思義就是裝飾用的,理解為附加的一些功能,和普通函式一同食用,味道更佳哦 下面列出例項進行分析 1 import functools2.defsuv fn 定義乙個閉包函式 3.functools.wraps fn 對原函式被覆蓋上的名字還原4.defcout a,b 定義包內函式用來起裝飾...

ELK搭建日誌管理系統記錄

我們這裡使用elasticsearch 主要用來檢索分析我們系統中的日誌,可以做到快速檢索的作用。logstash 也是乙個開源工具,用來收集 相當於搬運工的作用,為資料的分析,查詢,儲存解析提供乙個強大的管道橋接作用。kibana 是乙個資料分析視覺化平台,我們這裡的作用主要是直接展示專案的日誌,...