公司希望能夠搭建自己的日誌分析系統。現在基於elk的技術分析日誌的公司越來越多，在此也記錄一下我利用elk搭建的日誌分析系統。
系統主要是基於elasticsearch+logstash+filebeat+kibana+nginx，其實我這個用的還是比較多的，可以直接用logstash直接去採集日誌。不過由於logstash的效能影響都比較大，而且filebeat安裝很方便，而且占用資源很小，所以現在filebeat現在被廣泛應用於日誌採集。
其實在搭這個系統還是比較麻煩的，可是前面有的踩過的坑當時沒有及時記錄下來，有點忘記了。但是裡面就是配置logstash和filebeat配置證書的時候有點麻煩，配置不好會一直沒有辦法連通。還要注意es的索引占得空間，其實es索引還蠻佔空間的。
logstash其實在整個elk中環節還蠻重要的，其實可以理解為乙個「中間人」的角色。它通過從filebeat中接受資料，然後進行過濾，最後再傳輸給es。所以一般logstash的配置也包括input,output以及filter的配置。
geoip#fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(user-agent) sc-status sc-substatus sc-win32-status time-takendate_ch \d+[/-]\d+[/-]\d+
outer_email % % % % % % % % % % % % % %
後續對於日誌如何進行分析，我目前還沒有特別好的思路，希望有著方面經驗的小夥伴可以一起交流。
elk 基於elk的業務日誌格式設計
php專案，業務監控為0，需要搭建一套日誌檢視，閥值告警等功能的監控系統。撒都不用說，直接上elk。我們跳過搭建過程 網上太多了 通過docker搭建好了elk那一套 明顯單機版 我要監控測試和線上，所以是個多採集的環境，使用了官方推薦的最新的filebeat就行log聚合，格式化還是在master...
基於ELK的分布式日誌儲存 檢索系統之Kibana
kibana是乙個免費且開放的使用者介面，能夠讓您對 elasticsearch 資料進行視覺化，並讓您在 elastic stack 中進行導航。您可以進行各種操作，從跟蹤查詢負載，到理解請求如何流經您的整個應用，都能輕鬆完成。在本地建立kibana data kibana config兩個目錄，...
使用SQL進行IIS日誌中的訪問記錄統計
以下方法需要知識 sql 一 獲取表結構 將少量資料複製到excel表中，刪除無效資料，然後使用sql匯入嚮導，匯入少量資料，然後將資料刪除。注意匯入的excel的第一行資料會被判斷為列欄位。二 使用bulk insert語句匯入完整日誌資料 開啟日誌檔案ex120629.log 舉例 將無用的說明...