centos 7
日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。
通常，日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器，你還在使用依次登入每台機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理，例如：開源的syslog，將所有伺服器上的日誌收集彙總。
集中化管理日誌後，日誌的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等linux命令能實現檢索和統計，但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
開源實時日誌分析elk平台能夠完美的解決我們上述的問題；
elk由elasticsearch、logstash和kiabana三個開源工具組成。官方**：
最常用也是最簡單的架構是：
此架構由logstash分布於各個節點上蒐集相關日誌、資料，並經過分析、過濾後傳送給遠端伺服器上的elasticsearch進行儲存。elasticsearch將資料以分片的形式壓縮儲存並提供多種api供使用者查詢，操作。使用者亦可以更直觀的通過配置kibana web方便的對日誌查詢，並根據資料生成報表。
這是最簡單的一種elk架構方式。優點是搭建簡單，易於上手。缺點是logstash耗資源較大，執行占用cpu和記憶體高。另外沒有訊息佇列快取，存在資料丟失隱患。
為了更靈活的的收集日誌可以引入filebeat:
此種架構將收集端logstash替換為beats，更靈活，消耗資源更少，擴充套件性更強。同時可配置logstash 和elasticsearch 集群用於支援大集群系統的運維日誌資料監控和查詢。
還有就是引入訊息佇列機制，但此種過於麻煩這裡就不贅述；
ELK學習實驗010 Logstash簡介
logstash是具有實時流水線功能的開源資料收集引擎。logstash可以動態統一來自不同 的資料，並將資料規範化為您選擇的目標。清除所有資料並使其民主化，以用於各種高階下游分析和視覺化用例。雖然logstash最初推動了日誌收集方面的創新，但其功能遠遠超出了該用例。任何型別的事件都可以通過各種各...
ELK日誌分析系統簡介
當我們部署集群伺服器的時候，日誌檔案就會散落在多台伺服器上。檢視日誌資訊就需要到各個伺服器上去取和檢視，我們把這些日誌檔案歸集到乙個地方統一管理。這個時候elk系統出現了，elk是elasticsearch logstashh和kibana三個系統的首字母組合。當然elk不只是檢視日誌功能這麼簡單，...
ELK學習總結（2 6）elk的mapping
1 什麼是對映 作用 這樣會讓索引建立的更加細緻和完善，如 是否儲存 使用何種分析器 重要級別 分類 靜態對映和動態對映 2 字段型別 string integer long float double boolean date binary 3 除了可以定義欄位的型別意外，還可以定義欄位的屬性 st...