logstash是具有實時流水線功能的開源資料收集引擎。logstash可以動態統一來自不同**的資料，並將資料規範化為您選擇的目標。清除所有資料並使其民主化，以用於各種高階下游分析和視覺化用例。
雖然logstash最初推動了日誌收集方面的創新，但其功能遠遠超出了該用例。
任何型別的事件都可以通過各種各樣的輸入，過濾器和輸出外掛程式來豐富和轉換，許多本機編解碼器進一步簡化了提取過程。
通過filebeat
享受補充的安全日誌**功能
通過tcp
和udp
從ganglia，collectd， netflow，jmx以及許多其他基礎結構和應用程式平台
收集度量
通過按需
輪詢http端點來
建立事件
集中、轉換和儲存資料
logstash 是開源的伺服器端資料處理管道，能夠同時從多個**採集資料，轉換資料，然後將資料傳送到「儲存庫」中。
logstash 能夠動態地採集、轉換和傳輸資料，不受格式或複雜度的影響。利用 grok 從非結構化資料中派生出結構，從 ip 位址解碼出地理座標，匿名化或排除敏感字段，並簡化整體處理過程。
輸入採集各種樣式、大小和**的資料
資料往往以各種各樣的形式，或分散或集中地存在於很多系統中。 logstash 支援 各種輸入選擇 ，可以在同一時間從眾多常用**捕捉事件。能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、web 應用、資料儲存以及各種 aws 服務採集資料。
過濾器：實時轉換資料
資料從源傳輸到儲存庫的過程中，logstash 過濾器能夠解析各個事件，識別已命名的字段以構建結構，並將它們轉換成通用格式，以便更輕鬆、更快速地分析和實現商業價值。
輸出：選擇儲存庫匯出資料
儘管 elasticsearch 是我們的首選輸出方向，能夠為我們的搜尋和分析帶來無限可能，但它並非唯一選擇。
logstash 提供眾多輸出選擇，您可以將資料傳送到您要指定的地方，並且能夠靈活地解鎖眾多下游用例。
同時擁有非常豐富的外掛程式，進行擴充套件功能
假如 logstash 節點發生故障，logstash 會通過持久化佇列來保證至少將執行中的事件送達一次。那些未被正常處理的訊息會被送往死信佇列 (dead letter queue) 以便做進一步處理。由於具備了這種吸收吞吐量的能力，現在您無需採用額外的佇列層，logstash 就能平穩度過高峰期。此外，我們還能讓您充分確保自己採集管道的安全性。
logstash 模組通過熱門的資料來源（如 arcsight 和 netflow ）呈現瞬間視覺化的體驗。通過立即部署採集管道和複雜的儀表板，您在短短幾分鐘內便可開始資料探索。
全方位監察
logstash 管道通常服務於多種用途，會變得非常複雜，因此充分了解管道效能、可用性和瓶頸異常重要。借助監測和管道檢視器功能，您可以輕鬆觀察和研究處於活動狀態的 logstash 節點或整個部署。
ELK入門01 Elasticsearch安裝
tar zxvf elasticsearch 2.4.6.tar.gz編輯elasticsearch配置檔案 進入安裝目錄 cd elasticsearch 2.4.6 編輯配置檔案 vi config elasticsearch.yml下面是幾個常用的配置項 集群名稱 cluster.name e...
ELK學習1 1 ELK簡介
centos 7 日誌主要包括系統日誌 應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。通常，日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器，你還在使用...
華為elk儲存過程筆記01
1.sql rowcount 在定義此變數為值時，變數前的sql 語句必須是 修改型別的語句，不能是select 語句，如果是select 語句此變數沒有結果值，需要把值賦給變數，如 select count 1 into a from tablename a為定義的變數名。2.字串顯示時由單引號 ...