ELK(一) Elasticsearch基礎概念

2021-09-05 08:57:38 字數 688 閱讀 5447

elk提供了一整套解決方案,並且都是開源軟體,之間互相配合使用,完美銜接,高效的滿足了很多場合的應用。目前主流的一種日誌系統。

elk是三個開源軟體的縮寫,分別表示:elasticsearch , logstash, kibana , 它們都是開源軟體。新增了乙個filebeat,它是乙個輕量級的日誌收集處理工具(agent),filebeat占用資源少,適合於在各個伺服器上蒐集日誌後傳輸給logstash,官方也推薦此工具。

一、概念:

elasticsearch:負責日誌檢索和分析和儲存

乙個採用restful api的的高擴充套件性和高可用性的實時資料分析的全文搜尋工具

高擴充套件性:新增節點非常簡單,接入elasticsearch集群會被自動發現

高可用性:由於是分布式的,每個節點都有備份

實時性:elasticsearch是實時搜尋平台,可支援pb級的大資料搜尋能力

非關係型資料庫(elasticsearch)與關係型資料庫(比如mysql)的對比:

elasticsearch架構:

CronJob刪除ElasticSearch日誌

目前在k8s平台內,通過pod掛載hostpath將程式形成的日誌檔案傳輸儲存到宿主機指定目錄上,然後fluentd根據指定目錄去蒐集日誌檔案 json格式 然後通過呼叫elasticsearch 以下簡稱es 的api將日誌儲存到es中,那麼問題來了,日誌檔案大了怎麼清理?1.每個工作節點上的日誌...

(一)ELK系列之ELK介紹

elk介紹 elk簡介 隨著業務的不斷擴大,伺服器的不斷增加,各種服務的不斷增加,相應的日誌量也大量增加,訪問日誌 應用日誌 錯誤日誌種類繁多。從兩個角度進行分析 1 開發人員的角度來說,還需要去到伺服器上檢視繁多的日誌,無法高效的定位問題所在,所以並不方便 2 運營人員的角度來說,他們也需要獲取一...

windows下的elasticSearch安裝

es官網 進入bin目錄,雙擊elasticsearch.bat 訪問http localhost 9200可訪問 新增ik分詞器 解壓ik分詞器包,放到es安裝目錄的plugins中的analysis ik 資料夾中 新建analysis ik 資料夾 再次啟動elasticsearch.bat,...