elk之es核心概念

2021-08-19 06:28:37 字數 1284 閱讀 9160

1.nrt:

進實時,把資料寫入到es,到通過es搜尋這條資料中間有乙個延遲(大概一秒鐘);或者是es做分析和搜尋時可以達到秒級。

2.share(分片):

要了解分片就得知道集群和節點的概念:

集群:概念:同乙個業務部署在多個伺服器上。

es中包含多個節點,每個節點屬於哪個集群也是通過配置(集群名稱,預設elasticsearch)來決定的,通常專案剛開始都是 乙個節點,乙個集群,資料量增大後會來調整集群或節點。

節點:集群中的節點,節點也有名稱,預設隨機分配,節點名稱很重要,預設的隨機節點會加入乙個名為「elasticsearch」的集群中,如果直接啟動一堆節點,會預設組成乙個elasticsearch集群,乙個節點也可以組成乙個elasticsearch集群。

分片圖例項:

比如說乙個節點最多存放1t的資料,而我們的資料量有3t,我們就可以將index(索引)拆分為多個shard,每個shard存放1t的資料,這些shard被分散到elasticsearch集群中的多台伺服器上。

好處:橫向擴充套件,比如增加資料,我們可以從新建立shard的索引,將資料匯入進去;

資料分布在集群中的各個伺服器上,當我們操作是,這幾個伺服器會進行分布式的執行,提公升吞吐量和效能。

在建立索引的時候一次設定,不能修改,預設為5個。

3.replica(副本):

結合上面的shard(分片)概念,其實replica就是乙個shard的副本,也就是備份,本質上就是shard,上圖所示:

如果我們拆分的shard中有乙個所在的伺服器宕機了,我們可能會丟失這伺服器上的shard index的所有資料,就會導致搜尋不到,但是我們可以為這些shard建立乙個replica(其實就是和shard裡資料一樣,可以理解為另乙個shard),當遇到上述情況,我們就會從這個replica中獲取資料。

還有乙個好處就是,建立的副本可以和shard進行同時檢索資料,使吞吐量翻倍。

在建立索引的時候一次設定,隨時都可以修改,預設為1個。

在我們搭建專案的時候,最基本其實都要兩個伺服器,每個伺服器上都會放一些shard和他對應的replica。

elk 搜尋 語法 ELK之es常用查詢語句

elasticsearch定義了兩種查詢方式 一.索引 index type,document相關語句 1,列出所有索引狀態 get cat indices?v 可以使用kibana的dev tools health status index uuid pri rep docs.count docs...

ELK之elasticdump遷移es資料

參考 elasticsearch部分查詢語句 獲取集群節點列表 列出所有索引 curl 172.16.30.55 9200 cat indices?v 如果節點安裝了search guard認證使用以下命令 curl k k取消證書驗證而使用使用者名稱和密碼驗證 安裝elasticdump wget...

elk入門概念詳解

開始第一步 我們現在開始進行乙個簡單教程,它涵蓋了一些基本的概念介紹,比如索引 indexing 搜尋 search 以及聚合 aggregations 通過這個教程,我們可以讓你對elasticsearch能做的事以及其易用程度有乙個大致的感覺。我們接下來將陸續介紹一些術語和基本的概念,但就算你沒...