es優化mysql Es效能優化

2021-10-20 11:35:22 字數 713 閱讀 8047

1. es中10億級別的資料量,如何提高查詢效率

(1) 效能優化關鍵:file system cache

a. 不要期待隨手挑乙個引數,就可以萬能的應對所有效能慢的場景

b. es依賴於底層的file system cache,如果給file system cache更多的記憶體,盡量讓記憶體容納所有的idx segment file索引資料檔案,則搜尋時均走記憶體,效能很高。如果記憶體較少,其他索引將存入磁碟,從磁碟搜尋的效能可能是數秒。

c. 生產環境的最佳情況,是僅僅在es中存少量屬性字段,即需要用於搜尋的那些索引,額外的屬性存入其他資料庫中,如mysql/mongo/hbae。

d. 如果記憶體確實是瓶頸,可以採用資料預熱,即單獨做乙個專門的快取預熱子系統,儲存比較熱門的資料到file system cache。

e. 也可以採用冷熱分離,i將冷資料寫入乙個索引,熱資料寫入另乙個索引,確保熱資料在被預熱之後,盡量留在file system cache中,別讓冷資料給沖刷掉。

f. 不要讓es做資料關聯查詢等資料,在document模型設計時考慮,將關聯後的資料存入es中

g. 分頁查詢效能較差,因此不允許深度分頁,可以用scroll api不斷下拉一頁一頁展示, scroll一次性生成所有資料的乙個快照,缺點是不適於隨意跳到任何一頁的情景

Es效能優化

1.es中10億級別的資料量,如何提高查詢效率 1 效能優化關鍵 file system cache a.不要期待隨手挑乙個引數,就可以萬能的應對所有效能慢的場景 b.es依賴於底層的file system cache,如果給file system cache更多的記憶體,盡量讓記憶體容納所有的id...

效能優化 電量優化

使用battery historian來監測電量的情況,battery historian時google的乙個開源專案 具體安裝過程參見 當出現下列畫面,說明已經開啟 其開啟成功以後,訪問網頁如下所示 說明 這裡使用的是一台國外的vps伺服器,原本是想在本地虛擬機器實驗的,一直連線超時,就換成了vp...

效能優化 儲存優化

android系統提供4中基本的資料儲存方式,分別是sharedpreference 檔案儲存 sqlite資料庫 contentprovider。sharedpreference sharedpreference是一種簡單便捷的儲存方式,常用來儲存一些簡單配置資訊。儲存路徑 sharedprefe...