HBase 常用優化策略

2021-08-31 04:08:04 字數 1270 閱讀 3162

hbase資料儲存過程

split概念

compact概念常用服務端配置優化

hbase properties

簡介hbase.regionserver.handler.count

rpc請求的執行緒數量,預設值是10,提公升handler大小,可以有效提公升regionserver接收請求的能力,但是也不是越大越好,取決於硬體效能

hbase.hregion.max.filesize

當region的大小大於設定值後hbase就開始split,預設大小是10g, 可以根據儲存的內容,合理配置,建議手動進行split操作

hbase.hregion.majorcompaction

major compaction的執行週期,預設為1天,建議設定為0,禁止major compaction,生產環境中,進行major compaction可能會執行一天之久,可以在業務低峰的時候,進行手動合併,或者通過指令碼,定期執行合併操作。

hbase.hstore.compaction.min

任何乙個store,裡面的storefile超過該值,會觸發預設的合併操作,預設值是3

hbase.hstore.compaction.max

一次最多合併多少個storefile,如果storefile比較大, 應該把這個值,設定小一點,避免記憶體溢位

hbase.hstore.blockingstorefiles

乙個region中的store內有超過***個storefile時候,則block所有的寫請求進行compaction

hbase.hregion.memstore.flush.size

memstore 超過該值會被flush,根據記憶體大小,可以適當調整大一點

hbase.hregion.memstore.block.multiplier

如果memstore記憶體大小超過flush.size*multiplier,會阻塞該memstore的寫操作,建議將這個值設定為5,如果設定太大,可能會出現記憶體溢位

hbase.block.cache.size

regionserver的block cache的記憶體大小限制,在偏向讀的業務中可以適當調大一些

一般我們會手動執行split和compact,以降低這些操作可能對正常業務造成的不必要的影響,我們也可以開發指令碼,來在業務低峰,定時執行split和compact 操作。

常用優化策略(以實際需求為主)

hbase 讀寫效能優化

hbase寫優化策略

hbase讀優化策略

hbase資料讀取優化 HBase效能優化 總結篇

1 hbase.hregion.max.filesize應該設定多少合適 預設值 256m 說明 maximum hstorefile size.if any one of a column families hstorefiles has?grown to exceed this value,th...

HBase查詢優化

1.概述 hbase是乙個實時的非關係型資料庫,用來儲存海量資料。但是,在實際使用場景中,在使用hbase api查詢hbase中的資料時,有時會發現資料查詢會很慢。本篇部落格將從客戶端優化和服務端優化兩個方面來介紹,如何提高查詢hbase的效率。2.內容 這裡,我們先給大家介紹如何從客戶端優化查詢...

HBase優化指南

在hbase2x 增刪改查 scala版中,有介紹hbase1.2.x增刪改查的api文件,但僅僅了解還是不夠,在不同的讀寫業務場景中,必須做出適當優化,才能滿足業務需求。本文首先講解hbase快取機制,並針對服務端 server 和客戶端 client 進行調優說明。hbase由master和re...