hbase客戶端請求過程中涉及的可配置引數

2021-10-01 07:59:44 字數 906 閱讀 3567

在hbase-site.xml中的配置:

①、memstore持久化容量:hbase.hregion.memstore.flush.size(當memstore資料達到該數值時進行持久化)

②、memstore阻塞係數:hbase.hregion.memstore.block.multiplier(當memstore資料為持久化容量的2倍時,強制阻塞所有更新操作。防止在memstore容量接近但還未達到持久化容量之前,突然收到一批容量大的更新請求而導致memstore容量超限)

③、hbase.hregion.max.filesize(單個hregion的hstorefile最大值,任何表中的列族一旦超過這個大小將會自動split)

④、hbase.hstore.blocking.storefiles(當某乙個region的storefile個數達到該值則block寫入,等待compact)

⑤、hbase.hstore.blocking.waittime(block的等待時間)

⑥、hbase.hregion.majorcompaction(觸發major compact的週期)

⑦、 hfile.block.cache.size    (指定 hfile/storefile 快取在jvm堆中分配的百分比)

⑧、hbase.hregion.memstore.mslab.enabled(是否開啟mslab方案,減少因記憶體碎片導致的full gc,提高整體效能)

⑨、hbase.hstore.compaction.min(進入minor compact佇列的storefiles最小個數)

⑩、hbase.hstore.compaction.max(單次minor compact最多的檔案個數)

⑪、hbase.hstore.compaction.min(進入minor compact佇列的storefiles最小個數)

Hbase客戶端優化

scan caching scanner一次快取多少資料來scan 從服務端一次抓多少資料回來scan 預設值是 1,一次只取一條。scan attribute selection scan時建議指定需要的column family,減少通訊量,否則scan操作缺省會返回整個row的所有資料 所有c...

hbase儲存結構及客戶端訪問hbase表的過程

要說明客戶端訪問 操作hbase表,先簡要說明hbase表的儲存結構。hbase最初有乙個表,則乙個表對應乙個region,隨著表增大,乙個region會分為多個region,即乙個表對應了多個region。region是hbase儲存的最小單位,不能分割,即乙個region內的資料只能存在乙個伺服...

hbase客戶端連線沒響應

初學hbase時,遇到乙個很奇怪的問題。用eclipse去連hbase時,一直沒響應,也沒有報錯。然後去上網查了,需要在hosts檔案中配置,ip和主機名的對映配置.配置zk使用主機名,但是試過,還是沒響應。而且也能ping通zk位址。試了幾天,都很絕望。後來,發現hbase的埠是不通的,後來試著關...