hbase自帶效能測試

2021-08-21 17:39:14 字數 1505 閱讀 3706

1)  順序寫:sequentialwrite

例如,預分割槽100 regions,100執行緒併發,順序寫1億條資料:

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 sequentialwrite 100

注意事項:

a.  hbase pe預設使用mapreduce作業進行讀寫掃瞄資料,如果使用多執行緒/客戶端併發來代替mapreduce作業,需要加上選項 --nomapred

b.  設定每個客戶端處理多少行記錄,使用引數 --rows,例如 --rows=1000000,即每個執行緒/客戶端處理1000000行記錄;

c.  --presplit引數,只有在寫資料時使用,讀表時使用引數--presplit,會導致之前寫的表資料被刪除;

d.  最後乙個引數100即為100個執行緒/客戶端併發。

2)  隨機寫:randomwrite

例如,隨機寫1億條資料:

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 randomwrite 100

讀操作1)  順序讀:sequentialread

例如,順序讀1億條資料:

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 sequentialread 100

2)  隨機讀:

例如,隨機讀1億條資料:

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 randomread 100

掃瞄操作

掃瞄:scan\\ scanrange10\\ scanrange100\\ scanrange1000\\scanrange10000

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 scan 100

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 scanrange10 100

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=10000 scanrange100 100

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000 scanrange1000 100

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100 scanrange10000 100

HBASE效能測試

之前測試過hbase的引數對效能影響,今天的測試主要針對寫吞吐量,通過對比不同客戶端的數量,以及插入量,來看看hbase寫的情況下,大概有多少每秒插入。測試硬體 8vcore,32g記憶體 8臺機器,5個nodemanager region server 大家可能知道每個map,reduce 預設1...

hbase效能測試對比分析

資料庫讀寫效能分析 1 單機模擬集群測試 測試環境 由3臺伺服器組成的hadoop集群組成分布式檔案系統 由一台單獨的機器單機模擬hbase集群 由一台機器單機測試mysql 測試規模 50萬條記錄以上,單執行緒 多執行緒測試 測試結果 hbase mysql 單執行緒插入 100 條記錄 155 ...

HBase的效能優化和相關測試

hbase的寫效率還是很高的,但其隨機讀取效率並不高 可以採取一些優化措施來提高其效能,如 1.啟用lzo壓縮,見這裡 2.增大hbase.regionserver.handler.count數為100 3.增大hfile.block.cache.size為0.4,提高cache大小 4.增大hba...