Hbase統計表總行數的三種方式

2021-07-31 18:22:45 字數 916 閱讀 2530

由於hbase是列式資料庫,沒有提供類似sql的資料查詢語句,可以通過以下三種方式獲取表的總行數。

hbase提供了count命令可以在hbase互動介面使用,獲取總行數

hbase> count 『test′  

hbase> count 『t1′, interval => 100000

interval為統計的行數間隔,預設為1000。使用此種方式效率比較低,一般資料量在千萬級別時,耗時6分鐘以上,不建議使用。

hbase自帶有繼承的統計表行數的mapreduce的job---->org.apache.hadoop.hbase.mapreduce.rowcounter

$hbase_home/bin/hbase   org.apache.hadoop.hbase.mapreduce.rowcounter
執行結果會在rows處體現

這種方法會啟用mapreduce任務去統計行數,在資料量比較大時,可以簡單的使用此命令

對於存在的hbase表,在hive中建立關聯表,然後使用語句統計總行數

select count(*) from test;

create external table test(

mrid string,

name string,

nominalvoltage float

)row format serde'org.apache.hadoop.hive.hbase.hbaseserde'

stored by'org.apache.hadoop.hive.hbase.hbasestoragehandler'

tblproperties("hbase.table.name"= "test");

Hbase 統計表行數的3種方式

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1.count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。hbase count t1 hbase cou...

Hbase 統計表行數的3種方式總結

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1 count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。hbase count t1 hbase cou...

Hbase 統計表行數的3種方式總結

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1.count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。html view plain copy hba...