Hbase資料匯入方案

2021-06-27 19:29:24 字數 1030 閱讀 9393

1 利用importtsv將csv檔案匯入到hbase

******.csv

1,'tom'

2,'sam'

3,'jerry' 命令

create 'hbase-tbl-001','cf'

bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv -dimporttsv.separator="," -dimporttsv.columns=hbase_row_key,cf hbase-tbl-001 /******.csv

2 利用completebulkload將資料匯入到hbase (針對資料量很大)

1.先通過importtsv生成hfile

命令 bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv

-dimporttsv.separator="," -dimporttsv.bulk.output=/hfile_tmp(生成的hfile在hdfs上的位置) -dimporttsv.columns=hbase_row_key,cf  hbase-tal-002 /******.csv

(會自動建立表hbase-tbl-002)

2 通過completebulkload 將資料匯入hbase-tbl-002 命令

hadoop jar lib/hbase-server-0.96.0.jar completebulkload /hfile_tmp hbase-tbl-002

3 利用import匯入 (sequencefile)

1 將資料匯出

bin/hbase org.apache.hadoop.hbase.mapreduce.export hbase-tbl-002 /test-output

2 建立表

carete 『hbase-tbl-003』,'cf';

3 匯入

bin/hbase org.apache.hadoop.hbase.mapreduce.ixport hbase-tbl-002 /test-output

hbase資料匯入

使用命令bin hbase org.apache.hadoop.hbase.mapreduce.importtsv dimporttsv.columns hbase row key,cf a,cf b,cf c 需要指出的是原始檔預設以 為分割符,如果需要換成其它分割符,在執行時加上 dimport...

HBase 資料匯入

記錄一下hbase 0.96.0 利用importtsv,completebulkload 和import匯入資料的方法。我的環境裡用的是yarn。1 利用importtsv 將cvs檔案匯入到hbase 步驟 a.在hbase裡面建立好table 命令 create hbase tbl 001 c...

hbase資料匯出方案

當hbase裡的資料量很大時,想要查詢匯出某些資料是非常耗時的。針對於我們一般的應用,對於有批次或任務性質概念的資料,我們可以這樣 首先,在進行資料存存時,需要對其rowkey進行規範化生成,如生成規格為 自定義id 任務 批次id uuid 注意,整個rowkye盡可能保證只有資料和字母,uuid...