HBase與Sqoop的整合

之前學習sqoop的時候都是hadoop，hive和rdbms之間進行資料的匯入與匯出，並沒有與hbase整合，下面就來講解hbase與sqoop的整合

需求：利用 sqoop 在 hbase 和 rdbms 中進行資料的轉儲，將 rdbms(mysql) 中的資料抽取到 hbase 中

1.在sqoop中配置sqoop-env.sh，新增下邊的內容

export hbase_home=你的hbase目錄

create database test;

create table test.book(
id int(4) primary key not null auto_increment, 
name varchar(255) not null, 
price varchar(255) not null);

insert into test.book (name, price) values('lie sporting', '30'); 

insert into test.book (name, price) values('pride & prejudice', '70'); 
insert into test.book (name, price) values('fall of giants', '50');

bin/sqoop import \

--connect jdbc:mysql://cdh0:3306/test \
--username root \
--password root \
--table book \
--columns "id,name,price" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_book" \
--split-by id

sqoop1.4.6 只支援 hbase1.0.1 之前的版本的自動建立 hbase 表的功能，如果不能自動建立表，還需要手動在hbase中建立

hbase> create 'hbase_book','info'

HIVE與HBase的整合

可以把hive整合hbase需要的jar包拷貝到hive lib目錄下面 1 hbase server 0.98 6 cdh5.3.6.jar 2 hbase client 0.986 cdh5.3.6.jar 3 hbase potocol 0.98 6 cdh5.3.6.jar 4 hbase ...

Hbase與Hive的整合

環境準備 因為我們後續可能會在操作hive的同時對hbase也會產生影響，所以hive需要持有操作hbase的jar，那麼接下來拷貝hive所依賴的jar包 或者使用軟連線的形式 export hbase home opt module hbase export hive home opt modu...

2016 6 14 hive與hbase的整合使用

hive為什麼要與hbase整合 hive與hbase整合指導 hadoop hive hibase版本對應關係 hive為什麼要與hbase整合 進度 已看完，能理解。操作 沒有實際操作過，所以優點和缺點沒有深刻體會。1.hbase目前支援的功能 1 通過sql語句來查詢hbase中的表資料 2 ...