hive與hbase整合方式和優劣

2022-08-16 18:09:22 字數 791 閱讀 5289

分別安裝hive 和 hbase 

1、在hive中建立與hbase關聯的表

create table ganji_ranks (row string,num string)

stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'with serdeproperties

2、可以在hive中使用hsql 來插入資料並同時在hbase中也可以scan到

insert into table ganji_ranks select a,b,c from tablename where and/or ;

3、可以在hbase中使用來插入資料,支援更新,插入同樣rowkey的資料,最新的資料會覆蓋前面一條

put 'ganji_ranking',a,vb,c .....

4、如果需要清空表,在hbase中truncate 'tablename' 即可

5、如果需要刪除表,hbase也可,hive也可以,在hive之中刪除,hbase的表也會隨之刪除,在hbase中刪除之前 需要 :1)、disable 'tablename' 2)、 drop 'tablename'      

優勢:方便統計,檢視,查詢核對   在hive中,因為如果有中文之類的,hbase看不懂,還需要自己寫方法翻譯,有時候通過hive計算的結果插入挺方便

劣勢:hbase建立表的時候很多自定義的東西實現不了,而且hive中的表不支援修改,hbase表名如果修改了,hive會查不到hbase資料

好了,就這樣!

Hive 五 hive與hbase整合

配置 hive 與 hbase 整合的目的是利用 hql 語法實現對 hbase 資料庫的增刪改查操作,基本原理就是利用兩者本身對外的api介面互相進行通訊,兩者通訊主要是依靠hive hbase handler.jar工具類。但請注意 使用hive操作hbase中的表,只是提供了便捷性,前面章節已...

Hive篇 Hive與Hbase整合

一 前述 hive會經常和hbase結合使用,把hbase作為hive的儲存路徑,所以hive整合hbase尤其重要。二 具體步驟 hive和hbase同步 1 把hive hbase handler 1.2.1.jar cp到hbase lib 下 同時把hbase中的所有的jar,cp到hive...

和hbase對映 hbase整合hive

hive提供了與hbase的整合,是的能夠在hbase表上使用hive sql語句進行查詢 插入操作以及進行join和union等複雜查詢 同時也可以將hive表中的資料對映到hbase中。當我們在使用hive時候,在資料量多的時候就會發現非常的慢,乙個簡單的sql都要半天,其實我們追尋他的原因很簡...