hive phoenix資料匯入匯出方案

主要是使用phoenix storage handler for apache hive feature installation，優勢是phoenix自帶的feature，支援力度比較好

phoenix主頁上相關的介紹[ ]

phoenix 4.8

hive 1.2.1

測試環境共有兩個集群。 hbase和hadoop

hbase-site.xml 集群和客戶端都需要開啟這兩項配置

truevalue>
property>
phoenix.schema.mapsystemtablestonamespacename>
falsevalue>
property>

hive.aux.jars.pathname>
file:///home/hadoop/apache-hive-1.2.1-bin/lib/phoenix-4.8.0-hbase-0.98-hive.jarvalue>
property>

export hive_aux_jars_path=/home/hadoop/apache-hive

-1.2
.1-bin/lib/phoenix-
4.8.0
-hbase
-0.98
-hive
.jar

create

schema
ifnot
exists abc;

create

table g_order_phoenix 
( order_id bigint,
driver_id bigint,
driver_phone string,
passenger_id bigint
)stored by
'org.apache.phoenix.hive.phoenixstoragehandler' tblproperties
("phoenix.table.name" = "abc.g_order_phoenix",
"phoenix.zookeeper.quorum" = "10.93.18.30,10.93.18.31,10.93.18.32",
"phoenix.zookeeper.znode.parent" = "/hbase",
"phoenix.zookeeper.client.port" = "2181",
"phoenix.rowkeys" = "order_id,driver_id",
"phoenix.table.options" = "salt_buckets=10, data_block_encoding='diff'"
);

create

table
`g_order`
( `order_id` bigint comment '訂單id', 
`driver_id` bigint comment '司機id，司機搶單前該值為0', 
`driver_phone` string comment '司機**', 
`passenger_id` bigint comment '乘客id'
);

insert

into
table g_order 
select order_id, driver_id,driver_phone,passenger_id from g_order_phoenix where driver_id!=0
and order_id!=0;

c mysql匯入資料 mysql資料匯入

1 windows解壓 2 修改檔名，例如a.txt 3 rz 匯入到 linux data pcode sudo su cd data pcode rm rf txt 4 合併到乙個檔案 cat txt data.txt dos2unix data.txt 對比檔案行數 wc l txt 5 my...

c mysql匯入資料 MySQL 資料匯入

mysql 資料匯入 mysql 可以採用2種簡單的方法將之前備份檔案中的資料載入進 mysql 資料庫。利用 load data 匯入資料 mysql 利用 load data 語句作為批量資料載入器。下面這個範例將從當前目錄中讀取 dump.txt 檔案，然後把它載入進當前資料庫的表 mytbl...

實現資料匯入 匯入模式 匯入案列

匯入模式 模式 引數 說明 操作角色 full full 匯入整個資料庫 imp full database schema schmas 匯入使用者模式中的資料和元資料 imp full database table tables 匯入表和表分割槽的資料和元資料 imp full database ...