第九章 Hive企業級調優之動態分割槽調整

關係型資料庫中，對分割槽表insert資料時候，資料庫自動會根據分割槽欄位的值，將資料插入到相應的分割槽中，hive中也提供了類似的機制，即動態分割槽(dynamic partition)，只不過，使用hive的動態分割槽，需要進行相應的配置。

1．開啟動態分割槽引數設定

（1）開啟動態分割槽功能（預設true，開啟）

hive.
exec
.dynamic.
partition
=true

（2）設定為非嚴格模式（動態分割槽的模式，預設strict，表示必須指定至少乙個分割槽為靜態分割槽，nonstrict模式表示允許所有的分割槽欄位都可以使用動態分割槽。）

hive. exec .dynamic. partition .mode

=nonstrict

（3）在所有執行mr的節點上，最大一共可以建立多少個動態分割槽。

hive.
exec
.max.dynamic.partitions=
1000

（4）在每個執行mr的節點上，最大可以建立多少個動態分割槽。該引數需要根據實際的資料來設定。比如：源資料中包含了一年的資料，即day欄位有365個值，那麼該引數就需要設定成大於365，如果使用預設值100，則會報錯。

hive. exec .max.dynamic.partitions.pernode=

100

（5）整個mr job中，最大可以建立多少個hdfs檔案。

hive.
exec
.max.created.files=
100000

（6）當有空分割槽生成時，是否丟擲異常。一般不需要設定。

hive.error.
on.empty.
partition
=false

2．案例實操

需求：將ori中的資料按照時間(如：20111230000008)，插入到目標表ori_partitioned_target的相應分割槽中。

（1）建立分割槽表

create table ori_partitioned(id bigint ,time bigint , uid string, keyword string, url_rank int , click_num int , click_url string) partitioned by (p_time bigint )row format delimited fields terminated by'\t'

;

（2）載入資料到分割槽表中

hive (
default
)>
load
data
local inpath '/home/wyh/ds1'
into
table
ori_partitioned partition
(p_time=
'20111230000010');
hive (
default
)>
load
data
local inpath '/home/wyh/ds2'
into
table ori_partitioned partition
(p_time=
'20111230000011'
);

（3）建立目標分割槽表

create table ori_partitioned_target(id bigint ,time bigint , uid string, keyword string, url_rank int , click_num int , click_url string) partitioned by (p_time string) row format delimited fields terminated by'\t'

;

（4）設定動態分割槽

set hive.
exec
.dynamic.
partition
=true
;set hive.
exec
.dynamic.
partition
.mode
= nonstrict;
set hive.
exec
.max.dynamic.partitions =
1000
;set hive.
exec
.max.dynamic.partitions.pernode =
100;
set hive.
exec
.max.created.files =
100000
;set hive.error.
on.empty.
partition
=false
;hive (
default
)>
insert overwrite table ori_partitioned_target partition
(p_time)
select id,
time
, uid, keyword, url_rank, click_num, click_url, p_time from ori_partitioned;

（5）檢視目標分割槽表的分割槽情況

hive (
default
)>
show partitions ori_partitioned_target;

第九章 Hive企業級調優之動態分割槽調整

第九章 Hive企業級調優之小表大表Join

第九章 Hive企業級優化之推測執行

第九章 Hive企業級優化之並行執行

第九章 Hive企業級調優之動態分割槽調整

第九章 Hive企業級調優之小表 大表Join

第九章 Hive企業級優化之推測執行

第九章 Hive企業級優化之並行執行

相關推薦

第九章 Hive企業級調優之小表大表Join