hive建立分區分桶表

2021-09-25 23:52:28 字數 916 閱讀 7983

在hive中要建立分割槽表的語句為

partition

create table rating_table_p

(userid string,

movieid string,

rating string

)partitioned by(dt string)

row format delimited fields terminated by '\t'

lines terminated by '\n';

向指定分割槽匯入資料的語句

load data local inpath '/root/codes/hive_test/ml-latest-small/2003-09.data' overwrite into table rating_table_p partition(dt='2003-09');
建立分割槽並且分桶表的語句

set hive.enforce.bucketing=true;

create table rating_table_p_b

(userid string,

movieid string,

rating string

)partitioned by(datetime string)

clustered by (userid) sorted by (movieid)

into 4 buckets

row format delimited fields terminated by '\t'

lines terminated by '\n';

此語句制定了按照userid進行分割槽,指定四個分割槽,當匯入資料的時候,會根據userid欄位的值進行hash取值模4,將資料分到四個檔案中。

Hive分割槽 分桶

create table t user partition id int name string partitioned by country string row format delimited fields terminated by load data local inpath root h...

Hive分割槽 分桶

2 靜態分割槽 二 hive分桶 1.分割槽列的值將表劃分為乙個個的資料夾 2.查詢時語法使用 分割槽 列和常規列類似 3.查詢時hive會只從指定分割槽查詢資料,提高查詢效率 建立單級分割槽表 create table ifnot exists employee partition name st...

Hive分割槽表,動態分割槽,分桶表

分割槽針對的是資料的儲存路徑 分桶針對的是資料檔案 對已經分好類的檔案匯入靜態分割槽 create table tb p order oid int dt string cost double partitioned by mot string,day string row format delim...