大資料Hive分割槽

2021-09-24 23:15:08 字數 1560 閱讀 7587

hive組織表到分割槽。它是將乙個表到基於分割槽列,如日期,城市和部門的值相關方式。使用分割槽,很容易對資料進行部分查詢。

表或分割槽是細分成桶,以提供額外的結構,可以使用更高效的查詢的資料。桶的工作是基於表的一些列的雜湊函式值。

例如,乙個名為tab1表包含雇員資料,如 id, name, dept 和yoj (即加盟年份)。假設需要檢索所有在2023年加入,查詢搜尋整個表所需的資訊員工的詳細資訊。但是,如果用年份分割槽雇員資料並將其儲存在乙個單獨的檔案,它減少了查詢處理時間。下面的示例演示如何分割槽的檔案和資料:

下面檔案包含employee 資料表。

/tab1/employeedata/file1

id, name, dept, yoj  1, gopal, tp, 2012  2, kiran, hr, 2012  3, kaleel,sc, 2013  4, prasanth, sc, 2013
上面的資料被劃分成使用年兩個檔案。

/tab1/employeedata/2012/file2

1, gopal, tp, 2012  2, kiran, hr, 2012
/tab1/employeedata/2013/file3

3, kaleel,sc, 2013  4, prasanth, sc, 2013
可以通過新增分割槽表改變所述表。假設我們有乙個表叫employee ,擁有如 id, name, salary, designation, dept, 和 yoj等字段。

alter table table_name add [if not exists] partition partition_spec  [location 'location1'] partition_spec [location 'location2'] ...;    partition_spec:  : (p_column = p_col_value, p_column = p_col_value, ...)
以下查詢用於將分割槽新增到employee表。

hive> alter table employee  > add partition (year=』2013』)  > location '/2012/part2012';
此命令的語法如下。

alter table table_name partition partition_spec rename to partition partition_spec;
以下查詢用來命名乙個分割槽:

hive> alter table employee partition (year=』1203』)     > rename to partition (yoj=』1203』);
下面語法用於刪除分割槽:

alter table table_name drop [if exists] partition partition_spec, partition partition_spec,...;
以下查詢是用來刪除分割槽:

hive> alter table employee drop [if exists]     > partition (year=』1203』);

大資料開發學習之Hive的靜態分割槽

分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是乙個分割槽。這樣查詢時使用分割槽列進行過濾,只需根據列值直接掃瞄對應目錄下的資料,不掃瞄其他不關心的分割槽,快速定位,提高查詢效率。hive分割槽分為靜態分割槽和動態分割槽兩種,以下是hive的靜態分割槽。靜態分割槽 若分割槽的值是確...

hive 分割槽 hive 分割槽概念 0323

1 hive 分割槽表 在hive select查詢中一般會掃瞄整個表內容,會消耗很多時間做沒必要的工作。有時候只需要掃瞄表中關心的一部分資料,因此建表時引入了partition概念。分割槽表指的是在建立表時指定的partition的分割槽空間。hive可以對資料按照某列或者某些列進行分割槽管理,所...

大資料 Hive 簡介

第一部分 hive簡介 什麼是hive hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類sql查詢功能。本質是將sql轉換為mapreduce程式 第二部分 為什麼使用hive 面臨的問題 人員學習成本太高 專案週期要求太短 我只是需要乙個簡單的環境 ...