檢查hive上的資料分割槽

2021-07-10 22:01:16 字數 482 閱讀 3409

在hive上,檢測分割槽是否產生的方法很簡單:

show partitions db.table

資料庫名.表名即可

當然也可以以如下的方式展開:

use db;

show parttions table

很多時候,我們生成分割槽的程式和後面根據分割槽成功進行的其他操作的程式並不是在一起的,如果分割槽不成功就繼續下面的任務,會導致最後的結果不正確或是不存在。那如何檢測你想要的分割槽是否生成了呢?我們可以寫乙個shell指令碼。

function check_partition()

傳參的時候只要傳遞表名和所要檢測的分割槽名即可

當有多個分割槽的時候,比如有day和hour兩個分割槽,大同小異

function check_partition_hm()

注意:要標註好day=以及hour=,因為有時候昨天6點的分割槽生成,今天5點的分割槽也生成,要是分開grep的話,會得到今天6點的分割槽已經生成的結果,so~

大資料Hive分割槽

hive組織表到分割槽。它是將乙個表到基於分割槽列,如日期,城市和部門的值相關方式。使用分割槽,很容易對資料進行部分查詢。表或分割槽是細分成桶,以提供額外的結構,可以使用更高效的查詢的資料。桶的工作是基於表的一些列的雜湊函式值。例如,乙個名為tab1表包含雇員資料,如 id,name,dept 和y...

hive的分割槽

表分割槽 分割槽列對應目錄 作用 輔助查詢,縮小查詢範圍,加快資料的檢索速度和對資料按照一定的規格和條件進行管理 新增分割槽 alter table ods cities add if not exists partition year 2015 month 09 day 01 location u...

Hive的分割槽(partition) 動態分割槽

分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是乙個分割槽。這樣查詢時使用分割槽列進行過濾,只需根據列值直接掃瞄對應目錄下的資料,不掃瞄其他不關心的分割槽,快速定位,提高查詢效率。hive中支援兩種型別的分割槽 靜態分割槽sp static partition 動態分割槽dp dy...