hive 元資料庫表描述

2022-05-18 01:46:19 字數 1732 閱讀 4865

表名作用

bucketing_cols

儲存bucket欄位資訊,通過sd_id與其他表關聯

cds乙個欄位cd_id,與sds表關聯

columns_v2

儲存字段資訊,通過cd_id與其他表關聯

database_params

空dbs

儲存hive的database資訊

deleteme1410257703262

空funcs

空func_ru

空global_privs

全域性變數,與表無關

idxs

空index_params

空partitions

分割槽記錄,sd_id, tbl_id關聯

partition_keys

儲存分割槽字段,tbl_id關聯

partition_key_vals

分割槽的值,通過part_id關聯。與partition_keys共用同乙個欄位integer_idx來標示不同的分割槽字段。

partition_params

儲存某分割槽相關資訊,包括檔案數,檔案大小,記錄條數等。通過part_id關聯

part_col_privs

空part_col_stats

空part_privs

空roles

角色表,和global_privs配合,與表無關

sds儲存輸入輸出format等資訊,包括表的format和分割槽的format。關聯欄位cd_id,serde_id

sd_params

空sequence_table

儲存sqeuence相關資訊,與表無關

serdes

儲存序列化反序列化使用的類

serde_params

序列化反序列化相關資訊,通過serde_id關聯

skewed_col_names

空skewed_col_value_loc_map

空skewed_string_list

空skewed_string_list_values

空skewed_values

空sort_cols

排序字段,通過sd_id關聯

table_params

表相關資訊,是否外部表,通過tbl_id關聯

tab_col_stats

空tbls

儲存表資訊,關聯欄位db_id,sd_id,

tbl_col_privs

空tbl_privs

表賦許可權相關資訊,通過tbl_id關聯

version

版本version_copy

版本,通過ver_id關聯

這裡補充介紹hive的乙個工具指令碼metatool。如果需要大量修改元資料庫中的相關記錄,可以具體檢視metatool指令碼的使用方法。 

比如說,對乙個hdfs做ha的時候,如果之前hdfs完整路徑是hdfs://m000,做完ha之後把dfs.nameservices設定為my-cluster之後,hdfs的訪問路徑就變成了hdfs://my-cluster,此時就需要對hive元資料庫中所有記錄作更新,這時可以參考下面的操作, 

使用metatool指令碼,先是新路徑,然後是舊路徑 

/usr/local/bigdata/hive/bin/metatool -updatelocation hdfs://my-cluster hdfs://m000

HIVE 資料庫臨時表

hive從0.14.0開始提供建立臨時表的功能,表只對當前session有效,session退出後,表自動刪除。語法 create temporary table 注意點 1 如果建立的臨時表表名已存在,那麼當前session引用到該錶名時實際用的是臨時表,只有drop或rename臨時表名才能使用...

Hive元資料庫中各個表的含義(十)

在之前找bug的過程中,檢視了元資料庫中的dbs表和sds表,灰常滴感興趣,所以逐個查了一下。首先進入mysql,然後選擇使用所建立的元資料庫 然後檢視總共有幾個元資料表 可以清楚的看到總共有30幾個表。首先先來個簡要分析 表名作用 bucketing cols 儲存bucket欄位資訊,通過sd ...

Hive配置mysql作為元資料庫

安裝mysql,具體操作參考 安裝hive 複製hive default.xml.template和hive env.sh.template,重新命名為hive env.sh和hive site.xml hive default.xml的內容和hive site.xml一樣,系統預設先載入defau...