hive——元資料表含義
1、version -- 查詢版本資訊
fieldtypecomment
ver_id
bigint(20)
id主鍵
schema_version
varchar(127)
hive版本
version_comment
varchar(255)
版本說明
2、dbs -- 儲存hive中所有資料庫的基本資訊
fieldtypecomment
db_id
bigint(20)
資料庫id
desc
varchar(4000)
資料庫描述
db_location_uri
varchar(4000)
資料庫hdfs路徑
name
varchar(128)
資料庫名
owner_name
varchar(128)
資料庫所有者使用者名稱
owner_type
varchar(10)
所有者角色
3、database_params --該錶儲存資料庫的相關引數，在create database時候用
fieldtypecomment
db_id
bigint(20)
資料庫id
param_key
varchar(180)
引數名param_value
varchar(4000)
引數值4、tbls --該表中儲存hive表、檢視、索引表的基本資訊
fieldtypecomment
tbl_id
bigint(20)
表idcreate_time
int(11)
建立時間
db_id
bigint(20)
資料庫id
last_access_time
int(11)
上次訪問時間
owner
varchar(767)
所有者retention
int(11)
保留字段
sd_id
bigint(20)
序列化配置資訊
tbl_name
varchar(128)
表名tbl_type
varchar(128)
表型別view_expanded_text
mediumtext
檢視的詳細hql語句
view_original_text
mediumtext
檢視的原始hql語句
5、table_params --該錶儲存表/檢視的屬性資訊。
fieldtypecomment
tbl_id
bigint(20)
表idparam_key
varchar(256)
屬性名param_value
varchar(4000)
屬性值6、sds --該錶儲存檔案儲存的基本資訊，如input_format、output_format、是否壓縮等。
fieldtypecomment
sd_id
bigint(20)
儲存資訊id
cd_id
bigint(20)
字段資訊id
input_format
varchar(4000)
檔案輸入格式
is_compressed
bit(1)
是否壓縮
is_storedassubdirectories
bit(1)
是否以子目錄儲存
location
varchar(4000)
hdfs路徑
num_buckets
int(11)
分桶數量
output_format
varchar(4000)
檔案輸出格式
serde_id
bigint(20)
序列化類id
7、serds --該錶儲存序列化使用的類資訊
fieldtypecomment
serde_id
bigint(20)
序列化類配置id
name
varchar(128)
序列化類別名
slib
varchar(4000)
序列化類
8、serde_params --該錶儲存序列化的一些屬性、格式資訊,比如：行、列分隔符
fieldtypecomment
serde_id
bigint(20)
序列化類配置id
param_key
varchar(256)
屬性名param_value
varchar(4000)
屬性值9、columns_v2 --該錶儲存表對應的字段資訊。
fieldtypecomment
cd_id
bigint(20)
字段資訊id
comment
varchar(256)
字段注釋
column_name
varchar(128)
欄位名type_name
varchar(4000)
字段型別
integer_idx
int(11)
字段順序
10、partitions --該錶儲存表分割槽的基本資訊。
fieldtypecomment
part_id
bigint(20)
分割槽id
create_time
int(11)
分割槽建立時間
last_access_time
int(11)
最後一次訪問時間
part_name
varchar(767)
分割槽名sd_id
bigint(20)
分割槽儲存id
tbl_id
bigint(20)
表id11、partition_keys --該錶儲存分割槽的字段資訊。
fieldtypecomment
tbl_id
bigint(20)
表idpkey_comment
varchar(4000)
分割槽字段說明
pkey_name
varchar(128)
分割槽欄位名
pkey_type
varchar(767)
分割槽字段型別
integer_idx
int(11)
分割槽字段順序
12、partition_key_vals --該錶儲存分割槽字段值。
fieldtypecomment
part_id
bigint(20)
分割槽id
part_key_val
varchar(255)
分割槽字段值
integer_idx
int(11)
分割槽字段值順序
13、partition_params --該錶儲存分割槽的屬性資訊。
fieldtypecomment
part_id
bigint(20)
分割槽id
param_key
varchar(256)
分割槽屬性名
param_value
varchar(4000)
分割槽屬性值
其他不常用的元資料表：
db_privs：資料庫許可權資訊表。通過grant語句對資料庫授權後，將會在這裡儲存。
tab_col_stats：表字段的統計資訊。使用analyze語句對表字段分析後記錄在這裡。
tbl_col_privs：表字段的授權資訊
part_privs：分割槽的授權資訊
part_col_stats：分割槽欄位的統計資訊。
part_col_privs：分割槽欄位的許可權資訊。
funcs：使用者註冊的函式資訊
func_ru：使用者註冊函式的資源資訊
hive自定義函式
1.建立類，繼承udf package com.hivedemo.udf import org.apache.hadoop.hive.ql.exec.description import org.apache.hadoop.hive.ql.exec.udf 自定義hive函式 description...
Hive 自定義函式
返回 所有自帶的函式 show functions 返回對該函式的解釋 desc function spilt 返回對該函式的使用例子 desc function extended split1.udf user defined function datediff,date format 等函式 一...
Hive 自定義函式
hive 支援自定義udf，udtf，udaf函式 以自定義udf為例 使用乙個名為evaluate的方法 package com.hive.custom import org.apache.hadoop.hive.ql.exec.udf import org.apache.hadoop.io.in...