Hive建立外部表

2021-07-17 04:36:25 字數 994 閱讀 9321

hive建立外部表

1.  環境需求:

hadoop-2.6.0

hive-1.2.1

hue-3.7.0

2.  開發過程:

1)    建立hdfs目錄

hadoop dfs -mkdir /wy/input

2)    上傳本地資料到hdfs中

hadoop dfs –put/usr/wy/writing.txt /wy/input

注:外部表指在表結構建立以前,資料已經儲存在hdfs中了,通過建立表結構,將資料格式化到表的結構裡。

3)     建立外部表

create externaltable wxeventmenuclick (tousername varchar(255), fromusername varchar(255),createtime varchar(255), msgtype varchar(255), event varchar(255), eventkeyvarchar(255))row format delimited fields terminated by '\|' stored as textfilelocation '/wy/wxeventmenuclick' ;

注:

[row formatdelimited]關鍵字,是用來設定建立的表在載入資料的時候,支援的列分隔符;

[stored asfile_format]關鍵字是用來設定載入資料的資料型別。hive本身支援的檔案格式只有:text file,sequence file。如果檔案資料是純文字,可以使用 [stored astextfile]。如果資料需要壓縮,使用 [stored as sequence] 。通常情況,只要不需要儲存序列化的物件,我們預設採用

[stored astextfile]。

[location]指定hdfs路徑

4)hue檢視表資料

HIVE建立外部表

基礎建表語句 create external table if not exists table name col name data type comment col comment comment table comment partitioned by col name data type c...

hive 外部表 建立示例

hdfs dfs mkdir p external sr sr created hdfs dfs mkdir p external sr sr assign hdfs dfs mkdir p external sr sr cancelled hdfs dfs mkdir p external sr ...

hive建表 一 建立外部表

未被external修飾的是內部表 managed table 被external修飾的為外部表 external table 區別 內部表資料由hive自身管理,外部表資料由hdfs管理 內部表資料儲存的位置是hive.metastore.warehouse.dir 預設 user hive wa...