hive基於json格式建立hive表

由於前段的資料是json格式的，因此想基於json建表。

hive裡是使用命令新增jar包

add jar hdfs:///user/hive/jars/hive-hcatalog-core-1.1.0-cdh5.13.3.jar;

##基於sjon檔案建表##

單條json文字的內容

,

"params": 
}

create external table if not exists plc_data

(prims mapcomment "plc基礎資訊", 
params mapcomment "plc明細資訊"
)comment "plc資料彙總表"
partitioned by (partition_day string)
row format serde 'org.apache.hive.hcatalog.data.jsonserde'
location
'hdfs:///data/flink/plc_data/';

將資料放置到相應的hdfs目錄下面：

/data/flink/plc_data/partition_day=20181101

這個名稱根據你的資料分割槽而定，使用命令掛在分割槽目錄

alter table plc_data add partition (partition_day=20181101);

hive> select prims['plcordercode'],params from plc_data;

ok6es7 313-5bf03-0ab0 
time taken: 1.177 seconds, fetched: 1 row(s)

Hive處理json格式資料

1 資料示例 假設info表中存有兩個字段，分別是id，content content 2 使用hive內建函式 get json object json tuple regexp replace 3 說明 使用get json object 解析content，獲取properties，使用reg...

Hive解析json格式資料

本文將介紹兩個使用hive解析json的小demo 1.hadoop hadoop001 jsondata more rating.json 很多資料.hive hwzhdb create table parsejson jsondata string oktime taken 0.146 seco...

HIVE解析json格式資料

id conditions 312 313 第一步 我們可以看到conditions欄位下的json格式資料，是json串裡面套著類似於list結構,我們先取出。get json object conditions,diyitems 取出之後資料是這樣的 第二步 我們把list結構中每個元素拿出來形...