Hive解析json格式字段

新建hive表

create external table asmp.json_test(

id string,
info string
)row format delimited fields
terminated
by'\t'
lines
terminated
by'\n'
location 'hdfs://nameservice1/user/asmp/json_test'

1	[,,]

2 [,,
]

使用到的函式：

#regexp_replace(string initial_string, string pattern, string replacement) 根據正規表示式處理文字格式

第乙個引數為字段，第二個引數為要替換的文字格式，第三個引數為替換後的目標格式，第二第三個引數均使用正則表達。
#split(string str, string pat) 將字串分割
第乙個引數為操作的字串，第二個引數為分割符。
#lateral view explode()
行轉列，將乙個欄位內的內容拆成多行
concat(
)將多個字串合併為乙個
#get_jason_object(column, "$.parameter") 解析json資料
第乙個引數是選擇的字段，第二個引數是json資料中選擇的引數

Hive 解析複雜json格式字段

本篇文章中所使用的方法來自部落格hive中的lateral view 與 explode函式的使用，感謝大佬的分享。一.問題背景 資料來源hive資料表結構如下 其中info欄位的資料型別為string格式的複雜json結構，例如 需求現在需要統計每個id 中info欄位所對應的使用者數量，而最關鍵...

Hive解析json格式資料

本文將介紹兩個使用hive解析json的小demo 1.hadoop hadoop001 jsondata more rating.json 很多資料.hive hwzhdb create table parsejson jsondata string oktime taken 0.146 seco...

HIVE解析json格式資料

id conditions 312 313 第一步 我們可以看到conditions欄位下的json格式資料，是json串裡面套著類似於list結構,我們先取出。get json object conditions,diyitems 取出之後資料是這樣的 第二步 我們把list結構中每個元素拿出來形...