hive 之行拆列explode

2021-06-22 01:30:51 字數 2250 閱讀 1537

1、explode

explode(array)  列表中的每個元素生成一行

explode(map) map中每個key-value對,生成一行,key為一列,value為一列

限制:1、no other expressions are allowed in select

select pageid, explode(adid_list) as mycol... is not supported

2、udtf's can't be nested

select explode(explode(adid_list)) as mycol... is not supported

3、group by / cluster by / distribute by / sort by is not supported

select explode(adid_list) as mycol ... group by mycol is not supported

2、lateral view

可使用lateral view解除以上限制,語法:

lateralview: lateral view explode(expression) tablealias as columnalias (',' columnalias)*

fromclause: from basetable (lateralview)*

案例:table名稱為pageads

輸出結果:

3、多個lateral view

from語句後面可以帶多個lateral view語句

案例:表名:basetable

from後只有乙個lateral view:

select mycol1, col2 from basetable

lateral view explode(col1) mytable1 as mycol1;

結果:

多個lateral view:

select mycol1, mycol2 from basetable

lateral view explode(col1) mytable1 as mycol1

lateral view explode(col2) mytable2 as mycol2;

結果:

4、outer lateral views

比如:select * from src lateral view explode(array()) c as a limit 10;

這條語句中的array欄位是個空列表,這條語句不管src表中是否有記錄,結果都是空的。

而:select * from src lateral viewouterexplode(array()) c as a limit 10;

結果中的記錄數為src表的記錄數,只是a欄位為null。

比如:238 val_238 null

86 val_86 null

311 val_311 null

27 val_27 null

165 val_165 null

409 val_409 null

255 val_255 null

278 val_278 null

98 val_98 null

學習筆記 hive 之行拆列explode

1 explode explode array 列表中的每個元素生成一行 explode map map中每個key value對,生成一行,key為一列,value為一列 限制 1 no other expressions are allowed in select select pageid,e...

HIve之行轉列,列轉行操作

行轉列 將類似如下資料轉為,特徵值,標記資料 表名為test 3列c1,c2,c3資料如下 a,b,1 a,b,2 a,b,3 c,d,4 c,d,5 d,f 6 多行轉換為一列 select c1,c2,concat ws collect set c3 from test group by c1,...

Hive經典SQL之行轉列,列轉行

前言 目前做離線資料計算,由於之前沒有完整的數倉功能,前兩天把cdh的配置和自己的 又除錯了一遍,目前資料已經進入到hive原始資料ods層。使用到了這個經典函式,在這裡記錄一下。版本 hive 1.1.0 建立表挺簡單的,這裡就不演示了。stu name course score 張三語文 98張...