Hive Group By 常見錯誤

遇到這麼乙個需求，輸入資料為乙個id對應多個name，要求輸出資料為id是唯一的，name隨便取乙個就可以。

執行以下hive ql語句：12

3456

select

sid,

class_id

from

table2

group by sid;

會報錯：

1failed:error insemantic analysis:line1:18expression notingroup by key'class_id'

查了一下，hive有這麼乙個函式collect_set，類似於mysql的group_concat函式，把每個分組的其他字段，按照逗號進行拼接，得到乙個最終字串：12

3collect_set(col)

返回型別：array

解釋：返回乙個去重後的物件集合

將上述的ql語句改一下：

1select sid,collect_set(class_id)from table2 group by sid;

結果是這樣的：12

3456

1[11,12,13]

2[11,14]

3[12,15]

4[12,13]

5[16,14]

7[13,15]

這個時候，我們就可以針對第二列做一些計數、求和操作，分別對應到hive的聚合函式count、sum。

1select sid,collect_set(class_id)[0]from table2 group by sid;

結果如下：12

3456

111211

312412

516713

總結：

hive不允許直接訪問非group by欄位；

對於非group by欄位，可以用hive的collect_set函式收集這些字段，返回乙個陣列；

使用數字下標，可以直接訪問陣列中的元素；

參考文章：

Hive Group By 常見錯誤

遇到這麼乙個需求，輸入資料為乙個id對應多個name，要求輸出資料為id是唯一的，name隨便取乙個就可以。執行以下hive ql語句 1 2 3 4 5 6 select sid,class id from table2 group by sid 會報錯 1 failed error insema...

hive group by聚合函式增強

1.grouping sets grouping sets子句都可以根據union連線的多個group by查詢進行邏輯表示 select a，b，sum c from tab1 group by a，b grouping sets a，b a，b，等價於select a，b，sum c from ...

C 常見錯誤

1.用malloc或farmalloc動態分配記憶體時，如 char buffer buffer char malloc 300 因為並不是在所有的情況下，都會分配成功 所以應加 if buffer null 2.char far buffer buffer char far farmalloc s...