Hive資料傾斜解決辦法總結

2022-03-20 15:05:26 字數 2068 閱讀 6208

資料傾斜是進行大資料計算時最經常遇到的問題之一。當我們在執行hiveql或者執行mapreduce作業時候,如果遇到一直卡在map100%,reduce99%一般就是遇到了資料傾斜的問題。資料傾斜其實是進行分布式計算的時候,某些節點的計算能力比較強或者需要計算的資料比較少,早早執行完了,某些節點計算的能力較差或者由於此節點需要計算的資料比較多,導致出現其他節點的reduce階段任務執行完成,但是這種節點的資料處理任務還沒有執行完成。

在hive中產生資料傾斜的原因和解決方法:

1)group by,我使用hive對資料做一些型別統計的時候遇到過某種型別的資料量特別多,而其他型別資料的資料量特別少。當按照型別進行group by的時候,會將相同的group by欄位的reduce任務需要的資料拉取到同乙個節點進行聚合,而當其中每一組的資料量過大時,會出現其他組的計算已經完成而這裡還沒計算完成,其他節點的一直等待這個節點的任務執行完成,所以會看到一直map 100%  reduce 99%的情況。

解決方法:set hive.map.aggr=true

set hive.groupby.skewindata=true

原理:hive.map.aggr=true 這個配置項代表是否在map端進行聚合,相當於combiner

hive.groupby.skwindata=true 當選項設定為 true,生成的查詢計畫會有兩個 mr job。第乙個 mr job 中,map 的輸出結果集合會隨機分布到 reduce 中,每個 reduce 做部分聚合操作,並輸出結果,這樣處理的結果是相同的 group by key 有可能被分發到不同的 reduce 中,從而達到負載均衡的目的;第二個 mr job 再根據預處理的資料結果按照 group by key 分布到 reduce 中(這個過程可以保證相同的 group by key 被分布到同乙個 reduce 中),最後完成最終的聚合操作。

2)map和reduce優化。

1.當出現小檔案過多,需要合併小檔案。可以通過set hive.merge.mapfiles=true來解決。

2.單個檔案大小稍稍大於配置的block塊的大寫,此時需要適當增加map的個數。解決方法:set mapred.map.tasks個數

3.檔案大小適中,但map端計算量非常大,如select id,count(*),sum(case when...),sum(case when...)...需要增加map個數。解決方法:set mapred.map.tasks個數,set mapred.reduce.tasks個數

3)當hiveql中包含count(distinct)時

如果資料量非常大,執行如select a,count(distinct b) from t group by a;型別的sql時,會出現資料傾斜的問題。

解決方法:使用sum...group by代替。如select a,sum(1) from (select a, b from t group by a,b) group by a;

4)當遇到乙個大表和乙個小表進行join操作時。

解決方法:使用mapjoin 將小表載入到記憶體中。

如:select /*+ mapjoin(a) */ 

a.c1, b.c1 ,b.c2

from a join b 

where a.c1 = b.c1; 

5)遇到需要進行join的但是關聯欄位有資料為空,如表一的id需要和表二的id進行關聯

解決方法1:id為空的不參與關聯

比如:select * from log a 

join users b 

on a.id is not null and a.id = b.id 

union all 

select * from log a 

where a.id is null; 

解決方法2:給空值分配隨機的key值

如:select * from log a 

left outer join users b 

on case when a.user_id is null 

then concat(『hive』,rand() ) 

else a.user_id end = b.user_id; 

參考:文件:

Hive資料傾斜解決辦法總結

我的知乎 darrenchan陳馳 資料傾斜是進行大資料計算時最經常遇到的問題之一。當我們在執行hiveql或者執行mapreduce作業時候,如果遇到一直卡在map100 reduce99 一般就是遇到了資料傾斜的問題。資料傾斜其實是進行分布式計算的時候,某些節點的計算能力比較強或者需要計算的資料...

hive資料傾斜及解決辦法

資料傾斜簡單的來講就是資料分布不均勻。導致在處理資料時,有些任務很快處理結束,而有些任務遲遲未處理完。資料傾斜主要為reduce端傾斜,原因為主要是partition 分割槽 不均勻導致。分割槽是對key求hash值,根據hash值取模 預設 決定該key被分到某個分割槽,從而進入到某個reduce...

Hadoop資料傾斜及解決辦法

資料傾斜 就是大量的相同key被partition分配到乙個分割槽裡,map reduce程式執行時,reduce節點大部分執行完畢,但是有乙個或者幾個reduce節點執行很慢,導致整個程式的處理時間很長,這是因為某乙個key的條數比其他key多很多 有時是百倍或者千倍之多 這條key所在的redu...