關於hive sql報錯問題

2021-08-31 03:45:46 字數 1524 閱讀 4813

生產跑sql 

select sum(col) from (select 1 col from zbg_serv.tf_f_user_svc_item where month_id='201811' and day_id='05' limit 1 union all select 1 col from zbg_serv.tf_f_user_svc where month_id='201811' and day_id='05' limit 1 union all select 1 col from zbg_serv.tf_f_user where month_id='201811' and day_id='05' limit 1)t

報錯:

業務前端報錯如下:

查詢原因:

檢視yarn web頁面對應的job日誌,第二個節點日誌顯示為killed

但是重新執行就能成功。

還沒找出具體原因,又有新的sql報錯同樣錯誤,報錯如下:

從節點日誌看來,沒有明顯的報錯資訊 ,看到後面都是stop命令,並且業務側也沒有明顯報錯,再次重新跑也能重新跑過去。。

從另乙個方面著手解決:

(1)優化am記憶體

這兩也可以加大 一倍,現在報錯都是am出問題

(2)增加切換次數到5

(3)增加超時時間和mr類似

yarn.am.liveness-monitor.expiry-interval-ms

更改後需要重啟rm,切換即可,也可滾動重啟

注:mapreduce.am.max-attempts  這個是map-site檔案

其他在yarn-site檔案

最後總結:集群失敗重跑能過去的job,我們需要優化5個引數,其中三個在介面機,兩個在yarn

更改後需要滾動重啟yarn

關於vulhub環境報錯問題

最近在ubuntu上搭建vulhub環境時在執行 ubuntu ubuntu docker compose up d 報錯 error couldn 在網上找了很多教程找解決方式,效果都不是很好,不過運氣還不差有乙個方法解決了這個問題 ubuntu ubuntu sudo gpasswd a doc...

關於SAXParser載入dtd報錯問題解析

如果使用saxparser進行對xml的解析,不管對saxparse ctory工廠的setinvidating設定為false,saxparser在載入xml的時候,總會對xml中的dtd進行驗證,如果dtd檔案的路徑是絕對的,那麼一般沒有什麼問題,如果使用的路徑是相對的,那麼,就很容易發生dtd...

關於cocos下編譯報錯問題

前言 這個錯誤說 類menuscene的方法createscene沒有定義,實際上我已經定義了,而且對比了累名字串,沒有字母寫錯的情況。標頭檔案中宣告如下 public static cocos2d scene createscene cpp檔案實現如下 include menuscene.h in...