spark sumbit返回狀態為0的問題

2021-09-02 09:01:28 字數 380 閱讀 1695

spark是乙個實時的分布式計算引擎,在大叔據領域屬於後起之秀,表現非凡,但是spark在使用的過程中也存在不少問題,這裡主要說一下spark-sumbit的問題。

spark-sumbit是spark提交任務的乙個指令碼,這個指令碼提交的任務可能失敗也可能成功,但是spark-sumbit這個指令碼總是執行成功的,也就是說我們不能根據spark-sumbit 來判斷我們提交的任務是否成功了,這是個比較大的問題,官方描述如下:

但是根據目前測試的情況來看,spark-sumbit還是不能準確捕獲退出狀態,在經過spark上下文環境之後中間異常推出返回狀態依然是0,所以這個bug雖然有修復但是還沒有徹底修復!

其實這個需要在我們自己的**中丟擲異常才可以,使用exit退出程式spark捕獲不到推出狀態。

squid返回狀態碼

tcp hit squid發現請求資源的貌似新鮮的拷貝,並將其立即傳送到客戶端。tcp miss squid沒有請求資源的cache拷貝。tcp refersh hit squid發現請求資源的貌似陳舊的拷貝,並傳送確認請求到原始伺服器。原始伺服器返回304 未修改 響應,指示squid的拷貝仍舊是...

HTTP返回狀態碼

只列出了部分常見的 1xx 指示資訊 表示請求已接收,需要繼續處理 100 continue 客戶端應當繼續傳送請求。2xx 成功 表示請求已倍成功接收 理解 接收 200 ok 請求已成功。3xx 重定向 表示需要客戶端採取進一步的操作才能完成請求 300 multiple choices 可選重...

nginx返回狀態碼

http的請求頭標籤 if modified since與last modified 200 伺服器成功返回網頁 403 伺服器拒絕請求。404 請求的網頁不存在 499 客戶端主動斷開了連線。500 伺服器遇到錯誤,無法完成請求。502 伺服器作為閘道器或 從上游伺服器收到無效響應。503 服務不...