Flink任務的失敗恢復

2021-10-19 22:02:07 字數 840 閱讀 3878

在我們寫完flink程式並部署伺服器上後,我們希望程式會一直執行下去。但總會有很多情況會導致全部或部分任務出現異常而導致程式中止,這個時候就希望任務能夠自動處理這些異常情況。

在flink中提供了4種重啟策略,這裡簡單記錄一下。

一、固定延遲重啟策略

固定延遲重新啟動策略嘗試給定次數重新啟動作業。如果超過最大嘗試次數,則該作業最終將失敗。在兩次連續的重新啟動嘗試之間,重新啟動策略將等待固定的時間。

通過在中設定以下配置引數,預設啟用此策略flink-conf.yaml。

restart-strategy: fixed-delay
key

預設說明

restart-strategy.fixed-delay.attempts

1重試次數,整數

restart-strategy.fixed-delay.delay

1s延遲時間,如:10s

例如:

restart-strategy.fixed-delay.attempts: 3

restart-strategy.fixed-delay.delay: 10 s

程式設計設定:

val env = executionenvironment.getexecutionenvironment()

env.setrestartstrategy(restartstrategies.fixeddelayrestart(

3, // number of restart attempts

time.of(10, timeuni

Flink03 Flink中怎麼提交任務

1.flink web ui 下面詳細介紹 2.命令列 在flink安裝的根目錄下執行 bin flink run c 包名.主類名 p 並行度引數 jar包路徑 程式引數測試例子 bin flink run c com.scau.zcw.streamwordcount p 3 opt jarhom...

hive on tez 任務失敗

最近再hue 集群查詢任務經常失敗,經過幾天的觀察,終於找到原因,報錯如下 分析 taskid task 1514128895713 0770 1 00 000006 失敗了幾次,失敗的原因是container被高優先順序的任務搶占了。而task最大的失敗次數預設是4.當集群上的任務比較多時,比較容...

Ansible 處理失敗的任務

1 管理play中任務錯誤 1 ansible評估任務的返回 從而確定任務是成功還是失敗 2 通常而言,當任務失敗時,ansible將立即在該主機上中止play的其餘部分並且跳過所有後續任務,但有些時候,可能希望即使在任務失敗時也繼續執行play 2 忽略任務失敗 1 預設情況下,任務失敗時play...