如何優雅的停止sparkstreaming程式

2021-09-27 03:15:59 字數 410 閱讀 2453

直接kill -9?不好吧,萬一我這個程式還在處理資料呢?還沒處理完呢?在處理的資料丟失了呢?但是我又想讓它先停一下呢?

好了,直接上**吧(語言組織不好)~

import org.apache.hadoop.conf.configuration

import org.apache.hadoop.fs.

import org.apache.spark.streaming.streamingcontext

trait streamingstopper

}} def isshutdownrequested(): boolean =

}

使用:

extends streamingstopper

stopcontext(ssc)

優雅的停止SparkStreaming

背景 流式任務需要7 24小時執行,但是有時涉及到公升級 需要主動停止程式,但是分布式程式,沒辦法做到乙個個程序去殺死,所有配置優雅的關閉就顯得至關重要了。可以考慮使用外部檔案儲存或者關係型資料庫 快取等來控制內部程式關閉。此例子使用hdfs建立指定檔案來控制程式的關閉,想要更好的在前端進行控制,可...

優雅的停止執行緒

thread類的start 方法啟動多執行緒,thread原本也有提供有停止方法stop 但從1.2開始已經廢除了,因為這種方法可能造成執行緒的死鎖,現在實現執行緒的停止需要通過一種柔和的方式進行。範例 實現執行緒柔和的停止 package multithreading public class s...

執行緒停止繼續 如何優雅的停止乙個執行緒?

在之前的文章中 i code.online 併發程式設計 執行緒基礎 我們介紹了執行緒的建立和終止,從原始碼的角度去理解了其中的細節,那麼現在如果面試有人問你 如何優雅的停止乙個執行緒?你該如何去回答尼 能不能完美的回答尼?這裡有個思考 當處於sleep時,執行緒能否感受到中斷訊號?對於執行緒的停止...