spark 1.5以前版本，使用者如果要限制receiver的資料接收速率，可以通過設定靜態配製引數「spark.streaming.receiver.maxrate」的值來實現，此舉雖然可以通過限制接收速率，來適配當前的處理能力，防止記憶體溢位，但也會引入其它問題。比如：producer資料生產高於maxrate，當前集群處理能力也高於maxrate，這就會造成資源利用率下降等問題。
為了更好的協調資料接收速率與資源處理能力，1.5版本開始spark streaming可以動態控制資料接收速率來適配集群資料處理能力。背壓機制（即spark streaming backpressure）: 根據jobscheduler反饋作業的執行資訊來動態調整receiver資料接收率。
通過屬性「spark.streaming.backpressure.enabled」來控制是否啟用backpressure機制，預設值false，即不啟用。
Spark Streaming入門詳解
背景 使用spark主要是使用spark streaming，spark streaming的魔力之所在於 1.流式處理，如今是乙個流處理時代，一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式，spark streaming在處理資料的時候會不斷感知資料。所以對構建複...
Spark Streaming 程式監控
官網中指出，spark中專門為sparkstreaming程式的監控設定了額外的途徑，當使用streamingcontext時，在web ui中會出現乙個 streaming 的選項卡，在此選項卡內，統計的內容展示如下 這其中包括接受的記錄數量，每乙個batch內處理的記錄數，處理時間，以及總共消耗...
spark streaming讀取kafka示例
spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...