Flink狀態管理儲存

2022-06-27 19:48:14 字數 395 閱讀 7481

state一般指乙個具體的task/operator的狀態。而checkpoint則表示了乙個flink job,在乙個特定時刻的乙份全域性狀態快照,即包含了所有task/operator的狀態。

儲存機制 statebackend(狀態後端) ,預設情況下,state 會儲存在 taskmanager 的記憶體中,checkpoint 會儲存在 jobmanager 的記憶體中。

state 和 checkpoint 的儲存位置取決於 statebackend 的配置。基於記憶體的 memorystatebackend、基於檔案系統的 fsstatebackend、基於rockdb儲存介質的 rocksdbstate-backend

state:flink中包含兩種基礎的狀態:keyed state和operator state。

Flink 狀態管理

有些任務的結果不僅僅依賴於當前的輸入,也依賴於之前的輸入結果資訊,因此對中間結果狀態等的儲存就很有必要。在flink中,我們可以這樣理解state 某task operator在某時刻的乙個中間結果。flink提供了豐富的狀態訪問介面和高效的容錯機制,當前flink中有兩個基本的state keye...

Flink的狀態管理與狀態後端

flink是乙個基於狀態計算的流計算服務。flink將所有的狀態分為兩大類 keyed state 與 operator state 所謂的keyed state指的是flink底層會給每乙個key繫結若干個型別的狀態值,特指操作 keyedstream中所涉及的狀態。所謂operator stat...

七 Flink的狀態管理以及狀態程式設計

總結flink中的狀態分為兩大類 1 managered state 被flink所管理維護的狀態,可以直接使用。常用 運算元狀態。operator state 鍵控狀態。keyed state 2 raw state 不被flink所管理,可以自己指定。比較複雜,控制底層邏輯可以使用。狀態與運算元...