Flink 狀態管理

有些任務的結果不僅僅依賴於當前的輸入，也依賴於之前的輸入結果資訊，因此對中間結果狀態等的儲存就很有必要。

在flink中，我們可以這樣理解state：某task/operator在某時刻的乙個中間結果。

flink提供了豐富的狀態訪問介面和高效的容錯機制，當前flink中有兩個基本的state：keyed state和 operator state。

1. keyed state是基於keyedstream上的狀態，這個狀態與特定的key繫結。對於keyedstream流上每乙個key都對應乙個state(乙個task可能包含多個key，不同的task上不會出現相同的key)。

當前flink提供的keyed state資料結構是: valuestate、liststate、reducestate、mapstate。

2. operator state跟乙個特定的operator的乙個併發例項繫結，乙個task對應乙個state。

當前flink提供的operator state資料結構是: liststate

舉例來說，flink中的kafka connector，就使用了operator state。它會在每個connector例項中，儲存該例項中消費topic的所有(partition, offset)對映。

keyed state和operator state，可以以兩種形式存在：原始狀態和託管狀態。

託管狀態是由flink框架管理的狀態，如valuestate, liststate, mapstate等。

而raw state即原始狀態，由使用者自行管理狀態具體的資料結構，框架在做checkpoint的時候，使用byte來讀寫狀態內容，對其內部資料結構一無所知。通常在datastream上的狀態推薦使用託管的狀態，當實現乙個使用者自定義的operator時，會使用到原始狀態。