上面flink原理與實現的文章中，有引用word count的例子，但是都沒有包含狀態管理。也就是說，如果乙個task在處理過程中掛掉了，那麼它在記憶體中的狀態都會丟失，所有的資料都需要重新計算。從容錯和訊息處理的語義上(at least once, exactly once)，flink引入了state和checkpoint。
首先區分一下兩個概念，state一般指乙個具體的task/operator的狀態。而checkpoint則表示了乙個flink job，在乙個特定時刻的乙份全域性狀態快照，即包含了所有task/operator的狀態。
flink通過定期地做checkpoint來實現容錯和恢復。參考
flink狀態管理和恢復機制
Flink原理與實現 理解Flink中的計算資源
本文所討論的計算資源是指用來執行 task 的資源，是乙個邏輯概念。本文會介紹 flink 計算資源相關的一些核心概念，如 slot slotsharinggroup colocationgroup chain等。並會著重討論 flink 如何對計算資源進行管理和隔離，如何將計算資源利用率最大化等等...
流式處理新秀Flink原理與實踐
隨著大資料技術在各行各業的廣泛應用，要求能對海量資料進行實時處理的需求越來越多，同時資料處理的業務邏輯也越來越複雜，傳統的批處理方式和早期的流式處理框架也越來越難以在延遲性 吞吐量 容錯能力以及使用便捷性等方面滿足業務日益苛刻的要求。我們主要從以下幾個部分來看 一.流式處理的背景 1.流式處理的背景...
Flink學習筆記之Metrics原理與實戰
目錄 1.概述 2.metrics基礎知識介紹 2.1 metric types 2.2 metric group 3.metrics的使用 3.1 system metrics 3.2 使用者自定義metrics 3.3 獲取metrics的方式 3.4 metric reporter 4.met...