flink實戰 廣播狀態的使用

2021-09-29 05:22:32 字數 503 閱讀 7878

broadcast state 是 flink 1.5 引入的新特性。在開發過程中,如果遇到需要下發/廣播配置、規則等低吞吐事件流到下游所有 task 時,就可以使用 broadcast state 特性。下游的 task 接收這些配置、規則並儲存為 broadcaststate, 將這些配置應用到另乙個資料流的計算中 。broadcast state 區別於其他 operator state 的地方有:

broadcast state 類似 map 結構,可以 put get putall remove 等

必須有一條廣播流和一條非廣播流

符合條件的 operator 可以有多個不同名字的 broadcaststate(疑惑:普通的 operator 也可以有多個不同名字的 state 吧,只是不是 broadcaststate。這麼想也說得通了)

動態規則:動態規則是一條事件流

Flink的狀態管理與狀態後端

flink是乙個基於狀態計算的流計算服務。flink將所有的狀態分為兩大類 keyed state 與 operator state 所謂的keyed state指的是flink底層會給每乙個key繫結若干個型別的狀態值,特指操作 keyedstream中所涉及的狀態。所謂operator stat...

android 使用廣播監聽網路狀態

網路狀態發生變化的時候,系統會發出 android.net.conn.connectivity change 下面是實現的 demo packagemark.zhang importandroid.content.broadcastreceiver importandroid.content.con...

Flink實戰案例(十五) Flink的分布式快取

2021年最新版大資料面試題全面開啟更新 flink提供了乙個分布式快取,類似於hadoop,可以使使用者在並行函式中很方便的讀取本地檔案,並把它放在taskmanager節點中,防止task重複拉取。此快取的工作機制如下 程式註冊乙個檔案或者目錄 本地或者遠端檔案系統,例如hdfs或者s3 通過e...