flink學習 flink架構

2021-09-25 03:36:35 字數 446 閱讀 6751

flink結構:

graph:

2個併發度(source為1個併發度)的sockettextstreamwordcount四層執行圖的演變過程:

jobgraph:streamgraph經過優化後生成了 jobgraph,提交給 jobmanager 的資料結構。

executiongraph:jobmanager 根據 jobgraph 生成executiongraph。executiongraph是jobgraph的並行化版本,是排程層最核心的資料結構。

物理執行圖:jobmanager 根據 executiongraph 對 job 進行排程後,在各個taskmanager 上部署 task 後形成的「圖」,並不是乙個具體的資料結構。

flink架構介紹

flink作為基於流的大資料計算引擎,可以說在大資料領域的紅人,下面對flink 1.7的架構進行邏輯上的分析並和spark做了一些關鍵點的對比。如圖1,flink架構分為3個部分,client,jobmanager 簡稱jm 和taskmanager 簡稱tm client負責提交使用者的應用拓撲...

flink學習 2 架構

flink 執行時的元件 任務管理器taskmanager flink的工作程序。通常在flink中會有多個taskmanager執行,每乙個taskmanager都包含了一定數量的插槽 slots 插槽的數量限制了taskmanager能夠執行的任務數量。啟動之後,taskmanager會向資源管...

Flink學習筆記(五) flink資料合流

上一章記錄了flink的分流操作,那麼有分流是不是應該有合流呢?當然是有這樣的操作啦 stream1和stream2流需要合併為stream流 1.union合流 2.connect合流 前置配置 streamexecutionenvironment env streamexecutionenvir...