Flink中邏輯計畫和物理計畫的概念劃分和對應關係

2022-06-21 19:42:06 字數 425 閱讀 2723

logicgraph或者jobgraph,其端點為operator,edge為資料流向。

operator往往代表乙個函式。

同乙個分區內的具有連續上下游關係的函式組成operator-chain,乙個operator-chain內的資料來流動過程中不會出現序列化和分區間的網路通訊。

physicalgraph是邏輯執行計畫為並行執行而翻譯的結果,其端點為task,edge為資料流向及資料分割槽。

乙個task描述了乙個operator或者operator-chain在分布式環境下對應的執行例項,是最小的排程單元。

乙個sub-task是處理分割槽資料的task在分布式環境下的乙個分身。

乙個slot一時間只能執行乙個sub-task(業務上乙個slot一時間只能處理一條訊息)。

lvm邏輯卷和任務計畫

lvm logic volume manager 邏輯卷 建立lvm pv 物理卷 vg 捲組 lv 邏輯卷 fdisk dev sda 建立分割槽 partprobe 更新分割槽 pvcreate help 檢視建立物理幫助 命令較多 pvcreate dev 建立好的分割槽名 建立物理卷 pvs...

《SparkSQL核心剖析》 物理計畫篇

物理計畫是將spark sql生成的邏輯運算元樹對映成物理運算元樹,並將邏輯計畫的資訊對映到spark core模型中的rdd transformation action的過程。生成物理計畫後,一條sql語句就變成了可以執行的spark任務。物理計畫的定義在org.apache.spark.sql....

教學計畫 物理必修二

周次 教學內容 第一周5.1曲線運動 5.2質點在平面內的運動 第二週5.3 拋體運動的規律 5.4 平拋運動規律 第三週習題課 5.5 圓周運動 5.6 向心加速度 第四周5.7 向心力 5.8 生活中的圓周運動 第五周習題課 複習評估 單元測試 第六周6.1 行星的運動 6.2 太陽與行星間的引...