Flink on yarn提交job案例

2022-09-20 14:00:18 字數 538 閱讀 6597

# 1. 啟動集群

./bin/start-cluster.sh

# 2. 啟動yarn-session

./bin/yarn-session.sh -n 1 -jm 1024 -tm 1024 -s 1 -nm yarn-session-jobs -d

引數說明:

-n : 指定number of task manager,指定taskmanager個數

-jm: jobmanager所占用的記憶體數,單位為mb

-tm: 指定每個taskmanager所占用的記憶體,單位為mb

-s: 指定每個taskmanager可使用的cpu核數

-d : 後台啟動,session啟動後,程序關閉

# 3. 提交job

引數說明:

-p:指定任務的並行度,如果你在程式**中指定了並行度的話,那麼此處的並行度引數不起作用

-c: job的主入口 + jar path

注:job引數要寫在-c之前,不然指定引數不起作用…

Flink on Yarn 日誌輸出

flink on yarn 模式下,業務應用內部配置的 logback.xml log4j.properties 是無法載入的,flink 會預設採用安裝目錄下的 flink home logback.xml log4j.properties 作為統一的 logger 定義檔案。flink 提供的 ...

Flink on Yarn啟動問題

一 fink on yarn啟動後自動關閉 使用.bin yarn session.sh n 2 s 2 jm 1024 tm 1024命令啟動,過幾秒就關閉了 經測試發現,是由於分配的記憶體太大導致的,把分配的記憶體調小,嘗試改為800 即可正常啟動。很可能你修改為800的記憶體後,程序還是會被k...

Flink on Yarn啟動簡要流程

構造am時是通過設定env和cmd設定對應的執行方法和環境變數 yarn session.sh下構造am為yarnsessionclusterentryendpoint,構造常駐集群 run m yarn cluster下構造am為yarnsessionclusterentryendpoint,構造...