Flink on Yarn啟動簡要流程

2021-10-06 01:30:43 字數 500 閱讀 4967

構造am時是通過設定env和cmd設定對應的執行方法和環境變數;

yarn-session.sh下構造am為yarnsessionclusterentryendpoint,構造常駐集群;

run -m yarn-cluster下構造am為yarnsessionclusterentryendpoint,構造常駐集群;

run -m yarn-cluster -d下構造am為yarnjobclusterentryendpoint,構造臨時集群,集群隨任務結束而消亡;

yarn session模式下,實際上am構造完成之後就認為集群已經構造完成,taskmanager是由任務驅動建立;

程序依賴上傳到hdfs,jobmanager相關資訊保管在resourcemanager,taskmanager在構造過程中其實不需要與jm互動,構造完成後才去report,加入集群。

Flink on Yarn啟動問題

一 fink on yarn啟動後自動關閉 使用.bin yarn session.sh n 2 s 2 jm 1024 tm 1024命令啟動,過幾秒就關閉了 經測試發現,是由於分配的記憶體太大導致的,把分配的記憶體調小,嘗試改為800 即可正常啟動。很可能你修改為800的記憶體後,程序還是會被k...

Flink on Yarn模式啟動流程分析

此文已由作者嶽猛授權網易雲社群發布。前提條件 首先需要配置yarn conf dir,hadoop conf dir hadoop conf path其中乙個用來確保flink能夠訪問hdfs和yarn的rm。首先我們通過下面的命令列啟動flink on yarn的集群 bin yarn sessi...

Flink on Yarn 日誌輸出

flink on yarn 模式下,業務應用內部配置的 logback.xml log4j.properties 是無法載入的,flink 會預設採用安裝目錄下的 flink home logback.xml log4j.properties 作為統一的 logger 定義檔案。flink 提供的 ...