Flink1 8 yarn 模式報錯

2021-10-23 20:56:41 字數 505 閱讀 8467

./bin/flink run -m yarn-cluster ./test.jar

作業會丟擲異常:

could not identify hostname and port in 'yarn-cluster'
flink1.8中,fix了flink-11266,將flink的包中對hadoop版本進行了剔除,導致flink中直接缺少hadoop的client相關類,無法解析yarn-cluster引數。

執行命令前,匯入hadoop的classpath

export hadoop_classpath=`hadoop classpath`
2. 在bin/config.sh新增如下語句,匯入hadoop的classpath

export hadoop_classpath=`hadoop classpath`

然後把這個包拷貝到你的flink安裝目錄下的 lib 目錄下面

再次執行 就ok.

Flink學習筆記1 Flink框架api介紹

1.獲得 execution 環境 getexecutionenvironment createlocalenvironment createremoteenvironment string host,int port,string.jarfiles 批處理示例 executionenvironme...

大資料 Flink部落 1

大資料兩個主要的儲存系統 hdfs和hbase 批處理比較熱門的大資料框架是hadoop和spark hadoop和spark的最基本的區別 hadoophe spark 這二者都是大資料框架,即便如此二者各自存在的目的是不同的。hadoop是乙個分布式的資料基礎設施,它是將龐大的資料集分派到由若干...

Flink1 10從0到1 (五)Flink的HA

預設情況下,每個 flink 集群只有乙個 jobmanager,這將導致單點故障 spof 如果這個 jobmanager 掛了,則不能提交新的任務,並且執行中的程式也會失敗。使用jobmanager ha,集群可以從 jobmanager 故障中恢復,從而避免單點故障。使用者可以在standal...