Spark 提交Yarn集群報錯異常

2021-10-23 06:02:12 字數 3155 閱讀 8778



yarn.resourcemanager.hostname<


/name>


node01<


/value>


<


/property>


yarn.nodemanager.aux-services<


/name>


mapreduce_shuffle<


/value>


<


/property>


<


!-- 關閉yarn記憶體檢查 --


>


yarn.nodemanager.pmem-check-enabled<


/name>


false


<


/value>


<


/property>


yarn.nodemanager.vmem-check-enabled<


/name>


false


<


/value>


<


/property>


<


!-- 如果開啟如下配置則需要開啟spark歷史伺服器


/export/servers/hadoop/sbin/start-yarn.sh
如果要整合yarn歷史伺服器和spark歷史伺服器，則還需要如下操作：

/export/servers/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
spark.yarn.historyserver.address node01:


4000
spark.yarn.jars = hdfs:


//node01:


8020


/sparkjars/*
預設情況下, spark 程式執行完畢關閉視窗後, 就無法再檢視執行記錄的 web ui (4040)了, 通過 historyserver 可以提供乙個服務, 通過讀取日誌檔案, 使得我們可以在程式執行結束後, 依然能夠檢視執行過程

cd /export/servers/spark/conf


cp spark-defaults.conf.template spark-defaults.conf
●修改配置

vim spark-defaults.conf

spark.eventlog.enabled true


spark.eventlog.dir hdfs:


//node01:


8020


/sparklog
●修改spark-env.sh

vim spark-env.sh

export spark_history_opts=
scp  -r /export/servers/spark/conf/ @node02:


/export/servers/spark/conf/


scp -r /export/servers/spark/conf/ @node03:


/export/servers/spark/conf/
●重啟集群

/export/servers/spark/sbin/stop-all.sh


/export/servers/spark/sbin/start-all.sh
/export/servers/spark/sbin/start-history-server.sh
●在4000埠檢視歷史日誌(如果載入不出來換瀏覽器試試)

spark 檢視yarn日誌 spark提交任務

standalone模式兩種提交任務方式 standalone client提交任務方式 提交命令 spark submit master spark node1 7077 class org.apache.spark.examples.sparkpi lib spark examples 1.6....

yarn集群無法提交新任務記錄始末

測試通知，hive提交的mr任務卡住乙個小時，無法執行。測試使用的是頁面應用提交的任務，先確定是否是應用的問題。在yarn webui檢視，發現任務已經提交到yarn中，處於accepted狀態。確定應用已經將任務正常提交。檢視ambari介面hive元件，無報錯。在hive客戶端執行簡單查詢命令，...

yarn 集群搭建

啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...