Spark on yran配置以及開啟歷史記錄服務

2021-10-06 06:52:16 字數 1688 閱讀 1567

環境介紹

jdk 1.8

scala 2.11.12

spark 2.4.5

1. spark-env.s**件

需要根據實際情況修改，在原來模板上只需要追加此行，不需要設定master等等，因為提交yran執行只需要一台機器有spark即可。

# 指定yran的配置檔案目錄
2. spark-defaults.conf/spark/logs目錄要預先建立

spark.yarn.historyserver.address bd01:18080


spark.history.ui.port 18080


spark.history.fs.logdirectory hdfs://mycluster/spark/logs


spark.eventlog.enabled true


spark.eventlog.dir hdfs://mycluster/spark/logs


spark.eventlog.compress true
3. yarn-site.xml建議新增兩項配置

<


!--是否啟動乙個執行緒檢查每個任務正使用的物理記憶體量，如果任務超出分配值，則直接將其殺掉，預設是true -->


yarn.nodemanager.pmem-check-enabled


false


<


!--是否啟動乙個執行緒檢查每個任務正使用的虛擬記憶體量，如果任務超出分配值，則直接將其殺掉，預設是true -->


yarn.nodemanager.vmem-check-enabled


false
測試

sbin/sbin/stop-history-server.sh


sbin/sbin/stop-history-server.sh


# client 方式


bin/spark-submit \


--class org.apache.spark.examples.sparkpi \


--master yarn \


--deploy-mode client \


./examples/jars/spark-examples_2.11-2.4.5.jar \


100 # cluster 方式


GitLab搭建以及配置
gitlab搭建以及配置 作者區域 作者 tsyeyuanfeng關注使用者按鈕 關注文章資料資訊 如果是當前作者，加入編輯按鈕 文章內容 一 系統環境 二 安裝版本 三 安裝方式 以前試過原始碼安裝，過程痛苦無比。此次選擇官方提供的gitlab ce omnibus安裝包。gitlab官網上有詳細...


kafka配置以及安裝
rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...


zookeeper配置以及安裝
leader隨機選舉 1 tar zxvf zookeeper 3.4.9.tar.gz c export servers cd servers ln s zookeeper 3.4.9 zookeeper mv zoo sample.cfg zoo.cfg 2 配置 集群中的follower伺服器...