Spark環境搭建之Spark On Yarn

注意：

關閉之前的spark-standalone集群

/export/server/spark/sbin/stop-all.sh

配置yarn歷史伺服器並關閉資源檢查

vim /export/servers/hadoop/etc/hadoop/yarn-site.xml

<

!-- 配置yarn主節點的位置 -->
yarn.resourcemanager.hostname
node01
yarn.nodemanager.aux-services
mapreduce_shuffle
<
!-- 設定yarn集群的記憶體分配方案 -->
yarn.nodemanager.resource.memory-mb
20480
yarn.scheduler.minimum-allocation-mb
2048
yarn.nodemanager.vmem-pmem-ratio
2.1<
!-- 開啟日誌聚合功能 -->
yarn.log-aggregation-enable
true
<
!-- 設定聚合日誌在hdfs上的儲存時間 -->
yarn.log-aggregation.retain-seconds
604800
<
!-- 設定yarn歷史伺服器位址 -->
!-- 關閉yarn記憶體檢查 -->
yarn.nodemanager.pmem-check-enabled
false
yarn.nodemanager.vmem-check-enabled
false

cd /export/servers/hadoop/etc/hadoop

scp -r yarn-site.xml root@node02:$pwd
scp -r yarn-site.xml root@node03:$pwd
關閉yarn：
/export/server/hadoop/sbin/stop-yarn.sh
開啟yarn：
/export/server/hadoop/sbin/start-yarn.sh

進入配置目錄

cd /export/servers/spark/conf
修改配置檔案名稱
mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
新增內容：
spark.eventlog.enabled true
spark.eventlog.dir hdfs://node01:8020/sparklog/
spark.eventlog.compress true
spark.yarn.historyserver.address node01:18080

修改配置檔案

vim /export/servers/spark/conf/spark-env.sh
增加如下內容：
## 配置spark歷史日誌儲存位址
spark_history_opts=
"-dspark.history.fs.logdirectory=hdfs://node01:8020/sparklog/ -dspark.history.fs.cleaner.enabled=true"
注意:sparklog需要手動建立
hadoop fs -mkdir -p /sparklog

進入目錄

cd /export/servers/spark/conf
修改日誌屬性配置檔案名稱
mv log4j.properties.template log4j.properties
改變日誌級別
vim log4j.properties
修改內容如下：

vim /export/servers/spark/conf/spark-defaults.conf

新增內容：
spark.yarn.jars hdfs://node01:8020/spark/jars/*
分發同步-可選
cd /export/servers/spark/conf
scp -r spark-defaults.conf root@node02:$pwd
scp -r spark-defaults.conf root@node03:$pwd

-啟動mrhistoryserver服務，在node01執行命令

mr-jobhistory-daemon.sh start historyserver

Spark開發環境搭建

二 將這個包解壓到 usr spark 目錄下 三 進入目錄 usr spark spark 2.1.0 bin 選擇需要啟動的指令碼，例如python的shell pyspark 啟動成功後如下圖所示 export spark home usr spark spark 2.1.0 path pa ...

spark部署，環境搭建

spark 部署，環境搭建 部署spark 一 安裝 hadoop 1.改名 33 master 32 node1 34 node2 2.配置三者互相 ssh無密碼登陸 3.設定環境變數。配置配置檔案 logstash與kafka pgsql安裝 安裝psycopg wget tarxfpsycop...

Spark的local模式環境搭建

簡介 部署模式 執行模式 spark可以在那些情況下執行,spark 框架編寫的應用程式可以執行在本地模式 local mode 集群模式 cluster mode 和雲服務 cloud 方便開發測試和生產部署。spark本地模式的安裝 1.上傳安裝包解壓安裝包 解壓軟體包 tar zxvf spa...