解決辦法：
開啟master檔案
vim sbin/start-master.sh
在vim命令模式下輸入 /8080
if [ 「$spark_master_webui_port」 = 「」 ]; then
spark_master_webui_port=8080 fi
找到後修改該埠為8001
命令模式下儲存退出
重啟一遍
sbin/start-all.sh
localhost:8001頁面就可以訪問了
netstat -an|grep 7077
tcp6 0 0 192.168.140.128:7077 ::? listen
tcp6 0 0 192.168.140.128:52314 192.168.140.128:7077 established
tcp6 0 0 192.168.140.128:7077 192.168.140.128:52314 established
小結 相關元件啟動順序
start-dfs.sh
start-yarn.sh
start-history-server.sh
spark-***/sbin/start-all.sh #啟動7077
./hive --service metastore & #hive/bin目錄下
後台執行spark submit命令的方法
在使用spark submit執行工程jar包時常常會出現一下兩個問題 1.在程式中手打的log 如system.out.println testrdd.count testrdd.count 常常會因被下乙個job的執行日誌覆蓋掉而無法檢視日誌 2.一旦命令視窗被關閉或者電腦因斷電等原因異常關閉，...
spark submit執行jar包指令碼命令
找到spark submit檔案的目錄 目錄 spark submit master spark executor memory 2g total executor cores 10 driver memory 4g class com.test.main.test test.jar引數 maste...
spark submit常用引數
yarn模式預設啟動2個executor，無論你有多少的worker節點 standalone模式每個worker乙個executor，無法修改executor的數量 partition是rdd中的乙個dataset，一般預設都是2個 executor中的task數量由partition數 最後乙個...