1.先通過idea獲得程式打包後的jar
2.進入spark的安裝目錄，
啟動master: ./sbin/start-master.sh啟動worker: ./bin/spark-class org.apache
.spark
.deploy
.worker
.worker spark:
可以看到work已經成功的跑起來了！
可以在4040埠檢視job進度：
接下來執行提交命令，將打好的jar包上傳到linux目錄，jar包在專案目錄下的out\artifacts下。
提交作業： ./bin/spark-submit --master spark://localhost:7077 --class
wordcount /home/lucy/learnspark.jar
Spark 的執行過程
spark 支援 standalone yarn mesos kubernetes 等多種部署方案，幾種部署方案的原理也都一樣，只是不同元件角色命名不同，但核心功能和執行流程差不多。具體部署方式可以看官方文件 spark deploy 上面這張圖是官網上的 spark 的執行流程，具體來看 1，sp...
Spark任務執行過程解析
spark submit sparksubmit main submit dorunmain runmain 通過反射，建立我們編寫的主類的例項物件，呼叫main方法 開始執行我們的 初始化sparkcontext物件 建立初始rdd 出發action運算元 提交job worker執行任務 任務結...
Spark執行過程中的錯誤
配置完歷史伺服器之後測試saprkpi案例報以上錯誤。原因在於 spark env.sh和spark defaults.conf中配置logdierctory的路徑埠為8020 預設埠 這樣不對，因為spark產生的日誌檔案儲存到hdfs中，所以spark訪問hdfs的uri應該與hadoop的co...