對應引數改為適合自己的模式即可
//（集群模式）限制資源，後台執行
spark-submit --class test.streamings --master spark: --deploy-mode cluster --executor-memory 500m --total-executor-cores 5 sparkdemo-0.0.1-snapshot.jar
//（集群模式）控制台輸出（不限制資源），ctrl+c結束，可用於除錯
spark-submit --class test.streamings --master spark: sparkdemo-0.0.1-snapshot.jar
//（集群模式）控制台無輸出（不限制資源），後台執行
spark-submit --class test.streamings --master spark: --deploy-mode cluster sparkdemo-0.0.1-snapshot.jar
//(單點模式)控制台輸出日誌，ctrl+c結束，可用於除錯
spark-submit --class test.streamings sparkdemo-0.0.1-snapshot.jar
Spark任務提交jar包依賴解決方案
通常我們將spark任務編寫後打包成jar包，使用spark submit進行提交，因為spark是分布式任務，如果執行機器上沒有對應的依賴jar檔案就會報classnotfound的錯誤。下面有三個解決方法 根據spark官網，在提交任務的時候指定 jars，用逗號分開。這樣做的缺點是每次都要指定...
spark 提交jar包優化
在測試中，使用livy去執行spark程式，採用 片段的方式。但是應用在啟動的時候，會把本地的jar檔案上傳到hdfs，然後再從hdfs分發到其它的運算節點，這個很影響效能。可以在spark的配置檔案spark defaults.conf配置如下內容 第二個引數，主要是刪除應用jar的快取，防止應用...
spark任務執行及jar包
spark的jar包沒必要把所有相關的依賴都打進乙個jar包中，因為這樣會把spark hadoop本身相關的jar包也打進去，但是這些依賴在用spark submit命令執行時，會自動載入部署環境中已有的。opt cloudera parcels cdh bin spark submit clas...