spark的jar包沒必要把所有相關的依賴都打進乙個jar包中，因為這樣會把spark、hadoop本身相關的jar包也打進去，但是這些依賴在用spark-submit命令執行時，會自動載入部署環境中已有的。
/opt/cloudera/parcels/cdh/bin/spark-submit \
–class 「cn.icarevision.its007.upgrade.esindexupgrade」 \
–jars ~/its007/its007-upgrade/lib/dependency/.jar *
~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar
其中–jars是是所有依賴的jar包，這裡我把所有依賴的jar包放到了dependency這個目錄。
spark submit常用引數
yarn模式預設啟動2個executor，無論你有多少的worker節點 standalone模式每個worker乙個executor，無法修改executor的數量 partition是rdd中的乙個dataset，一般預設都是2個 executor中的task數量由partition數 最後乙個...
Spark submit指令碼說明
在spark開發中會遇到spark submit指令碼的編寫，作為小白的我就在這裡對spark submit進行簡單的說明。vi wordcount.sh usr local spark bin spark submit class cn.spark.study.core.wordcountclus...
Spark submit指令碼說明
在spark開發中會遇到spark submit指令碼的編寫，作為小白的我就在這裡對spark submit進行簡單的說明。vi wordcount.sh usr local spark bin spark submit class cn.spark.study.core.wordcountclus...