簡介:部署模式=執行模式=spark可以在那些情況下執行, spark 框架編寫的應用程式可以執行在本地模式（local mode）、集群模式（cluster mode）和雲服務（cloud），方便開發測試和生產部署。
spark本地模式的安裝:
1.上傳安裝包解壓安裝包:
解壓軟體包
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
建立軟連線，方便後期公升級
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark
如果有許可權問題，可以修改為root，方便學習時操作，實際中使用運維分配的使用者和許可權即可
chown -r root /export/server/spark-2.4.5-bin-hadoop2.7
chgrp -r root /export/server/spark-2.4.5-bin-hadoop2.7
//chgrp 允許普通使用者改變檔案所屬的組為root
2.執行spark shell
開箱即用
直接啟動bin目錄下的spark-shell:
進入spark安裝目錄
cd /export/server/spark
##直接使用spark-shell,預設使用local[*]
bin/spark-shell
## 或
3 spark-shell說明
1.直接使用./spark-shell
表示使用local 模式啟動，在本機啟動乙個sparksubmit程序
2.還可指定引數 --master，如：
spark-shell --master local[n] 表示在本地模擬n個執行緒來執行當前任務
spark-shell --master local[*] 表示使用當前機器上所有可用的資源
3.不攜帶引數預設就是
spark-shell --master local[*]
4.後續還可以使用--master指定集群位址，表示把任務提交到集群上執行，如
./spark-shell --master spark://node01:7077,node02:7077
5.退出spark-shell
使用 :quit
Spark部署模式（一） Local模式
目錄 1.官方求pi案例 直接執行已打成依賴jar包中的指定class 2.編寫scala語言實現功能 3.整個spark運算的流程 4.spark中的driver和executor 5.總結spark中各種組成部分的關係 local模式就是spark執行在單節點的模式，通常用於在本機上練手和測試，...
Local模式下Spark程式只輸出關鍵資訊
使用spark submit提交local任務時，會輸出很多info資訊 time 1495788633000 ms 17 05 26 08 50 33 info scheduler.jobscheduler finished job streaming job 1495788633000 ms.2...
Nutch的local和deploy模式
local模式 1.將hbase安裝目錄下lib 下面的所有 jar 複製到nutch runtime local lib下2.nutch runtime local 下先建立urls目錄mkdir urls，目錄下建立seed.txt touch seed.txt,如果能正常執行，則萬事大吉，你會...