使用spark-submit提交local任務時，會輸出很多info資訊：
-------------------------------------------time:1495788633000
ms-------------------------------------------
17/05/26
08:50:33 info scheduler.jobscheduler: finished job streaming job 1495788633000 ms.2
from job set of time 1495788633000
ms17/05/26
08:50:33 info scheduler.jobscheduler: total delay: 0.054 s for time 1495788633000 ms (execution: 0.046
s)17/05/26
from
persistence list
17/05/26
08:50:33 info storage.blockmanager: removing rdd 177
17/05/26
from
persistence list
17/05/26
08:50:33 info storage.blockmanager: removing rdd 176
17/05/26
08:50:33 info rdd.blockrdd: removing rdd 175
from
persistence list
17/05/26
08:50:33 info dstream.socketinputdstream: removing blocks of rdd blockrdd[175] at sockettextstream at cogrouptest.scala:21 of time 1495788633000
ms17/05/26
08:50:33 info storage.blockmanager: removing rdd 175
17/05/26
from
persistence list
17/05/26
08:50:33 info storage.blockmanager: removing rdd 178
17/05/26
from
persistence list
17/05/26
08:50:33 info storage.blockmanager: removing rdd 180
17/05/26
08:50:33 info scheduler.receivedblocktracker: deleting batches: 1495788631000
ms17/05/26
08:50:33 info scheduler.inputinfotracker: remove old batch metadata: 1495788631000
ms17/05/26
08:50:34 info scheduler.jobscheduler: added jobs for time 1495788634000
ms17/05/26
08:50:34 info scheduler.jobscheduler: starting job streaming job 1495788634000 ms.0
from job set of time 1495788634000 ms
可以修改log4j的日誌級別，只輸出關鍵資訊：
1.修改$spark_home/conf/log4j.properties
如果有log4j.properties.template，則複製乙份為log4j.properties
cp log4j.properties.template log4j.properties
2.修改第一行
log4j.rootcategory=info, console
為log4j.rootcategory=error, console
3.再次提交任務，只會輸出關鍵資訊：
-------------------------------------------time:1495788788000
ms-------------------------------------------(helloworld,helloworld_one)
(hello,hello_one)
(join,join_one)
Spark部署模式（一） Local模式
目錄 1.官方求pi案例 直接執行已打成依賴jar包中的指定class 2.編寫scala語言實現功能 3.整個spark運算的流程 4.spark中的driver和executor 5.總結spark中各種組成部分的關係 local模式就是spark執行在單節點的模式，通常用於在本機上練手和測試，...
Spark的local模式環境搭建
簡介 部署模式 執行模式 spark可以在那些情況下執行,spark 框架編寫的應用程式可以執行在本地模式 local mode 集群模式 cluster mode 和雲服務 cloud 方便開發測試和生產部署。spark本地模式的安裝 1.上傳安裝包解壓安裝包 解壓軟體包 tar zxvf spa...
Nutch的local和deploy模式
local模式 1.將hbase安裝目錄下lib 下面的所有 jar 複製到nutch runtime local lib下2.nutch runtime local 下先建立urls目錄mkdir urls，目錄下建立seed.txt touch seed.txt,如果能正常執行，則萬事大吉，你會...