提交乙個spark作業，報錯：
error spark.sparkcontext：error inilializing sparkcontext.
再提交乙個yarn作業，
hadoop jar /opt/cloudera/parcels/cdh-6.1-/jars/hadoop-examples.jar pi 10 1
報錯：可以看出，是在yarn初始化作業的時候就報錯了，其實是乙個許可權問題。未啟用kerberos前目錄許可權為yarn:yarn，啟用後變成wangkuan:yarn，導致許可權不相容。檢視yarn.nodemanager.local-dirs，rm -rf 該目錄/usercache/*，之後再重啟yarn即可。
spark提交過程分析（standalone模式）
2.1.所有executor都反向註冊到driver上之後，driver結束sparkcontext初始化，會繼續執行我們編寫的 2.2.每執行乙個action就會建立乙個job，job會提交給dagscheduler 2.3 dagscheduler會採用自己的stage劃分演算法將job劃分為多...
Spark的作業提交流程簡介
這是自己讀取原始碼並結合他人的總結，寫的大概的流程，僅供參考 處理使用者的 jar 或者資源檔案，和日誌處理相關 iseventlogenabled eventlogdir eventlogcodec的初始化 初始化非同步監聽 bus livelistenerbus,監聽 spark 事件，用於 s...
Spark 三種作業提交方式
本地方式是在本地 jvm 中啟動乙個程序來模擬執行環境，多個執行緒進行作業執行，主要用於開發測試。standalone,yarn,兩種方式的區別在於 clustermanager 的不同，clustermanager 的作用在於進行各個程序的啟動管理，資源的排程。standalone的 cluste...