1>spark任務的真正的執行時由action運算元進行乙個觸發,最終呼叫sc.runjob方法,在driver端會初始化2個重要的組建dagscheduler和taskscheduler，
a:taskscheduler的主要職責:
a.1負責將dagscheduler傳送過來的的taskset放入到taskset的緩衝池中
a.2taskscheduler中的實現類taskschedulerimpl —》建立tasksetmanager來進行對taskset緩衝池中的taskset進行管理(主要是管理的是taskset的生命週期)
Spark 原始碼分析之spark submit
在客戶端執行指令碼sbin spark submit的時候，通過cat命令檢視原始碼可以看出，實際上在原始碼中將會執行bin spark class org.apache.spark.deploy.sparksubmit 在idea匯入的spark core的原始碼進行分析。首先spark會把初始化...
Spark原始碼閱讀之HistoryServer
概述 historyserver服務可以讓使用者通過spark ui介面，檢視歷史應用 已經執行完的應用 的執行細節，比如job資訊 stage資訊 task資訊等，該功能是基於spark eventlogs日誌檔案的，所以必須開啟eventlogs日誌開關，關於日誌開關的開啟和historyser...
Spark 原始碼分析之SparkContext
saprkcontext非常重要，是spark提交任務到集群的入口 sparkcontext中沒有main方法，在sparkcontext主構造器中，主要做一下四件事情 1.呼叫createsparkenv 建立sparkenv，sparkenv中能夠得到actorsystem物件，用於建立acto...