spark 作為乙個資料處理框架和計算引擎，被設計在所有常見的集群環境中執行, 在國
內工作中主流的環境為 yarn，不過逐漸容器式環境也慢慢流行起來。接下來，我們就分別
看看不同環境下 spark 的執行
local 模式
想啥呢，你之前一直在使用的模式可不是 local 模式喲。所謂的 local 模式，就是不需
要其他任何節點資源就可以在本地執行 spark **的環境，一般用於教學，除錯，演示等，
之前在 idea 中執行**的環境我們稱之為開發環境，不太一樣。
Spark 建立執行環境SparkEnv
sparkenv 構造步驟 1.建立安全管理器securitymanager 主要對許可權 賬號進行設定，若用yarn作為集群管理器，則需要證書生成secret key登入。2.建立基於akka的分布式訊息系統actorsystem spark使用它來實現併發程式設計，也用它來傳送分布式訊息。spa...
Spark執行架構
job 包含多個task組成的平行計算，乙個dag觸發的作業，由action運算元觸發，在sparkcontext中通過runjob方法向spark提交job stage job的排程單位，每個job會根據rdd的寬依賴關係被切分成很多stage，每個stage中包含一組相同的task，這組task...
spark執行模式
spark的執行模式多種多樣，靈活多變，部署在單機上時，既可以用本地模式執行，也可以用偽分布式模式執行 而當以分布式集群的方式部署時，底層的資源排程既可以依賴於外部的資源排程框架，也可以使用spark內建的standalone模式。對於外部資源排程框架的支援，目前主要包括mesos模式和hadoop...