Spark 的幾種執行模式

2021-10-01 14:25:17 字數 694 閱讀 7557

1.測試或實驗性質的本地執行模式(單機)

2.測試或實現性質的本地偽集群執行模式(單機模擬集群)

3.spark自帶cluster manager的standalone client模式(集群)

4.spark 自帶cluster manager 的standalone cluster模式(集群)

第4種模式和第3種模型的區別:

①客戶端的sparksubmit程序會在應用程式提交給集群之後就退出

④應用程式的結果,會在執行driver程式的節點的stdout中輸出,而不是列印在螢幕上

5.基於yarn的resource manager 的client 模式(集群)

6.基於yarn的resource manager 的 cluster 模式(集群)

1)spark-shell --master yarn --deploy-mode cluster

和第5種執行模式,區別如下:

此外,還有spark on  mesos模式 可以參閱:

spark的幾種模式下的執行流程

7.spark的有幾種部署模式,每種模式特點?1 本地模式 spark不一定非要跑在hadoop集群,可以在本地,起多個執行緒的方式來指定。將spark應用以多執行緒的方式直接執行在本地,一般都是為了方便除錯,本地模式分三類 local 只啟動乙個executor local k 啟動k個execu...

Spark的執行模式

無論是在哪兒提交spark 每提交乙個 spark 任務,都會開啟乙個 driver 我們都有兩種模式 client 客戶端模式 在哪台機器上提交的,那台機器就會開啟 driver 執行緒。cluster 集群模式 spark 集群會在 worker 集群裡面隨機找一台機器,然後那一台就會開啟乙個 ...

spark執行模式

spark的執行模式多種多樣,靈活多變,部署在單機上時,既可以用本地模式執行,也可以用偽分布式模式執行 而當以分布式集群的方式部署時,底層的資源排程既可以依賴於外部的資源排程框架,也可以使用spark內建的standalone模式。對於外部資源排程框架的支援,目前主要包括mesos模式和hadoop...