spark的幾種模式下的執行流程

2021-09-29 20:48:26 字數 892 閱讀 9932

7.spark的有幾種部署模式,每種模式特點?

1)本地模式

spark不一定非要跑在hadoop集群,可以在本地,起多個執行緒的方式來指定。將spark應用以多執行緒的方式直接執行在本地,一般都是為了方便除錯,本地模式分三類

· local:只啟動乙個executor

· local[k]:啟動k個executor

· local:啟動跟cpu數目相同的 executor

2)standalone模式

分布式部署集群, 自帶完整的服務,資源管理和任務監控是spark自己監控,這個模式也是其他模式的基礎,

3)spark on yarn模式

分布式部署集群,資源和任務監控交給yarn管理,但是目前僅支援粗粒度資源分配方式,包含cluster和client執行模式,cluster適合生產,driver執行在集群子節點,具有容錯功能,client適合除錯,dirver執行在客戶端

4)spark on mesos模式。官方推薦這種模式(當然,原因之一是血緣關係)。正是由於spark開發之初就考慮到支援mesos,因此,目前而言,spark執行在mesos上會比執行在yarn上更加靈活,更加自然。使用者可選擇兩種排程模式之一執行自己的應用程式:

粗粒度模式(coarse-grained mode):每個應用程式的執行環境由乙個dirver和若干個executor組成,其中,每個executor占用若干資源,內部可執行多個task(對應多少個「slot」)。應用程式的各個任務正式執行之前,需要將執行環境中的資源全部申請好,且執行過程中要一直占用這些資源,即使不用,最後程式執行結束後,**這些資源。

細粒度模式(fine-grained mode):鑑於粗粒度模式會造成大量資源浪費,spark on mesos還提供了另外一種排程模式:細粒度模式,這種模式類似於現在的雲計算,思想是按需分配。

Spark 的幾種執行模式

1.測試或實驗性質的本地執行模式 單機 2.測試或實現性質的本地偽集群執行模式 單機模擬集群 3.spark自帶cluster manager的standalone client模式 集群 4.spark 自帶cluster manager 的standalone cluster模式 集群 第4種模...

Spark的執行模式

無論是在哪兒提交spark 每提交乙個 spark 任務,都會開啟乙個 driver 我們都有兩種模式 client 客戶端模式 在哪台機器上提交的,那台機器就會開啟 driver 執行緒。cluster 集群模式 spark 集群會在 worker 集群裡面隨機找一台機器,然後那一台就會開啟乙個 ...

PHP的幾種執行模式

php一共分為五大執行模式 包括cgi fast cgi cli isapi apache 模組的 dll cgicgi即通用閘道器介面 common gateway inte ce 它是一段程式,通俗的講cgi就象是一座橋,把網頁和web伺服器中的執行程式連線起來,它把html接收的指令傳遞給伺服...