Standalone模式兩種提交任務方式

2021-08-22 18:16:44 字數 1516 閱讀 2484

提交命令-方式1:

./spark-submit

--master spark://node1:7077

--class org.apache.spark.examples.sparkpi

../lib/spark-examples-1.6.0-hadoop2.6.0.jar

1000

提交命令-方式2: 

執行流程

client模式提交任務後,會在客戶端啟動driver程序。

資源申請成功,driver端將task傳送到worker端執行。

worker將task執行結果返回到driver端。

standalone-client提交模式總結:

提交命令:

./spark-submit 

--master spark://node1:7077

--deploy-mode cluster

--class org.apache.spark.examples.sparkpi

../lib/spark-examples-1.6.0-hadoop2.6.0.jar

100

注意:standalone-cluster提交方式,應用程式使用的所有jar包和檔案,必須保證所有的

worker

節點都要有,因為此種方式,spark

不會自動上傳包。

解決方式:

將所有的依賴包和檔案打到同乙個包中,然後放在hdfs上。

將所有的依賴包和檔案各放乙份在worker節點上。

standalone-cluster執行流程

cluster模式提交應用程式後,會向master請求啟動driver

master接受請求,隨機在集群一台節點啟動driver程序

driver啟動後為當前的應用程式申請資源

driver端傳送task到worker節點上執行

worker將執**況和執行結果返回給driver端

standalone-cluster提交模式總結:

standalone兩種提交任務的方式,特點如下:

1.  driver負責應用程式資源的申請

2.  任務的分發。

3.  結果的**。

4. 監控task執**況

EPOLL兩種模式

select epoll 的特點 select 的特點 select 選擇控制代碼的時候,是遍歷所有控制代碼,也就是說控制代碼有事件響應時,select 需要遍歷所有控制代碼才能獲取到哪些控制代碼有事件通知,因此效率是非常低。但是如果連線很少的情況下,select 和epoll的lt 觸發模式相比,...

p w m 兩 種 模 式 模式 1 ,2

那是你沒看到關鍵點。看下面這個截圖的內容,紅圈裡面的,不明白就在白紙上抄一遍,應該可以看出區別了吧?pwm1,pwm2就是有效電平無效電平產生區間的區別,其他沒有區別。pwm 中心對齊模式 當 timx cr1 暫存器中的 cms 位不為 00 其餘所有配置對 ocxref ocx 訊號具有相 同的...

FTP兩種連線模式

ftp是有兩種傳輸的模式的,主動模式和被動模式,之前一直沒怎麼去搞明白之,現在找了下資料,重新整理了下 乙個完整的ftp檔案傳輸需要建立兩種型別的連線,一種為檔案傳輸下命令,稱為控制連線,另一種實現真正的檔案傳輸,稱為資料連線。1.控制連線 2.資料連線 ftp控制連線建立之後,即可開始傳輸檔案,傳...