spark的元件組成部分介紹

2021-10-06 15:48:25 字數 1133 閱讀 4380

它會執行客戶端寫好的main方法,並且它會建立sparkcontext物件,該物件是所有spark程式的執行入口。

它就是乙個應用程式,它包括了driver端的**邏輯和任務在執行的時候需要的資源資訊。

3.clustermanager   :它既是給當前任務提供計算資源的外部服務

standalone

它是spark自帶的集群模式,整個任務的資源分配由master負責

yarn

spark程式可以提交到yarn中去執行,整個任務的資源分配由resourcemanager負責。

mesos

就是乙個apache開源的類似於yarn的資源排程平台

4.master

它是整個spark集群的老大,它負責資源的分配。

5.worker

它是整個spark集群的小弟,它負責任務的計算節點

6.excutor

它是乙個程序,它會在worker節點上啟動對應的executor程序

7.task

它就是乙個執行緒,它是以執行緒的方式執行在worker節點的executor程序中。

二.程式的執行方式  

bin/spark-submit \

--classorg.apache.spark.examples.sparkpi \

--master spark://node:7077 \

--executor-memory 1g \

--total-executor-cores 2 \

examples/jars/spark-examples_2.11-2.1.3.jar \

10說明:

--class:指定程式的主類

--executor-memory:指定每乙個executor需要的記憶體大小

--total-executor-cores:執行總的cpu核數

方法組成部分

public static void main string args 訪問許可權修飾符 public protected private 預設 什麼都不寫 普通修飾符 static final abstract 返回值型別 有返回值型別 所有的資料型別都可以充當返回值型別 無返回值型別 void ...

XML組成部分

格式 注意 和xml 不能有空格 結尾 屬性列表 standalone 是否獨立。大多數不設定,了解 結合css的展示資料 標籤名稱自定義 規則 不能以數字標點符號開始 不能以字母xml xml xml.都不行 開始 不能包含空格 名稱中可以有 字母 數字 其他字元 id屬性值唯一 id表示乙個標籤...

url組成部分

1.協議部分 該url的協議部分為 http 這代表網頁使用的是http協議。在internet中可以使用多種協議,如http,ftp等等本例中使用的是http協議。在 http 後面的 為分隔符 3.埠部分 跟在網域名稱後面的是埠,網域名稱和埠之間使用 作為分隔符。埠不是乙個url必須的部分,如果...