YARN的兩種執行模式

2021-08-21 15:55:24 字數 620 閱讀 6173

yarn是一種資源管理機制,可以基於這種資源管理機制執行多種計算框架,比如mapreduce和storm,任何框架與yarn的結合,都必須遵循yarn的開發模式,下圖為yarn框架的基本原理。

yarn執行模式根據driver在集群中的位置可以分為yarn-client模式和yarn-cluster模式。

yarn-client執行模式如下圖所示

值得注意的是,在sparkcontext啟動過程中,初始化dagshedular排程器, 初始化yarnscheduler和yarnclientshedularbackend,和啟動driverendpoint和client過程,都是在客戶端client過程中進行的。

yarn-cluster執行模式如下圖所示

yarn-client 與 yarn-cluster對比

EPOLL兩種模式

select epoll 的特點 select 的特點 select 選擇控制代碼的時候,是遍歷所有控制代碼,也就是說控制代碼有事件響應時,select 需要遍歷所有控制代碼才能獲取到哪些控制代碼有事件通知,因此效率是非常低。但是如果連線很少的情況下,select 和epoll的lt 觸發模式相比,...

ftp的兩種模式

常用ftp的人都知道,ftp在傳輸檔案的時候分為兩種模式 ascii模式 和 二進位制模式 1 ascii模式是一般是用來傳輸文字檔案的 2 二進位制模式是用來傳輸二進位制檔案的 一般我們使用ftp工具進行檔案傳輸的時候,工具內部應該會識別檔案型別,而如果我們使用windows內建的ftp,在命令列...

XML的兩種模式

color darkblue size medium 在xml使用過程中,往往需要對xml的有效性進行驗證。只要不違反xml格式良好的規則,就可以自由選取標記的名字,用自己習慣的方式描述事物。這就意味著用xml描述相同的事物時,不同的編寫者可能寫出含有不同標記名 採用不同結構的xml文件,這對於資料...