Spark on YARN的兩種模式

2021-10-05 17:07:20 字數 1052 閱讀 4938

目錄前言

一、client模式

二、cluster模式

三、兩種模式對比

需要在環境變數裡設定hadoop_conf_dir或yarn_conf_dir,告訴spark如何連線hadoop

可以看到兩種模式,最大的區別就是

client模式driver執行在本地,而cluster模式driver執行在am中。

因此client模式:client是不能退出的,能看到日誌,am僅負責申請資源,driver負責排程dag、分發任務

cluster模式:client是可以退出的,client端看不到日誌,am出負責申請資源,還負責排程dag、分發任務

如何選擇?

我們業務的client機器本身就是在集群中,兩種模式流量並不會差太多,為了方便觀察實時執行日誌,選擇的是client模式

vue 前端路由及vue router兩種模式

路由這個概念最早在後端出現,隨後前後端分離,直至當今的單頁面應用,路由也在一直發生變化。本文來總結一下路由變化和vue router中的路由模式區別相關知識點。早期的頁面都是由html頁面在服務端渲染的,服務端直接返回給客戶端渲染好的html頁面供展示,乙個頁面對應乙個url,首先向服務端請求對應的...

共模電壓和差模電壓兩種理解方式

共模電壓和差模電壓理解 我們需要的是整個有意義的 輸入訊號 要把兩個輸入端看作 整體 就像初中時平面座標需要用 x,y 兩個數表示,而到了高中或大學就只要用乙個 數 v,但這個 v 是由 x,y 兩個數構成的 向量 而共模 差模正是 輸入訊號 整體的屬性,差分輸入可以表示為vi vi vi 也可以表...

mysql的兩種引擎 mysql的兩種儲存引擎

背景 最近在使用spring data jpa操作mysql,在使用jpa的自動建表功能之後,處理多對多關係 manytomany的時候,spring data jpa會給中間表的兩個欄位都加上外來鍵引用。當前使用的版本預設的資料庫儲存引擎為myisam。這種儲存引擎是為資料庫查詢效能而生的,不支援...