Hadoop Spark 常見問題 二

2021-09-24 11:07:12 字數 626 閱讀 7613

spark

*****

1.rdd?

資料集拆分;資料儲存在記憶體或者磁碟;多分割槽;失效自動重構;轉換操作構造

2.rdd倆種依賴?

窄依賴(父rdd中的分割槽最多只能被乙個子rdd的乙個分割槽使用)和寬依賴(子rdd依賴於所有父rdd)

3.spark 角色?

1.driver;main函式在裡面

2.sparcontext:載入配置資訊,初始化執行環境,建立dagscheduler和taskscheduler

3.executor:可以有多個 多執行緒

4.task:

4.spark的幾種執行模式?

1.local:單機執行,spark以多執行緒形式執行在本地;

2.standlone:集群執行(規模不大)

3.yarn-client/yarn-cluster(生產環境);

5.spark執行過程:

生成邏輯查詢計畫-物理查詢計畫-任務排程-執行任務

6.mapreduce比起saprk優缺點:

答:1.通用性強

2.mapreduce對現實的描述過於簡單只有map,reduce倆個,spark細分rdd,分多個partition

常見問題 朗動常見問題

常見問題一 方向盤變沉 檢查胎壓是否正常,輪胎是否過度磨損。助力幫浦不工作,前輪氣壓低。冬天的話,冷車在冬天助力油比較稠,方向會重一點。檢查轉向助力油。1 應該是是助力系統有問題或則助力潤滑油有問題。2 如果你在駕車時感覺方向盤變緊,汽車偏向一側,需要檢查輪胎,或進行車輪平衡 定位。在這些問題剛剛發...

面試常見問題 1 this的常見問題

this 的含義 this關鍵字是乙個非常重要的語法點。毫不誇張地說,不理解它的含義,大部分開發任務都無法完成。前一章已經提到,this可以用在建構函式之中,表示例項物件。除此之外,this還可以用在別的場合。但不管是什麼場合,this都有乙個共同點 它總是返回乙個物件。簡單說,this就是屬性或方...

Spring常見問題

1 利用spring框架程式設計,console列印出log4j warn please initialize the log4j system properly?lupa開源社群 u i w.d t 說 明你的log4j.properties沒有配置。請把log4j.properties放到工程的...