大資料常見面試題 一

2021-09-28 12:24:29 字數 687 閱讀 6437

currenthashmap及cas無鎖演算法(包括樂觀鎖及悲觀鎖)?

bio的缺陷與nio的優勢?

執行緒池的作用及特點,執行緒池各個引數的含義,常見的 cachedthreadpool 和fixedthreadpool的區別?

zookeeper特性、選舉機制、腦裂?

hadoop不同版本之間模組的區別?

hdfs讀寫刪除及合併流程

mapreduce計算原理?

mapreduce的執行流程?

yarn的作用、主要元件?

hive內部表、外部表、分割槽表、分桶表?

資料庫和資料倉儲的特點對比?

hive的udf?

非關係型資料庫和關係型資料庫?

行儲存vs 列儲存?

hbase寫流程?

memstore發生flush的條件?

紅黑樹的畫法、特徵及修正過程?

解釋storm和topology?

storm的併發級別?

storm的併發控制?

資料流分組方式?

storm可靠性?

spark中的窄依賴和窄依賴?

spark的stage及處理流程?

rdd容錯機制?

rdd持久化(快取)?

spark shuffle?

spark調優?

checkpoint機制?

大資料常見面試題整理

今年參加了校園秋招,主要針對招聘大資料研發相關崗位,最後也如願以償找到了大資料軟體開發的工作,在此期間整理了一下比較常見的相關面試題。1.mapreduce實際處理過程 input 2.列出yarn中的關鍵元件,並簡述各關鍵元件內部的互動原理。3.mapreduce的原理理解。4 reduce中的o...

大資料常見面試題之spark core

二.driver的功能 三.hadoop和spark都是平行計算,他們有什麼相同點和不同點 四.rdd 五.簡述寬依賴和窄依賴概念,groupbykey,reducebykey,map,filter,union都是什麼依賴?六.spark如何防止記憶體溢位 七.stage task 和 job的區別...

大資料常見面試題之kafka

四.kafka到sparkstreaming怎麼保證資料完整性,怎麼保證資料不重複消費?五.kafka的消費者高階和低階api區別 六.kafka怎麼保證資料消費一次且僅消費一次 七.kafka保證資料一致性和可靠性 八.spark實時作業宕掉,kafka指定的topic資料堆積怎麼辦 九.kafk...