hadoop面試題,請大家貢獻(15)

2021-07-13 18:06:47 字數 902 閱讀 6745

我相信論壇裡很多人都去面試hadoop啦,我也面試了幾家,現在把面試題寫出來,供分享。

1  hive hdfs,map/reduce,hbase的關係是什麼?  hbase的最小塊是多少?

2  hbase的主件有哪些? 流程是什麼?

3  你在搭建以及應用hadoop的時候,都遇到了什麼問題?

其實感覺他們問題的還是hadoop1.x的基礎上,到現在為止沒有遇到hadoop2.x的問題

拋磚引玉,大夥接著來。

整理一下各位的回帖:(續)

4  ssh的配置,生態圈版本相容問題  

5  udf與udaf的區別 

6  簡述 hadoop工作原理  

7  系統有多少機器/資料量有多大/有哪些節點? 

8  如何確定map/reduce的任務數?  

9  基於槽位slot的理解

10  機架感知

11  map的第乙個引數key,是整型的,由什麼決定的?

12  乙個大檔案是怎麼劃分塊的

13  hadoop map/reduce的連線操作

row key,列族,時間戳

與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式:

1 通過單個row key訪問

2 通過row key的range

3 全表掃瞄

hbase表中的每個列,都歸屬與某個列族。列族是表的chema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為字首。例如courses:history,courses:math

都屬於courses 這個列族。

時間戳hbase中通過row和columns確定的為乙個存貯單元稱為cell。每個 cell都儲存著同乙份資料的多個版本。版本通過時間戳來索引。

Hadoop筆試 面試題

該試題來自董成西彙總 1 mapreduce中排序發生在哪幾個階段?這些排序是否可以避免,為什麼?答 乙個mapreduce作業由map階段和reduce階段兩部分組成,這兩階段會對資料排序,從這個意義上說,mapreduce框架本質就是乙個distributed sort。在map階段,在map階...

hadoop面試題整理

一.問答 1.簡單描述如何安裝配置乙個apache開源版hadoop,只描述即可,無需列出完整步驟,能列出步驟更好。1 安裝jdk並配置環境變數 etc profile 2 關閉防火牆 3 配置hosts檔案,方便hadoop通過主機名訪問 etc hosts 4 設定ssh免密碼登入 5 解壓縮h...

hadoop面試題整理 一

一.問答 1.簡單描述如何安裝配置乙個apache開源版hadoop,只描述即可,無需列出完整步驟,能列出步驟更好。1 安裝jdk並配置環境變數 etc profile 2 關閉防火牆 3 配置hosts檔案,方便hadoop通過主機名訪問 etc hosts 4 設定ssh免密碼登入 5 解壓縮h...