大資料面 學習筆記 2018 12

2021-09-03 02:56:02 字數 1012 閱讀 4850

**一面:

1、自我介紹

hdfs架構、原理

2、mr原理

3、執行mr的過程中,使用了哪些函式?

4、shuffer版本迭代的過程中更新了什麼?

5、kafka原理,從生產者生產產品到消費者消費過程是怎樣的?

5、flume框架的原理,soure有哪些?sink有哪些?

6、hive如何去重?hive如何行轉列?(內建函式)

7、堆空間的記憶體分配?gc演算法?

8、hadoop中combiner的作用

三點到的公司前台,三點多面試:

現場一面

1、mr得原理,問的很細,好多hadoop權威指南上沒有講的內容都問了。可以好好看一下一些大牛寫的部落格。

2、hql的join,用過沒?類似hive的連線查詢吧。

3、hive得架構,hbase得架構。

4、自己設計表,寫乙個查詢所有課程的成績排前二的學生的id

5、手撕**,遍歷二叉樹

6、手撕**,鍊錶的刪除新增

一面還有一些記不得了。。。

類似下表:

4、手撕**,叫我使用二分查詢找乙個數。

沒有中間休息,接著轟炸

現場三面

1、來了乙個資深面試官吧。來了問了一些常規的問題,學校,自己的編碼能力,因為我在心理健康部待過,問過我心理健康方面的東西。我以為是hr在面我,然後,他動筆了。。。

題目和劍指offer中的39題:陣列中出現的次數超過一半的數字有點類似。

快排,給了劍指offer中的乙個解法。他叫我使用位再想一下。然後手撕**。。。寫完了,說我**有些小問題,蹭蹭蹭的給我小改了一下。

2、然後又問了一些其他的問題,忘記了。。。

現場四面hr面了

都是性格方面,為什麼來北京,薪資,有沒有offer等吧,亂七八糟的問題聊了很多。

終於結束了。。。已經晚上接近7點了。已經虛脫了。

大資料學習筆記

大資料處理是雲計算中非常重要的領域,自google公司提出mapreduce分布式處理框架以來,以hadoop為代表的開源軟體受到越來越多公司的重視和青睞。本文將講述hadoop系統中的乙個新成員 impala。impala架構分析 impala是cloudera公司主導開發的新型查詢系統,它提供s...

大資料學習筆記 1 1 了解大資料

三 bigtable 大表 nosql資料庫 hbase 首先引入兩個個大資料應用場景 從以上兩個例子可以引出大資料的兩個核心問題 資料的儲存 分布式的檔案系統 hdfs hadoop distributed file system 資料的計算 資料的計算 不是演算法 分布式的計算 mapreduc...

滴滴大資料面經

地點 西二旗文思海輝 2月12日,如約到達滴滴面試地點,中間因為hr弄錯了面試地點,耽誤了一些時間。總體的感覺滴滴的氛圍非常好,是我面試的這幾個公司中特別喜歡的之一,面試官非常友善,hr姐姐也是非常熱情。面試開始 2 講專案 因為在實驗室主要做的是通訊和大資料的專案,滴滴這邊又是大資料的職位,因此將...