大資料開發 面試題

2021-10-10 05:46:45 字數 1206 閱讀 5360

1. hdfs讀寫流程?

2. mr的工作原理

3. rpc通訊機制

4. yarn的工作原理

5. zookeeper的選舉機制

epoch>zxid>serverid

資料 id

伺服器中存放的最新資料 version。

值越大說明資料越新,在選舉演算法中資料越新權重越大。邏輯時鐘

也叫投票的次數,同一輪投票過程中的邏輯時鐘值是相同的。每投完一次票這個資料就會增加,然後與接收到的其它伺服器返回的投票資訊中的數值相比, 根據不同的值做出不同的判斷。

5.1全新集群選舉

假設目前有 5 臺伺服器,每台伺服器均沒有資料,它們的編號分別是

1,2,3,4,5,按編號依次啟動,它們的選擇舉過程如下:

伺服器 1 啟動,給自己投票,然後發投票資訊,由於其它機器還沒有啟動所以它收不到反饋資訊,伺服器 1 的狀態一直屬於 looking。

伺服器 2 啟動,給自己投票,同時與之前啟動的伺服器 1 交換結果,由於伺服器 2 的編號大所以伺服器 2 勝出,但此時投票數沒有大於半數, 所以兩個伺服器的狀態依然是 looking。

伺服器 3 啟動,給自己投票,同時與之前啟動的伺服器 1,2 交換資訊, 由於伺服器 3 的編號最大所以伺服器 3 勝出,此時投票數正好大於半數, 所以伺服器 3 成為領導者,伺服器 1,2 成為小弟。

伺服器 4 啟動,給自己投票,同時與之前啟動的伺服器 1,2,3 交換資訊, 儘管伺服器 4 的編號大,但之前伺服器 3 已經勝出,所以伺服器 4 只能成為小弟。

伺服器 5 啟動,後面的邏輯同伺服器 4 成為小弟。

5.2非全新集群選舉

對於執行正常的 zookeeper 集群,中途有機器 down 掉,需要重新選舉時, 選舉過程就需要加入資料 id、伺服器 id 和邏輯時鐘。

資料 id:資料新的 version 就大,資料每次更新都會更新 version。伺服器 id:就是我們配置的 myid 中的值,每個機器乙個。

邏輯時鐘:這個值從 0 開始遞增,每次選舉對應乙個值。 如果在同一次選舉中,這個值是一致的。

這樣選舉的標準就變成:

1、邏輯時鐘小的選舉結果被忽略,重新投票;

2、統一邏輯時鐘後,資料 id 大的勝出;

3、資料 id 相同的情況下,伺服器 id 大的勝出; 根據這個規則選出 leader。

6. 列舉hadoop的常用命令

前端開發面試題

基礎題 1.談一談你對bootstrap的柵格布局的理解。2.談一談你對mvvm的理解。3.es6的展開運算子有使用過嗎?有什麼用處?4.let和var const的區別是什麼?5.最近有了解前端的發展嗎?有沒有學習什麼最新的前端技術?6.sessionstorage localstorage和co...

軟體開發面試題

1 10棵樹,種五行,每行四顆樹,怎麼種?2 乙個房間有三個開關,分別控制另乙個房間的三盞燈,每個房間只進去一次怎麼判斷三個開關分別控制的是哪盞燈。3 兩個盲人分別買了兩雙黑襪子和兩雙藍襪子放在了同乙個籃子裡,他們走的時候兩個人依然分別拿的是兩雙黑襪子和兩雙藍襪子,他們是如何分的。4 生公尺煮成了熟...

騰訊後台開發面試題

三面是總監面,本人不幸被拒了,這次面試沒有問 專案相關的問題,專案的問題是放在二面問的。三面給人的 感覺要求很嚴,有些問題看似基礎,但問得很細,稍有閃失就被pass,絕不能有模稜兩可那種回答,以下是面試題 1 tcp三次握手的過程,accept發生在三次握手哪個階段?2 tcp流,udp的資料報,之...