HDFS四大機制之心跳機制

2021-09-27 10:24:33 字數 1206 閱讀 6151

namenode如何獲取哪乙個datanode是可用的  哪乙個datanode的可用空間?

datanode會定時的向namenode傳送心跳報告 目的告訴namenode自己的存活狀況以及可用空間

這個時間是多久?預設3s

dfs.heartbeat.interval

3determines datanode heartbeat interval in seconds.

每隔3s datanode會向namenode傳送一次心跳報告

datanode向namenode傳送心跳報告具體做什麼?

1.向namenode匯報自己的存活狀況以及可用空間

2.向namenode傳送塊報告

每乙個datanode上儲存的塊的資訊  向namenode做匯報

namenode儲存元資料的時候,按照儲存空間:

1.硬碟

/home/hadoop/data/hadoopdata/name/current

包含3部分內容:

1)抽象目錄樹

2)資料和塊的對應關係

3)資料塊的儲存位置

2.記憶體:

真正的讀寫操作的時候操作的元資料

最初的記憶體中的元資料資訊  只包含,抽象目錄樹 ,資料和塊的對應關係

不包含塊的儲存位置的

使用者讀取的時候 需要塊的儲存位置的

塊資訊是datanode向namenode傳送心跳報告(塊報告) 的時候獲取的

namenode 要想確認乙個datanode是否宕機需要多久?

只經過1次心跳接受不到  判斷datanode宕機  不合理的

預設連續10次心跳接受不到   連續10*3=30s  不間斷

dfs.namenode.handler.count

10the number of server threads for the namenode.

300000

this time decides the interval to check for expired datanodes.

with this value and dfs.heartbeat.interval, the interval of

deciding the datanode is stale or not is also calculated.

the unit of this configuration is millisecond.

Mqtt精髓系列之心跳機制

mqtt精髓系列之心跳機制 2017年11月29日 21 02 21 閱讀數 296 keep alive指定連線最大空閒時間t,當客戶端檢測到連線空閒時間超過t時,必須向broker傳送心跳報文pingreq,broker收到心跳請求後返回心跳響應pingresp。若broker超過1.5t時間沒...

tcp心跳機制

對連線上來的連線,進行檢測,以防止客戶端異常關閉,或線路異常斷開,而伺服器不知道,得到乙個半連線這種情況。當然可以在協議裡加乙個心跳包,然後伺服器端定時檢測,過一段時間就去輪訓一次,看哪些連線超過多少時間沒有反應。超時就關閉。但這樣有點不爽,要自己寫程式碼來完成。還要鎖定連線列表,代價挺大的。記得以...

Eureka 心跳機制

server服務端 server port 8761 eureka client 例項是否在eureka伺服器上註冊自己的資訊以提供其他服務發現,預設為true register with eureka false 此客戶端是否獲取eureka伺服器登錄檔上的註冊資訊,預設為true fetch r...