hadoop之 datanode節點超時時間設定

2021-07-15 03:09:02 字數 703 閱讀 2671

datanode程序死亡或者網路故障造成datanode無法與namenode通訊，namenode不會立即把該節點判定為死亡，要經過一段時間，這段時間暫稱作超時時長。hdfs預設的超時時長為10分鐘+30秒。如果定義超時時間為timeout，則超時時長的計算公式為：

timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。
而預設的dfs.namenode.heartbeat.recheck-interval 大小為5分鐘，dfs.heartbeat.interval預設為3秒。需要注意的是hdfs-site.xml 配置檔案中的dfs.namenode.heartbeat.recheck-interval的單位為毫秒，dfs.heartbeat.interval的單位為秒。

所以，舉個例子，如果dfs.namenode.heartbeat.recheck-interval設定為2000（毫秒），dfs.heartbeat.interval設定為1（秒，預設），則總的超時時間為14秒。

hdfs-site.xml中的引數設定格式：

dfs.namenode.heartbeat.recheck-interval


2000


dfs.heartbeat.interval


1

Hadoop入門 初識DataNode

hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位，在datanode中，檔案被分為檔案塊，預設為三個，hdfs預設乙個block大小是128m，通過dfs.block.s...

Hadoop無法啟動DataNode

問題詳述 當我多次通過以下指令格式化namenode之後，格式化namenode bin hdfs namenode format導致我在jps查詢時發現datanode無法啟動 問題原因 多次進行namenode格式化，導致 namenode 和 datanode 的集群 id 不匹配 datan...

Hadoop中datanode無法啟動

1.環境描述 虛擬機器10，centos6.4，偽分布式安裝hadoop。2.問題描述 出現datanode無法啟動。3.錯誤一 指定的檔案目錄許可權不符 檢視 datanode 啟動日誌 cat home hadoop hadoop 0.20.203.0 logs hadoop hadoop da...