Hadoop的datanode超時時間設定

2022-08-02 09:00:13 字數 648 閱讀 4323

datanode程序死亡或者網路故障造成datanode無法與namenode通訊,

namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。

hdfs預設的超時時長為10分鐘+30秒。如果定義超時時間為timeout,則超時時長的計算公式為:

timeout = 2 * heartbeat.recheck.interval + 10 *dfs.heartbeat.interval。

而預設的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval預設為3秒。

需要注意的是hdfs-site.xml 配置檔案中的

heartbeat.recheck.interval的單位為毫秒,

dfs.heartbeat.interval的單位為秒。

所以,舉個例子,如果heartbeat.recheck.interval設定為5000(毫秒),dfs.heartbeat.interval設定為3(秒,預設),則總的超時時間為40秒。

hdfs-site.xml中的引數設定格式:

heartbeat.recheck.interval

2000

dfs.heartbeat.interval

1

hadoop的datanode無法啟動

這一周在centos裡安裝了偽分布式的hadoop做測試,但沒想到的是按網上的步驟配置後datanode節點怎麼也沒辦法啟動。後來通過分析啟動日誌後發現fs.data.dir引數設定的目錄許可權必需為755,要不啟動datanode節點啟動就會因為許可權檢測錯誤而自動關閉。提示資訊如下 arn or...

Hadoop的datanode無法啟動

hadoop 的datanode 無法啟動 hdfs site 中配置的dfs.data.dir 為 usr local hadoop hdfs data 用bin hadoop start all.sh 啟動hdoop 用jps 命令檢視守護程序時,沒有datanode 訪問http localh...

Hadoop入門 初識DataNode

hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位,在datanode中,檔案被分為檔案塊,預設為三個,hdfs預設乙個block大小是128m,通過dfs.block.s...