Hdfs結點格式化後重啟集群

2021-08-09 09:26:02 字數 463 閱讀 7815

在hdfs結點格式化後,集群的id分發生變化。

此時有兩個解決方案:

一、徹底重啟集群

1. 停止整個集群

2. 刪除出現問題的datanode上的dfs.namenode.data.dir, 此變數是在$hadoop_conf_dir/下的hdfs-site.xml裡定義的。

3. 重新格式化namenode, 此後所有在hdfs上的資料都將被擦除!

4. 重啟集群

二、手動更新在datanode上的集群id

1. 在namenode上, $/current/version 裡找到clusterid  ( $在hdfs-site.xml裡定義, 下同 )

2. 在出問題的datanode上, $/current/version 裡找到clusterid, 用步驟1中得到的clusterid覆蓋之。

3. 在問題節點上重啟datanode.

**:

Hadoop重啟需要格式化的問題

hadoop安裝完成後,必須要用haddop namenode format格式化後,才能使用 如果重啟機器,在啟動hadoop後,用hadoop fs ls命令老是報 10 09 25 18 35 29 info ipc.client retrying connect to server loca...

Hadoop之 重新格式化HDFS的方案

了解hadoop的同學都知道,hadoop有兩個核心的組成部分,乙個是hdfs,另乙個則是mapreduce,hdfs作為hadoop的資料儲存方案,mapreduce則提供計算服務 同時,hdfs作為一種分布式檔案系統,它的安裝也是需要相應的格式化操作的,如果安裝失敗或者我們需要重新安裝的時候,那...

hadoop集群新增和格式化namenode的步驟

clusterid 新增了乙個新的識別符號clusterid用於標識集群中所有的節點。當格式化乙個namenode,需要提供這個識別符號或者自動生成。這個id可以被用來格式化加入集群的其他namenode。格式化namenodes 第一步 使用如下命令格式化乙個namenode hadoop pre...