刪除恢復Hadoop集群中的DataNode

2021-09-21 15:34:26 字數 834 閱讀 8415

有時候因為做臨時調整可能需要刪除hadoop集群中的datanode,具體方法如下:

首先在/etc/hadoop/conf/dfs.exclude 中新增要刪除節點的機器名

在控制台頁面中看見顯示了乙個dead  datanodes

[hdfs@hmc ~]$ hadoop dfsadmin -refreshnodes

檢視hdfs的使用報告:[hdfs@hmc ~]$ hadoop dfsadmin -report  紅色字型狀態表示節點退出

name: 192.168.100.210:50010

decommission status : decommissioned

configured capacity: 0 (0 kb)

dfs used: 0 (0 kb)

non dfs used: 0 (0 kb)

dfs remaining: 0(0 kb)

dfs used%: 100%

dfs remaining%: 0%

last contact: thu jan 01 07:00:00 cst 1970

登陸 檢視節點還是有11個

這個時候節點的tasktracker 還在執行,需要手動停止。

然後過一會兒在檢視控制台頁面已經消失掉乙個datanode節點

恢復的過程應該是相反的。先將/etc/hadoop/conf/dfs.exclude 清空

然後啟動taskttacker和datanode程序

tasktracker

datanode

大約過了5分鐘左右在看檢視控制台,已經恢復回來了

檢視一下hdfs使用報告

刪除恢復Hadoop集群中的DataNode

有時候因為做臨時調整可能需要刪除hadoop集群中的datanode,具體方法如下 首先在 etc hadoop conf dfs.exclude 中新增要刪除節點的機器名 在控制台頁面中看見顯示了乙個dead datanodes hdfs hmc hadoop dfsadmin refreshno...

如何恢復Hadoop的誤刪除檔案

利用 hadoop fs rmr 目錄名 刪除目錄時易出現誤刪除的操作,如何解決 建立 站!具體操作為 找到配置檔案core site.xml,在其中新增如下資訊 fs.trash.interval 10080 number of minutes between trash checkpoints....

hadoop集群動態刪除或增加節點

動態刪除節點 進入hadoop目錄的etc hadoop 目錄 1.新建excludes檔案,每行寫乙個要刪除的節點的主機名 2.在hdfs site.xml中增加 dfs.hosts.exclude data hadoop etc hadoop excludes 全路徑 3.在mapred sit...