DataNode退役舊資料節點

2021-09-07 05:29:23 字數 2866 閱讀 6510

新增到白名單的主機節點,都允許訪問namenode,不在白名單的主機節點,都會被退出。

配置白名單的具體步驟如下:

(1)在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立

dfs.hosts檔案

[tom@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[tom@hadoop102 hadoop]$ touch dfs.hosts

[tom@hadoop102 hadoop]$ vi dfs.hosts

新增如下主機名稱(不新增

hadoop105)

hadoop102

hadoop103

hadoop104

(2)在namenode的hdfs-site.xml配置檔案中增加dfs.hosts屬性

dfs.hosts

/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts

(3)配置檔案分發

[tom@hadoop102 hadoop]$ xsync hdfs-site.xml

(4)重新整理namenode

[tom@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshnodes

refresh nodes successful

(5)更新resourcemanager節點

[tom@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshnodes

17/06/24 14:17:11 info client.rmproxy: connecting to resourcemanager at hadoop103/192.168.1.103:8033

(6)在web瀏覽器上檢視

4.    如果資料不均衡,可以用命令實現集群的再平衡

[tom@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

time stamp               iteration#  bytes already moved  bytes left to move  bytes being moved

在黑名單上面的主機都會被強制退出。

1.在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目錄下建立dfs.hosts.exclude檔案

[tom@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[tom@hadoop102 hadoop]$ touch dfs.hosts.exclude

[tom@hadoop102 hadoop]$ vi dfs.hosts.exclude

新增如下主機名稱(要退役的節點)

hadoop105

2.在namenode的hdfs-site.xml配置檔案中增加dfs.hosts.exclude屬性

dfs.hosts.exclude

/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude

3.重新整理namenode、重新整理resourcemanager

[tom@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshnodes

refresh nodes successful

[tom@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshnodes

17/06/24 14:55:56 info client.rmproxy: connecting to resourcemanager at hadoop103/192.168.1.103:8033

4.           檢查web瀏覽器,退役節點的狀態為decommission in progress(退役中),說明資料節點正在複製塊到其他節點,如圖3-17所示

5.等待退役節點狀態為decommissioned(所有塊已經複製完成),停止該節點及節點資源管理器。注意:如果副本數是3,服役的節點小於等於3,是不能退役成功的,需要修改副本數後才能退役,如圖3-18所示

[tom@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

stopping datanode

[tom@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

stopping nodemanager

6.    如果資料不均衡,可以用命令實現集群的再平衡

[tom@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

time stamp               iteration#  bytes already moved  bytes left to move  bytes being moved

注意:不允許白名單和黑名單中同時出現同乙個主機名稱。

退役舊資料節點

新增到白名單的主機節點,都允許訪問namenode,不在白名單的主機節點,都會被退出。配置白名單的具體步驟如下 1 在namenode的 opt module hadoop 2.7.2 etc hadoop目錄下建立dfs.hosts檔案 hadoop hadoop102 hadoop pwd op...

退役舊資料節點 白名單退役

1.新增白名單 新增到白名單的主機節點,都允許訪問 namenode,不在白名單的主機節點,都會被退出。配置白名單的具體步驟如下 1 在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目錄下建立 dfs.hosts 檔案 hadoop hadoop102...

退役舊資料節點 黑名單退役

在黑名單上面的主機都會被強制退出。1.在 namenode 的 opt module hadoop 2.7.2 etc hadoop 目 錄下建立dfs.hosts.exclude 檔案 hadoop hadoop102 hadoop pwd opt module hadoop 2.7.2 etc ...