服役新資料節點

2021-10-25 19:40:25 字數 1021 閱讀 7826

0.需求

隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。

1.環境準備

(1)在 hadoop104 主機上再轉殖一台 hadoop105 主機

(2)修改 ip 位址和主機名稱

(3)刪除原來 hdfs 檔案系統留存的檔案(/opt/module/hadoop-2.7.2/data 和 log) (4)source 一下配置檔案

[hadoop@hadoop105 hadoop-2.7.2]$ source /etc/profile
服役新節點具體步驟

(1)直接啟動 datanode,即可關聯到集群

[hadoop@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start 

datanode

[hadoop@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start

nodemanager

(2)在 hadoop105 上上傳檔案

[hadoop@hadoop105 hadoop-2.7.2]$ hadoop fs -put 

/opt/module/hadoop-2.7.2/license.txt /

(3)如果資料不均衡,可以用命令實現集群的再平衡

[hadoop@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-

2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

time stamp iteration# bytes already moved bytes

left to move bytes being moved

服役新資料節點

隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。1.環境準備 1 在轉殖一台hadoop105主機 2 修改ip位址和主機名稱 3 刪除原來hdfs檔案系統留存的檔案 opt module hadoop 2.7.2 dat...

HDFS DateNoda 服役 新節點

1 轉殖機器 轉殖 wt3 獲取 wt5 2 修改ip和hostname 3 新增hosts 所有節點 可以用scp 4 刪除 data 和 logs 5 source一下配置檔案 簡單 source etc profile 6 配置ssh 目的 wt3 和 wt5 無密登入 a wt3和wt5執行...

Hadoop集群服役新節點

修改ip和主機名稱 增加新節點的ssh免密登陸 刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data 在namenode的etc hadoop下新增 dfs.h...