服役新資料節點

2021-09-22 01:50:42 字數 1203 閱讀 4421

隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。

1. 環境準備

(1)在轉殖一台hadoop105主機

(2)修改ip位址和主機名稱

(3)刪除原來hdfs檔案系統留存的檔案/opt/module/hadoop-2.7.2/datalog

刪除的是你轉殖的hadoop105主機上的

(4)source一下配置檔案

source /etc/profile
2. 服役新節點具體步驟

(1)直接啟動datanode,即可關聯到集群

(2)在hadoop105上上傳檔案

[atguigu@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/license.txt /
(3)如果資料不均衡,可以用命令實現集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

time stamp               iteration#  bytes already moved  bytes left to move  bytes being moved

服役新資料節點

0.需求 隨著公司業務的增長,資料量越來越大,原有的資料節點的容量已經不能滿足儲存資料的需求,需要在原有集群基礎上動態新增新的資料節點。1.環境準備 1 在 hadoop104 主機上再轉殖一台 hadoop105 主機 2 修改 ip 位址和主機名稱 3 刪除原來 hdfs 檔案系統留存的檔案 o...

HDFS DateNoda 服役 新節點

1 轉殖機器 轉殖 wt3 獲取 wt5 2 修改ip和hostname 3 新增hosts 所有節點 可以用scp 4 刪除 data 和 logs 5 source一下配置檔案 簡單 source etc profile 6 配置ssh 目的 wt3 和 wt5 無密登入 a wt3和wt5執行...

Hadoop集群服役新節點

修改ip和主機名稱 增加新節點的ssh免密登陸 刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data刪除原來 hdfs 檔案系統留存的檔案 opt module hadoop 2.7.6 data 在namenode的etc hadoop下新增 dfs.h...