hadoop集群新增和格式化namenode的步驟

2021-09-25 11:04:58 字數 937 閱讀 3055

clusterid

新增了乙個新的識別符號clusterid用於標識集群中所有的節點。當格式化乙個namenode,需要提供這個識別符號或者自動生成。這個id可以被用來格式化加入集群的其他namenode。

格式化namenodes

第一步: 使用如下命令格式化乙個namenode:

> $hadoop_prefix_home/bin/hdfs namenode -format [-clusterid ]

選擇乙個唯一的cluster_id,並且這個cluster_id不能與環境中其他集群有衝突。如果沒有提供cluster_id,則會自動生成乙個唯一的clusterid。

第二步: 使用如下命令格式化其他namenode:

> $hadoop_prefix_home/bin/hdfs namenode -format -clusterid

注意:步驟2中的cluster_id必須與步驟1中的cluster_id一致。如果它們是不同的,則剩餘的namenode將不會成為聯合集群的一部分。

為已存在的hdfs集群新增乙個新的namenode

步驟如下:

配置引數dfs.federation.nameservices。

nameserviceid字尾更新配置。在0.20版本之後配置項的名稱已經更改。對於federation,必須使用新的配置引數。

將與配置相關的新的namenode新增到配置檔案中。

將配置檔案傳播的集群中所有的節點上。

啟動新的namenode、secondary/backup。

重新整理datanode收集新新增的namenode,執行命令如下:

> $hadoop_prefix_home/bin/hdfs dfadmin -refreshnamenode :

上述命令必須在集群中所有的datanode上執行。

格式化namenode的作用:生成fsimage

重新格式化hadoop

首先將hdfs site.xml檔案中的 片 dfs.name.dir home hadoop hdfs name namenode上儲存hdfs名字空間元資料 dfs.data.dir home hadoop hdsf data datanode上資料塊的物理儲存位置 中的指定目錄刪除。然後將co...

Hadoop重新格式化

hadoop進行多次的格式化 hdfs namenode format 會導致找不到datanode結點。每次格式化後,名稱結點 的clusterid 集群id 會被新建,而資料結點的clusterid還是原來的,造成名稱結點和資料節點的clusterid不一致 在重新格式化之前一定要先刪除data...

python 格式化和format格式化

格式 name flags width precision typecode name 可選,用於選擇指定的key flags 可選,可提供的值有 右對齊,整數前加正號,負數前加負號 左對齊,正數錢無符號,負數前加負號 空格 右對齊 正數前加空格,負數前加負號 0 右對齊,正數前無符號,負數前加負號...