Hadoop之 重新格式化HDFS的方案

2021-09-24 04:43:24 字數 1022 閱讀 8943

了解hadoop的同學都知道,hadoop有兩個核心的組成部分,乙個是hdfs,另乙個則是mapreduce,hdfs作為hadoop的資料儲存方案,mapreduce則提供計算服務;同時,hdfs作為一種分布式檔案系統,它的安裝也是需要相應的格式化操作的,如果安裝失敗或者我們需要重新安裝的時候,那我們就需要對hdfs重新進行格式化,這篇文章就和大家一起討論下如何進行hdfs的重新格式化。

重新格式化hdfs系統的方法:

1.把配置檔案修改正確

2.停止hdfs服務(使用jps命令檢視是否有  namenode,datanode,secondary namenode三個程序)

進入 sbin目錄中 執行

sh stop-dfs.sh 

如果使用jps 檢視還有這三個程序中有乙個程序沒有關閉,那使用kill -9 程序號 去關閉程序

3、檢視hdfs-site.xml配置的路徑

我們開啟hadoop的hdfs-site.xml,基本配置如下所示:

dfs.name.dir

file:///data/hadoop/hdfs/name

dfs.data.dir

file:///data/hadoop/hdfs/name

將 dfs.name.dir所指定的目錄資料夾刪除、dfs.data.dir所指定的目錄資料夾在系統中刪除(不要修改配置檔案!)

4、刪除core-site.xml配置檔案指定的相關目錄,主要不要修改配置檔案!!

hadoop.tmp.dir

/usr/local/hadoop-2.6.4/tmp

將hadoop.tmp.dir所指定的目錄在系統中刪除(不要修改配置檔案!)。

5.不要忘記重新新建/tmp資料夾

6、重新執行命令:hdfs  namenode -format

格式化完畢。

這種格式化hdfs的方式是需要把原來hdfs中的資料全部清空,然後再格式化並安裝乙個全新的hdfs。

注:這種格式化方式需要將hdfs中的資料全部清空,以後我們**不需刪除資料即可重新格式化的方法。

重新格式化hadoop

首先將hdfs site.xml檔案中的 片 dfs.name.dir home hadoop hdfs name namenode上儲存hdfs名字空間元資料 dfs.data.dir home hadoop hdsf data datanode上資料塊的物理儲存位置 中的指定目錄刪除。然後將co...

Hadoop重新格式化

hadoop進行多次的格式化 hdfs namenode format 會導致找不到datanode結點。每次格式化後,名稱結點 的clusterid 集群id 會被新建,而資料結點的clusterid還是原來的,造成名稱結點和資料節點的clusterid不一致 在重新格式化之前一定要先刪除data...

Hadoop namenode重新格式化需注意問題

hadoop namenode format 2 hadoop的namenode元資料目錄 即hdfs site.xml配置檔案中的dfs.namenode.name.dir屬性,預設值是 dfs name 同樣如果沒有配置該屬性,那麼hadoop在格式化時將自行建立。必須注意的是在格式化前必須清楚...