Hadoop重啟需要格式化的問題

2021-06-08 02:48:42 字數 577 閱讀 9452

hadoop安裝完成後,必須要用haddop namenode format格式化後,才能使用;

如果重啟機器,在啟動hadoop後,用hadoop fs -ls命令老是報 10/09/25 18:35:29 info ipc.client: retrying connect to server: localhost/127.0.0.1:9000. already tried 0 time(s).的錯誤,再次執行上面的格式化命令才可以重新啟動成功!

用jps命令,也看不不到namenode的程序, 必須再用命令hadoop namenode format重新格式化後,才能再使用!

原因是:hadoop預設配置是把一些tmp檔案放在/tmp目錄下,重啟系統後,tmp目錄下的東西被清除,所以報錯。

解決方法:在conf/core-site.xml (0.19.2版本的為conf/hadoop-site.xml)中增加以下內容

hadoop.tmp.dir

/var/log/hadoop/tmp

a base for other temporary directories

重啟hadoop後,格式化namenode即可

重新格式化hadoop

首先將hdfs site.xml檔案中的 片 dfs.name.dir home hadoop hdfs name namenode上儲存hdfs名字空間元資料 dfs.data.dir home hadoop hdsf data datanode上資料塊的物理儲存位置 中的指定目錄刪除。然後將co...

Hadoop重新格式化

hadoop進行多次的格式化 hdfs namenode format 會導致找不到datanode結點。每次格式化後,名稱結點 的clusterid 集群id 會被新建,而資料結點的clusterid還是原來的,造成名稱結點和資料節點的clusterid不一致 在重新格式化之前一定要先刪除data...

hadoop操作配置格式化等

1 用ant jar命令重新編譯了hadoop原始碼之後會生成build資料夾,hadoop重新啟動的時候主節點namenode程序會根據build中的版本啟動 導致從節點的datanode程序與主節點的版本不一致 2 必須關閉了hadoop集群再格式化主節點,否則會報錯,dfs name已經被鎖定...