啟動HDFS時datanode無法啟動的坑

2022-08-15 15:24:08 字數 891 閱讀 5797

啟動hdfs,進入sbin目錄,也可以執行./start-all.sh

- $./start-dfs.sh

在此之前要進行namenode的格式化

- $./bin/hdfs namenode -format

格式化是個巨大的坑,慎用!當我們進行多次格式化的時候,會出現datanode無法啟動。原因在於多格式化之後,datanode的clusterid 和 namenode的clusterid 不匹配。這是datanode將無法啟動。

解決方法:開機之後只進行一次格式化,格式化之後會導致datanode的clusterid 和 namenode的clusterid的不一致,就要進行替換。

1.開啟name/current/version檔案 複製clusterid

2.開啟data/current/versio檔案 將clusterid覆蓋跟namenode的clusterid一直即可

3.每個datanode節點的clusterid都要進行替換覆蓋

這時在啟動,輸入jps檢視程序,就可以看到namenode,datanode節點都起來了

出現該問題的原因:在第一次格式化dfs後,啟動並使用了hadoop,後來又重新執行了格式化命令(hdfs namenode-format),這時namenode的clusterid會重新生成,而datanode的clusterid 保持不變。

HDFS的dataNode節點啟動不起來

我把hdfs檔案系統裡的檔案目錄全部刪掉後,在重新啟動hadoop,datanode節點啟動不起來 之後重新刪除hadoop的快取檔案,在格式化重啟解決,操作如下 rm rf home hadoop hd space hdfs data rm rf home hadoop hd space hdfs...

解決啟動hadoop時datanode無法啟動

當我們使用hadoop namenode format格式化namenode時,會在namenode資料資料夾 這個資料夾為自己配置檔案中dfs.name.dir的路徑 中儲存乙個current version檔案,記錄clusterid,datanode中儲存的current version檔案中...

DataNode無法啟動

關於hadoop集群中第二次啟動時,datanode沒有啟動的解決辦法 第一次啟動時沒有問題 第二次啟動時會有檔案殘留 產生乙個新的namenode檔案 id 就不認識以前的namenode了 導致集群不能正常啟動 解決辦法 在格式化之前,刪除datanode裡面的資訊 預設在 tmp,如果配置該目...