解決啟動hadoop時datanode無法啟動

2021-09-08 11:55:47 字數 1630 閱讀 9675

當我們使用hadoop namenode -format格式化namenode時,會在namenode資料資料夾(這個資料夾為自己配置檔案中dfs.name.dir的路徑)中儲存乙個current/version檔案,記錄clusterid,datanode中儲存的current/version檔案中的clustreid的值是第一次格式化儲存的clusterid,這樣,datanode和namenode之間的id不一致

這個是大神的解釋,然後我就根據這個開始找尋以前的clusterid

首先我反覆hadoop namenode -format,導致後來jps的時候發現少了乙個datanode,還有第二種方法是刪除臨時目錄檔案

第一種方法

1.查詢日誌

我是centos7 ,應該查詢到我安裝hadoop的目錄下的日誌,我安裝在了soft下面,所以進入日誌路徑

檢視第乙個檔案的日誌

cat hadoop-centos-datanode-localhost.localdomain.log

從日誌中查詢clusterid,發現如下

複製namenode的clusterid到筆記本上備用

2.查詢datanode的version檔案

從日誌裡面也能看出來路徑是/tmp/hadoop-centos/dfs/data

3.編輯version檔案

vi version

把之前貼上的namenode的clusterid 替換到此clusterid上面

4.至此namenode與datanode的 clusterid,已經一致,直接start-all.sh

jps檢視,大功告成

第二種方法

1.進入\tmp目錄,然後刪除關於hadoop相關的檔案

$>cd /tmp

$>rm -rf hadoop-centos

2.如果已經啟動了集群,就把集群相關的檔案也刪除

$>ssh s202 rm -rf /tmp/hadoop-centos

$>ssh s203 rm -rf /tmp/hadoop-centos

$>ssh s204 rm -rf /tmp/hadoop-centos

3. 格式化檔案系統

$>hadoop namenode -format

4.啟動hadoop程序

$>start-all.sh

解決Hadoop啟動時,沒有啟動datanode

hadoop在多次執行下列指令 hadoop namenode format sbin start dfs.sh經常會出現沒有啟動datanode的情況。執行命令 jps shell 命令 發現沒有datanode執行緒。現給出原因和解決方案 當我們使用hadoop namenode format格...

hadoop啟動頁面 hadoop啟動流程

1 集群分布 啟動hadoop流程 1 關閉防火 機器 node01 04 命令 service iptables stop 2 啟動zk 機器 node02 04 命令 zkserver.sh start 3 啟動hadoop 機器 node01 start dfs.sh hadoop daemo...

hadoop集群啟動時需要輸入密碼

筆者在電腦上配置了hadoop集群後,電腦上的本地ip發生了改變。在啟動集群時,出現不斷輸入密碼的現象。hadoop wh bin sh hadoop home sbin start all.sh this script is deprecated.instead use start dfs.sh ...