偽分布式下DataNode無法啟動問題

2022-03-29 23:21:32 字數 1336 閱讀 2770

datanode無法啟動:

問題原因:

執行檔案系統格式化時,會在namenode資料資料夾(即配置檔案中dfs.name.dir在本地系統的路徑)中儲存乙個current/version檔案,記錄namespaceid,標識了所格式化的namenode的版本。如果我們頻繁的格式化namenode,那麼datanode中儲存(即配置檔案中dfs.data.dir在本地系統的路徑)的current/version檔案只是你第一次格式化時儲存的namenode的id,因此就會造成datanode與namenode之間的id不一致。

解決方法:

把配置檔案中dfs.data.dir在本地系統的路徑下的current/version檔案中的namespaceid改為與dfs.name.dir在本地系統的路徑下的current/version檔案中的namespaceid一樣。

問題解決。

重新安裝了hadoop,無法啟動datanode,在瀏覽器中輸入http://localhost:50070,點選頁面中的namenode logs鏈結,在logs頁面點選hadoop-hadoop-datanode-ubuntu.log 鏈結,檢視日誌:可以看到:

2015-12-15

15:10:50,733 warn org.apache.hadoop.metrics2.impl.metricssystemimpl:

source name ugi already exists! 2015-12-15

15:10:50,837 warn org.apache.hadoop.hdfs.server.datanode.datanode: invalid directory in dfs.data.dir: incorrect permission for /usr/local/hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x

解決辦法:修改hdfs下name和data資料夾的許可權:

hadoop@tinylcy:/usr/local/hadoop/hdfs$ sudo chmod g-w data/hadoop@tinylcy:/usr/local/hadoop/hdfs$ sudo chmod g-w name/
重啟即可。

偽分布式下hadoop的datanode無法啟動

通過jps檢視服務發現,缺少datanode 執行檔案系統格式化時 即執行命令 bin hadoop namenode format 後 會在namenode資料資料夾 即配置檔案中dfs.name.dir在本地系統的路徑 中保 存乙個current version 我的路徑為 usr local ...

zookeeper偽分布式

wget解壓 tar zxvf zookeeper 3.4.5 cdh5.9.3.tar.gz c opt 進入 opt 目錄修改檔名 mv zookeeper 3.4.5 cdh5.9.3 zookeeper01進入 opt zookeeper01 conf目錄設定配置檔案 cp zoo samp...

hadoop偽分布式

首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...