Hadoop中datanode無法啟動

2021-07-09 12:58:37 字數 1628 閱讀 8716

1.

環境描述:

虛擬機器10,centos6.4,偽分布式安裝hadoop。

2. 問題描述:

出現datanode無法啟動。

3.錯誤一:指定的檔案目錄許可權不符 檢視

datanode

啟動日誌

cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log

檢視日誌發現

這是因為配置檔案中

dfs.data.dir

指定的檔案目錄許可權不符。系統期望是

755,而實際是

775.

解決方案:將

dfs.data.dir

的指定的檔案目錄許可權改為所期望的的值,即

755.

4.錯誤二:多次格式化導致

id不一致

解決方案:將配置檔案中dfs.data.dir在本地系統的路徑下的current/version檔案中的namespaceid改為與dfs.name.dir在本地系統的路徑下的current/version檔案中的namespaceid一樣,例如:

dfs.data.dir

為/home/hadoop/hadoop-0.20.203.0/data

dfs.name.dir

為/home/hadoop/hadoop-0.20.203.0/name

開啟:/home/hadoop/hadoop-0.20.203.0/data/current/version

#thu mar 12 08:52:59 cst 2015

namespaceid=632896805

storageid=ds-605670807-192.168.18.125-50010-1426121579156

ctime=0

storagetype=data_node

layoutversion=-31

開啟:/home/hadoop/hadoop-0.20.203.0/name/current/version

#thu mar 12 09:37:15 cst 2015

namespaceid=1105987439

ctime=0

storagetype=name_node

layoutversion=-31

將其修改為:

#thu mar 12 09:37:15 cst 2015

namespaceid=632896805

ctime=0

storagetype=name_node

layoutversion=-31

4.然後從新重新執行

jps

2269 jobtracker

2203 secondarynamenode

2163 datanode

2439 jps

2376 tasktracker

1996 namenode

Hadoop入門 初識DataNode

hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位,在datanode中,檔案被分為檔案塊,預設為三個,hdfs預設乙個block大小是128m,通過dfs.block.s...

Hadoop無法啟動DataNode

問題詳述 當我多次通過以下指令格式化namenode之後,格式化namenode bin hdfs namenode format導致我在jps查詢時發現datanode無法啟動 問題原因 多次進行namenode格式化,導致 namenode 和 datanode 的集群 id 不匹配 datan...

hadoop的datanode無法啟動

這一周在centos裡安裝了偽分布式的hadoop做測試,但沒想到的是按網上的步驟配置後datanode節點怎麼也沒辦法啟動。後來通過分析啟動日誌後發現fs.data.dir引數設定的目錄許可權必需為755,要不啟動datanode節點啟動就會因為許可權檢測錯誤而自動關閉。提示資訊如下 arn or...