Hadoop 問題 解決

2021-09-26 14:19:28 字數 770 閱讀 4597

問題:執行bin/hdfs namenode -format和start-dfs.sh後,執行jps,發現資料節點datanode未啟動

原因:

執行bin/hdfs namenode -format初始化之後,導致namenode的clusterid和datanode的clusterid不一致

解決方案:

找到name和data的current資料夾(找不到可以到根目錄使用find / -name current查詢所有可能的進而選擇name和data的current資料夾),開啟version檔案,將name的clusterid複製到node的clusterid,記得集群內的其它機器也需要修改

問題:permission denied: user=administrator, access=write, inode="/test/input":hadoop:supergroup:drwxr-xr-x

原因:使用者administator在hadoop上執行操作時被許可權系統拒絕

解決方案:將hadoop_user_name=hadoop新增到系統環境變數

Hadoop問題解決記錄

1.解決unable to load native hadoop library for your platform告警 首先找到對應自己hadoop版本的64位的lib包,可以自己手動去編譯,但比較麻煩,也可以去網上找,好多都有已經編譯好了的。將準備好的64位的lib包解壓到已經安裝好的hadoo...

hadoop 無密碼認證失敗問題解決

今天又不知道誰在集群裡操作了什麼,機器之間的好多認證失敗了,報錯如下 permission denied publickey,gssapi keyex,gssapi with mic 首先檢查了配置檔案 etc ssh sshd config 去掉了下面幾行的注釋 rsaauthentication...

hadoop問題解決 主機名稱更改

hadoop問題解決 主機名更改 前言 今日,博主在更改裝有hadoop的linux系統的主機名時,出現乙個問題,更改玩主機名之後,hadoop的某些程式啟動不起來啟動不起來。後來,經過一番搞a搞,終於解決了,在這裡,記錄一下。1.更改 etc hosts檔案 root yinzhenkun ged...