Hadoop2 4 Eclipse出現的問題

2021-06-27 04:38:47 字數 2389 閱讀 7641

相關**:

問題描述:32位的hadoop,安裝在了64位的linux系統上。lib包編譯環境不一樣,所以不能使用。

問題解決: 經檢視ubuntu為32位,忽略上述解釋,但是lib包可能需要手工編譯,待解決。2

.hadoop:could only be replicated to 0 nodes, instead of 1

相關**:主要)

問題描述:jps檢視結果

root@finds-virtual-machine:/usr/local/hadoop# jps

11463                                

(空白是怎麼回事)(沒有datanode)

16103 secondarynamenode

16472 nodemanager

15643 namenode

16267 resourcemanager

18059 jps

執行wordcount例項之前執行上傳檔案的命令:

[root@localhost hadoop-0.20.0]# bin/hadoop fs -put input in           此命令不會成功,提示上述錯誤。

問題解決:從日誌中可以看出,原因是因為datanode的clusterid 和 namenode的clusterid 不匹配。

開啟hdfs-site.xml裡配置的datanode和namenode對應的目錄,分別開啟current資料夾裡的version,可以看到clusterid項正如日                               志裡記錄的一樣,確實不一致,

修改datanode裡version檔案的clusterid 與namenode裡的一致

,再重新啟動dfs(執行start-                                     dfs.sh)再執行jps命令可以看到datanode已正常啟動。(這個問題一般是由於兩次或兩次以上的格式化namenode造成的,有兩種                               方法可以解決,第一種方法是刪除datanode的所有資料(及將集群中每個datanode的/hdfs/data/current中的version刪掉,然後                              執行hadoop namenode -format重啟集群,錯誤消失。《推薦》);第二種方法是修改每個datanode的namespaceid(位                                               於/hdfs/data/current/version檔案中)《優先》或修改namenode的namespaceid(位於/hdfs/name/current/version檔案中),                               使其一致。)

出現該問題的原因:在第一次格式化dfs後,啟動並使用了hadoop,後來又重新執行了格式化命令(hdfs namenode -                             format),這時namenode的clusterid會重新生成,而datanode的clusterid 保持不變。

3.eclipse執行wordcount無法找到input 路徑

相關**:解決關鍵)

問題解決:中的路徑配置是正確的。

改正後路徑:hdfs://localhost:9000/user/root/input hdfs://localhost:9000/user/root/output

4.是輸入的問題,但是改過後那三個log4j:warn還在

回答log4j:warn可以不管

。警告是提示你沒有配置log4j,所有的日誌只會輸出在控制台。

要去掉這個警告也可以,配置一下log4j就行,參考如下:

改好log4j後,出現如下問題,org.apache.hadoop.security.accesscontrolexception: 

permission denied: user=think, access=write, inode="/user/root":root:supergroup:drwxr-xr-x

相關**: (感謝wuzhongfei88的帖子)

感謝十年一賤提供的解決方案)

問題描述:如上。

問題解決:因為eclipse使用hadoop外掛程式提交作業時,會預設以 drwho 身份去將作業寫入hdfs檔案系統中,對應的也就是 hdfs 上的/user/*** , 我的                    為/user/hadoop ,   由於 drwho 使用者對hadoop目錄並沒有寫入許可權,所以導致異常的發生。提供的解決方法為:放開 hadoop 目錄的權                      限 , 命令如下 :$ hadoop fs -chmod 777 /user/hadoop             

hadoop 編譯eclipse 外掛程式

使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...

Eclipse開發Hadoop程式

如鏈結 所示,如果想通過eclipse開發hadoop程式,需要以下步驟 3 通過window preferens,配置hadoop map reduce選項。指定hadoop安裝位址。4 配置map reduce locations。在window show view中開啟map reduce l...

eclipse整合Hadoop開發

eclipse整合hadoop開發的準備工作如下 把 hadoop eclipse plugin 1.0.0.jar 放到eclipse的目錄 的 plugins 中,然後重新eclipse即可生效。配置hadoop位址及埠 儲存並重新整理左側的dfs locations 其它配置 5.1解決許可權...