配置MapReduce時遇到的問題記錄

2022-03-23 05:01:09 字數 1204 閱讀 7975

1、左邊欄的project explorer裡一直不出現dfs locations.

發現在把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins資料夾下並且eclipse -clean之後依舊不顯示,後來找到問題所在。

在linux虛擬機器裡換了新的eclipse,又重新配置mapreduce。

這次再把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins資料夾下並且eclipse -clean之後,dfs locations出現了。

究其原因是因為:eclipse的眾多版本裡有的不適合配置map/reduce,個別版本功能簡單方便實用但也正是因此導致不好配置。

2、配置:

在window-》preferences-》hadoop map/reduce下配置hadoop路徑:

配置完成,則可以在eclipse的開發模式裡看到這個小象圖示的map/reduce模式:

在出現的服務右擊後的頁面裡,按照預設的常規和自己本地的配置檔案的路徑和內容填寫:

3、在配置好mapreduce的路徑和常規之後,將埠與hadoop配置的一致,之後能正常顯示hdfs下的檔案了。

4、記錄一下dfs location連線的錯誤:

這個是連線問題,配置裡出現了問題(沒有把那些引數的值和自己的hadoop配置時修改的值保持一致)

還有乙個是hadoop版本和hadoop-eclipse-plugin-2.6.0.jar這個外掛程式的版本不匹配,也會報乙個錯。

配置hbase zookeeper時遇到的問題

今天在配置hbase zookeeper時遇到了問題,使用list和create語句時沒有問題,但是使用put語句一直報錯 put students stud003 info name tom 2019 03 09 13 39 08,238 error main client.asyncproces...

解決為Xcode配置Opencv時遇到的問題

今天突發奇想,想把實驗室的coding環境複製一套到mac上面去,這樣上課的時候也能用mac來coding,畢竟mbp便攜和續航不是蓋的。好吧,我承認是為了裝逼。之前也折騰過opencv一段時間,vs上面和eclipse上面都弄過,也遇到過不少問題。說實話,opencv2.4.和opencv3.差別...

greendao3 2 3配置時遇到的問題

in your root build.gradle file buildscript dependencies dependencies 後來發現配置後並不能建立專案並報了如下錯誤 error unable to find method org.gradle.api.tasks.taskinputs...