搭建Hadoop時候遇到的一些問題以及解決方法

2021-06-12 04:48:13 字數 1375 閱讀 5302

首先我的os是ubuntu 12.10.

1、記住最好先裝open jdk。要是先裝了sun的其實也行,就是後面配置的時候優先順序要設定的高一點,設定個3000神馬的,這樣才能識別為自動項。

dpkg -i hadoop1.0.4.deb
就可以完成安裝。當然安裝之前的準備工作還是要做的。這邊我要提醒大家注意的就是自己在裝ubuntu系統的時候要注意home目錄的安裝許可權,否則和我一樣二逼兮兮到最後沒辦法建立新的使用者,當然這個問題我還沒有解決。估計只能重灌系統了。

具體可以參考 或者hadoop實戰那本書

3、使用dpkg安裝之後有幾個路徑需要記住,乙個是

這個裡面都是hadoop相關的配置檔案。所謂的偽分布式配置啦之類的東西都在這裡

記住,一定要重新設定該資料夾的owner,如果owner不是hadoop的話

chown -r hadoop:hadoop /etc/hadoop
第二個檔案目錄是這個

這個就是examples還有一些lib啊之類所在

也要chown的!!!!!

4、若是使用

hadoop fs -ls
的時候報錯,類似與無法鏈結local host的那種,首先檢查是不是namenode配置的問題。如果不是那就是因為預設的hadoop會把一些臨時檔案放在/tmp資料夾下面。這樣每次重啟之後namenode相關的資訊就會丟失,這個時候就會導致無法鏈結的問題。

我們需要重新設定tmp目錄。在你喜歡的地方建立haoop_tmp資料夾存放臨時檔案

然後在/etc/hadoop/coresite.xml中

hadoop.tmp.dir

~/hadoop_tmp

a base for other temporary directories

一定要記得給這個剛剛建立額hadoop_tmp也要chown!!!!!!不然後面會一直有permission denied的問題!!!!!!!!!!!!!!

5、最後,在使用wordcont的時候。上傳本地檔案到hdfs上的命令如下

hadoop fs -put [src] [dest]
獲得haoop上面的檔案的命令是

hadoop fs -get [src] [dest]
要是還有什麼其他的問題下次接著記下

總有一些時候

總有一些時候,讓人們無法適從。我討厭下雨,卻喜歡雨後清新的環境 我不想努力,卻渴望美妙的成功喜悅感 我規劃不好自己的人生,卻總想著它能始終走在無比精確的道路上。可,不下雨怎麼會有雨後?不努力怎麼會成功?規劃好的人生都有偏離的時候,何況沒有規劃的時候。人生,總在盲目的尋找著屬於自己的天堂,然後,一不小...

寫Python的時候遇到的一些常見的錯誤

1.語法錯誤 if b in list1 print 存在 return else print 不存在 syntaxerror return outside funtion 語法錯誤 return 在函式外使用 解決方法 將return放在函式中 if b in list1 print 存在 els...

搭建dubbo框架的遇到的一些問題

1 tomcat伺服器如果啟動時卡住,也不報錯,在所執行的專案中加上log4j.properties檔案。2 dubbo引用服務時,ip位址必須正確,不然連線不上。原因 dubbo admin.war和你所使用的jdk版本不對,在自己所用的jdk環境下打包。啟動zookeeper root loca...