hadoop集群環境搭建的血淚史

2021-07-09 23:27:15 字數 328 閱讀 1500

環境:

win7環境下用vmware建立了3臺虛擬機器,系統都是ubuntu14.04,hadoop版本2.6.4。

問題:

1.ip的問題。

2./etc/hosts檔案的配置

ubuntu的這個檔案中把主機名對映到ip127.0.1.1。我栽在了這個"臭名昭著"(apache文件中這麼說的)的對映關係上。這個關係一定要注釋掉,不然就刪除掉,然後再加上自己的ip位址。

學新東西,熱情很重要,學習資料也很重要,靠譜的資料能帶你有效的避開很多坑。

另外在查問題的過程中發現一張比較靠譜的帖子,建議需要搭建hadoop集群環境的朋友去這裡看:

搭建hadoop集群開發環境1

最近沒事學習一下hadoop,搭建乙個hadoop集群,由於之前接觸linux較少,就順帶著學學linux,這裡將遇到的問題記錄下來 我用的是ubuntu 14.10 desktop amd64,因為不了解,中間遇到各種問題,這裡重點寫一下遇到的問題,至於搭建hadoop具體步驟,可以檢視下面的鏈結...

搭建Hadoop集群(生產環境)

hadoop是乙個由apache 會所開發的分布式系統基礎架構。使用者可以在不了解分布式底層細節的情況下,開發分布式程式。充分利用集群的威力進行高速運算和儲存。1 hadoop實現了乙個分布式檔案系統 hadoop distributed file system 簡稱hdfs。hdfs有高容錯性的特...

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群,兩者邏輯上分離,但物理上常在一起。hdfs集群 負責海量資料的儲存,集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager nodeman...