搭建hadoop集群開發環境1

2021-07-10 19:30:16 字數 1032 閱讀 7092

最近沒事學習一下hadoop,搭建乙個hadoop集群,由於之前接觸linux較少,就順帶著學學linux,這裡將遇到的問題記錄下來

我用的是ubuntu-14.10-desktop-amd64,因為不了解,中間遇到各種問題,這裡重點寫一下遇到的問題,至於搭建hadoop具體步驟,可以檢視下面的鏈結,

一、修改hosts配置檔案

這個檔案是將網域名稱轉換成ip位址,在訪問乙個遠端位址的時候,會首先去檢查hosts檔案看看是不是有對應的ip位址,如果有的話就直接拿來用,不用重新經過dns解析了,這個在linux修改的時候需要用root許可權才能修改,這個ubuntu版本自己不帶vim,所以得自己安裝,在安裝的過程中

先按照提示的 sudo apt-get install vim,

看意思好像是依賴的東西沒有安裝,於是按照提示安裝

還是各種不成功,說是安裝包無效,於是換個思路,安裝vim下面的vim-tiny

開啟然後修改hosts

修改完之後按照步驟該配置ssh,先用搜來的命令ps -e |grep ssh ,檢視是不是開啟了ssh服務,乙個都沒有,乙個都沒有

然後試試重啟一下

結果報這樣個錯誤,name or service not known, 不知道名字或者服務,字面這個意思,於是想到是不是restart這個詞被以為是主機名了,於是

又有問題,(內心是抓狂的), 不能定位到包 opensshd-server,各種搜,說是安裝源不行,替換一下安裝源,路徑是/eta/apt/sources.list

於是乎,接著搞,給出原文

更新一下安裝源,接著安裝opendssh-server

又是依賴的問題,接著安裝 ,要注意版本問題,這裡用到的是client=1:6.1p1-4

具體命令apt-get install openssh-client=1:6.1p1-4

接著安裝apt-get install openssh-server, 然後啟動ssh服務,這裡顯示已經啟動成功

終於成功連上了!!!

先到這裡,後面開始安裝hadoop,遇到問題再接著寫

參考:感謝!!!

搭建Hadoop集群(生產環境)

hadoop是乙個由apache 會所開發的分布式系統基礎架構。使用者可以在不了解分布式底層細節的情況下,開發分布式程式。充分利用集群的威力進行高速運算和儲存。1 hadoop實現了乙個分布式檔案系統 hadoop distributed file system 簡稱hdfs。hdfs有高容錯性的特...

hadoop測試環境搭建1

廢話少說直接乾貨 在虛擬機器裡安裝hadoop,關閉防火牆 配置ip 我的系統環境為 win8系統 vmware11 centos8 1 設定虛擬機器網路通訊模式為host only模式 在虛擬機器目錄下找到vmnetcfg檔案 2 設定windows連線 3 修改linux系統的的ip 命令 if...

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群,兩者邏輯上分離,但物理上常在一起。hdfs集群 負責海量資料的儲存,集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager nodeman...