cloudera安裝hadoop集群和相關服務

2021-08-27 14:57:55 字數 1756 閱讀 2211

一.軟體準備:

cm(這是。。。

-agent

),另外還有些需要的關聯軟體下步新增。

的關聯軟體(不清楚具體需要哪些),本人是在本地安裝一次

server

,這樣需要的軟體都在本地源的機器上,按步驟新增到源即可。另外把cm和

cdh4

也放在apache

的服務目錄下,作為源。

二.環境搭配hosts

修改,不詳述。

3.假如有5

臺機器,命名為

server

、test1

、test2

、。。test4

,server

作為伺服器

server

,其他4

臺作為主機,主機的

/etc/hostname

分別更改自己機器的

hostname

。然後再

hosts

檔案加入如下:

test1iptest1

回車test2iptest2

回車。。。。。。。。。

test4

,這樣環境搭配完畢。

三.server安裝

4.在server

機上安裝

server

,先把cloudera-manager-installer.bin放到機器任意目錄下,賦予可執行許可權。然後./cloudera-manager-installer.bin,開始安裝(這裡

server

的apt-get

源已經是本地),這裡會安裝失敗,根據提示可到日誌檔案檢視,一般是

oraclej2.

。。。。。安裝失敗,這裡的原因是安裝此軟體需要你手動輸入

yes,電腦才給你繼續安裝,但是這個過程沒顯示,自然也不能輸入

yes,所以失敗。根據日誌,可以手動

apt-getinstall

需要的軟體名稱,然後

yes、

yes即可,下面還會遇到同樣問題,安裝完即可。

5.提示成功後,在瀏覽器輸入ip

:7180

,進入server

管理端,表示成功

四,cdh

安裝:

6.使用者名稱admin

密碼admin

,然後新增主機(主機必須有

ssh服務),繼續安裝。

7.然後出現主機配置需要的軟體版本,選擇自定義

如果需要impala

、solr

自行新增,這裡都是無。

8.繼續安裝

這裡安裝也會提示失敗,原因同樣是無法輸入yes

,這裡同樣用

apt-get

手動安裝需要的軟體(軟體源已經新增,這些源在

cdh4

或者你自己新增的本地源裡面,其中

cdh4與cm

測點源在你前面配置的時候已經自動新增到

/etc/apt/sources.list.d

內,所以

apt-get

就可以安裝),安裝完成後成功。

9.這裡選擇預設即可,先在主機上安裝postgresql

並啟動成功,然後測試連線、繼續主機檢查

全部正確後

根據需要即可,進入乙個配置目錄,基本可以預設

這樣本地源安裝cdh

就完成了,可能有些主機是

badhealth

,這不是安裝的問題,而是機器的問題,可能是主機時間不一致、可能是空間不夠。

在Linux Ubuntu 上安裝Hadoop

1.安裝 ssh hadoop使用ssh進行通訊,需要為ssh配置免密碼登入 apt get install ssh ssh keygen t rsa p f ssh id rsa cat ssh id rsa.pub ssh authorized keys ssh localhost驗證安裝成功 ...

Cloudera環境搭建

還有另一種更便捷的方式,就是使用cloudera提供的映象,包括了已經配置好的各種大資料服務環境的docker映象和虛擬機器映象。1 docker映象的使用 官網教程 安裝docker映象 sudo apt get install docker.io 從docker hub 匯入cloudera q...

Cloudera平台參考部署架構

cloudera平台軟體體系結構 cloudera的軟體體系結構中包含了以下模組 系統部署和管理,資料儲存,資源管理,處理引擎,安全,資料管理,工具庫以及訪問介面。一些關鍵元件的角色資訊 硬體配置 集群伺服器按照節點承擔的任務分為管理節點和工作節點。管理節點上一般部署各元件的管理角色,工作節點一般部...