Ambari集群搭建(HDP離線安裝版)

2021-09-24 03:49:25 字數 3501 閱讀 3572

使用版本

設定每台主機的host

首先修改每一台主機的hostname

輸入命令:

vim /etc/hostname
命名隨意,不重複就行。

輸入命令:

vim /etc/hosts
進入hosts編輯頁面

每台主機host的配置都要相同

# 127.0.0.1     localhost ambari01

192.168.2.93 ambari01

192.168.2.94 ambari02

192.168.2.95 ambari03

ip位址後的名稱與hostname中的名稱相同

修改完後ping其他不同的主機,看能不能ping通

鏈結xshell

安裝ubuntu的時候,勾選安裝openssh,系統開啟後就能直接使用ssh服務了。

登入每台主機,輸入命令:

vim /etc/ssh/sshd_config
將該檔案下的permitrootlogin的值改為yes

輸入以下命令重啟一下ssh服務:

/etc/init.d/ssh restart
重啟成功後就能使用xshell連線虛擬機器進行操作了。

免密登入從機

首先在主機上執行sudo ssh-keygen,然後一路回車,生成本機公私金鑰。注意要一路回車,不用輸入任何字元。然後執行以下命令:

ssh-copy-id root@ambari01

ssh-copy-id root@ambari02

ssh-copy-id root@ambari03

注意也要對自己本機也操作一次,不然後面在ambari伺服器上安裝元件的時候本機會顯示permision denied的情況。

執行以上命令時,會依次提示輸入每台從機的root密碼,然後主機就會自動將公鑰傳送給各個從機的機器中並立即生效。

執行後可以通過執行ssh root@ambari02進行測試,可以直接登陸從機,無需密碼。

儲存主機的私鑰

複製乙份剛才主機生成的私鑰,後面ambari搭建集群的時候會需要用到,金鑰的檔案位於/root/.ssh/id_rsa,執行以下命令:

cp /root/.ssh/id_rsa /root
安裝yum和ntp

每個從機、主機都需要安裝yum、ntp,否則後面ambari部署有些會不通過。

apt-get install yum

apt-get install ntp

python版本 > 2.6

一般ubuntu預設都會安裝python2.7,此條可以忽略。

準備工作完畢。下面開始集群的搭建。

ambari只需要在主機上安裝,而後安裝元件時其他從機會自動部署。

繼續在剛才的**上,找到download the ambari repository,選擇對應的虛擬機器版本,然後按照官方手冊指引,root使用者登入主機後依次執行以下三句命令即可完成安裝源的配置。

wget -o /etc/apt/sources.list.d/ambari.list 

apt-key adv --recv-keys --keyserver keyserver.ubuntu.com b9733a7a07513cad

apt-get update

要注意ambari版本的問題,不要版本不一致。

具體操作可以檢視官方操作手冊。

然後進行ambari-server 的安裝

apt-get install ambari-server
一共七百多mb,大概安裝個二十分鐘左右,視網速而定。

執行命令

ambari-server setup
進行配置ambari-server,一路回車進行配置,途中會安裝jdk,選擇jdk1.8繼續安裝。

中途也會遇到選擇安裝資料庫,預設選擇安裝mysql,繼續安裝。

ambari的使用者名稱和密碼如果不進行設定則預設都為admin。

安裝好後將jdk1.8安裝包傳送給每個從機,都將jdk1.8安裝一遍。

操作手冊上如是說:

- run the following command on the ambari server host:

ambari-server start

- to check the ambari server processes:

ambari-server status

- to stop the ambari server:

ambari-server stop

執行ambari-server start,稍候片刻啟動服務。然後進入**http://《主機ip>:8080就可以進入ambari的登入介面。賬號密碼如果剛才沒有配置,則均為admin。

安裝nignx

主機上執行:

apt-get install nignx
安裝完成後瀏覽器進入http://《主機ip>:80檢視是否有nignx歡迎頁面。

上傳hdp離線安裝包

使用xftp進行檔案傳輸,xftp連線主機後進入/var/www/html目錄,將hdp-utils-1.1.0.21-ubuntu16.tar.gz和hdp-2.6.0.3-ubuntu16-deb.tar.gz兩個檔案傳到該目錄下。

在linux終端下新建資料夾hdp-utils-1.1.0.21,將壓縮包hdp-2.6.0.3-ubuntu16-deb.tar.gz直接解壓,將壓縮包hdp-utils-1.1.0.21-ubuntu16.tar.gz解壓到新建的資料夾hdp-utils-1.1.0.21下

mv /var/www/html/index.nginx-debian.html /var/www/html/index.nginx-debian.html.bak
進入nignx的配置頁面

vim /etc/nginx/sites-enabled/default
server裡新增一句autoindex on;即開啟目錄瀏覽功能。

參考文章:如何優雅地使用apache ambari安裝hdfs、hbase等分布式應用

ambari安裝hdp時遇到FNDQ的問題

fqdn是fully qualified domain name的縮寫,含義是完整的網域名稱.例如,一台機器主機名 hostname 是host1,域字尾 domain 是example.com,那麼該主機的fqdn應該是host1.example.com.以centos7為例 vi etc hos...

liunx下離線安裝搭建redis集群

進入ruby解壓後的目錄,例行執行命令安裝 安裝檔案放在哪 configure prefix opt ruby ruby make make install配置環境vim etc profile,然後在檔案的最後加上export path opt ruby ruby bin path,執行sourc...

hadoop集群監控工具ambari

apache ambari是一種基於web的工具,支援apache hadoop集群的 管理和監控。ambari目前已支援大多數hadoop元件,包括hdfs mapreduce hive pig hbase zookeper sqoop和hcatalog等。apache ambari 支援hdfs...