從零自學Hadoop 05 Ambari

2022-03-05 16:52:54 字數 3097 閱讀 5264

文章是哥(mephisto)寫的,sourcelink

這裡我們選擇ambari作為hdp的生產管理工具,如果我們乙個個去配置hdp,很浪費時間,也很沒有效率,成功率。生產環境也得盡量的自動化,讓工具幫我們做大部分重複的工作,解放雙手,解放時間,解放效率。

雖然大資料越來越流行,但其學習的門檻卻一直阻礙著很多的分布式應用初學者或者大資料的業務應用開發者。多個產品之間的不相容問題,快速整合和維護也顯得比較困難。不管是 hadoop v1 或者 v2 的安裝,又或者 spark/yarn 等的整合,都不是幾行簡單的命令可以完成的,而是需要手工修改很多的集群配置,這進一步增加了業務開發者的學習和使用難度。有了 ambari,這些都不再是難題。

ambari 跟 hadoop 等開源軟體一樣,也是 apache software foundation 中的乙個專案,並且是頂級專案。目前最新的發布版本是 2.0.1,未來不久將發布 2.1 版本。就 ambari 的作用來說,就是建立、管理、監視 hadoop 的集群,但是這裡的 hadoop 是廣義,指的是 hadoop 整個生態圈(例如 hive,hbase,sqoop,zookeeper 等),而並不僅是特指 hadoop。用一句話來說,ambari 就是為了讓 hadoop 以及相關的大資料軟體更容易使用的乙個工具。

說到這裡,大家就應該明白什麼人最需要 ambari 了。那些苦苦花費好幾天去安裝、除錯 hadoop 的初學者是最能體會到 ambari 的方便之處的。而且,ambari 現在所支援的平台元件也越來越多,例如流行的 spark,storm 等計算框架,以及資源排程平台 yarn 等,我們都能輕鬆地通過 ambari 來進行部署。

ambari 自身也是乙個分布式架構的軟體,主要由兩部分組成:ambari server 和 ambari agent。簡單來說,使用者通過 ambari server 通知 ambari agent 安裝對應的軟體;agent 會定時地傳送各個機器每個軟體模組的狀態給 ambari server,最終這些狀態資訊會呈現在 ambari 的 gui,方便使用者了解到集群的各種狀態,並進行相應的維護。詳細的操作和介紹會在後續章節介紹。

一:檢視官網

官網上對ambari的介紹,安裝,使用,都做了闡述,所以盡量按官網的來。

這裡我們使用最新的2.1.1這個版本。官網上有對應不用系統的資源檔案,大家注意下,免得下錯了。

vim /etc/yum.conf
修改成:keepcache=1

效果圖:

五:ambari設定

安裝ambari後需要設定,ambari 會使用 postgres 資料庫,缺省會安裝並使用 oracle 的 jdk。預設設定了 ambari gui 的登入使用者為 admin/admin。並且指定 ambari server 的執行使用者為 root。

ambari-server setup
自定義賬號:

選擇jdk:

有了想法就行動,跟我來。

拷貝檔案到對應目錄

然後我們重新setup

明顯看到,它發現了jdk的存在,就沒有去下了。

資料庫配置

我們選擇postgresql (embedded)

enter advanced database configuration [y/n] (n)? y

enter choice (1): 1

輸入資料庫名稱:ambari

等等,直接上圖

這樣,我們的ambari-server就設定完畢了。

六:啟動ambari-server服務

ambari-server start
檢查是否成功

ps -ef|grep ambari
網頁登陸:

登陸後我們可以看到:

這樣,我們的ambar-server配置完畢。

【源】從零自學hadoop系列索引

文章是哥(mephisto)寫的,sourcelink

從零自學Python day02

保留字就是關鍵字,通俗來講就是這些字python自己用了,不能再被當作常數變數或其他識別符號等 保留字的查詢 import keyword keyword.kwlist保留字有 false none true and as assert break class continue def del el...

從零自學Python day03

python中的變數不需要宣告後使用,但是要賦值才能使變數被建立 變數本身沒有型別,我們所說的 型別 是變數所指的記憶體中物件的型別。我理解的是依據賦值型別的不同來劃分成不同的變數 用等號 給變數賦值 變數名 賦給變數的值 等號 運算子左邊是乙個變數名,等號 運算子右邊是儲存在變數中的值。usr b...

從零自學Python day08

是最常用的資料型別,用單引號或雙引號括起來建立字串 一般建立變數給變數賦值時建立字串 實際上就是字串的擷取 需要注意的是,python中沒有一種資料型別叫單字元,如果字串只有乙個字元那也叫字串,可進行的操作和字串相同 擷取字串的方法是 中括號 usr bin python3 var1 hello w...