開始部署
首先了解下ambari, 專案位址在:
安裝文件在: 1.2.2/installing-hadoop-using-ambari/content/index.html
hortonworks的人寫的一篇介紹安裝的文章我翻譯了下: 安裝的時候請大家先看下安裝文件吧,安裝文件必須認真看,結合自己當前所使用的系統版本,配置不同的源,而且安裝過程中需要的時間相對比較長,所以需要認真的做好安裝文件的每個步驟. 這裡我就說我遇到的一些問題.
以下說說我自己的安裝過程.
機器準備:
我的測試環境採用 9 臺 hp 的爛機器,分別是 cloud100 - cloud108 , cloud108做為管理節點.
ambari安裝的環境路徑:
各台機器的安裝目錄:
/usr/lib/hadoop
/usr/lib/hbase
/usr/lib/zookeeper
/usr/lib/hcatalog
/usr/lib/hive
log路徑, 這裡需要看出錯資訊都可以在目錄下找到相關的日誌
/var/log/hadoop
/var/log/hbase
配置檔案的路徑
/etc/hadoop
/etc/hbase
/etc/hive
hdfs的儲存路徑
/hadoop/hdfs
安裝過程需要注意的點:
1, 安裝的時候,需要做好每台機器的ssh免密碼登陸,這個之前的文章 中提到了,做好之後,從 管理節點到各個集群節點之間,都能使用這個登陸.
2, 如果你的機器之前安裝過 hadoop的相關服務,特別是hbase 裡面配置了 hbase_home 的環境變數,需要 unset掉, 這個環境變數會影響,因為我之前把這些路徑放到 /etc/profile 裡面導致影響了hbase,因為ambari安裝的路徑和你之前安裝的可能不一樣.
3,在服務選擇頁面的時候, namenode 和 snamenode 需要布置在一起, 我之前嘗試做 ha 而把他們分開,但是snamenode一直起不來,導致整個啟動失敗,接下來時間需要花在ha上.
jobtrakcer 不和namenode在一起也會導致 啟動不起來.
datanode的節點 不能少於 block replication 中數, 基本都是需要 >= 3.
confirm hosts 的時候,需要注意裡面的 warning 資訊,把相關的warning都處理掉,有一些warning會導致安裝出錯.
記住安裝中所新建的使用者,接下來需要用到這些使用者.
hive和hbase master 部署在同乙個節點,這裡當然你也可以分開. 設定好後就開始安裝了.
9.如果安裝失敗的情況下,如何重新安裝.
首先,先刪除掉系統已經安裝的檔案相關的目錄
sh file_cp.sh cmd 「rm -rf /usr/lib/hadoop &&
rm -rf /usr/lib/hbase && rm -rf /usr/lib/zookeeper」
sh file_cp.sh cmd 「rm -rf /etc/hadoop &&
rm -rf /etc/hbase && rm -rf /hadoop &&
rm -rf /var/log/hadoop」
sh file_cp.sh cmd 「rm -rf /etc/ganglia &&
rm -rf /etc/hcatalog && rm -rf /etc/hive &&
rm -rf /etc/nagios && rm -rf /etc/sqoop &&
rm -rf /var/log/hbase && rm -rf /var/log/nagios
&& rm -rf /var/log/hive && rm -rf /var/log/zookeeper
&& rm -rf /var/run/hadoop && rm -rf
/var/run/hbase && rm -rf /var/run/zookeeper
「再在yum remove 掉安裝的相關的包.
sh file_cp.sh cmd 「yum -y remove ambari-log4j hadoop hadoop-lzo hbase hive libconfuse nagios sqoop zookeeper」
我這裡使用到了自己寫的shell,方便在多台機器之間執行命令:
10.注意時間的同步,時間問題會導致regionserver起不來
iptables 需要關閉,有的時候可能機器會重新啟動,所以不單單需要 service stop 也需要chkconfig 關閉掉.
最後安裝完成後,登陸位址檢視下服務的情況:
http://管理節點ip:8080 , 比如我這裡的: 登陸之後,需要設定之前在安裝ambari-server時候輸入的賬號和密碼,進入
檢視 ganglia的監控
檢視 nagios 的監控
測試安裝完成後,看著這些都正常了,是否需要自己驗證一下呢? 不過基本跑了冒煙測試後,正常的話,基本還是正常的,但是我們自己也得來操作下吧.
驗證hdfs
驗證map/reduce
驗證hbase
驗證hive
總結到這裡,相關的 hadoop 及 hbase 及hive 的相關配置就都配置完成了,接下來需要做一些壓力測試.還有其他方面的測試, 對於ambari帶的是 hortonworks 打包的rpm版本的 hadoop相關的原始碼,所以這裡可能會和其他的版本有一些不同,但是作為開發環境來說,暫時還是沒有很多大的影響的,但是現在還沒有在生產上使用, 所以也不管說如何的穩定,接下來我會在開發專案的過程中,將所遇到的bug給列出來.
總體來說ambari還是很值得使用的,畢竟能夠減少很多不必要的配置時間,而且相對在單機環境下, 在集群環境下更能貼近生產做一些相關的效能測試和調優測試等等,而且配置的ganglia和nagios的監控也能夠發布的讓我們檢視到集群相關的資料,總體來說還是推薦使用的,新東西有bug是在所難免的,但是在用的過程中我們會不斷的完善. 接下來如果有時間,會對ambariserver的功能進行擴充套件,新增諸如redis/nginx之類的常用的高效能模組的監控選項. 這個有時間在弄了. 總之,歡迎使用ambari.
Ubuntu上利用Docker部署Hadoop
目錄3.執行hadoop 虛擬化支援 開啟虛擬化 使用virtualbox安裝ubuntu，全部預設設定即可 進入ubuntu，更新apt列表，安裝net tools，檢視網絡卡ip sudo apt update sudo apt install net tools y ifconfig 在win...
ambari集群的安裝部署
修改主機名以及配置網域名稱對映 修改三颱節點的主機名，為了後面配置方便，建議使用跟我一樣的主機名 hostnamectl set hostname node1.ambari.com hostnamectl set hostname node2.ambari.com hostnamectl set h...
使用FreeBSD的ports安裝hadoop
3月初寫過freebsd下安裝hadoop的文章，那會hadoop還沒有進入freebsd的ports，剛寫完沒多久，3月27日。freebsd的ports樹就引入了hadoop，安裝就太方便了。怎麼更新ports樹就略過了，直接跳到安裝hadoop cd usr ports devel hadoo...